首页  思维导图  详情

AMP

2021-11-15 11:13:57   7  举报





AI智能生成

AMP产品文档

基础能力

作者其他创作

大纲/内容

WORKFLOW

创建WORKFLOW

workflowName

非空,只允许大小写字母及数字，不能以数字开头,同一project下不可重复

nexus repository

不可修改，默认值:https://nexus.wisers.com.cn/repository/devops-maven-public/

project

非空

type

为kafka时展示topic、bootstrap.servers

level

topic

type为kafka时，不可为空

bootstrap.servers

type为kafka时，不可为空

dagTree

默认为 {}，例：{ 父1(batch) : [ 子1(streaming) , 子2(batch)] , 子2(batch) : [ 子3(streaming) ] }

batch

可以作为子任务，也可以作为父任务

streaming

只可以作为子任务

新增TASKFLOE

taskflow_name

不可为空，只允许大小写字母及数字，不能以数字开头，同一workflow下，name不可重复

taskflow_type

枚举值：0, 1。0 - batch任务，1 - stream任务

start date

格式"yyyy-MM-dd'T'HH:mm:ssZZZZ"

scheduler

不可为空，支持cron表达式, @once, None, @hourly, @daily, @weekly, @monthly, @yearly

master_type

默认为 'yarn'。当前只有一个值 'yarn'

driver-memory

不可为空，只允许输入以m|M|g|G结尾的正整数

executor-memory

不可为空，只允许输入以m|M|g|G结尾的正整数

driver-cores

不可为空，只允许正整数

executor-cores

不可为空，只允许正整数

num-executors

不可为空，只允许正整数

packages

如果extraconf存在spark.jars.packages，API参数会优先选择extraconf下的spark.jars.packages。如不存在，则在API参数中会将此字段拼接extraconf中

jars

元素之间 ',' 分隔，可支持SNAPSHOT

task_jar

不可为空，Maven坐标，可支持SNAPSHOT

main-class

默认值:com.wisers.udp.spark.task.Main

extraConf

JSON格式，spark.driver.memoryOverhead、spark.executor.memoryOverhead要求取值范围在384 ~ 8192之间

集群类型

集群类型的切换会有不同的选项

临时集群

常驻集群

集群名称

集群类型为常驻集群

可供选择下拉框

集群类型为临时集群

内容由project、workflowName、taskflowName 依次拼接而成

购买模式

枚举值：0, 1。0 - on-demand，1 - spot。默认为 0

集群组件版本

默认为 1 。1 - {"spark": "2.4.3", "hadoop": "2.10.0"}

集群磁盘空间

data总磁盘空间

不可为空，只允许数字，取值区间15 ~ 50000

logs总磁盘空间

不可为空，只允许数字，取值区间15 ~ 50000

替换runtime jars

待删除jars

/spark/jars目录下已存在的runtime jar名称,须以.jar结尾

待上传jars

元素之间 ',' 分隔，仅支持release

yaml配置

sourceOperators至少选择一个。yaml中的name属性通过project、workflowName、taskflowName 依次拼接而成。 taskflow_type改变时会清空yaml字段所有内容，并且会通过taskflow_type的切换Operators下拉框会筛选出不同的选项

常驻集群

常驻集群列表

是否扩缩容

根据权限是否可点击

销毁

根据权限判断是否展示

创建常驻集群

集群名称

只允许使用大小写字母及数字，且不能以数字开头。长度大于3位，小于64位。注意：不可使用已存在的集群名称

项目名称

只允许使用AMP系统已有的项目名

购买模式