AMP
2021-11-15 11:13:57 7 举报AI智能生成
AMP产品文档
作者其他创作
大纲/内容
workflowName
不可修改，默认值:https://nexus.wisers.com.cn/repository/devops-maven-public/
nexus repository
非空
project
为kafka时展示topic、bootstrap.servers
type
level
type为kafka时，不可为空
topic
type为kafka时，不可为空
bootstrap.servers
可以作为子任务，也可以作为父任务
batch
只可以作为子任务
streaming
dagTree
创建WORKFLOW
不可为空，只允许大小写字母及数字，不能以数字开头，同一workflow下，name不可重复
taskflow_name
taskflow_type
格式\"yyyy-MM-dd'T'HH:mm:ssZZZZ\"
start date
scheduler
默认为 'yarn'。当前只有一个值 'yarn'
master_type
不可为空，只允许输入以m|M|g|G结尾的正整数
driver-memory
executor-memory
不可为空，只允许正整数
driver-cores
executor-cores
num-executors
如果extraconf存在spark.jars.packages，API参数会优先选择extraconf下的spark.jars.packages。如不存在，则在API参数中会将此字段拼接extraconf中
packages
jars
不可为空，Maven坐标，可支持SNAPSHOT
task_jar
默认值:com.wisers.udp.spark.task.Main
main-class
JSON格式，spark.driver.memoryOverhead、spark.executor.memoryOverhead要求取值范围在384 ~ 8192之间
extraConf
临时集群
常驻集群
集群类型的切换会有不同的选项
集群类型
可供选择下拉框
集群类型为常驻集群
内容由project、workflowName、taskflowName 依次拼接而成
集群类型为临时集群
集群名称
购买模式
默认为 1 。1 - {\"spark\": \"2.4.3\
集群组件版本
不可为空，只允许数字，取值区间15 ~ 50000
data总磁盘空间
logs总磁盘空间
集群磁盘空间
待删除jars
待上传jars
替换runtime jars
sourceOperators至少选择一个。yaml中的name属性通过project、workflowName、taskflowName 依次拼接而成。 taskflow_type改变时会清空yaml字段所有内容，并且会通过taskflow_type的切换Operators下拉框会筛选出不同的选项
yaml配置
新增TASKFLOE
WORKFLOW
根据权限是否可点击
是否扩缩容
根据权限判断是否展示
销毁
常驻集群列表
只允许使用大小写字母及数字，且不能以数字开头。长度大于3位，小于64位。注意：不可使用已存在的集群名称
只允许使用AMP系统已有的项目名
项目名称
所属的用户名
owner
默认为 t3a.small。可通过API来获取系统当前可用的实例类型
实例类型
不可为空，默认为 3。取值范围：1 ~ 10
dataNode
不可为空，取值范围：1 ~ 500
nodeManager
实例个数
默认为 2。取值范围：1 ~ 4
vcpu_ratio
包含以下四个字段:yarn-site.xml、hdfs-site.xml、spark-defaults.conf、spark-env.sh
集群自定义配置
创建常驻集群
AMP
0 条评论
回复 删除
下一页
