调度系统
2020-09-27 10:24:43 5 举报neo4j-1
作者其他创作
大纲/内容
dds_shared_device_android_hbase
6.2 返回N条json
Y
日志
oozie
i将6.2， 8.2输出的key作为hbase入参
收集日志
process5
创建任务
dolphin
输出
调度系统功能
ES
开始
worker
调度系统
identityno（身份证）contact_phone_set（紧急联系人手机号集合）
master
是否有下游依赖
手动重跑
是否重跑下游依赖
网站
批量重跑历史任务流程
9.2 根据process6返回参数作为入参，匹配rowkey
dds_shared_device_android_es
依赖任务队列
hbase
输入contact_phone_set和2步骤 返回的contact_phone_set、card_mobile、register_mobile求并集，作为步骤3的请求参数
datax
6.1 返回N条json
开源大数据调度系统
process4
1. 请求Es
alertservice
9.1 根据process5返回参数作为入参，匹配rowkey
azkaban
结束
shell
process6
任务队列
method1
8.2 返回N条json
process2
3. 根据process1处理结果作为参数请求Es
返回注册手机号，作为步骤5的入参
apiservice
手动重跑历史任务流程
7.1 根据process3返回参数作为入参
调度系统架构
dds_shared_device_ios_hbase
zeus
4. 返回N条json
process3
将6.1， 8.1输出的key作为hbase入参
flaskAPI
hive
5.1 根据process2返回参数作为入参
调度任务
dds_shared_device_ios_es
8.1 返回N条json
7.2 根据process4返回参数作为入参
数据库
N
method3
执行任务
logservice
报表
2. 返回一条json
method4
method2
dds_shard_mobile_es
airflow
process1
输入参数
hera
任务告警
数仓
职业：学士
0 条评论
下一页
