大数据任务调度工具架构设计
2023-01-30 14:49:35 0 举报大数据任务调度工具架构设计
作者其他创作
大纲/内容
Http
支持自动建表
任务调度WorkerServer
支持自动分区
服务器节点3WorkerServer
MR
API Server
DAC切分、监控任务状态
服务器节点1WorkerServer
发送
分布式调度
异常警告
3、定时推送日志
AlertServer
任务执行组件
基础平台应用任务调度管理应用
租户B
工作流元数据管理
数据读取插件
服务器节点4WorkerServer
Netty
服务注册、监听、心跳、容错、分布式锁
大数据任务调度系统部署架构图
WorkerServer
SUB_FLOW
大数据任务调度系统技术架构图
ApiServer
MasterServer
第三方程序（执行任务）
命令组件
GRPC查询任务日志信息
服务器节点1MasterServerZookeeperAlertServer
脚本流处理
服务器节点2WorkerServer
数据输出插件
命令监听
日志服务组件
转换映射
大数据任务调度系统基于Netty通信协议实现与第三方任务对接
4、任务结束通知
Http批处理
单进程多线程处理一个任务
租户A 工作组服务器
SHELL
DataAnt架构图
基础服务
任务拆分
拆分任务
租户B 工作组服务器
租户A
数据输出
FLINK
ZookeeperClister
Channel
线程二
send
启动进程
Alert Server
日志、报表输出
SQL
服务器节点5WorkerServer
支持多种数据输出
RestApi接口调用
线程一
数据读取
容错告警通知
脚本批处理
SQL批处理
DataX
receive
回应响应结果
断点续传
服务注册、监听、心跳
服务器节点2MasterServerZookeeperAlertServer
DataAnt
Python
服务器节点3MasterServerZookeeper
1、建立Netty连接
数据库
告警
2、通知执行任务
支持多种数据来源
前端UI
数据打标签
5、关闭Netty连接
DataAnt进程
0 条评论
下一页
