Flink任务提交流程
2024-08-07 14:24:01 6 举报
Flink任务提交流程
作者其他创作
大纲/内容
Actor通信系统
10 提供插槽
TaskManager
8 注册插槽
Dispatcher
Task
7 启动TaskManager
JobMaster
ApplicationMaster
快照/恢复
12 生成物理执行图
Task Slot
3.2 启动资源管理器
1 提交任务
Cluster Resource Manager 集群资源管理器（Standalone，YARN，K8S，Mesos）
3.3.启动JobMaster
NodeManager
数据（元数据，状态……)存储（Zookeeper、HDFS、S3）
4.1 生成StreamGraph4.2 生成JobGraph4.3 生成ExecutionGraph
TaskManager进程初始化后核心流程在TaskExecutor中完成，TaskExecutor启动一系列服务并负责任务的提交和运行
元数据
6 申请资源（Memory和CPU）
资源管理器
JobManager
11 分配任务
2 启动AM
客户端（Client）
3.1 启动分发器
9 申请插槽
5 申请插槽
Shuffle
收藏
0 条评论
回复 删除
下一页
