Flink 通用运行流程图 & 运行架构图
2023-08-06 18:04:52 2 举报
Flink 运行架构图（通用运行流程图、集群架构图）
作者其他创作
大纲/内容
Actor通信系统
3. Submit Job提交作业
内存和 IO 管理器
Flink 应用程序
TaskSlot
(Master YARN Application Master)
1. Submit App提交应用
Task
Shuffle
Flink Resource Manager资源管理器
TaskManager（Flink Worker）
7. Start TM启动任务管理器
网络管理器
JobManager
TaskManager
Meta元数据
检查点协调器
数据（元数据、状态……）存储（ZooKeeper、Hadoop HDFS、S3……）
数据流图
Application Master（Flink Master）
Snapshot/Recovery快照/恢复
客户端
部署/停止/取消任务
触发检查点……
Task Slots
程序数据流
5. Request Slot申请插槽
程序代码
10. Submit Task提交任务
JobManager作业管理器
Cluster Manager 集群管理器（Standalone、YARN、K8s、Memos……）
(Worker)
数据流
StateBackend状态后端
9. Offer Slot提供插槽
优化程序 / 构建作业执行图
Dispatcher分发器
4. Start JM启动作业管理器
2. Launch AM启动 AM
8. Request Slot申请插槽
提交作业(发送数据流)
取消/更新作业
作业调度器
Client客户端
6. Request Resource申请资源(CPU core 和 Memory)
状态更新
统计计算结果
Task 状态心跳监控统计……
0 条评论
回复 删除
下一页
