Flink的DAG
2023-09-26 16:30:57 0 举报学习笔记
作者其他创作
大纲/内容
FlatMap
parellelism=2
合并算子链
IntermediateResult
FlatMap（2/2）
JobVertex
2.作业图（JobGraph）：StreamGraph 经过优化后生成的就是JobGraph。主要的优化为: 合并算子链
ExecutionEdge
ExecutionJobVertex
StreamEdge
parellelism=1
ExecutionVertex
考虑并行度
KeyedAggregation---->Sink
Hash
4.执行图（ExecutionGraph）：在JobGraph的基础上结合各算子的并行度生成的就是ExecutionGraph 【ExecutionGraph与 JobGraph 最大的区别就是按照并行度将每个算子的任务拆分成了多个并行的子任务，并明确了任务间数据传输的方式。】
FlatMap（1/2）
ExecutionGraph执行图
StreamGraph
Rrbalance
IntermediateDataSet
IntermediateResultPartition
Sink
JobGraph作业图
KeyedAggregation---->Sink（2/2）
IntermediateResultPartion
1.数据流图（StreamGraph）：在运行时，Flink 程序按照 算子逻辑 生成一个有向无环图DAG），这个图就是数据流图（StreamGraph）
StreamGraph数据流图
KeyedAggregation---->Sink（1/2）
Source（1/1）
Source
Forward
5.物理图（Physical Graph）：TaskManager收到ExecutionGraph后将其转化为可执行的物理图
KeyedAggregation
JobEdge
收藏
收藏
0 条评论
下一页
