Flink引擎架构图
2024-12-20 07:45:38 0 举报
Flink引擎架构图描述了Apache Flink的分布式流处理引擎的核心组件和交互方式。这张图以图形化方式展示了Flink的各个模块,包括JobManager、TaskManager、Client、DataStream API、DataSet API等。JobManager负责作业调度和管理,TaskManager负责执行具体的计算任务,Client则用于提交作业和监控作业的执行状态。此外,DataStream API和DataSet API提供了编程接口,允许开发者编写流式或批式的数据处理应用。
作者其他创作
大纲/内容
ExecutionGraph
Map【1/x】
Map【2/x】
InputChannel
CountWindow(CW)
Resource Isolation
parallelism=x
KeyBy&CW-> Process【2/x】
KeyBy&CW-> Process【1/x】
JobGraph
ExecutorEdge
Execution span style=\
InputGate
StreamNode
KeyBy&CW-> Process
Result SubPartition
JobEdge
Rebalance
JobVertex
StreamEdge
Result Partition
Source
StreamGraph
KeyBy
Execution span style=\
Task
Map
Source【1/x】
Process
IntermediateDataSet
Hash
PhysicalGraph
Intermediate DataSet
Intermediate Result
Intermediate Result
Forward
Intermediate ResultPartition
Intermediate ResultPartition
0 条评论
下一页