Flink架构

JobManager

Resource Manager

Container

作业图(JobGraph)

分发器（Dispatcher）

1.JM会先接收到要执行的应用程序

Flink中的工作进程。通常Flink中会有多个TM运行，每一个都包含了一定数量的slot。插槽的数量限制了TM能够执行的任务数量。

StreamGraph：根据用户通过Stream API编写的代码生成的最初的图。用来表示程序的拓扑结构。

应用程序包括

Flink为不同的环境和资源管理工具提供了不同资源管理器，比如YARN、 Mesos、K8s，以及standalone部署

JobGraph：StreamGraph经过优化后生成了JobGraph，提交给JobManager的数据结构。主要的优化为，将多个符合条件的节点chain在一起作为一个节点。

在执行过程中，一个TM可以和其他运行相同应用程序的TM交换数据。

Task Slot 是静态的概念，是指 TaskManager 具有的并发执行能力。

作用：负责管理TaskManager的插槽(slot)，TaskManger 插槽是Flink中定义的处理资源单位。

Dispatcher分发器

任务提交流程（YARN）

TaskManager任务管理器

即执行图(ExecutionGraph)包含了所有可并发执行的任务

HDFS

逻辑数据流图(logical dataflow graph)

ExecutionGraph：JobManager根据JobGraph生成ExecutionGraph。它是JobGraph的并行化版本，是调度层最核心的数据结构。

Flink由四部分组成

打包了所有类、库和其他资源的jar包

1.上传jar包和配置到

可以跨作业运行，它为应用提交提供了REST接口。当一个应用被提交执行时，分发器就会启动并将应用移交给一个 JobManager。Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。

2.提交job到

NodeManager

资源管理器（ResourceManager）

5.启动TM

3.启动Application Master

4.申请资源

JobManager（作业管理器）

当JobManager申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求，它还可以向资源提供平台发起会话，以提供启动TaskManager进程的容器。

Flink Client

Resource Manager资源管理器

2.JM会把JobGraph转成一个物理层面的数据流图

Application Master

物理执行图：JobManager根据ExecutionGraph对Job进行调度后，在各个TaskManager上部署Task后形成的“图”，并不是一个具体数据结构。

Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图

启动后向Resource Manager注册它的插槽；收到RM的指令后，TM就会将一个或多个插槽提供给JobManager调用；JobManager就可以向插槽分配task来执行了。

JobManager作业管理器

作用：控制一个应用程序执行的主进程：即每个应用程序都会被一个不同的JM控制

3.JobManager 会向资源管理器（ResourceManager）请求执行任务必要的资源， 也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager上。而在运行过程中， JobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints） 的协调。

TaskManager

任务管理器（TaskManager）