flink前三章读书笔记

流为核心，批是流的特例。

集群级容错

应用级容错

Flink借助轻量级分布式快照机制，能够定时生成分布式快照，并将快照保存到外部存储中。

flink自身抽象出Resourcemanager用来管理flink最细粒度的资源slot

分支主题

运行时层

部署层

JobManager

TaskManager

StreamingRuntimeContext：在流计算UDF中使用的上下文，用来访问作业信息、状态等。

DistributedRuntimeUDFContext：由运行时UDF所在的批处理算子创建，在DataSet批处理中使用。

RuntimeUDFContext：在批处理应用的UDF中使用。

SavepointRuntimeContext：Flink1.9版本引入了一个很重要的状态处理API，这个框架支持对检查点和保存点进行操作，包括读取、变更、写入等。

CepRuntimeContext：CEP复杂事件处理中使用的上下文。

StreamRecord表示数据流中的一条记录（或者叫作一个事件），也叫作数据记录。

数据的值本身。

事件戳（可选）。

LatencyMarker用来近似评估延迟，LatencyMarker在Source中创建，并向下游发送，绕过业务处理逻辑，在Sink节点中使用LatencyMarker估计数据在整个DAG图中流转花费的时间，用来近似地评估总体上的处理延迟。

周期性地在数据源算子中创造出来的时间戳。

算子编号。

数据源算子所在的Task编号。

Watermark是一个时间戳，用来告诉算子所有时间早于等于Watermark的事件或记录都已经到达，不会再有比Watermark更早的记录，算子可以根据Watermark触发窗口的计算、清理资源等。后边有详细介绍。

用来通知Task是否会继续接收到上游的记录或者Watermark。StreamStatus在数据源算子中生成，向下游沿着Dataflow传播。

空闲状态（IDLE）。

活动状态（ACTIVE）

生命周期管理

状态与容错管理

数据处理

Blink内置算子

批上算子

实时流Join

延时流Join

分支主题

SourceFunction

datasource.partitionCustom(new Partitioner<Object>() { @Override public int partition(Object key, int numPartitions) { return 0; } }, new KeySelector<Tuple2<String, Integer>, Object>() { @Override public Object getKey(Tuple2<String, Integer> value) throws Exception { return null; } })

该Partitioner比较特殊，用于在同一个OperatorChain中上下游算子之间的数据转发，实际上数据是直接传递给下游的。

随机将元素进行分区，可以确保下游的Task能够均匀地获得数据

以Round-robin的方式为每个元素分配分区，确保下游的Task可以均匀地获得数据，避免数据倾斜

根据上下游Task的数量进行分区。使用Round-robin选择下游的一个Task进行数据分区，如上游有2个Source，下游有6个Map，那么每个Source会分配3个固定的下游Map，不会向未分配给自己的分区写入数据。这一点与ShufflePartitioner和ReblancePartitioner不同，后两者会写入下游所有的分区

将该记录广播给所有分区，即有N个分区，就把数据复制N份，每个分区1份

KeyedStream根据KeyGroup索引编号进行分区，该分区器不是提供给用户来用的。