Flink学习笔记

根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构

StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的 优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点 之间流动所需要的序列化/反序列化/传输消耗

JobManager 根据 JobGraph 生成ExecutionGraph。 ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。

JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图” 并不是一个具体的数据结构

在分布式环境下，Flink将操作的子任务链在一起组成一个任务，每一个任务在一个线程中执行。 将操作链在一起是一个不错的优化:它减少了线程间的切换和缓冲，提升了吞吐量同时减低了时 延。

上下游算子实例间是 oneToOne 数据传输（forward）； 上下游算子并行度相同； 上下游算子属于相同的 slotSharingGroup（槽位共享组）

// 当前环境关闭操作链.. environment.disableOperatorChaining(); //单个算子关闭操作链 Stream.disableChaining()

Spark：RDD

Flink: DataStream

Spark: 一个个RDD组成的集合

Flink: 基于Event驱动

Flink：流式处理

Spark：批处理（伪实时，微批次）

flink：Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。

spark：Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，根据DAG中的action操作形成job，每个job有根据窄宽依赖生成多个stage。

flink：Flink 则使用两阶段提交协议来保证exactly once。

spark：Spark Streaming的容错机制是基于RDD的容错机制，会将经常用的RDD或者对宽依赖加Checkpoint。利用SparkStreaming的direct方式与Kafka可以保证数据输入源的，处理过程，输出过程符合exactly once。

flink：Flink是基于事件的,消息逐条处理,而且他的容错机制很轻量级,所以他能在兼顾高吞吐量的同时又有很低的延迟,它的延迟能够达到毫秒级;

spark：spark是基于微批的,而且流水线优化做的很好,所以说他的吞入量是最大的,但是付出了延迟的代价,它的延迟是秒级;

flink：flink是事件驱动型应用是一类具有状态的应用，我们要把它看成一个个event记录去处理，当遇到窗口时会进行阻塞等待，窗口的聚合操作是无状态的。过了窗口后DataStream的算子聚合操作就是有状态的操作了，所以flink要把聚合操作都放到窗口操作之前，才能进行无状态的聚合操作。而spark全程都是无状态的，所以在哪聚合都可以。

spark：spark本身是无状态的，所以我们可以把它看成一个rdd一个算子一个rdd的去处理，就是说可以看成分段处理。

readTextFile(path) - 读取文本文件，例如遵守 TextInputFormat 规范的文件，逐行读取并将
它们作为字符串返回。

readFile(fileInputFormat, path) - 按照指定的文件输入格式读取（一次）文件。

readFile(fileInputFormat, path, watchType, interval, pathFilter, typeInfo) - 这

socketTextStream - 从套接字读取。元素可以由分隔符分隔。 在启动 Flink 程序之前， 必须先启动一个 Socket 服务

DataStreamSource<String> lineStream = environment.socketTextStream("localhost", 19523);

fromCollection(Collection) - 从 Java Java.util.Collection 创建数据流。集合中的所有元素必 须属于同一类型。

fromCollection(Iterator, Class) - 从迭代器创建数据流。class 参数指定迭代器返回元素的 数据类型。

fromElements(T ...) - 从给定的对象序列中创建数据流。所有的对象必须属于同一类型。

fromParallelCollection(SplittableIterator, Class) - 从迭代器并行创建数据流。class

generateSequence(from, to) - 基于给定间隔内的数字序列并行生成数据流。

writeToSocket 将计算结果输出到某台机器的端口上。

实现SinkFunction接口

继承RichSinkFunction类

所有上游算子的数据发送到下游第一个算子实例上

上一个每个算子轮询发往下游的算子实例上

根据上下游算子的并行度，循环的方式发往下游的每个算子实例上

随机的选择下游的算子实例进行发送

将上游算子的数据输出到下游的每个算子实例上，比较适合大数据集join小数据集的场景

发送到下游对应的第一个task上，要求上下游算子并行度相同

上游算子按照key的hash值发往下游算子实例中

用户自定义实现分区器，实现Partation接口，重写patation方法

按照驱动类型划分

按照窗口分配数据的规则分类

增量聚合函数

全窗口聚合函数

区别：一个是每来一条就处理一条，一个是数据全部来了再处理

按键分区窗口（常用）

非按键分区（不推荐）

最基本的处理函数，基于 DataStream 直接调用.process()时作为参数传入。

对流按键分区后的处理函数，基于 KeyedStream 调用.process()时作为参数传入。要想使用 定时器，比如基于 KeyedStream。

开窗之后的处理函数，也是全窗口函数的代表。基于 WindowedStream 调用.process()时作 为参数传入。

同样是开窗之后的处理函数，基于 AllWindowedStream 调用.process()时作为参数传入

合并（connect）两条流之后的处理函数，基于 ConnectedStreams 调用.process()时作为参 数传入。关于流的连接合并操作

间隔连接（interval join）两条流之后的处理函数，基于 IntervalJoined 调用.process()时作 为参数传入。

广播连接流处理函数，基于 BroadcastConnectedStream 调用.process()时作为参数传入。 这里的“广播连接流”BroadcastConnectedStream，是一个未 keyBy 的普通 DataStream 与 一个广播流（BroadcastStream）做连接（conncet）之后的产物。

按键分区的广播连接流处理函数，同样是基于 BroadcastConnectedStream 调用.process() 时作为参数传入。 与 BroadcastProcessFunction 不同的是，这时的广播连接流，是一个 KeyedStream与广播 流（BroadcastStream）做连接之后的产物。

水位线是由上线任务广播到下游任务，下游的并行任务会接收到同一份水位线信息，多个上游任务的水位线不同时，选择其中最小的那个水位线，下游任务会缓存上游每个任务的最新水位线 ，取更新后最小的水位线发送出去