首页  流程图  详情

Flink 水位线

2024-01-06 14:48:05   1  举报





Flink 水位线（水位线生成规则与水位线传递规则）

flink

Flink水位线

watermark

水位线

flink知识点总结

作者其他创作

大纲/内容

WM12:00:59.999

WM12:01:11.999

map2

rebalance

wm(5s)0

map1

Event912:00:11

Hello12:01:07

WM12:00:07

Event412:00:05

Event1412:00:18

WM12:00:08

WM12:01:13.999

source0

WM12:00:11

Hello12:01:26

WM12:01:10.999

Hello12:01:02

v5：乱序流中的水位线实现：在 v4 的基础上，需要插入水位线时，用数据的时间戳减去一个需要等待的时间生成新的水位线，比如等待 5s问题：并不能处理所有的乱序数据，需要用户在实时性和准确性中平衡

WM12:01:03.999

WM12:01:20.999

Hello12:01:08

Hello12:01:16

Hello12:01:14

Event712:00:09

Event1312:00:16

Event112:00:00

WM12:00:56.999

Event1012:00:12

Hello12:01:17

WM12:00:13

Event812:00:10

Event312:00:03

WM12:01:19.999

WM12:00:02

WM12:00:10

Hello12:01:25

WM-

WM12:00:12

Hello12:01:11

WM12:00:00

v3：乱序流中的水位线实现：使用每条数据自带的事件时间作为水位线，判断时间戳是否比之前的大，否则就不再生成新的水位线问题：如果数据量非常大，水位线数据也会非常多

Flink12:01:19

WM12:01:05.999

Event212:00:01

WM12:00:55.999

Event1112:00:13

WMLong.MIN_V

Event512:00:07

Flink12:01:14

Hello12:01:15

WM12:00:14

WM12:00:03

WM12:00:18

Hello12:01:05

Hello12:01:09

Hello12:01:01

Event612:00:08

Hive12:01:25

Flink12:01:01

Hello12:01:22

rebalancewatermark

Flink12:01:07

Flink12:01:11

WM12:01:08.999

WM12:00:09

Flink12:01:08

Event1212:00:15

WM12:00:16

WM12:00:15

Flink12:01:25

单并行度水位线，滚动窗口(10s)，水位线(5s)Flink Job：source(1) → wm(5s)(1) → map(3) → window process(3) → print(1)

Flink 水位线生成规则

wm(5s)1

WM12:01:09.999

Flink 水位线传递规则

WM12:00:05

Flink12:01:17

Hello12:01:19

Watermark 会以广播的形式发送给下游的所有并行度。Watermark 作为一种特殊的记录，是没有 Key 的。如果下游接收到上游多个子任务发送过来的 Watermark，会选择最小的 Watermark 作为本并行任务的水位线，并将其继续广播给下游。一旦一个分区不推进它的水位线，或者变成完全空闲而不再发送任何记录和水位线，任务的事件时间时钟将不会推进，进而导致计时器不会触发。

Flink12:01:05

wm(5s)2

v2：有序流中的水位线实现：使用处理时间作为水位线，每隔一段时间生成一个水位线问题：对于水位线的周期性生成，周期时间是指处理时间（系统时间），而不是事件时间

WM12:00:01

Flink12:01:02

Flink12:01:22

多并行度水位线，滚动窗口(10s)，水位线(5s)Flink Job：source(1) → wm(5s)(3) → map(3) → window process(3) → print(1)

WM12:00:04

map0

Flink12:01:15

WM12:01:16.999

WM12:00:06