Flink状态与容错
2021-09-05 22:43:45 0 举报AI智能生成
Flink状态与容错
作者其他创作
大纲/内容
概念
sum求和
去重计算
模式检测
应用案例
有状态计算
持久化到外部存储
在计算过程中可被访问
1）纯内存：MemoryStateBackend，适用于验证、测试，不推荐生产环境。
2）内存+文件：FsStateBackend，适用于长周期大规模的数据。
3）RocksDB：RocksDBStateBackend，适用于长周期大规模的数据。
Backends方式
状态存储（StateBackend）
状态重分布
● 过期时间：超过多长时间未访问，视为State过期，类似于缓存
● 过期时间更新策略：创建和写时更新、读取和写时更新
● State的可见性： 未清理可用，超期则不可用
状态的清理
State管理
Exactly-Once
检查点分界线（Checkpoint Barrier）
Barrier对齐
检查点（CheckPoint）
保存点（SavePoint）
检查点和保存点的差异
固定间隔，定期恢复（Fixed delay）
失败率（Failure rate）
无重启，直接失败（No restart）
自动检查点恢复
手动检查点恢复
重启策略
容错
状态与容错
Flink状态与容错
0 条评论
回复 删除
下一页
