Flink状态与容错
2021-09-05 22:43:45 0 举报AI智能生成
Flink状态与容错
作者其他创作
大纲/内容
状态与容错
有状态计算
概念
应用案例
sum求和
去重计算
模式检测
State管理
状态存储（StateBackend）
持久化到外部存储
在计算过程中可被访问
Backends方式
1）纯内存：MemoryStateBackend，适用于验证、测试，不推荐生产环境。
2）内存+文件：FsStateBackend，适用于长周期大规模的数据。
3）RocksDB：RocksDBStateBackend，适用于长周期大规模的数据。
状态重分布
状态的清理
● 过期时间：超过多长时间未访问，视为State过期，类似于缓存
● 过期时间更新策略：创建和写时更新、读取和写时更新
● State的可见性： 未清理可用，超期则不可用
容错
Exactly-Once
检查点（CheckPoint）
检查点分界线（Checkpoint Barrier）
Barrier对齐
保存点（SavePoint）
检查点和保存点的差异
重启策略
自动检查点恢复
固定间隔，定期恢复（Fixed delay）
失败率（Failure rate）
无重启，直接失败（No restart）
手动检查点恢复
0 条评论
下一页
