日志处理架构图
2021-03-05 10:30:16 0 举报
登录查看完整内容
日志处理架构图
作者其他创作
大纲/内容
普罗米修斯
flink各种清洗转换操作
es
mysql配置
mongodb
反射+实体化 or 简单加载
按日期建索引,按日期删除or把冷数据打标签迁移到冷节点中
页面配置
traceId+应用名搞一个唯一标识保证幂等性
Exactly-Once语义支持 暂时没看懂原理,但是是支持的TwoPhaseCommitSinkFunction
当checkpoint机制开启的时候,KafkaConsumer会定期把kafka的offset信息还有其他operator的状态信息一块保存起来。当job失败重启的时候,Flink会从最近一次的checkpoint中进行恢复数据,重新消费kafka中的
保证成功
记录失败日志
setStartFromSpecificOffsets 从指定位置消费--保证重读
1.通过设置过期时间把过期数据超时 2.traceId建索引保证查询速度和幂等性
Flink-Kafka-Connector
kafka
对比失败日志修复
主动触发补全数据
0 条评论
回复 删除
下一页