数据质控流程全景图
2021-03-19 00:47:01 4 举报
简洁但完整的数据质控流程,形成数据质量持续提升良性循环,适用大部分场景,扩展性强。
作者其他创作
大纲/内容
数据治理 (对外服务)
完整性校验 一致性校验 及时性校验
MySQL 读取库
MySQL 写入库
质控报告
日志入库
质控结果(可发送到MQ)
数据
数据采集
MQ
数据质控线程任务
Kafka 日志
监听数据
质控结果
数据补填
定时任务配置
人工匹配
数据修正
读取库质控计算
异常复位
发送数据消息
采集数据校验规则配置
准确性校验
修正数据
异常数据
错误日志
主从复制
数据格式基础校验
0 条评论
下一页