实时数据质量
2022-08-30 19:13:43 30 举报AI智能生成
数据质量
作者其他创作
大纲/内容
数据准确性
数据检查
数据值是否常规范围，例如：收派日期1970-01-01，百分比[0,1]
数据值是否业务范围，例如：重货>=20KG，超大件>=80KG
数据值分布是否异常，例如：极效前置件
时间维度对比
同一数据产生批次内
历史数据波动性检查
历史数据一致性检查
不同数据产生批次之间
线上旧数据与线下新数据对比
空间维度对比
上下游对比
系统内数据对比
数据源同构下的对比
数据源异构下的对比
系统外数据对比
数据及时性
全表数据
分区数据
数据核销
状态翻转
数据完整性
不多
数据是否重复
es_key唯一性
不少
数据规模确定
数据总量
日期是否缺失、空值
业务关键字段是否缺失，例如：中转运力相关的班次、线路编码、车标等
数据规模不确定
通过历史数据的波动性对比结果，例如中转场的应到\应发件数
数据一致性
数据记录规范一致
数据逻辑一致
多节点数据一致，例如：kafka、es、hive数据下发
0 条评论
下一页
