清洗数据对比修复工具_v2

获取一项任务（表）

是

获取一项任务（错误项，表，租户ID，年，月）

读取验证任务列表（按任务列表顺序执行也可以多进程并行执行）

【表】验证成功记录

ID int not nullProductId int nullProductName nvarchar(200) nullModuleId int nullModuleName nvarchar(200) nullTableName varchar(200) nullJsonValueOne varchar(max) nullJsonValueTwo varchar(max) nullBeginDate datetime nullEndDate datetime nullCompareStatus int nullCompareTimeBegin datetime nullCompareTimeEnd datetime nullTenants varchar(1000) nullSourceTypes varchar(1000) nullTables varchar(1000) nullDbType int nullTypes varchar(1000) nullGranularity int nullInsertTime datetime nullModifiedTime datetime null

ADRT_VerifySuccess

拿对应的数据对象的“验证脚本”获取验证数据

再次对比数据是否一致

各个产品业务数据库

进行数据对比判断是否一致

结束

开始

XML配置文件（招聘，测评，...）（以数据表为单位）

【表】验证失败记录

ID int not nullProductId int nullProductName nvarchar(200) nullModuleId int nullModuleName nvarchar(200) nullTableName varchar(200) nullTenantId int nullYear int nullMonth int nullValueOne int nullValueTwo int nullBeginDate datetime nullEndDate datetime nullCompareTimeBegin datetime nullCompareTimeEnd datetime nullRepairTimes int nullRepairStatus int nullDwNumber int nullDataBaseName varchar(200) nullSourceTypes varchar(1000) nullTables varchar(1000) nullDbType int nullTypes varchar(1000) nullGranularity int nullInsertTime datetime nullModifiedTime datetime null

ADRT_VerifyFailure

否

按照对比时候用到的“租户ID，年，月”等参数再重新清洗处理该表的数据

Windows定时任务，在每天清洗数据服务全部执行完毕之后的时间点，开始执行次修复程序

【表】验证任务列表

ID int not nullProductId int nullProductName nvarchar(200) nullModuleId int nullModulelName nvarchar(200) nullIsSyncDwDataBase int nullIsEnable int nullBeginDate datetime nullEndDate datetime nullSectionData int nullTenants varchar(1000) nullSourceTypes varchar(1000) nullTableName varchar(1000) nullDbType int nullBeVerifyProcNameBeVerifySqlTextBeVerifyDataBaseNameToVerifyProcNameToVerifySqlTextToVerifyDataBaseNameTypes varchar(1000) nullGranularity int nullInsertTime datetime nullModifiedTime datetime null

ADRT_VerifyTask

报出错误异常（ErrorTrack）并发送错误邮件和短信

以“租户ID，年，月，统计数”格式获取清洗过来的数据（添加扩展维度）

记录到成功日志文档（记录数据库日志）

记录到错误列表文档（每项修复次数）（记录数据库日志）

是否最后一项任务并且所有都失败的三次

是否循环处理超过三次

更新错误列表文档中的错误次数

更新错误列表文档中错误状态并插入成功列表数据

DwOps

是否最后一项任务

读取错误列表文档的错误项