武汉数据更新流程
2024-10-08 10:46:22 0 举报
武汉数据更新流程
作者其他创作
大纲/内容
注意:更新时间字段
两种表更新一致,如果更新异常 需要做数据回滚
实有房屋更新表syfw_increment
公安一标三实数据获取
公安内外定时推送
实有人口更新表syrk_increment
数据更新:包含U(更新),I(新增)删除逻辑:逻辑删除 update状态,isdelete值 0-有效、 1-删除
数据协同定时任务
数据更新:包含U(更新),I(新增)更新逻辑:1、inster for update, 2、插入异常需要进行数据更新 3、标记已处理的数据(任务重启已处理的数据 不再重新处理) 4、时间默认T-1 需要配置文件可设置开始时间
实有房屋基线表syfw_zb 编码
实有人口基线表syrk_zb
数据过滤条件 时间字段 T-1
数据协同任务
实有人口更新表syrk_delete
数据统计表
标注地址更新表bzdz_increment
实有单位更新表sydw_delete
手动全量更新
标准地址表address
数据写入
数据过滤条件 时间字段 T-1
数据更新:包含U(更新),I(新增)删除逻辑:1、逻辑删除 update状态, isdelete 值0-有效、 1-删除 2、删除数据调用编码注销接口 ,注销数据
1、每个任务启动增加一天记录2、插入字段 总量、时间、已处理总数,类型(新增、更新、删除)、任务类型(地址 、实有人口 、实有单位、实有房屋)3、刷新时间:5-10分钟(可调整)
数据更新:包含U(更新),I(新增)更新逻辑:1、inster for update, 2、插入异常需要进行数据更新 3、新增数据数据需要编码(调编码服务) 4、标记已处理的数据(任务重启已处理的数据 不再重新处理)
实有房屋更新表syfw_delete
数据更新:包含U(更新),I(新增)删除逻辑:1、逻辑删除 update状态,isdelete 值0-有效、 1-删除 2、删除数据调用编码注销接口 ,注销数据 同一个数据 如果先注册 后注销 再注册 编码有效更新即可
注意:避开公安更新时间
实有单位更新表sydw_increment
任务统计记录表data_record
地址基线表bzdz_zb
实有单位基线表sydw_zb 编码
标注地址删除表bzdz_delete
数据更新:包含U(更新),I(新增)更新逻辑:1、inster for update, 2、插入异常需要进行数据更新 3、标记已处理的数据(任务重启已处理的数据 不再重新处理)
0 条评论
下一页