ck数据迁移
2023-07-06 16:54:46 2 举报ck数据迁移
作者其他创作
大纲/内容
ckickhouse：icu_vs_data 表
是
不相等
获取history表数量
获取需要更新数量
获取迁移任务
本次任务失败，结束
获取更新数据量，是否为0
ckickhouse：icu_vs_data_history 表
mysql：take_info表 （包含字段startTime（上一次完成的迁移数据截止时间），doTime（上次执行任务的时间））
判断当前迁移数据截止时间是否小于当前时间-60天（目前暂定保存60天数据）
否
不相等，失败次数小于3，失败次数+1
失败次数大于等于3
校验更新数量和更新后的histroy新增的数量相等
当前时间-60计入startTime，存入迁移任务，更新成功
数据迁移
去重
判断失败次数
xxljob定时任务
删除数据
表示没有需要迁移的数据，结束
相等
收藏
收藏
0 条评论
下一页
