数据同步准则
2021-03-24 17:28:47 22 举报用户根据该准则执行实现数据同步规范化标准化
作者其他创作
大纲/内容
管道任务每天快照实现落当天分区
数据处理模块
管道增量同步
初始化数据落初始化落当天分区
全量数据同步
增量数据同步
单表
手动运行一次
小表
分库分表
全量表初始化数据(T-2)和增量表数据(T-1)取最新记录落全量表(T-1)分区
增量数据落调度日期对应分区
分库分表数据合并落调度日分区
数据初始化
管道首次初始化同步
大表(截止统计期数据量大于10w)小表(截止统计期数据量小于10w)
大表
管道任务每天快照实现
ods层数据同步原则
调度任务周期性调度
分库分表数据合并到初始化分区当天
各分库数据量合并落入落地表当日分区
0 条评论
下一页
