数据库表单历史数据备份及数据变更情况记录流程
2022-08-02 09:58:02 49 举报MySQL数据变更情况记录
作者其他创作
大纲/内容
MySQL数据库
数据库表单历史数据备份及数据变更情况记录数据流程图
sqoop脚本1：定时同步mysql表单到hive 分区表
sqoop脚本3：同步hive结果表至mysql变更记录表
每天凌晨定时同步
第一次记录为全量更新，后续为增量同步mysql变更记录表
hql脚本:逻辑判定字段变更情况，结果落地hive
hive
第二天晚上10点定时同步当前表单
备份表单和第二天的表单做关联比较
数据库表单历史数据备份及数据变更情况记录技术实现流程图
sqoop脚本2：定时同步mysql当天最新数据到hive
hive
结果增量同步
收藏
0 条评论
下一页
