内置参数字典同步流程
2023-01-10 18:59:13 15 举报内置参数字典同步流程
作者其他创作
大纲/内容
1，获取状态为未同步的数据，做全量同步。2，如果是新增或者删除字段，则根据参数处理。
根据字典名称到MongoDB的字典管理表获取需要同步的字段。
调用om接口同步字典表结构到om
如果都同步成功，状态设置为0表示已同步，失败则状态设置为1.并记录失败的原因，2表是未同步。并在BuiltInDictSyncInfo表中维护一个errorcode，然后可以可以根据errorcode重跑，这样重跑就只会跑同步失败的部分。
根据这些字段分别生成hive和pg的DDL建表语句。并通过jdbc执行
全量同步
新增或删除
xxl-job
准备工作
把需要同步的内置表的表维护到BuiltInDictSyncInfo表，该表建在mysql，该表主要包含需要同步的字典表的表名、同步的状态，以及同步失败原因记录。
根据参数分别生成hive和pg的ddl新增或者删除语句，并通过jdbc执行
参数包括表名，新增或者删除的类型，字段名，字段类型。
表创建成功之后，根据字典表和字段信息去mongodb对应的字典表查询数据，然后分别生成hive和pg对应的insert语句，并执行
启动任务
如果是新增字段，需要分表生成hive和pg对应的insert语句，并执行
BuiltInDictSyncTask
收藏
0 条评论
下一页
