数据中台-数据同步
2023-07-24 09:50:27 49 举报数据中台-数据同步是一种技术解决方案，用于在多个系统或平台之间实时、准确地传输和更新数据。通过数据同步，企业可以实现数据的集中管理、统一标准和高效利用，从而提高业务运营效率和决策质量。数据同步技术通常包括数据采集、数据传输、数据转换和数据加载等环节，支持多种数据源和目标系统，以满足不同业务场景的需求。
作者其他创作
大纲/内容
根据表的列名映射转换准备目标端表的字段信息
生成建表语句并创建目标表
否
调用datax服务器
结束
根据任务id查询详情
配置源数据库信息
数据源管理
规则引擎管理
ETL节点管理
根据任务配置的规则过滤出要同步的表，并生成异步任务
根据配置的映射规则转换字段及表名
配置目标数据库信息
开始执行主体业务逻辑
保存执行记录
元数据管理
数据接入
是
是否为datax
保存到数据库
配置规则引擎
MigrationHandler.get()
封装jobJson
读取源表的表及字段元数据
是
配置调度引擎
配置ETL节点
配置映射转换逻辑
删除目标表
MigrationService.run()
是否同步已存在的表
根据源端数据源查询所有表
实时更新任务同步日志
通过quarzt发布或执行同步任务
创建目标端数据源连接
是否满足调度
开始
创建源端数据源连接
0 条评论
下一页
