数据交换设计
2022-04-12 18:27:37 32 举报数据交换设计是一种将不同系统、平台或应用程序之间进行数据传输和共享的架构。它涉及到数据的格式转换、接口定义、安全认证等方面，以确保数据在传输过程中的准确性、完整性和安全性。数据交换设计的目标是实现不同系统之间的无缝集成，提高数据的可用性和价值。为了实现这一目标，设计师需要考虑各种因素，如数据量、传输速度、网络环境等，并采用合适的技术和工具来优化数据交换过程。总之，数据交换设计是一项关键的任务，它对于促进信息共享和协同工作具有重要意义。
作者其他创作
大纲/内容
APISIX
定时刷新
insert/update/delete数据
数据交换配置中心
......
外部API/数据源
数据交换中心
内部服务B
录入
创建/注销
SDK
平台服务：共享数据
外部 -> 内部（主动调用，增量/全量）
推送变化的数据
API模块
数据库
数据转换模块
主动查询数据
一、整体计划3.30、3.31完成关键技术预研4.1、4.2、4.6、4.7、4.8完成主流程开发，可根据人工生成的数据交换配置实现数据交换的功能（API/主数据）4.11～4.15完成通过界面进行数据交换配置的功能4.20前完成430节点所需的所有情况的数据交换配置录入及数据流转测试二、技术预研任务项数据库（MySQL、Oracle、SQL Server） 1、数据库动态连接 2、数据库信息读取（库、表、字段（字段名、类型、长度），用于界面配置转换任务） 3、根据配置生成select语句 4、数据解析 5、根据配置生成insert语句API 1、API请求 2、数据解析 3、根据配置生成insert语句 4、全量对比数据库相关技术可借鉴物联网平台已有的设计，需调研抽取以上的功能实现方法，编写各功能点的demo，确保整个数据读取、转换过程可分别跑通
外部服务
任务注册中心
内部服务A
内部服务
保存数据
外部 <- 内部（被动接收，增量）
MQ
待详细设计功能1、外部->内部，API模块-主动调用定时拉取待执行的配置、根据配置调用对应的API、根据配置进行数据解析转换、调用主数据SDK，（以及同步类型（增删改）的处理方式、失败后的重试机制）2、外部->内部，API模块-被动接收接口被调用后解析参数（需增加一个接口标识码）、根据标识码获取配置、根据配置进行数据解析转换、调用主数据SDK，（以及同步类型（增删改）的处理方式）3、内部->外部，API模块-被动接收接口被调用后解析参数（需增加一个接口标识码）、根据标识码获取配置、根据配置进行数据解析转换、根据配置调用对应的API，（以及同步类型（增删改）的处理方式）失败补偿机制，数据量太大（）
调用数据传输接口
数据库模块
服务A
数据交换任务
外部 -> 内部（被动接收，增量）
服务B
数据传输接口
外部->内部（主动调用） 关键点1、任务配置 1）任务分配与执行机制 2）失败重试机制2、API调用配置【API模块】 1）调用参数设置url、headers、params（固定参数、时间、动态参数） 2）同步类型配置（增量/全量） 3）多层级数据结构拆分（ERP、立库WMS存在数组，最多考虑一层嵌套，拆分后分两次调用【数据转换模块】）3、数据库查询配置【数据库模块】 1）select参数设置（数据源、库、表、查询条件字段、结果字段） 2）同步类型配置（增量/全量） 3）是否有指定删除字段（将转换为操作标识N/D）4、数据转换配置【数据转换模块】（API、数据库共用，仅接收单表数据） 1）根据映射配置对数据进行转换，调用主数据SDK进行数据的操作（每条数据都有操作标识字段，N-新增/更新，D-删除） 2）根据同步类型配置（增量/全量），调用不同的SDK（SDK内部处理）
数据
共享数据中心
API传输
内部->外部 关键点1、数据传输接口2、API调用配置【API模块】 1）调用参数设置url、headers、params（固定参数、时间、动态参数） 2）同步类型配置（增量/全量）3、数据库DML配置【数据库模块】 1）参数设置（数据源、库、表、查询条件字段、结果字段） 2）同步类型配置（增量/全量）
调用接口
数据库传输
主动调用获取数据
0 条评论
下一页
