首页  流程图  详情

数据分发实际业务场景实现

2021-01-12 14:13:32   0  举报





数据分发实际业务场景

作者其他创作

大纲/内容

根据同步过来的数据建立业务视图，与业务表对应这部分操作称之为数据清洗Transfer

建立视图：业务A视图

场景3，针对场景2扩展，对方系统很庞大，并不想改代码。那么就需要写job把视图的内容针对更新时间做增量同步至他们的业务表对应的字段，这种方式实时性差些（eg：比如他们某条业务数据的状态由我们决定，那么就可以把视图对应的状态同步至业务表）

如果想要一步到位有几个难以解决的问题点：对多问题：比如我们头行结构的表到对方系统打平问题，我们系统保存顺序：头--->行到对方系统保存头的时候，由于没有行id导致无法插入，数据丢失。如果我们代码控制为行--->头，则可以更新成功。但是是先保存行的信息再保存头的信息，这样头的信息字段就不能建立索引并且一定要允许为空，这样数据就毫无健壮性

源数据源

读取对应的视图:loading

场景1，我们同步过去的数据单纯只是做展示，那么用我们的视图即可，如果数据要改动，只能调用api把源数据库内容改了然后再同步过来视图查出

同结构同步纯净的extract操作

目标数据源

建立视图：业务D视图

建立视图：业务C视图

建立视图：业务B视图

场景2，我们同步过去的数据只是对方业务系统的部分引用数据，那么只要他们的业务表join我们的视图展示即可

总结：把数据同步过程简单化，只把核心数据通过底层分发至对应要用的目标库。把不可控，复杂化的数据清洗在目标库中做，比如建立业务视图等。