数仓处理流程图
2021-11-29 16:05:01 0 举报数仓处理流程图
作者其他创作
大纲/内容
DStream
消息1Object[分区号，偏移量，消息JavaBean，消息Topic-group]
消息3（最新消息）
Mysql数据
人员编码A
...
接种剂次/人数指标
3.过滤
Doris数据
消息3...
4.转化
保存
List<消息1，消息3>
V
List<消息4>
5.转化KV
清洗后:原始表数据集
主键：人员编码A
消息1Object[分区号，偏移量，消息JavaBean，消息Topic-group]
消息2...
List<V>
K
流水异常内存库
Doris流水表
清洗后:流水表数据集
人员编码B
消息2（去除）...
最新
查询
消息1{\"database\": \"test\
2.调用
6.分组
存
7.转化
9.循环
消息4...
维度表指标
档案数指标
数据清洗
1.转化
同步异常内存库
8.转化
指标抽象工厂
Doris原始表
0 条评论
下一页
为你推荐
查看更多
