数据分层、原子层ETL处理流程
2020-04-22 10:16:00 0 举报
![处理[命令+数据]](https://www.processon.com/chart_image/template/thumb/5505aa3be4b03108ad55e45b.png?tid=55059bd9e4b07f960cbd4b9d)
数据分层、原子层ETL处理流程
作者其他创作
大纲/内容
按采集时间、箱号分批
不存在
新增周期
贴源层（历史库）
关键数据：业务提单或者箱状态变化时间
只保留一年前的数据
每周同步一次
ETL
导入原子层
贴源层（缓冲库）
获取采集数据
原子层
每天同步一次
增量分析
模型层
合并数据
增量数据
不固定
集市层
初始化
数据有效期：单周期
数据源条数固定
固定
数据源
比对关键数据
数据有效期：一年
原子层ETL处理流程
每半年同步一次
初始采集
每天增量分析一次
缓冲层
更新数据
业务提单号已存在
数据分层
收藏
收藏
0 条评论
回复 删除
下一页
