数据分层、原子层ETL处理流程
2020-04-22 10:16:00 0 举报
数据分层、原子层ETL处理流程
作者其他创作
大纲/内容
按采集时间、箱号分批
不存在
新增周期
贴源层(历史库)
关键数据:业务提单或者箱状态变化时间
只保留一年前的数据
每周同步一次
ETL
导入原子层
贴源层(缓冲库)
获取采集数据
原子层
每天同步一次
增量分析
模型层
合并数据
增量数据
不固定
集市层
初始化
数据有效期:单周期
数据源条数固定
固定
数据源
比对关键数据
数据有效期:一年
原子层ETL处理流程
每半年同步一次
初始采集
每天增量分析一次
缓冲层
更新数据
业务提单号已存在
数据分层
收藏
收藏
0 条评论
下一页