数仓-主题明细宽表制作流程（基础方案）
2022-06-30 15:37:22 3 举报上海
作者其他创作
大纲/内容
小颗粒明细宽表view新表
主题MATERIALIZED VIEW表
汇总小颗粒数据
主题view表调用原则：大颗粒表调用小颗粒表
主题明细宽表view新表
原则：准确、安全、简洁实用
历史数据导入
更新数据
主题明细宽表view表
ADS层
清洗数据
原则：全量数据，类别标记
基础talbe表
去重更新数据
创建物化视图
创建普通视图
数据支持
维护：通过表引擎ReplacingMergeTree +optimize TABLE mv FINAL，定期来实现数据去重；一个季度去重一次以提高效率。
原则1：副表颗粒度不能比主表的颗粒度小
原则2：根据实用性选择table表的字段进入物化视图表
收藏
收藏
0 条评论
下一页
