数据建模方法
2021-08-05 11:46:14 1 举报
AI智能生成
数据建模方法,3层数据分层建模
作者其他创作
大纲/内容
ODS层(Operational Data Store,数据运营层)
数据准备,将源系统数据采集、导入到数据仓库中进行数据准备
该层的数据表结构通常与源系统的数据完全一致
是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层
DW层(Data Warehouse,数据仓库层)
DWD层(Data Warehouse Detail,数据明细层)
在数据明细层,数据要完成清洗、转换、加载的步骤(ETL)
形成覆盖全系统、完整、干净,具有一致性、高质量可信的数据层
DWM层(Data WareHouse Middle,数据中间层)
轻度汇总层数据仓库中DWD层和DM层之间的一个过渡层次
是对DWD层的生产数据进行轻度综合和汇总统计
汇总统计:可以把复杂的清洗,处理包含,如根据PV日志生成的会话数据
DWS层(Data WareHouse Servce,数据服务层)
数据服务层,也叫“轻度汇总层”,基于DWD上的基础数据
整合汇总成分析某一主题域的服务数据,一般为宽表
DM层(Data Market,数据集市层或宽表)
面向特定主题,针对某一业务领域建立模型
在DM层完成报表和指标的统计,DM层已经不包括明细数据
是粗粒度的数据汇总
0 条评论
下一页