数据仓库分层
2020-07-13 15:49:56 8 举报数据仓库数据湖分层
作者其他创作
大纲/内容
说明：这些数据从数据结构、数据之间的逻辑关系都与原始数据层基本保持一致。在源数据装入这一层时，要基于HBase表数据使用kettle进行脏数据处理、无关业务数据剔除、字典数据转换。对应数据保存到HBase中。1）数据结构数据结构与原始数据层基本保持一致2）存储周期数据源加载到ODS层数据保留30天3）表命名规范[层次]_[表内容]_[分表规则]
DWM 分析主题建模层
说明：1、使用datax抽取关系型数据库数据到HBase存储。2、消费kafka数据，将结构化数据写入HBase。3、非结构化数据存储保存到ChubaoFS中。1）数据结构数据结构与原始数据完成保持一致2）存储周期：数据全量保存 3）表命名规范[层次]_[数据源名]_[原始表名]
说明：基于数据目录约束内容，依托数据操作层数据，进行数据目录明细提取。提取的数据保存到HBase中，需要进行全文检索的数据保持到ES中。1）数据结构数据结构与原始数据层基本保持一致，数据目录采用宽表进行保存（方便后续直接进行即席数据查询）。2）存储周期保留历史至今所有的数据3）表命名规范dwd. dwd_业务描述+_时间粒度
DWD 数据明细层
DM 数据集市
DWS 数据汇总层
说明：使用kylin进行离线数据分析或使用KylinSteamTable消费kafka数据进行实时计算。离线数据保存到hbase，实时数据保存到hbase或redis中
数据湖
数据可视化层
说明：基于具体分析主题需求，进行维度建模，建模方式使用雪花模式或星座模式。工具：kettle。数据加载到HDFS中，以外链形式导入到Hive中。1）数据结构星型表，事实表+维表2）存储周期保留历史至今所有的数据3）表命名规则dwm.dim_<dimension-name>dwm.fact_<fact-name>
数据湖源数据层
说明：基于资源目录服务与主题应用提供，jdbc访问或api市场服务接入功能。
ODS 数据操作层
说明：大屏数据展示、业务系统主题应用服务集成支撑。
0 条评论
下一页
