大数据数仓构建流程架构图
2024-11-05 16:36:13 0 举报
大数据平台构建数据仓库流程架构图
作者其他创作
大纲/内容
ETL调度/任务监控
Yarn
DIM（面向业务指标，轻度汇总纬度模型）
Spark
数据仓库（离线处理）
Hive
ADS（面向应用，按需建模）
系统日志
Hadoop
手工录入
ODS（贴源，与源系统一致）
xxx系统场景应用
元数据管理（血缘分析，影响分析，数据字典等）
DWS（按照业务划分的宽表，为ADS层快速构建）
自定义脚本
自定义组件
基础应用组件（数据库、中间件等）
xxx系统首页看板
数据应用
xxx系统访问量统计
DWD（存储数仓最底层明细数据）
Sqoop（批量）
数据集成
Impala
数据质量管控
xxx系统驾驶舱应用xx统计
DataX（批量）
数据源
DWM（对明细数据的维度汇总数据）
数据处理引擎
数据仓库（HDFS）存储
Kafka（实时）
文档文件
业务系统
收藏
0 条评论
回复 删除
下一页
