离线数仓
2021-07-20 20:27:58 2 举报项目流程
作者其他创作
大纲/内容
ADS层
数据仓库
ODS层
维度建模选择星型模型
埋点数据
监控kafka
Flume
交易数据
数据过滤层
DWD层
DWS层
服务层
消峰
存储层
Azkaban
HDFS
Hive
数据服务层在DWD层为基础进行轻度汇总
使用Ganglia监控Flume
原始数据 层一般存放原始数据不做过多的操作
Kafka
Flume拦截器
建模工具选择powerdesigner
Flume拉取数据
数据来源层
Kafka-Eagle
日志数据
完成调度任务集成钉钉插件完成数据质量校验
计算层
PowerBI
Mysql
保障服务层
0 条评论
下一页
