数仓架构
2019-05-28 18:32:37 0 举报
登录查看完整内容
数仓
作者其他创作
大纲/内容
根据实际情况可合并为一层
具体业务层
HBase/Hive映射事实数据
Hive/HDFS
SparkStreaming/Flink流处理ETL
DM（数据集市层）
ElasticSearch
Redis
DWS(数据仓库服务层)宽表
计算引擎
External（外部数据源）
Hive
实时计算:SparkStreaming/Storm/Flink
Kylin
MapReduce
实时指标汇总层(SparkSQL/FlinkSQL)
离线数仓
关联历史数据，离线+缓存方式关联明细表
MySQL
ODS（原始数据层）
HBase
离线计算：MR/Hive等
DWD（数据仓库具体细节层）
实时数仓
应用层
结果存储
HBase/Hive映射明细数据
消息队列包括各种数据源，比如埋点，binlog等
ES
汇总层
消息队列
0 条评论
回复 删除
下一页
