大数据平台及实时数仓架构
2021-05-14 19:20:46 28 举报大数据平台及实时数仓架构
作者其他创作
大纲/内容
...
官网
数据源
Hive
公众号
数据存储
用户画像是由用户标签组成用户标签：存储在hbase中？ES中？
CMP
HDFS：数据存储、安全相关
操作数据集ODS
用户画像服务
任务调度Azkaban
实时计算
维表DIM
大数据应用
小程序
Kylin
离线计算
明细层DWD
实时OLAP
MySQL
Flume
汇总层DWS
埋点数据
Flink
字典配置
Presto
数据采集与交换
kafka
MA
ES
DaaS服务
数据计算
大数据平台
主题库ADS
Spark
flume/flink
presto
flink
Kettle
APP
KV型存储如Hbase
OLAP：ClickHouse
资源调度Yarn
源数据
应用层
HDFS分布式存储(Hive)
上层应用
实时数仓架构
运营中心
ClickHouse
Sqoop
大数据平台架构
主题库人员主题库：T+1，存储到hive或clickhouse事件主题库：实时从dwd提取通过kafka落盘到clickhouse中用户分群和标签结果表：需要从主题库和dw中提取数据计算，最后可通过presto将计算结果写回clickhouse中，或者计算出来的数据直接更新到redis中
标签服务
业务数据
MR
备选
DataX
收藏
收藏
0 条评论
下一页
