大数据系统架构与数据流程
2021-04-21 13:46:13 10 举报大数据架构
作者其他创作
大纲/内容
大数据系统架构
画像推荐
LOG
log
Flink
db
统一资源调度框架YARN
Redis、Hbase、HDFS
AzkabanDolphinScheduler任务调度
zookeeper协调层
HBase
Sqoop
appweb小程序。。。
集群监控
监控预警
离线数仓
数据源层
Kylin
ODSDWDDWSDWTADS
数据采集层
mysql
计算层
springBoot
数据存储层
MySQL
实时计算Flink
缓冲存储Kafka
BI报表
状态、维度表
离线计算MapReduce
Flume
应用层
Presto
kafka
可视化
ODSDWDDWM
分布式文件系统HDFS
实时计算
分布式虚拟存储Alluxio
Redis、Hbase、Mysql
ES、ClickHouse
数据收集
DB
离线即席查询Presto
内存计算框架Tez
内存计算框架Spark
HDFSHive
多维分析Kylin
cannel/maxWell/Debezium
ADS
大数据数据流程图
DWS
实时即席查询ClickHouse
SLB
实时数仓
Cancal/MaxWell
数仓层
Hive
0 条评论
下一页
