大数据平台层级架构图
2023-03-20 13:58:29 3 举报
大数据平台层级架构图,主流数据平台架构
作者其他创作
大纲/内容
数据交换
搜索服务
文档
Spark Streaming
互联网采集（Python）
元数据管理
主数据查询
资源监控
监控
Spark MLLib
离线采集（ETL/Sqoop/DataX）
资源调度 YARN
配置管理
非结构化数据
ODS
数据服务层
Hive
实时计算
DMR
离线计算&分析
云脑
DataX
MR
日志
管理平台
Mysql
数据共享
数据源
ES
Oracle
Sqoop
JSON
大大数据平台
数据管理DataBlau
Kafka
实时采集(Flune/Kafka/Canal)
Spark SQL
流数据
数据接口API
...
HTML
HDFS
查询
应用
Kafks
Sql Server
Hbase
传感器
DIM
半结构化数据
DWD
其他
SDK
向应用统一提供服务接口，屏蔽大数据底层组件
DWS
统计报表
数据仓库
TMP
结构化数据
......
Redis
数据应用
数据标准
故障告警
三方系统采集（Http/Ftp）
日志管理
DMK
运维管理 CDH
数据质量管理
采集与交换
Zookeeper
视频
作业调度Hue/xxl-job
云搜
Xml
图片
0 条评论
回复 删除
下一页
