大数据平台-技术架构图-V1.0
2019-12-02 11:21:13 2 举报
大数据平台架构图
作者其他创作
大纲/内容
离线采集（ETL/Sqoop/DataX）
云搜查询
互联网采集（Python）
图片
数据交换
数据标准
MySql
MySQL
TMP
数据共享
Hive
数据接口API
Spark Streaming
采集与交换
日志管理
流数据
DWD
SDK
...
日志
数据源
视频
非结构化数据
HTML
JSON
Spark SQL
资源监控
向应用统一提供服务接口，屏蔽大数据底层组件
元数据管理
数据应用
结构化数据
实时采集 (Flume/Kafka/Canal)
MR
统计报表
DIM
Kafka
Sqoop
文档
Oracle
主数据查询
Spark MLlib
ODS
其他服务
Hbase
数据仓库
三方系统采集（Http/Ftp）
ES
监控
HDFS
大数据平台
数据服务层
数据管理Datablau
离线计算&分析
Zookeeper
XML
实时计算
Redis
DWS
云脑
SQL Server
搜索服务
其他应用
故障告警
半结构化数据
DMK
....
管理平台
传感器
DataX
DMR
运维管理 CDH
资源调度 YARN
配置管理
数据质量管理
音频
作业调度Hue/xxl-job
收藏
收藏
0 条评论
回复 删除
下一页
