大数据计算平台架构图
2024-03-22 17:01:22 3 举报
大数据计算平台架构图展示了一个高效、可扩展的数据处理系统。它由底层的存储层、中间的处理层和顶层的应用层组成。存储层包括各类数据源,如关系型数据库、NoSQL数据库和文件系统,它们提供了丰富的数据存储和处理能力。处理层包括各种大数据处理引擎,如Hadoop、Spark等,它们负责对数据进行实时或批量处理。应用层则是各种数据处理应用,如报表、分析和机器学习等,它们利用底层的数据进行处理和展示。此外,该架构还配备了安全、监控和资源管理等模块,以确保平台的稳定运行和优化。
作者其他创作
大纲/内容
半结构化数据
GIT/Jenkins持续集成
JSON
Sqoop/Kettle
K8s&Rancher容器治理
非结构化数据
传感器
FLume数据采集与解析
Druid
Oracle
Master
平台支撑
MPP
图片
Spark Streaming
hive
ElasticSearch
存储层
平台管理
信息读取
Kafka
...
Agent
配置管理
日志管理
监控
属性提取
Stocket消息
JDBC+Hive+Atlas
切词
文件消息
Flink
ZooKeeper节点管理
ETL+ELT
调度管理
MQ+Redis网页采集与解析
mysql
DPI+DFI信令采集与解析
Hbase
NoSql
Spark
流式数据计算
Collector
文档
Redis
结构化数据
图片信息
运维管理
视频
SQL Server
OSS
HadoopMapReduce
资源监控
数据源
批量计算
HDFS
Docker 容器化
EKL
SparkSQL
爬取
Zookeeper
数据计算
图片识别
数据整合
Yarn
RDBMS
Drooks
SparkMLlib
Memory
流数据
作业调度XXl-job
日志
ESPer
故障告警
XML
VoltDB
资源调度YARN
HTML
文本分类
收藏
收藏
0 条评论
下一页