大数据架构图
2024-02-23 17:39:42 1 举报
大数据架构图是一种用于描述大数据系统各组件之间关系的图形表示。它通常包括数据采集、数据存储、数据处理和数据分析四个主要部分。数据采集部分负责从各种来源收集数据,如传感器、日志文件等。数据存储部分负责将采集到的数据存储在分布式文件系统或数据库中,以便于后续处理和分析。数据处理部分负责对存储在系统中的数据进行清洗、转换和整合,以便为数据分析提供所需的格式和结构。最后,数据分析部分利用机器学习和统计方法对处理后的数据进行深入挖掘,以发现有价值的信息和洞察。
作者其他创作
大纲/内容
统计报表
日常经营分析
大数据应用(私有云)
数据计算
客运系统数据
HDFS
.......
Sqoop
大数据计算
M/R
ETL
Flume
Solr
Storm
航班信息
气象信息
Kafka
Spark
数据应用
业务状况分析
中心数据库
月度报表
火车信息
内部数据
集团业务状况分析
其他信息
数据存储
大数据平台
Impala
集团业务分析
Hive
Pig
数据采集
HBASE
对标分析
公交系统数据
业务数据
其他系统数据
数据交换
决策支撑
大数据
采集与交换
......
业务运营统计
大屏展示
数据源
外部数据
Spider
0 条评论
下一页