大数据架构图
2021-01-18 13:09:34 168 举报
大数据架构图是一种用于描述大数据处理流程和系统结构的图形化表示方法。它通常包括数据采集、数据存储、数据处理和数据分析四个主要部分。数据采集部分负责从各种来源收集数据,如传感器、日志文件等。数据存储部分负责将采集到的数据存储在适当的位置,如关系型数据库、非关系型数据库或分布式文件系统。数据处理部分负责对存储的数据进行清洗、转换和整合,以便进行分析。最后,数据分析部分负责对处理后的数据进行挖掘和分析,以提取有价值的信息。
作者其他创作
大纲/内容
Hive
外部数据
离线数据接入
大数据应用
MR
大数据计算
Hbase
内部数据
Kafka集群
实时流数据接入spark
大屏展示
负载均衡
flume集群
Airflow任务调度
中心数据库
Sparkstreaming
Thrift Server
大数据
采集数据
任务调度&&任务提交
api
统计报表
业务分析
HDFS
数据源
数据转换
大数据平台
SparkSql
0 条评论
下一页