数据分析平台架构图
2017-01-22 19:07:31 0 举报
数据分析平台架构图主要包括数据采集层、数据存储层、数据处理层和数据展示层四个部分。数据采集层负责从各种数据源获取数据,如数据库、日志文件等;数据存储层负责将采集到的数据进行存储,如关系型数据库、非关系型数据库等;数据处理层负责对存储在数据存储层中的数据进行处理和分析,如数据清洗、数据挖掘等;数据展示层负责将处理后的数据以图表等形式展示给用户,如报表、仪表盘等。整个平台采用分布式架构设计,具有良好的可扩展性和高并发处理能力。
作者其他创作
大纲/内容
SpringMVC
分析结果1
thrift提供其他项目访问接口
MyBatis
结果保存到hdfs
前台sdk收收集用户数据
其他业务日志数据
数据分析平台架构图
访问
数据分析Job(Hive)
HBase
web展示
后台sdk收集
Nginx服务器
Flume传输数据
清洗完的数据
后台
用户访问
分析结果2
其他方式,比如MR程序
其他辅助数据
hive分析结果
移动端
日志收集层
MySQL数据库
Hadoop集群
Hive
数据分析Job(MR)
前台js收集用户数据
Redis
ETL程序(MR)
PC端
其他项目调用
Sqoop到处hive分析结果
数据展示层
数据分析层
调用后台
0 条评论
下一页