数据分析平台架构图
2018-08-14 13:19:25 1 举报大数据分析平台流程
作者其他创作
大纲/内容
日志收集备服务器
访问
flume收集
前台js收集用户数据
hive结果
日志文件
nginx日志文件
avro source
后台springMVC+mybatis
file channel
数据处理层
flume企业部署结构图
Nginx入口服务器
PC端
Nginx服务器
日志数据
avro sink
移动端
mysql等etl补全数据存储服务器
数据分流
后台sdk
其它方式的mr程序
读取存储在mysql里的数据
对应kpi的json格式的结果数据
数据收集层
日志收集主服务器
后台
HBase
sinkgroupfailover
MR
其它业务数据
读取hive分析结果
mysql
将访问的行为数据
数据展示层
exec source
nginx企业结构部署图
读取etl之后的数据
nginx服务器2
脚本/手动上传日志文件
HDFS系统
nginx服务器3
Hive
访问入口
kafkasink
处理结果数据直接存储
前端bootstrap+html+css+js+highcharts
memchannel
nginx服务器1
ETL操作
前台sdk收集用户数据
热备
hdfssink
HDFSsink写入
用户访问
nginx服务器4
sqoop
存储到mysql
监控
调用后台
0 条评论
下一页
