项目架构
2018-01-03 11:28:21 66 举报
登录查看完整内容
大数据平台架构图
作者其他创作
大纲/内容
Flume监控日志文件
Flume1
FLUME
Bootstrap+html+css+js+highcharts(前端)
Sqoop
日志文件
读取etl之后的数据
nginx服务器
Mapreduce
Flume3
HDFS sink
AVRO sink
ETL操作(mysql等etl补全)
日志收集服务器(备用)
访问行为写入到日志
Flume4
两个flume配置完全一样
收集用户数据
读取hive分析结果
PC端(JS SDK)
Hive
读取存储在mysql中的数据
IOS端(IOS SDK)
Android端(Android SDK)
Hive结果存储到HDFS中
MySQL(最终结果存储数据库)
Flume2
日志收集服务器
存储到mysql中
nginx入口服务器
对应json格式的数据
HDFS
HBASE
Mapreduce运行结果直接进入MySQL
Flask+MySQL (后台)
用户访问
0 条评论
回复 删除
下一页
