社保卡大数据分析系统
2018-08-10 18:03:31 4 举报大数据平台整体架构设计图
作者其他创作
大纲/内容
flume
系统运维总结
数据开放平台
Hive集群(数据仓库、结构化数据存储)
实时流数据
ETL工具(数据抽取、转换与质量保证)
应用层
Spark Streaming(实时流处理)
平台管理层
市民画像分析
社保卡数据分析系统
数据加工
HBase集群(日志文件存储)
HDFS集群(分布式文件系统)
社保局内部数据
Ambari(数据平台管理)
Zookeeper(平台配置与调度)
Spark SQL(中小表处理)
数据存储层
数据采集层
数据分析层
应用开发与可视化
Hive SQL（大表处理）
部门统计报表
Spark集群
Kafka集群（数据通道）
0 条评论
下一页
