数据平台架构设计
2018-05-29 16:49:43 0 举报大数据平台架构
作者其他创作
大纲/内容
数据ETL层
Hive
HBase
作业调度
ODS主题模型层(近贴源)
互联网采集(Crawler)
......
数据应用
Redis
身份鉴别
H5/App
数据服务层
服务端日志
调度工具
元数据管理
数据共享层
反欺诈
Impala+Kudu
权限管理
数据质量
运维管理
配置中心
实时采集(Flume/Kafka...)
ZooKeeper
Kafka
Apache Kylin
数据接入服务
MR
DataX
标签查询
Drools
标签服务
向应用提供统一的数据服务接口，屏蔽大数据底层组件
HDFS
离线采集(ETL)
数据仓库
其它应用
统计报表
数据安全
多维分析
共用整合层(维度建模数据、基础指标数据)
数据清洗整合
实时计算
开发工具
数据地图服务
访问控制
风控系统
资源调度平台
数据接口服务
数据源
指标系统
维度建模
Spark Sql
数据存储与分析层
知识库
运维自动化
开发管理
数据交换
Mysql
DW主题模型层(三范式)
第三方数据
逻辑分离、自有加工
社交数据
Ambari管理
告警监控
数据集市层
DataHub
Spark Streaming
业务DB
SparkMLlib
数据ETL与计算清洗/加载/转换
第三方数据采集(Http/Ftp/Nginx Lua)
互联网数据
管理平台
Spark GraphX
数据管理
离线计算&分析
0 条评论
下一页
