安我大数据架构
2018-07-04 16:23:23 0 举报
大数据平台架构
作者其他创作
大纲/内容
埋点数据(用户行为)
NodeManager
实时
统一调度
Cnodes
flink
资源管理层
yarn
kylin
DataNode
storm
文本数据包
* 2
作业调度层
spark
推荐系统
ElasticSearch
基因相关数据
Zeppelin
准实时
电商侧业务系统
* 7
数据存储层(数据仓库所在地)
sparksteaming
* 5
其他三方数据以及爬虫数据
明码中台等解密数据工程
namenode
dmp平台
计算节点层
基于redash即席查询平台的临需统计
presto
sqoop or dataX
Universal interface
dbp数据分析平台&tableau数据分析平台
由Airflow控制
ResourceManager
Hive(元数据管理)
统一控制资源
airflow
flume
Kafka集群
数据采集层
应用层(天罡)
HDFS
0 条评论
回复 删除
下一页
