大数据平台架构图
2021-06-04 11:06:20 4 举报
大数据平台架构，基于Flink进行数据处理
作者其他创作
大纲/内容
数据大屏
监控预警
HDFS
汇总数据层，轻度聚合数据，如订单按日聚合的数据，用户按日聚合的使用行为数据
应用数据层，具体业务需要的应用数据
集群监控
DWD
Kudu
业绩汇总
教材
restful/RPC接口
Flink
决策支撑
使用汇总
Mysql
数据采集
数据报表
ADS
......
ODS
明细数据层，经过数据清洗和数据工程之后的数据，例如订单的明细数据
kafka
进程监控
存储
ParserServ
错题记录
数据仓库
用户
智能推荐
k8s
学校
DB实时数据
学校汇总
DWS
DIM
使用记录DWD
用户汇总
数据源
神策
数据处理
订单
GMV汇总
订单DWD
Redis
告警通知
操作数据层，原始数据，包括用户使用数据，订单数据等
otter
用户天汇总
答题记录
Elasticsearch
省市区
Impala
智能检索
用户画像
数据应用
观看记录
0 条评论
回复 删除
下一页
