大数据分析基于Flink实时数仓架构
2021-11-03 10:07:44 14 举报大数据分析基于Flink实时数仓架构，结合OLAP库具备即席查询报表能力。
作者其他创作
大纲/内容
MySql业务数据库
Flink用户/事物画像
Flink热门列表计算Top N
HBase维表数据星型模型
Flink统计计算
DWS层
Kafka汇总数据
HBase汇总数据
DWD层
RestfulApi
实时数仓 OLAP备份
Flink用户行为事件整理存储
ODS层
App
ClickHouse可以持续OLAP即席查询报表
App/Web/服务层 埋点事件
ElasticSearch维表二级索引用于更新关系数据
Flink同步搜索数据
KafkaEvent Sourcing事件数据
Flink同步OLAP数仓
Flink数据整理存储根据血缘更新关系数据
ADS层
Web
ElasticSearch可搜索实体列表统计报表可检索审计日志
Spring Cloud Alibaba业务服务集合前端日志服务
ClickHouse各用户行为事件表可检查、可回溯
Nginx
DIM层
Flink历史数据变更数据CDC
Kafka事实数据
Flink审计日志记录
Redis聚合统计缓存热门列表
收藏
0 条评论
下一页
