实时分析平台架构图

Restful API

落盘配备\\离线数仓

APP

ES

ADS

Flume

1.用户通过操作App/Web端请求到达Nginx集群做负载均衡。2.Restful Api请求访问Gateway网关接口通过Nacos访问微服务（sentinel做服务容错，security做身份认证和授权）。3.业务交互产生的业务数据经过我们的云服务器集群到我们的Mysql数据库。4.通过我们的Flink CDC拉取Mysql集群的业务数据到Kafka做削峰。5.前端埋点的行为数据在日志云服务器集群可落盘做离线数仓，或通过flume拉取到Kafka做削峰。6.Kafka在ODS层的数据进过简单的ETL(清洗，过滤，脱敏，解析...)在导入我们的DWD层。7.Hbase做我们的DIM层存储维度表（来源：1.连接ODS层从Kafka中读取。2.通过Flink CDC从MySQL中拉取）。8.Flink实时消费Kafka中的数据连接维度表做热门TopN、统计计算、用户/事物画像。9.分析好的数据可以导入CK/ES(DWS层)做在线实时分析引擎连接web数据接口做数据可视化。10.计算好的数据可以导入MySQL/Redis(ADS层)通过BI工具做BI报表展示。11.Yarn做资源管理和任务调度，zookeeper做集群管理，Prometheus做集群监控

日志云服务器集群

Web

Flink 1.热门列表计算Top N2.统计计算3.用户/事物画像

MySQL

quickBI

power BI

Clickhource

Cluster集群管理集群监控

业务云服务器集群

实时数据大屏

ETL

Yarn

FlinkCDCconnect ods

DWD

ODS

数据可视化

Kafka集群

DIM维度表

FlinkCDC

WEB/APP业务交互

WEB/APP前端埋点

Nginx集群

BI 工具

Redis

DWS -OLAP在线分析引擎

web 数据接口

DWS

superset

业务MySQL服务器集群