日志系统数据流转架构
2023-03-06 17:08:27 1 举报移动端、大前端日志系统数据流转架构图
作者其他创作
大纲/内容
网关
秒级
ClickHouse
存储侧
日志组件（天启）
mmap
Flink
定时 job
择时上报
1、离线数仓数据按天落库2、数据湖基于 Presto，分钟级查询，15-20 分钟准实时3、Clickhouse，实时存储，秒级查询
根据日志类型分发到不同的 Topic（mmp-tianqi）
Kafka
采集侧
手机磁盘
根因分析平台（Java + React）
流处理
分钟级
1、日志进行分级存储2、埋点实时上报3、用户操作路径实时上报
数据湖（Presto）
0 条评论
下一页
