亿级流量系统架构
2022-03-12 19:58:29 1 举报亿级流量系统架构
作者其他创作
大纲/内容
读取滑动窗口索引数据
Standby Master
计算任务重试机制
数据分片
Metrics统计
计算任务执行器
机器资源监控
计算任务调度器
用户
继续计算下一个滑动窗口
读取计算中间状态
滑动时间窗口索引数据
Active Master
业务系统MYSQL
增量计算结果
业务系统
查询MySQL展示报表
Hadoop全量数据
Hadoop增量数据
Slave
滑动时间窗口
提取数据分片
计算结果写入存储
增量计算
从库
HadoopHive/Spark离线计算
zk集群计算中间状态
任务损耗
依次读取时间窗口
容错机制重试与恢复
秒级查看报表更新
主库
合并计算结果
kv系统
Slave监控
任务监控
数据库binglog采集中间件
分库分表中间件
今天的数据秒级同步
历史计算结果
数据报表
滑动窗口计算
写入计算中间状态
继续写入计算中间状态
数据平台MySQL
分布式kv集群
提取部分全量数据
秒级采集
0 条评论
下一页
