京东-任务过期流程（新老）
2023-07-16 02:02:23 0 举报京东基于海量数据进行过期处理的流程
作者其他创作
大纲/内容
大key 热key 过载保护 性能
binlog
获取数据所在key二级缓存
zrange近10秒过期任务100条（若无数据则不主动释放锁、10秒内此key不会再次被访问）
扫描mysql任务数据
已过期任务filter
过期任务handler
锁10秒
扫描任务数据elasticserch
当日过期任务filter
注意数据的幂等、防重注意key的并发消费
每日0点执行一次
同表数据路由
升级
数据同步
key
数据filter
sortedset score=过期时间
30亿+总数据，百万级日过期任务问题1：无法及时完成过期处理问题2：es查询时集群负载大问题3：任务过期依赖es与mysql数据一致性
数据变更
3秒执行1次
10分钟一次
30亿数据，200个分片
redis key管理器
实时变更数据
收藏
收藏
0 条评论
下一页
