一种基于布隆过滤器与缓存的海量数据去重方法
2024-11-11 17:55:24 0 举报一种基于布隆过滤器与缓存的海量数据去重方法
作者其他创作
大纲/内容
缓存
外部缓存（集群）
WAL（固化到本地磁盘）
校验数据库不存在的数据并写入数据库
WAL预写日志
布隆过滤器
写入本地缓存（队列）
启动加载上次未成功写入数据库的数据
外部缓存重复数据（Redis集群）
查询
源数据
DB
布隆过滤器重复数据校验
多通道读
本地缓存
不存在
数据全部入库后统一清理预写日志文件
写入外部缓存（Redis集群）
是否已存在数据库
存在
批量刷写
0 条评论
下一页
