标签同步重构设计
2021-07-27 18:04:20 6 举报设计
作者其他创作
大纲/内容
调用企微服务接口上传
生产者1、组装待发送json串{ \"userId\": \"\
消费者1、批量读取(假如1000条)
失败-需要重试
重试队列
push topic
partition-1
上传成功
问题：如何控制提交频率？应该不需要
partition-2
fail topic
成功
判断重试次数
partition-0
上传失败
partition-3
计数：记录font color=\"#ff0000\
判断上传状态
异步发送
retry topic
问题：临界的同步任务如何控制？
问题：如何控制接口调用qps?方案：通过多长时间拉取数量限制
正常队列
retryCount++
失败-不需重试
mysql1、查询待同步的labelIds、touchIds(单线程即可)2、是否缓存brandId+labelId ——> 标签相关的信息(appId、wkTagId、touchId)单线程即可
失败队列
发送成功数量 = 上传成功数量 + 上传失败数量
retryCount 5
插入mysql失败表
0 条评论
下一页
