_kafka 重复消费问题
2019-01-31 09:15:13 15 举报
登录查看完整内容
kafak重复data解决
作者其他创作
大纲/内容
出现:消费者不是消费完一条就提交offset,而是定期提交offset,如果在未提交之前重启,那么offset出现了错误。这样就出现了重复数据
data 1 offset = 3
consumer
但是如果我们将消费者改成,拿到一条就提交一次offset,那么这种情况就可以避免了
data 1 offset = 0
zookeeper 记录了当前读到哪个offset,如果发生宕机,从offset 开始重新读。
data 1 offset = 2
kafka
我们使用数据中的id进行幂等性保证。还有通过数据库唯一主键进行控制......需要结合具体的业务
data 1 offset = 1
producter
zookeeperoffset:2
0 条评论
回复 删除
下一页