_kafka 重复消费问题
2019-01-31 09:15:13 15 举报kafak重复data解决
作者其他创作
大纲/内容
出现：消费者不是消费完一条就提交offset，而是定期提交offset，如果在未提交之前重启，那么offset出现了错误。这样就出现了重复数据
data 1 offset = 3
consumer
但是如果我们将消费者改成，拿到一条就提交一次offset，那么这种情况就可以避免了
data 1 offset = 0
zookeeper 记录了当前读到哪个offset，如果发生宕机，从offset 开始重新读。
data 1 offset = 2
kafka
我们使用数据中的id进行幂等性保证。还有通过数据库唯一主键进行控制......需要结合具体的业务
data 1 offset = 1
producter
zookeeperoffset：2
职业：csjco
0 条评论
下一页
