kafka核心技术与实战
2023-02-01 00:24:15 0 举报AI智能生成
kafka核心技术与实战思维导图
作者其他创作
大纲/内容
如何不丢消息
kafka只对"已提交"的消息做有限度的持久化
已提交
有限度
生产者丢消息
发送后立即返回
网络抖动
消息不合格
要使用带有回调通知的发送API
消费者丢消息
先更新位移，才消费消息
多线程异步消费，有线程消费失败，位移自动更新
最佳实践
生产者
使用带有回调通知的send方法
ack=all,所有副本broker都要收到消息，才能算是"已提交"
配置retries重试
Broker端
unclean.leader.election.enable = false，不允许落后leader太多的Broker成为分区的leader
replication.factor >=3 多保存几份消息
min.insync.replicas >1 消息至少要写入多少个副本才能算是"已提交"
replication.factor > min.insync.replicas,挂了一个或几个副本后仍能正常工作
消费者
确保消息消费完再提交
enable.auto.commit = false，最好手动提交位移
消费者组
0 条评论
下一页
