Kafka
2023-08-23 10:47:25 0 举报
AI智能生成
Kafa详细讲解:组成、工作流程及原理、可靠性保证(ack确认机制、重复消费问题、顺序消费问题)
作者其他创作
大纲/内容
可靠性保证
ack机制
topic中的partition收到生产者发送的消息后,broker会向生产者发送一个ack确认,如果收到则继续发送,没收到则重新发送。
acks=0:不等待broker返回ack接着执行下面逻辑。如果broker还没接收到消息就返回,此时broker宕机那么数据会丢失
acks=1(默认):消息被leader副本接收到之后才算被成功发送。如果follower同步成功之前leader发生了故障,那么数据会丢失
acks=all:所有ISR列表的副本全部收到消息后,生产者收到broker的响应才算成功
重复消费
场景
消费者提交位移失败
消费者重复启动
重平衡(Rebalance)
消息重复发送
解决方案
使用消费者组(Consumer Group)
使用自动提交位移
使用唯一的消费者ID
幂等的消费逻辑
顺序消费
分区顺序
消费者组
顺序保证
工作流程
生产者发送消息
第一步、生产者配置参数
第二步、拦截器
第三步、序列化器
第四步、分区器
● 如果ProducerRecord对象提供了分区号,使用提供的分区号
● 如果没有提供分区号,提供了key,则使用key序列化后的值的hash值对分区数量取模
● 如果没有提供分区号、key,采用轮询方式分配分区号(默认)
第五步、send()发送消息
第六步、获取发送消息响应
broker收发消息
分区机制(主题-分区-消息)
消息存储
消费者消费消息
第一步、配置消费者客户端参数
第二步、创建消费者实例并指定订阅的主题
第三步、拉取消息并消费
第四步、交消费offset
自动提交
手动提交
同步提交
异步提交
基础
分布式事件流平台。希望不仅仅是存储数据,还能够数据存储、数据分析、数据集成等功能。消息队列(把数据从一方发给另一方),消息生产好了但是消费方不一定准备好了(读写不一致),就需要一个中间商来存储信息,kafka就是中间商
架构图
名词解释
Producer
消息生产者,向broker发送消息,也称为发布者
comsumer
读取消息的客户端
consumer group
一个consumer group由多个consumer组成,消费者组可以消费某个分区中的所有消息,消费的消息不会立马被删除。也称为订阅者
Topic
逻辑上的区分,通过topic将消息进行分类,不同topic会被订阅该topic的消费者消费
发送和订阅都必须指定topic
特点:topic的一个分区只能被consumer group的一个consumer消费;同一条消息可以被多个消费者组消费,但同一个分区只能被某个消费者组中的一个消费者消费。
问题:topic消息非常多,消息会被保存在log日志文件中,文件过大
解决:分区
partition
将一个topic中的消息分区来存储,有序序列,真正存放消息的消息队列
①、 分区中的数据存储在哪儿?
每个partition都有一个commit log文件
②、 为什么要分区(好处)存储?
如果commitlog文件很大的话可能导致一台服务器无法承担所有的数据量,机器无法存储,分区之后可以把不同的分区放在不同的机器上,相当于是分布式存储
每个消费者并行消费
提高可用性,增加若干副本
每个partition都有一个commit log文件
②、 为什么要分区(好处)存储?
如果commitlog文件很大的话可能导致一台服务器无法承担所有的数据量,机器无法存储,分区之后可以把不同的分区放在不同的机器上,相当于是分布式存储
每个消费者并行消费
提高可用性,增加若干副本
Leader、Follower
每个分区都可以设置自己对应的副本(replication-factor参数),有一个主副本(leader)、多个从副本(follower)
职责
● leader:处理读写请求,负责当前分区的数据读写
● follower:同步数据,保持数据一致性
● follower:同步数据,保持数据一致性
为什么要设置多副本?
单一职责。leader负责和生产消费者交互,follower负责副本拷贝,副本是为了保证消息存储安全性,当其中一个leader挂掉,则会从follower中选举出新的leader,提高了容灾能力,但是副本也会占用存储空间
offset
分区中的每条消息都有唯一的编号,用来唯一标识这一条message
ISR
动态集合,保存正在同步的副本集,是与leader同步的副本。如果某个副本不能正常同步数据或落后的数据比较多,会从副本集中把节点中剔除,当追赶上来了在重新加入。kafka默认的follower副本能够落后leader副本的最长时间间隔是10S
0 条评论
下一页