Kafka
2022-07-21 17:36:35 4 举报
AI智能生成
kafka
作者其他创作
大纲/内容
存储原理
性能为什么高: 顺序IO写入, append, 每个Partition都是一个目录, 索引文件中记录元数据
第几个消息和其物理偏移地址
第几个消息和其物理偏移地址
Topic && Partition
Topic: 是逻辑分开的概念, 真正在Broker间分布式的是Partition, 每条消息发送到Broker中
会根据规则选择被存储到某Partition
会根据规则选择被存储到某Partition
Broker
Broker: 相当于一个Node, 可以包含相同的Topic
Partition会均匀分布在多Broker上
Producer
确保消息发送的可靠性, 需要ack确认
发送消息机制
发布消息的三种机制:
1, 指定Partition
2, 指定key和分区数取余
3, 第一次call, 随机生成整数, 自增取余
1, 指定Partition
2, 指定key和分区数取余
3, 第一次call, 随机生成整数, 自增取余
Consumer
消费组
一个消费组去订阅一个topic, 消费组只有一个消费者的话会从四个分区取, 消费者负载均衡
消费者数量多于分区数的话, 多出来的消费者是空闲的
一个消息可以被多个消费组(不同应用)去全量读取
0 条评论
下一页