A_103_Kafka
2021-04-09 10:47:51 4 举报AI智能生成
全面、高效的知识图谱：A_103_Kafka!! 全面又深度的提升认知，达到实际应用的目的! 建议先纵观全局，掌握好大方向。 再根据自己的需要，针对性的学习某一个点，最后做到逐步由点及面。
作者其他创作
大纲/内容
Kafka
消息
消息格式
V0
V1
CRC(4byte)
版本号(1b)
属性(1b)
高五位保留
低三位用于保存压缩类型
0 无压缩
1 GZIP
2 Snappy
3 LZ4
时间戳(8b)
key长度(4b)
key
value长度(4b)
value
V2
topic
partition
offset
replica
不响应客户端发来的写入及消费请求，只与leader保存同步，只有leader replica宕机后才会被选举为新的leader replica
leader replica
follower replica
ISR (in-sync replica)
ISR至少存在一个活着的replica
只有ISR集合中的所有replica都接收到了同一条信息，Kafka才会将消息置于已提交状态
运行Java的操作系统通常默认开启页缓存机制，即堆上保存的对象很有可能在页缓存中还保留一份，这就造成了资源浪费。kafka特意避开了Java堆上内存分配，直接使用紧凑二进制字节数组ByteBuffer而不是独立对象
特性
高吞吐、低延时
大量使用操作系统页缓存，速度快，命中率高
以追加的方式写文件，将随机写改为顺序写
使用sendfile系统调用，实现数据零拷贝
伸缩性
高可用
负载均衡与故障转移
0 条评论
下一页
