首页  思维导图  详情

Kafka 疑难杂症

2024-09-16 14:23:50   0  举报





AI智能生成

Kafka 服务运维已知问题

kafka

作者其他创作

大纲/内容

Kafka 架构

Kafka 共享集群如何支持多租户

消费者重复消费

消费 Kafka 消息可以做到 𝐀𝐭-𝐥𝐞𝐚𝐬𝐭 𝐨𝐧𝐜𝐞，
但比较难做到 𝐄𝐱𝐚𝐜𝐭𝐥𝐲 𝐨𝐧𝐜𝐞 ，尤其是消费端服务重启

Kafka 客户端时间与服务端时间不同步不影响消息推送，
但会引发什么问题

消息明明已经超过了预设的过期时间，但一直不过期，重头消费还能消费到

confluent-kafka-dotnet 1.8.2版本在客户端重启之后，
可能全量消费历史

https://github.com/confluentinc/confluent-kafka-dotnet/issues/1672

多个 Flink Kafka Consumer 任务，配置同一个 Group，
各自会消费一遍 Topic 的全部数据

源端本来就推送了多条重复记录

消息堆积

源端消息记录陡增，超过消息端最大处理速度

消费端抛异常，反复重启中，频繁退出消费组

消息丢失

Kafka 客户端已经推送了消息，
但怎么在 Kafka 上找不到，数据丢失了?

消息乱序

Kafka 消息推送有序，消费也应该是顺序的吧，怎么看着还乱序

Kafka 连接问题

Controller不能正常选举

网络问题

Zookeeper 3.5.8 集群不稳定造成 Kafka 节点离线

生产环境(v2.5)启用SASL后客户端建立连接偶尔报超时

DNS的问题

Kafka Rest Proxy Thread OOM 造成 Proxy 假死

消息体积太大

Kafka 服务抖动

Kafka集群只有一个节点IO阻塞时，
为何会导致发送方无法发送消息？

https://time.geekbang.org/dailylesson/detail/100028490

Topic数据过期策略Compact可能会引发服务抖动

GC 频繁且耗时，副本同步比较耗时

老生代，新生代配比

Kafka 运维须知

Kafka 重启恢复耗时远超预期，看优雅退出的意义

[2024-02-04 22:07:26,737] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)
...
[2024-02-04 22:07:55,478] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
...
[2024-02-04 22:08:20,982] INFO [Partition __consumer_offsets-38 broker=1] Expanding ISR from 1 to 1,3 (kafka.cluster.Partition)
...
[2024-02-04 22:08:53,924] INFO [Partition x x x-1 broker=1] ISR updated to [1,3,2] and zkVersion updated to [248] (kafka.cluster.Partition)
...

Kafka 动态配置热更新

Kafka 上的消息只集中在某几个分区上，出现了数据倾斜

Topic个别分区Offline

unclean.leader.election.enable 兜底，
虽然可能会有数据丢失，但好歹集群能恢复

Topic增加分区之后客户端可能未重平衡

Kafka 灾难演练

元数据备份

Kafka 哪些场景下不高可用