Kafka基础架构

Group

数据100T

Producer

Consumer

TopicA-Partition0

broker2

Zookeeper

TopicA-Partition1

kafka-console-producer.sh

broker0

ZK

1.  为方便扩展，并提高吞吐量，一个topic分为多个partition2. 配合分区的设计，提出消费者组的概念，组内每个消费者并行消费3. 为提高可用性，为每个partition增加若干副本，类似NameNode HA4. ZK中记录谁是leader，Kafka2.8.0以后也可以额配置不采用ZK分区的好处：  (1). 便于合理使用存储资源。每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果  (2). 提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

broker1

kafka-topics.sh

/brokers/topics/first/partitions/0/state\"leader\":0font color=\"#000000\

Kafka cluster

TopicA-Partition2

kafka-console-consumer.sh