首页  流程图  详情

Kafka VS RocketMQ VS RabbitMQ

2021-11-12 18:44:55   1  举报





kafka

rocketmq

rabbitmq

RocketMQ对比RabbitMQ

Kafka对比RocketMQ

作者其他创作

大纲/内容

访问权限控制

Zookeeper

不支持

Java，C++，Python

非常好每条10个字节测试：百万条/s

很好每条10个字节测试：单机单broker约7w/s，单机3个broker约12w/s

Broker端消息过滤

所属社区/公司

发送端负载均衡

一套自行设计的基于TCP的二进制协议

1、在高吞吐、低延迟、高可用、集群热扩展、集群容错上有非常好的表现；2、producer端提供缓存、压缩功能，可节省性能，提高效率。3、提供顺序消费能力4、提供多种客户端语言5、生态完善，在大数据处理方面有大量配套的设施。

持久化方式

单机超过64个队列/分区，Load会发生明显的飙高现象，队列越多，load越高，发送消息响应时间变长

功能对比

磁盘文件

1、相比于kafka，使用者较少，生态不够完善。消息堆积、吞吐率上也有所不如。2、不支持主从自动切换，master失效后，消费者需要一定的时间才能感知。3、客户端只支持Java

Alibaba开发，已加入到Apache旗下

一般生产者、消费者正常时，性能表现稳定；消费者不消费时，性能不稳定

主从切换

非常好消息存储在log中，每个分区由一个或多个segment log文件

API完备性

成熟

好producer支持同步／异步ack。支持队列数据持久化，镜像模式中支持主从同步

单机/集群

指定文件保存时间，过期删除

批量发送

数据可靠性

社区活跃度

开源版本仅支持定时Leve

定时消息

C++、Python

无

缺点

消息清理

高主从，采用镜像模式实现，数据量大时可能产生性能瓶颈

RocketMQ

优点

支持根据MessageId查询支持根据MessageKey查询消息

很好支持producer单条发送、同步刷盘、同步复制、异步。

RAM约为RocketMQ的1/2，Disk的性能约为RAM性能的1/3

客户端语言

消息堆积时，性能不稳定、明显下降

内存，文件

可用性

Kafka

Mozilla Public License

Apache

可一次抓取多条一起消费。镜像模式下其实也是从master消费

很好producer单条发送，broker端支持同步刷盘、异步刷盘，同步双写，异步复制。

消费方式

Java

消息写入性能

高

可用性可靠性比较

单机支持的队列数

大数据领域，实时数据处理

非日志的可靠性消息传输

消息投递实时性

设计定位

1、在高吞吐、低延迟、高可用上有非常好的表现；消息堆积时，性能也很好。2、api、系统设计都更加适在业务处理的场景。3、支持多种消费方式。4、支持broker消息过滤。5、支持事务。6、提供消息顺序消费能力；consumer可以水平扩展，消费能力很强。7、集群规模在50台左右，单日处理消息上百亿；经历过大数据量的考验，比较稳定可靠。

支持默认producer缓存、压缩，然后批量发送

消费并行度和分区数一致

依赖于内存

队列较多、消息堆积时性能稳定

日志领域成熟

堆积能力

非常高分布式、主从

支持协议

1、erlang 语言难度较大。集群不支持动态扩展。2、不支持事务、消息吞吐能力有限3、消息堆积时，性能会明显降低

中

Scala(Java)

消息查询