消息队列MQ知识点
2024-06-25 20:27:01 9 举报AI智能生成
为你推荐
查看更多
MQ的简单知识点梳理
作者其他创作
大纲/内容
1、解耦
2、异步
3、削峰
为什么用？
轻量
支持语言多
优势
消息堆积支持不友好，性能会急剧下降
性能一般，秒级处理几万到十几万
扩展和二次开发成本高（Erlang 语言开发）
劣势
1、RabbitMQ
兼容性好
性能高效，秒级处理几十万，理论极限超 2000 万（异步且开启压缩的条件下）
可扩展性良好
可持久化
可复制、可容错（分区特性导致）
收发消息时，响应时延较高（因为设计思想是批量发送）
topic达到上百个时，吞吐量会大幅度下降
2、Kafka
高性能（秒级几十万）
稳定可靠
响应时延低（毫秒级）
有活跃的中文社区，便于问题处理
扩展和二次开发相对容易（基于 Java）
和其他生态的集成以及兼容度一般
3、RocketMQ
如何选择？
发送方的确认模式（回调）
1、确保消息到 MQ
路由失败通知（回调）
2、确保消息路由到正确的队列
持久化
3、确保消息在队列正确的存储
消费者手动确认
控制异常以及重发机制
4、确保消息从队列中正确的投递到消费者
为何消息不丢失？
发送重复
消费重复
导致原因
乐观锁（多版本并发控制），发送时的版本号要与消费时的版本号进行匹配
利用去重表，以业务唯一标识进行插入，重复插入会失败
消费者的操作保持幂等性
解决方案
为什么有消息重复？
关闭官方的自带监控
-XX:-UseBiasedLocking
JDK8消除偏向锁
使用G1 垃圾回收器-XX:+UseG1GC
设置 G1 的 region 大小为 16m，减少region数量-XX:G1HeapResionSize=16m
设置 G1 的老年代预留 25%的空闲内存（默认 10%），为新生代进入到老年代提供充足内存-XX:G1ReservePercent=25
设置当堆内存使用率达到 30%（默认 45%）之后就会进行 G1 的并发垃圾回收，提高 GC 频率-XX:initiatingHeadOccupancyPercent=30
垃圾回收参数
JVM 层面
0：用户申请内存时，内核会检查是否有这么大的空间
1：用户申请内存时，内核始终认为有足够空间，直到用完
2：内核禁止任何形式的过量分配内存
内存分配策略vm.overcommit_memory=1
推荐值如下，默认为 60vm.swappiness=10
交换区
默认为 65536vm.max_max_count=655360
进程拥有的最多内存区域
提高并发ulimit=1000000
用户能打开的最大文件数
设置缓冲区Ring Buffer大小一定程度可以缓解丢包的状况
网卡
影响 CPO 的使用均衡
关闭 IRQBalance
操作系统层面
RocketMQ如何性能调优？（理论达到80W）
MQ
0 条评论
回复 删除
下一页
