当前位置：首页 > news >正文

RabbitMQ、RocketMQ 和 Kafka 的消息特性对比

news 来源：原创 2025/7/3 20:29:44

以下是 RabbitMQ、RocketMQ 和 Kafka 在保证消息不丢失、消息顺序、消息幂等性以及快速处理积压方面的详细对比：

1. 消息不丢失

特性	RabbitMQ	RocketMQ	Kafka
生产者端	开启事务或 Confirm 模式	使用事务消息机制	设置 `acks=all` 确保消息被所有副本确认
服务端	消息持久化，Exchange、Queue 和消息都需设置持久化	Broker 同步刷盘 + Dledger 主从架构	设置 `min.insync.replicas` 和 `acks=all`
消费者端	关闭自动 ACK，使用手动 ACK	使用手动提交偏移量	使用手动提交偏移量

2. 消息顺序

特性	RabbitMQ	RocketMQ	Kafka
单队列顺序	同一队列中消息顺序性由 RabbitMQ 保证	同一队列中消息顺序性由 RocketMQ 保证	同一 Partition 中消息顺序性由 Kafka 保证
多消费者顺序	一个队列多个消费者无法保证顺序，需拆分队列	顺序消息通过锁定队列实现	通过分区和消费者组保证顺序
全局顺序	需要额外的业务逻辑支持	需要额外的业务逻辑支持	通过单分区实现全局顺序，但牺牲扩展性

3. 消息幂等性

特性	RabbitMQ	RocketMQ	Kafka
实现方式	数据库唯一键约束或 Redis 的 setnx 操作	事务消息机制保证消息幂等性	生产者幂等性特性，确保重复消息只被处理一次
适用场景	数据库操作、缓存操作	分布式事务场景	需要精确一次语义的场景

4. 快速处理积压

特性	RabbitMQ	RocketMQ	Kafka
扩容消费者	增加消费者实例，提高消费速率	增加消费者实例，提高消费速率	增加消费者实例，提高消费速率
临时扩容	创建临时队列，分发积压消息	创建临时队列，分发积压消息	创建临时队列，分发积压消息
调整配置	调整 `fetch.max.bytes` 和 `max.poll.records`	调整消息拉取和处理配置	调整消息拉取和处理配置

总结

RabbitMQ：通过事务机制、Confirm 模式、消息持久化和手动 ACK 确保消息不丢失；通过队列拆分和单消费者保证消息顺序；通过数据库唯一键约束或 Redis 的 setnx 操作实现消息幂等性；通过增加消费者实例和临时队列快速处理积压。
RocketMQ：通过事务消息机制、同步刷盘和 Dledger 主从架构确保消息不丢失；通过锁定队列和顺序消息保证消息顺序；通过事务消息机制实现消息幂等性；通过增加消费者实例和临时队列快速处理积压。
Kafka：通过设置 acks=all、min.insync.replicas 和手动提交偏移量确保消息不丢失；通过分区和消费者组保证消息顺序；通过生产者幂等性特性实现消息幂等性；通过增加消费者实例和临时队列快速处理积压。

在选择消息队列时，需要根据具体的业务需求和性能要求来决定使用哪种消息队列。如果需要高吞吐量和水平扩展，Kafka 是一个不错的选择；如果需要复杂的事务处理和精确的消息顺序，RocketMQ 更为合适；如果需要快速实现和简单的消息传递，RabbitMQ 是一个很好的选择。

以下是 RabbitMQ、RocketMQ 和 Kafka 在实现延迟队列、死信队列和重试队列方面的对比总结表格：

特性/功能	RabbitMQ	RocketMQ	Kafka
延迟队列	使用 TTL 和 DLX 结合实现，消息到期后自动路由到死信队列	使用消息的延迟时间属性，Broker 在指定时间后投递消息	通过消息的时间戳和消费者逻辑实现，消费者根据时间戳判断是否处理消息
死信队列	设置队列的死信交换器和路由键，未被消费的消息会被路由到死信队列	使用死信队列机制，未被消费的消息会被发送到死信队列	通过 Kafka 的时间戳功能实现，消费者根据时间戳判断消息是否达到延迟时间，未达到则不处理
重试队列	使用死信队列和重试逻辑实现，消费者捕获异常后将消息重新发送到原队列	使用重试队列机制，消费者捕获异常后将消息发送到重试队列，设置重试次数和间隔	使用 Spring Kafka 的 `@RetryableTopic` 注解实现重试机制，设置重试次数和间隔，失败后发送到死信队列

其他：
Kafka、RocketMQ、RabbitMQ的比较总结

RabbitMQ、RocketMQ 和 Kafka 的消息特性对比

以下是 RabbitMQ、RocketMQ 和 Kafka 在保证消息不丢失、消息顺序、消息幂等性以及快速处理积压方面的详细对比： 1. 消息不丢失特性RabbitMQRocketMQKafka生产者端开启事务或 Confirm 模式使用事务消息机制设置 acksall 确保消息被所有副本确认服务端消息持久化&…...

编程日记 2025/7/3 20:29:44

Logback 实现不同包的日志记录到不同文件

核心通过合理配置多个 appender 来定义不同的日志输出目的地通过 logger 元素将不同的包与对应的 appender 关联起来同时利用 additivity 属性控制日志的传递，从而实现精准的日志输出管理。 additivity 属性控制日志传递： additivity 属性决定了该 l…...

编程日记 2025/7/2 19:13:01

【附JS、Python、C++题解】Leetcode面试150题（11）H指数

一、题目 274. H 指数给你一个整数数组 citations ，其中 citations[i] 表示研究者的第 i 篇论文被引用的次数。计算并返回该研究者的 h 指数。根据维基百科上 h 指数的定义：h 代表“高引用次数” ，一名科研人员的 h 指数是指他&#xf…...

编程日记 2025/7/2 4:20:28

C++第13届蓝桥杯省b组习题笔记

1.九进制转十进制九进制正整数 (2022)9转换成十进制等于多少？ 第一位乘9的0次方，第二位乘9的1次方，第三位乘9的二次方以此类推 #include <iostream> using namespace std;int main() {// 请在此输入您的代码int t2022;int res0;int c…...

编程日记 2025/6/30 10:26:42

【学Rust写CAD】19 颜色渐变定义（gradient_stop.rs）

源码 //color/gradient_stop.rs use super::argb::Color; #[derive(Clone, Copy, Debug)] pub struct GradientStop {pub position: f32,pub color: Color, }代码分析这段代码是一个结构体（struct），并为其派生（derive&#xff…...

编程日记 2025/7/3 8:57:57

从零开始跑通3DGS教程：介绍

写在前面本文内容本文所属《从零开始跑通3DGS教程》系列文章，将实现从原始图像(有序、无序)数据开始，经过处理(视频抽帧成有序)，SFM，3DGS训练、编辑、渲染等步骤，完整地呈现从原始图像到新视角合成的全部流程&#x…...

编程日记 2025/7/3 20:05:47

探索 Python 编程的宇宙：从基础到进阶的奇妙之旅

在当今的编程世界里，Python 以其简洁、易读和强大的功能，成为了众多开发者的心头好。它就像一个充满无限可能的宇宙，吸引着人们不断去探索其中的奥秘。今天，让我们一起踏上这场 Python 编程的奇妙之旅，从基础到进阶&am…...

编程日记 2025/6/30 7:08:41

使用 Spring AI 和 LangChain4j 实现聊天机器人对比分析

人工智能领域正在彻底改变公司管理客户服务的方式。随着 Spring AI 和 LangChain4j 等专用框架的出现，Java 开发人员现在拥有强大的工具来实现能够从公司数据中学习的智能聊天机器人。在本文中，我们将探讨这两个框架的主要功能，并了解如何使用…...

编程日记 2025/7/3 4:13:02

3月31（信息差）

1.全国首个！湖北为脑机接口医疗服务定价据湖北省医疗保障局消息，今日，湖北省医保局发布全国首个脑机接口医疗服务价格，其中，侵入式脑机接口植入费6552 元/次，侵入式脑机接口取出费3139元/次，非侵入式脑机接口适配费966元/次，标志着这一前沿科技正式步入民生领域，为无…...

编程日记 2025/6/28 4:28:52

苍穹外卖项目结构

苍穹外卖项目总结-CSDN博客【苍穹外卖|项目】万字总结-CSDN博客苍穹外卖项目总结_苍芎外卖如何实现的跨域-CSDN博客【苍穹外卖 | 项目日记】第九天万字总结-CSDN博客【苍穹外卖|项目】万字总结-CSDN博客一、技术点： Nginx代理负载均衡：通过…...

编程日记 2025/7/2 7:53:03

3. 无重复字符的最长子串

leetcode Hot 100系列文章目录一、核心操作二、外层配合操作三、核心模式代码总结一、核心操作用map，key为char，value为出现次数，将字符串中的值依次入栈，再判断次数是否大于1，如果大于1，则循环删除掉…...

编程日记 2025/7/1 18:30:45

python力扣48.旋转图像

给定一个 n n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。你必须在原地旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要使用另一个矩阵来旋转图像。示例 1： 输入：matrix [[1,2,3],[4,5,6],[7,8,9]] 输出&…...

编程日记 2025/7/3 6:55:55

文章配图新纪元：OpenAI新推出的GPT-4o原生图像生成功能启示

当OpenAI推出GPT-4o原生图像生成功能时，许多人惊呼：“AI生成的图像已经发展到这样了吗！”这一激动人心的时刻，标志着人工智能在图像创作领域迈出了历史性的一步。无论是细腻的人物肖像，栩栩如生的面部表情，…...

编程日记 2025/6/30 8:06:35

使用Google Gemini API密钥创建AI驱动的Chrome扩展程序

在这个快节奏的数字时代，我们高度依赖Chrome扩展程序来提升浏览效率。但你是否想过用人工智能为你的扩展注入超能力？听起来很酷对吧？😎 随着谷歌Gemini API的发布，AI技术变得触手可及。该API能让你在项目中直接调用先进的自然语言处理、图像识别等炫酷的AI功能。更…...

编程日记 2025/6/29 7:49:21

MapReduce的工作原理

MapReduce 是 Hadoop 的核心计算框架，用于分布式处理大规模数据集。它的核心思想是 **"分而治之"**，将任务拆分为多个子任务并行处理，最终汇总结果。以下是其工作原理的详细解析 1. 核心阶段 MapReduce 的执行过程分为三个阶段&a…...

编程日记 2025/6/28 1:25:02

k8s网络策略

k8s网络策略 k8s网络测试概述查看防火墙策略 k8s网络策略网络访问控制案例：配置k8s网络策略结果验证 k8s网络策略配置示例 k8s网络测试概述网络策略就是设置防火墙查看防火墙策略 # 获取当前命名空间下的所有 NetworkPolicy 资源（网络策略&#xff0…...

编程日记 2025/7/2 13:16:47

Linux文件描述符的分配机制与重定向实现：揭开“一切皆文件”的面纱

Linux系列文章目录 Linux系列前言一、Linux的标准流二、文件描述符分配规则三、文件重定向四、Linux下一切皆文件前言上篇我们介绍了语言和系统层次的基础I/O文件操作，其涉及的知识有：C语言文件操作和系统调用接口两者的关系、文件描述符的概念、操作…...

编程日记 2025/6/29 5:50:34

SpringBoot事务管理（四）

记录几条SpringBoot事务管理中踩过的坑及解决办法： 1. 自调用问题问题描述在同一个类中，一个非事务方法调用另一个有 Transactional 注解的事务方法，事务不会生效。因为 Spring 的事务管理是基于 AOP 代理实现的，自调用时不会…...

编程日记 2025/7/3 7:02:13

iOS GCD

GCD 任务队列主队列： 任务在主线程执行，主队列是一个串行队列，它主要处理 UI 相关任务，也可以处理其他类型任务，但为了性能考虑，尽量让主队列执行 UI 相关或少量不耗时间和资源的操作。系统全局并发队…...

编程日记 2025/6/27 18:05:37

Hadoop集群的常用命令

1.基本命令启动 Hadoop: start-dfs.sh start-yarn.sh 这些命令会分别启动 Hadoop 的 DFS 和 YARN。查看 Hadoop 目录: hdfs dfs -ls -R / 该命令会递归地列出 HDFS 根目录下的所有文件和目录。创建目录: hdfs dfs -mkdir /example_dir 在 HDFS 中创建一个新目录。上传文…...

编程日记 2025/6/28 1:25:09

Kafka 实战指南：原理剖析与高并发场景设计模式

一、介绍 Kafka是由 Apache 软件基金会开发的开源流处理平台，作为高吞吐量的分布式发布订阅消息系统，采用 Scala 和 Java 编写。 Kafka是一种消息服务（MQ），在理论上可以达到十万的并发。代表的MQ软件—— kafka 十万…...

编程日记 2025/6/28 1:25:11

黑盒测试的判定表法（能对多条件依赖关系进行设计测试点）

定义: 判定表是分析和表达多逻辑条件下执行不同操作的工具。就是指把所有的输入条件、所有可能采取的动作按表格列出来，每一种条件和动作的组合构成一条规则，也即一条用例。 1.判定表法的引用等价类边界值分析法主要关注单个输入类条件的测试并未考虑…...

编程日记 2025/6/27 21:07:34

SQLMesh系列教程：基于指标构建一致的分析语义层应用实践

本文深入探讨SQLMesh指标框架的核心概念、定义方法及应用场景。通过统一的语义层管理，SQLMesh解决了数据分析中指标定义不一致的痛点，实现了跨团队协作的数据一致性。文章包含指标定义语法详解、自动表连接机制解析、派生指标构建方法，并通过…...

编程日记 2025/7/1 12:23:07

解决Docker端口映射后外网无法访问的问题

一、前言今天因为服务器宕机，重新启动后发现docker部署的mysql和redis都无法通过外网访问。经过排查原因是ip转发没有开启。下面教大家如何解决二、问题排查 (1) 查看防火墙运行情况使用firewall-cmd --state 如果防火墙处于not running，则可以排…...

编程日记 2025/6/28 5:05:17

如何指定运行amd64架构的ubuntu？

如何指定运行amd64架构的ubuntu 下面这个命令如何制定运行amd64架构的ubuntu？ docker run -it -v $(pwd):/workspace ubuntu:20.04 bash这个命令已经非常接近正确运行一个基于 amd64 架构的 Ubuntu 容器了，但如果你想明确指定运行 amd64 架构的镜像&am…...

编程日记 2025/6/27 9:02:14

[MySQL]数据类型

数据类型 1.数据类型分类2.数值类型2.1 tinyint类型无符号类型举例 3.bit类型3.1 基本语法 4. 小数类型4.1 float语法4.2 decimal语法 5.字符串类型5.1 char类型5.2 varchar 6.日期类型7.enum和set查询语句 1.数据类型分类接下来就对上面的四种类型进行介绍 2.数值类型数值类…...

编程日记 2025/6/28 6:41:08

基于Python的Django框架的手机购物商城管理系统

标题:基于Python的Django框架的手机购物商城管理系统内容:1.摘要随着互联网的快速发展，手机购物逐渐成为人们日常生活中不可或缺的一部分。本研究的目的是开发一个基于Python的Django框架的手机购物商城管理系统，以提高购物商城的管理效率和用户体验。…...

编程日记 2025/7/2 11:32:59

大模型在2型糖尿病预测及围手术期管理中的应用研究

目录一、引言 1.1 研究背景与意义 1.2 国内外研究现状 1.3 研究目的与创新点二、大模型预测 2 型糖尿病的原理与方法 2.1 大模型概述 2.2 用于 2 型糖尿病预测的大模型类型 2.3 模型训练与数据来源 2.4 预测指标与算法三、术前风险预测与评估 3.1 血糖控制情况预…...

编程日记 2025/7/3 4:25:10

JavaEE--多线程

一、认识线程 1. 什么是线程线程（Thread）是计算机科学中的基本概念，指的是程序内部的一条执行路径。一个进程可以包含多个线程，每个线程共享进程的资源，包括内存空间、文件描述符等。线程可以同时执行多个任务&…...

编程日记 2025/6/28 4:06:31

自动化测试之等待方式

在自动化测试中，等待是一个重要的技术，用于处理页面加载、元素定位、元素状态改变等延迟问题。等待能够确保在条件满足后再进行后续操作，提高自动化测试的稳定性以及可靠性。等待方式：显示等待、隐式等待、线程睡眠 1. 显式等…...

编程日记 2025/7/1 1:18:19

git中用于生成commitId与其父commitId间的文件差异文件树

生成commitId与其父commitId间的文件差异文件树 #!/bin/bash # # 用于生成目标commitId与其父commitId间文件差异 # commit_id$1 # 输入目标commit的哈希值 old_dir"old_version" new_dir"new_version"# 创建目录 mkdir -p "$old_dir" "$…...

编程日记 2025/6/28 5:07:28

Ubuntu / Debian 创建快捷方式启动提权

简述在 Linux 系统中，.desktop 文件是桌面入口文件，用于在桌面环境（如 GNOME、KDE）中定义应用程序的启动方式、图标、名称等信息。当你执行 touch idea.desktop 时，实际上创建了一个空的 .desktop 文件（…...

编程日记 2025/6/30 9:41:55

VLA 论文精读（三）Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

这篇笔记用来描述 2023年发表在arxiv上的一篇有关VLA领域的论文，这篇笔记记录的是该论文 2024年03月的改版后。写在最前面为了方便你的阅读，以下几点的注意事项请务必了解： 该系列文章每个字都是我理解后自行翻译并写上去的，…...

编程日记 2025/7/2 21:48:41

ASP.NET Core 中实现 SSE 流式响应的简单例子

[HttpGet] public async Task<IActionResult> SseExample() {// 请求头Response.Headers.Add("Content-Type", "text/event-stream");Response.Headers.Add("Cache-Control", "no-cache");Response.Headers.Add("Connectio…...

编程日记 2025/7/1 7:35:39

「Unity3D」TMP_InputField关闭虚拟键盘后，再次打开虚拟键盘，此时无法回调onSelect的问题

TMP_InputField可以注册一个onSelect回调函数，在InputField选中的时候回调，但在虚拟键盘手动关闭或被返回取消的时候，此时再打开虚拟键盘时，就不会调用onSelect。原因在于，虚拟键盘有三种关闭的操作方式：…...

编程日记 2025/7/2 19:27:49

手工排查后门木马的常用姿势

声明！本文章所有的工具分享仅仅只是供大家学习交流为主，切勿用于非法用途，如有任何触犯法律的行为，均与本人及团队无关！！！ 1. 检查异常文件 （1）查找最近修改的文件 # 查…...

编程日记 2025/7/2 15:46:16

VRRP协议

基础概念 Master 路由器:“Master 路由器”在一个 VRRP 组中承担报文转发任务。在每一个 VRRP 组中，只有 Master 路由器才会响应针对虚拟 IP 地址的 ARP Request。Master 路由器会以一定的时间间隔周期性地发送 VRRP 报文，以便通知同一个 VRRP 组中的 B…...

编程日记 2025/6/29 19:09:04

【JavaEE】MyBatis 综合练习（图书管理系统）

目录一、数据库表二、引入依赖：三、Model创建四、用户登录五、添加图书六、图书列表七、修改图书八、删除图书九、批量删除十、强制登录图书管理系统一、数据库表我们使用两张表，一张用户表uset_test来记录登录的用户信息，一张图书表boo…...

编程日记 2025/7/2 1:21:10

ArkUI —— 组件导航

创建导航页 // src\main\ets\pages\Index.ets Entry Component struct Index {// 路由栈Provide(pathInfos) pathInfos: NavPathStack new NavPathStack()build() {Navigation(this.pathInfos) {}} }创建导航子页 this.navPath.pushPathByName(AccountTag, 账本分类管理)// …...

编程日记 2025/6/28 1:58:47

数据处理与机器学习入门

一、数据处理概述数据处理是通过统计学、机器学习和数据挖掘方法从原始数据中提取有价值信息的过程。数据处理的目标是将杂乱无章的原始数据转化为可用于分析和建模的结构化数据。对于小规模数据处理，常用工具分为两类： • 可视化分析工具&#xff1a…...

编程日记 2025/7/2 23:49:20

Markdown在线转word格式

1、打开网址 https://dillinger.io/ 2、输入markdown格式文章 3、直接转换为右边的word格式 4、复制粘贴即可。...

编程日记 2025/6/28 3:21:44

Redis延时队列在订单超时未报到场景的应用分享

一、引言在电商、医疗预约等众多业务场景中，经常会遇到需要处理超时任务的情况。比如医疗预约订单，如果患者在支付成功后，到了预约结束时间还未报到，系统需要自动取消订单。为了实现这样的功能，我们可以利用 Redis 延…...

编程日记 2025/7/3 1:08:42

vue前端代码作业——待办事项

美化样式示意图： 后端IDEA代码示意图： 代码解释： 1. isAllChecked 计算属性的作用 isAllChecked 用于实现 “全选 / 全不选” 功能，它是一个双向绑定的计算属性（因为 v-model 需要同时支持读取和设置值&#xff09…...

编程日记 2025/6/28 1:30:51

docker镜像拉取失败

hub.docker.com中提供的docker pull命令在服务器拉取镜像时报错Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 这个错误通常表明Docker客户…...

编程日记 2025/6/29 7:21:53

Ruby 简介

Ruby 简介引言 Ruby 是一种广泛使用的动态、开源的编程语言，自 1995 年由日本程序员 Yukihiro Matsumoto（通称 Matz）设计以来，它以其优雅的语法、强大的库支持和跨平台特性赢得了全球开发者的青睐。本文将详细介绍 Ruby 的起源、特点、应用领域以及它在现代软件开发中的…...

编程日记 2025/7/3 11:48:27

解决 FFmpeg 使用 C/C++ 接口时，解码没有 shell 快的问题（使用多线程）

一、问题硬件设备为香橙派 5Plus，最近需要使用硬件视频解码来加速 YOLO 的检测，shell 窗口的FFmpeg已经调通，详见文章： 编译支持 RKmpp 和 RGA 的 ffmpeg 源码_rk3588 ffmpeg mpp-CSDN博客https://blog.csdn.net/plmm__/article…...

编程日记 2025/6/29 7:26:30

sqlalchemy:将mysql切换到OpenGauss

说明之前python的项目使用的mysql，近期要切换到国产数据库OpenGauss。之前的方案是fastapisqlalchemy，测试下来发现不用改代码，只要改下配置即可。切换方案安装openGauss-connector-python-psycopg2 其代码工程在：https:…...

编程日记 2025/6/28 1:25:12

缓存使用纪要

一、本地缓存：Caffeine 1、简介 Caffeine是一种高性能、高命中率、内存占用低的本地缓存库，简单来说它是 Guava Cache 的优化加强版，是当下最流行、最佳（最优）缓存框架。 Spring5 即将放弃掉 Guava Cache 作为缓存机…...

编程日记 2025/7/2 1:29:21

Qt之Service开发

一、概述基于Qt的用于开发系统服务(守护进程)和后台服务，有以下几个优秀的开源 QtService 框架和库。 1. QtService (官方解决方案) GitHub: https://github.com/qtproject/qt-solutions/tree/master/qtservice 特点：官方提供的服务框架支持 Windows 服务和 Linux 守护…...

编程日记 2025/7/3 1:13:55

ssm框架之Spring

Spring框架介绍 Spring框架是一个轻量级的企业级应用框架通过它可以贯穿表现层、业务层、持久层。集成方便，简单易用，具有如下特点： Spring框架特色 Spring设计理念是面向Bean的编程 Spring两大核心技术控制反转(IoC：Inver…...

编程日记 2025/6/28 4:50:04

1. 消息不丢失

2. 消息顺序

3. 消息幂等性

4. 快速处理积压

总结

相关文章：