当前位置：首页 > news >正文

【MQ】RabbitMq的可靠性保证

news 来源：原创 2025/5/20 15:39:10

消息队列中的可靠性主要是分为三部分：

消息不丢失：确保消息从生产者发送到消费者消息不丢失
消息不重复：确保消息不被重复消费
消息顺序性：确保消费的顺序性

解决方案主要有以下几部分：

消息不丢失

- 生产者确认机制
- 持久化机制
- 消费者确认机制
- 高可用

消息不重复：

- 消费者确认机制
- 消息重试机制
- 幂等性设计

消息顺序性

- 单消费者模式
- 消息编号

生产者确认机制

作用

确保生产者发送的消息成功到达mq，避免消息在传输过程中丢失

实现原理

生产者会发送消息之后，mq会向生产者返回确认（ack）或未确认（nack）信号
如果生产者收到ack，说明消息已经成功发送

配置方式

开启生产者确认模式

Channel channel = connection.createChannel();
channel.confirmSelect(); // 开启确认模式

处理确认和未确认

channel.addConfirmListener((sequenceNumber, multiple) -> {// 消息确认System.out.println("Message confirmed: " + sequenceNumber);
}, (sequenceNumber, multiple) -> {// 消息未确认System.out.println("Message not confirmed: " + sequenceNumber);
});

适用场景

对消息可靠性要求高的场景，如金融交易、订单处理等

持久化机制

作用

将消息和队列持久化到磁盘，防止mq重启或者崩溃时消息丢失

实现原理

队列持久化：将队列中的数据保存在磁盘
消息持久化：将消息内容保存到磁盘

配置方式

队列持久化

boolean durable = true;
channel.queueDeclare("my_queue", durable, false, false, null);

消息持久化

AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder().deliveryMode(2) // 2 表示持久化消息.build();
channel.basicPublish("", "my_queue", properties, message.getBytes());

适用场景

需要保证消息不丢失的场景，如日志存储、重要数据同步

消费者确认机制

作用

确保消费者成功处理消息之后，mq才会将消息从消息队列中删除，避免消息丢失

实现原理

消费者处理完成消息后，手动发送ack信号
如果消费者未发送ack，mq会将消息重新投递给其他消费者

配置方式

开启消费者确认

boolean autoAck = false; // 关闭自动确认
channel.basicConsume("my_queue", autoAck, new DefaultConsumer(channel) {@Overridepublic void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {// 处理消息System.out.println("Received: " + new String(body));// 手动发送 ackchannel.basicAck(envelope.getDeliveryTag(), false);}
});

适用场景

需要确保消息成功处理的场景，如订单处理、消息通知等

死信队列

作用

处理无法正常消费的消息（被拒绝或者过期），避免消息丢失

实现原理

当消息无法被正常消费时，mq将其转发到死信队列中
死信队列可以配置独立的交换机和路由规则

配置方式

配置死信队列

Map<String, Object> args = new HashMap<>();
args.put("x-dead-letter-exchange", "my_dlx_exchange"); // 设置死信交换机
args.put("x-dead-letter-routing-key", "my_dlx_routing_key"); // 设置死信路由键
channel.queueDeclare("my_queue", true, false, false, args);

适用场景

需要处理异常消息的场景，如消息重试，失败信息分析等

消息重试机制

作用

当消息处理失败的时候，通过重试机制重新投递消息，确保消息最终被成功处理

实现原理

消费者捕获异常，并拒绝消息，同时设置requeue=true
使用死信队列和TTL实现延迟重试

配置方式

拒绝消息，重新入队

channel.basicConsume("my_queue", false, new DefaultConsumer(channel) {@Overridepublic void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {try {// 处理消息System.out.println("Received: " + new String(body));channel.basicAck(envelope.getDeliveryTag(), false);} catch (Exception e) {// 处理失败，拒绝消息并重新入队channel.basicNack(envelope.getDeliveryTag(), false, true);}}
});

适用场景

需要重试机制的场景，如网络抖动、依赖服务不可用等

高可用性

作用

通过集群和经销队里额，确保mq在节点出现故障仍然可以要运行，避免消息丢失。

镜像队列结构是一主多从，所有操作都是主节点完成，然后同步给镜像节点，如果主节点宕机后，镜像节点会替代成新的主节点

实现原理

集群：多个mq节点组成的集群，共享数据和队列状态
镜像队列：将队列镜像到多个节点，确保队列的高可用性

配置方式

集群配置

rabbitmqctl join_cluster rabbit@node1

镜像队列配置

Map<String, Object> args = new HashMap<>();
args.put("x-ha-policy", "all"); // 镜像到所有节点
channel.queueDeclare("my_queue", true, false, false, args);

适用场景

适用于高可用的场景，如分布式系统、关键业务系统等

高可用性数据丢失怎么解决

在镜像队列主从同步的过程中，会出现在主从同步完成前，主节点就已经宕机，可能出现数据丢失。

我们可以通过仲裁队列来进行解决，和镜像队列一样，都是主从模式，支持主从数据同步但是不一样的点就是主从同步基于Raft协议，强一致性

并且使用起来也非常简单，不需要额外的配置，在声明队列的时候只要指定这个是仲裁队列即可

【MQ】RabbitMq的可靠性保证

消息队列中的可靠性主要是分为三部分： 消息不丢失：确保消息从生产者发送到消费者消息不丢失消息不重复：确保消息不被重复消费消息顺序性：确保消费的顺序性解决方案主要有以下几部分： 消息不丢失生产者确认机制持久…...

编程日记 2025/5/20 15:39:10

自签证书的dockerfile中from命令无法拉取镜像而docker的pull命令能拉取镜像

问题现象： docker pull images拉取镜像正常 dockerfile中的from命令拉取镜像就会报出证书错误。报错信息如下： [bjxtbwj-kvm-test-jenkins-6-243 ceshi_dockerfile]$ docker build . [] Building 0.4s (3/3) FINISHED …...

编程日记 2025/5/20 5:44:07

LAPD协议

实现LAPD（Link Access Procedure on the D-channel）协议的具体步骤和代码示例会比较复杂，通常涉及到底层网络编程和对ISDN协议的深入理解。以下是一个更详细的实现指导，主要集中在C/C环境中。环境准备确保你有一个支持ISDN的开发…...

编程日记 2025/5/18 10:34:54

jupyter版本所引起的扩展插件问题

文章目录如何永久切换python安装源为https://mirrors.aliyun.com/pypi/simple方法一：通过配置文件永久设置（推荐）步骤 1：创建或修改 pip 配置文件步骤 2：验证配置是否生效方法二：通过命令行直接配置效果验…...

编程日记 2025/5/19 21:12:55

连接 OpenAI 模型：基础操作

在这一部分中，我们将介绍如何连接 OpenAI 模型，设置 API 密钥，并使用 Spring AI 的 ChatClient 与 OpenAI 模型进行简单的对话。Spring AI 为集成 OpenAI 模型提供了方便的工具，使得开发者能够更轻松地与 GPT 系列模型进行交互。 …...

编程日记 2025/5/17 0:42:20

Vue.js组件开发-实现对视频预览

在 Vue 中实现视频文件预览实现步骤创建 Vue 组件：构建一个 Vue 组件用于处理视频文件的选择和预览。文件选择：添加一个文件输入框，允许用户选择视频文件。读取文件：监听文件选择事件，使用 FileReader API 读取所选…...

编程日记 2025/5/19 20:39:22

基于 Arduino Uno 和 RFID-RC522 的 RFID 卡号读取技术详解

引言射频识别（RFID）技术因其非接触式、高效性和低成本的特点，广泛应用于门禁系统、物流管理和智能设备等领域。本文将通过 Arduino Uno 和 MFRC522 RFID 模块，手把手教你实现 RFID 卡号的读取，并提供完整的代码解析和…...

编程日记 2025/5/16 17:41:15

AI Agent的测试与监控：保障稳定性的实战经验

在前面的文章中，我们讨论了 AI Agent 的各个核心模块。今天，我想聊聊如何保障 AI Agent 的稳定性。说实话，这个话题我一直很关注，因为在生产环境中，稳定性往往比功能更重要。从一次线上事故说起还记得去年一个深夜…...

编程日记 2025/5/19 9:05:19

Servlet项目依赖管理

一、Servlet 相关技术选型思路: 先选择 Servlet 容器，再找支持当前 JDK 版本的 Servlet 容器版本。已知Servlet容器有两种市场占用率较高，Tomcat&Jetty。接下来分别按照上述思路进行选择容器版本。 Tomcat 官网: https://tomcat.apache.org/ 版本…...

编程日记 2025/5/15 17:38:16

戴尔电脑设置u盘启动_戴尔电脑设置u盘启动多种方法

最近有很多网友问，戴尔台式机怎么设置u盘启动，特别是近两年的戴尔台式机比较复杂，有些网友不知道怎么设置，其实设置u盘启动有两种方法，下面小编教大家戴尔电脑设置u盘启动方法。戴尔电脑设置u盘启动方法一、戴尔进入b…...

编程日记 2025/5/14 23:56:56

大数据治理实战指南：数据质量、合规与治理架构

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 引言随着企业数字化转型的加速，大数据已成为驱动业务决策的核心资产。然而，数据治理的缺失或不完善&…...

编程日记 2025/5/9 3:38:10

2025年01月26日Github流行趋势

项目名称：onlook 项目地址url：https://github.com/onlook-dev/onlook项目语言：TypeScript历史star数：4871今日star数：207项目维护者：Kitenite, drfarrell, iNerdStack, abhiroopc84, apps/dependabot项目简…...

编程日记 2025/5/14 12:23:34

03-画P封装(制作2D+添加3D)

画P封装的方法2D制作3D添加使用P封装自己画0603格式的电阻的P封装1. 看规格书,找参数2. 创建一个新的P封装3. 灯泡两侧放焊盘4.设置焊盘大小和形状5.根据坐标定义中间间隔: L/2原则6. 画最外层丝印(丝印层直接围住即可)7.在平面的P封装上,添加3D立体封装库立创商城下载P封装向…...

编程日记 2025/5/17 12:56:17

WPF5-x名称空间

1. x名称空间2. x名称空间内容3. x名称空间内容分类 3.1. x:Name3.2. x:Key3.3. x:Class3.4. x:TypeArguments 4. 总结 1. x名称空间 “x名称空间”的x是映射XAML名称空间时给它取的名字（取XAML的首字母），里面的成员（如x:Class、…...

编程日记 2025/5/19 7:07:36

UDP 广播组播点播的区别及联系

1、网络IP地址的分类组播地址是分类编址的IPv4地址中的D类地址，又叫多播地址，他的前四位必须是1110，所以网络地址的二进制取值范围是11100000~11101111对应的十进制为 224~~239。所以以224~239开头的网络地址都是组播地址。组播地址的功能…...

编程日记 2025/5/20 2:59:52

SSM开发(二) MyBatis两种SQL配置方式及其对比

目录一、MyBatis两种SQL配置方式二、使用XML映射文件配置SQL语句三、使用注解配置SQL语句四、两种方式对比总结 1、注解 2、XML配置五、MyBatis多数据源的两种配置方式参考一、MyBatis两种SQL配置方式 MyBatis 提供了两种方式来配置SQL语句：注解（如 @Select…...

编程日记 2025/5/20 15:39:09

leetcode——删除链表的倒数第N个节点（java）

给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5] 示例 2： 输入：head [1], n 1 输出：[] 示例 3&#xf…...

编程日记 2025/5/18 16:33:56

SpringBoot支持动态更新配置文件参数

前言博主介绍：✌目前全网粉丝3W，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。博主所有博客文件…...

编程日记 2025/5/17 8:03:22

DeepSeek-R1，用Ollama跑起来

# DeepSeek-R1横空出世，超越OpenAI-o1，教你用Ollama跑起来使用Ollama在本地运行DeepSeek-R1的操作指南。 DeepSeek-R1作为第一代推理模型，在数学、代码和推理任务上表现优异，与OpenAI-o1模型不相上下。将此类模型部署到本地&am…...

编程日记 2025/5/18 10:58:19

基于OpenCV实现的答题卡自动判卷系统

一、图像预处理 🌄 二、查找答题卡轮廓 📏 三、透视变换 🔄 四、判卷与评分 🎯 五、主函数六、完整代码+测试图像集总结 🌟 在这篇博客中，我将分享如何使用Python结合OpenCV库开发一个答题卡自动判卷系统。这个系统能够自动从扫描的答题卡中提取信…...

编程日记 2025/5/17 5:26:07

VS Code i18n国际化组件代码code显示中文配置 i18n ally

VUE项目做i18n国际化之后，代码中的中文都变成了code这时的代码就会显得非常难读，如果有一个插件能把code转换成中文显示就好了 vscode插件搜索“i18n ally” 在项目根文件夹下创建文件：.vscode/settings.json settings.json 内容如下 {"…...

编程日记 2025/5/18 0:15:26

后盾人JS--闭包明明白白

延伸函数环境生命周期 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> <…...

编程日记 2025/5/15 8:37:41

[ Spring ] Spring Cloud Alibaba Aliyun OSS 2025

文章目录 Declare PluginsIntroduce DenpendenciesOSS ApplicationOSS ConfigOSS Controller Declare Plugins pluginManagement {repositories {gradlePluginPortal()google()mavenCentral()} }dependencyResolutionManagement {repositoriesMode RepositoriesMode.PREFER_S…...

编程日记 2025/5/19 22:43:59

自定义数据集使用框架的线性回归方法对其进行拟合

代码 import torch import numpy as np import torch.nn as nncriterion nn.MSELoss()data np.array([[-0.5, 7.7],[1.8, 98.5],[0.9, 57.8],[0.4, 39.2],[-1.4, -15.7],[-1.4, -37.3],[-1.8, -49.1],[1.5, 75.6],[0.4, 34.0],[0.8, 62.3]])x_data data[:, 0] y_data data…...

编程日记 2025/5/20 10:43:27

生产者确认机制

作用

实现原理

配置方式

适用场景

持久化机制

作用

实现原理

配置方式

适用场景

消费者确认机制

作用

实现原理

配置方式

适用场景

死信队列

作用

实现原理

配置方式

适用场景

消息重试机制

作用

实现原理

配置方式

适用场景

高可用性

作用

实现原理

配置方式

适用场景

高可用性数据丢失怎么解决

相关文章：