当前位置：首页 > news >正文

【RabbitMQ】保证消息不丢失

news 来源：原创 2025/6/16 13:17:54

要确保 RabbitMQ 在消费者（Python 服务）重启或挂掉时消息不丢失，需结合 消息持久化、确认机制（ACK） 和 死信队列（DLX） 实现高可靠性：

1. 消息持久化（Durability）

确保消息和队列在 RabbitMQ 服务重启后仍存在：

Java 发布者（设置持久化）

// 创建持久化队列 + 持久化消息
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("localhost");
try (Connection connection = factory.newConnection();Channel channel = connection.createChannel()) {// 声明持久化队列（durable=true）channel.queueDeclare("image_queue", true, false, false, null);// 发布持久化消息（deliveryMode=2）String message = "{\"task_id\": \"123\"}";channel.basicPublish("", "image_queue", new AMQP.BasicProperties.Builder().deliveryMode(2) // 持久化消息.build(),message.getBytes());System.out.println("消息已持久化发送");
}

Python 消费者（声明持久化队列）

channel.queue_declare(queue='image_queue', durable=True)  # durable=True

2. 手动确认（Manual ACK）

消费者处理完消息后显式发送 ACK，避免消息因崩溃丢失：

Python 消费者（关闭自动 ACK）

def callback(ch, method, properties, body):try:print(f"处理消息: {body.decode()}")# 业务逻辑...ch.basic_ack(delivery_tag=method.delivery_tag)  # 手动确认except Exception as e:print(f"处理失败: {e}")ch.basic_nack(delivery_tag=method.delivery_tag, requeue=True)  # 重新入队channel.basic_consume(queue='image_queue', on_message_callback=callback, auto_ack=False)  # 关闭自动ACK

关键点：

auto_ack=False：必须关闭自动确认。
处理成功后调用 basic_ack，失败时 basic_nack 并重新入队。

3. 死信队列（DLX）

处理因消费者崩溃或消息超时未被确认的消息：

Java 发布者（声明死信交换机和队列）

// 定义死信交换机和队列
Map<String, Object> args = new HashMap<>();
args.put("x-dead-letter-exchange", "dlx_exchange");  // 死信交换机
args.put("x-message-ttl", 60000);  // 消息存活时间（可选）channel.queueDeclare("image_queue", true, false, false, args);
channel.exchangeDeclare("dlx_exchange", "direct");
channel.queueDeclare("dlx_queue", true, false, false, null);
channel.queueBind("dlx_queue", "dlx_exchange", "");

Python 消费者（监听死信队列）

channel.queue_declare(queue='dlx_queue', durable=True)
channel.basic_consume(queue='dlx_queue', on_message_callback=handle_dlx_message, auto_ack=False)

作用：

消息超过 TTL 或消费者拒绝时，自动路由到死信队列。
可对死信消息进行补偿处理（如重试或记录日志）。

4. 消费者高可用（HA）

确保消费者服务崩溃后能自动恢复：

方案 1：进程守护（如 systemd）

# /etc/systemd/system/python_consumer.service
[Unit]
Description=Python RabbitMQ Consumer
After=network.target[Service]
User=root
WorkingDirectory=/opt/app
ExecStart=/usr/bin/python3 /opt/app/consumer.py
Restart=always  # 崩溃后自动重启[Install]
WantedBy=multi-user.target

方案 2：容器化（Docker）

# Dockerfile
FROM python:3.9
COPY consumer.py /app/
CMD ["python", "/app/consumer.py"]

docker run -d --restart=unless-stopped my_consumer

5. 消息补偿机制（可选）

极端情况下（如 RabbitMQ 崩溃），可通过数据库记录消息状态：

Java 发布者（本地事务）

// 伪代码：本地事务
try {saveToDatabase(task);  // 1. 先存数据库sendToRabbitMQ(task); // 2. 再发消息commitTransaction();
} catch (Exception e) {rollbackTransaction();// 定时任务扫描数据库补偿发送
}

完整流程图

最佳实践总结

措施	实现方式	作用
消息持久化	`deliveryMode=2` + `queueDeclare(durable=true)`	防止 RabbitMQ 重启丢失消息
手动 ACK	`auto_ack=false` + `basic_ack()`/`basic_nack()`	确保消息处理完成才删除
死信队列（DLX）	`x-dead-letter-exchange` + 独立死信消费者	处理超时或失败消息
消费者高可用	`systemd Restart=always` 或 `docker --restart=unless-stopped`	消费者崩溃后自动恢复
消息补偿	数据库记录 + 定时任务扫描	极端情况下的兜底措施

通过以上组合方案，可确保消息在消费者崩溃、重启或 RabbitMQ 异常时不丢失、不重复、可恢复。

【RabbitMQ】保证消息不丢失

要确保 RabbitMQ 在消费者（Python 服务）重启或挂掉时消息不丢失，需结合消息持久化、确认机制（ACK） 和死信队列（DLX） 实现高可靠性： 1. 消息持久化（Durability&#xff…...

编程日记 2025/5/28 8:30:42

算法效率的钥匙：从大O看复杂度计算 —— C语言数据结构第一讲

目录 1.数据结构与算法 1.1数据结构介绍 1.2算法介绍 2.算法效率 2.1复杂度 2.1.1时间复杂度 2.1.1.1时间复杂度计算示例1 2.1.1.2时间复杂度计算示例2 2.1.1.3时间复杂度计算示例3 2.1.1.4时间复杂度计算示例4 2.1.1.5时间复杂度计算示例5 2.1.1.6时间复杂度计算示例6…...

编程日记 2025/5/26 7:32:51

AI赋能守护行车安全新防线，基于YOLOv5全系列【n/s/m/l/x】参数模型开发构建驾驶车辆场景下驾驶员疲劳分心驾驶行为智能检测预警系统

在当今社会，随着科技生产力的飞速发展，汽车早已成为人们日常出行不可或缺的交通工具。它不仅极大地提高了人们的出行效率，也为生活带来了诸多便利。然而，随着汽车保有量的不断增加，交通安全问题也日益凸显。疲劳驾驶和…...

编程日记 2025/5/29 12:04:14

HNUST湖南科技大学-嵌入式考试选择题题库（109道纠正详解版）

HNUST嵌入式选择题题库 1.下面哪点不是嵌入式操作系统的特点。(B) A.内核精简 B.功能强大 C.专用性强 D.高实时性解析： 嵌入式操作系统特点是内核精简、专用性强、高实时性，而"功能强大"通常指的是通用操作系统&#x…...

编程日记 2025/5/27 5:32:06

【音视频】SDL事件

SDL 事件函数 SDL_WaitEvent()： 等待一个事件SDL_PushEvent()： 发送一个事件SDL_PumpEvents()： 将硬件设备产生的事件放入事件队列，用于读取事件，在调用该函数之前，必须调用SDL_PumpEvents搜集键盘等事件…...

编程日记 2025/6/4 13:00:00

[特殊字符]实战：使用 Canal + MQ + ES + Redis + XXL-Job 打造高性能地理抢单系统

📚目录项目背景技术栈总览详细流程分析 3.1 Canal监听MySQL Binlog 3.2 MQ中转传递订单变化 3.3 Elasticsearch存储并查询附近订单 3.4 Redis高性能抢单Lua防止抢单冲突 3.5 XXL-Job定时任务处理完整系统流程图总结一、项目背景针对类似外卖、跑…...

编程日记 2025/5/27 4:42:09

FPGA基础之基础语法

一、基本模块结构 Verilog 代码以模块（Module） 为单位，每个模块对应一个硬件功能单元（如逻辑门、寄存器等）。基本格式： module 模块名 (// 输入输出端口声明input 端口1,input 端口2,output 端口3 );…...

编程日记 2025/5/29 19:26:46

影楼精修-皮肤瑕疵祛除算法解析

注意：本文样例图片为了避免侵权，均使用AIGC生成； 顾名思义，皮肤瑕疵祛除旨在祛除人像照片皮肤区域的痘痘/斑点/痣/胎记等瑕疵；当前主流算法方案可分为传统图像处理方法和基于深度学习的方法，本文重点介绍基…...

编程日记 2025/5/29 13:21:29

2025蓝桥杯省赛网络安全组wp

文章目录黑客密室逃脱ezEvtxflowzipEnigma星际xml解析器EBC-TrainAES-CBC 黑客密室逃脱提示猜文件名，猜几个常见的，app.py读到源码这里也是脑抽了一下，把密钥看成1236了。。。卡了五分钟左右，解出来的时候已经降到300多分了&a…...

编程日记 2025/5/27 8:24:22

【数据结构】·励志大厂版（复习+刷题）：二叉树

前引：哈喽小伙伴们！经过几个月的间隔，还是逃脱不了再次复习的命运！！！本篇文章没有冗杂的闲话，全是干货教学，带你横扫二叉树的几种遍历，怎么前序、、中序、后续&#xff1…...

编程日记 2025/5/29 11:48:10

Spark-Streaming2

一．有状态转化操作 1. UpdateStateByKey UpdateStateByKey 原语用于记录历史记录，有时，我们需要在 DStream 中跨批次维护状态(例如流计算中累加 wordcount)。针对这种情况，updateStateByKey()为我们提供了对一个状态变量的访问&…...

编程日记 2025/5/29 10:01:33

《深入浅出Git：从版本控制原理到高效协作实战》

Git的原理和使用 1、Git初识与安装2、Git基本操作2.1、创建Git本地仓库2.2、配置Git2.3、认识工作区、暂存区、版本库2.4、修改文件2.5、版本回退2.6、撤销修改2.7、删除文件 3、Git分支管理3.1、理解分支3.2、创建、切换、合并分支3.3、删除分支3.4、合并冲突3.5、合并模式3.6…...

编程日记 2025/5/27 7:19:56

内耗型选手如何能做到不内耗？

以下是针对「内耗型选手」的系统性解决方案，结合认知神经科学、行为心理学和效能管理理论，提供可落地的策略框架： 一、建立「内耗熵值」监测系统 1. 绘制内耗热力图用时间轴记录每日内耗触发点： 时间段内耗场景能量损耗值&…...

编程日记 2025/5/29 16:23:15

不多解释直接上代码，少python包的自己直接下载 #!/usr/bin/env python # -*- encoding: utf-8 -*- from pyspark.sql import SparkSession import pandas as pd import os# 初始化 SparkSession 并启用 Hive 支持 spark SparkSession.builder \.appName("sel…...

编程日记 2025/5/29 18:44:43

Java大师成长计划之第5天：Java中的集合框架

📢 友情提示： 本文由银河易创AI（https://ai.eaigx.com）平台gpt-4o-mini模型辅助创作完成，旨在提供灵感参考与技术分享，文中关键数据、代码与结论建议通过官方渠道验证。在 Java 编程中，集合框架…...

编程日记 2025/5/31 8:36:28

rt-linux下的D状态的堆栈抓取及TASK_RTLOCK_WAIT状态

一、背景在之前的博客缺页异常导致的iowait打印出相关文件的绝对路径-CSDN博客里的 2.1 一节里的代码，我们已经有了一个比较强大的抓取D状态和等IO状态超过阈值的waker和wakee的堆栈状态的内核模块。在之前的博客增加等IO状态的唤醒堆栈打印及缺页异常导致iowa…...

编程日记 2025/5/27 6:39:07

数据结构【堆和链式结构】

堆和链式结构 1.堆的概念和定义1.1堆1.2二叉树的性质 2.堆的实现3.实现链式二叉树3.1链式二叉树的概念3.2前中后遍历3.3遍历（举例） 1.堆的概念和定义 1.1堆定义：是特殊的二叉树 #mermaid-svg-vWPNPMGSLe0nGNcd {font-family:"trebuch…...

编程日记 2025/5/27 14:14:50

聊一聊自动化测试

目录一、自动化测试的定义与核心价值 （一）什么是自动化测试 （二）核心价值：从人工到智能的跨越二、自动化测试的发展阶段 （一）萌芽阶段（早期） （二&…...

编程日记 2025/5/29 13:20:41

vue2 开发一个实习管理系统电脑端-前端静态网站练习

为了快速的掌握vue2的所学习到的知识点，最近又使用vue2和element-ui 做了一个实习管理系统来巩固自己的前端技术，我觉得对于新手来说，多写代码，多找一些项目练习，是提供自己编程能力的一个很好的办法，这也是…...

编程日记 2025/5/29 23:24:46

【Hive入门】Hive基础操作与SQL语法：DML操作全面解析

目录 1 Hive DML操作概述 2 数据加载操作 2.1 LOAD DATA语句 2.2 INSERT语句 3 数据导出操作 3.1 INSERT OVERWRITE DIRECTORY 3.2 使用HDFS命令导出 4 数据更新与删除 4.1 UPDATE语句 4.2 DELETE语句 5 MERGE操作（Hive 2.2） 6 性能优化建议…...

编程日记 2025/5/28 7:32:44

C++类和对象(上)

目录类的定义类定义格式访问限定符类域实例化实例化概念对象大小 this指针C和C语言实现Stack对比类的定义类定义格式在下面的代码中，class为定义类的关键字，Stack为类的名字，{}中为类的主体， 注意类定义结束时后面分号不能省…...

编程日记 2025/5/29 10:04:59

LS2K0300龙芯开发板——智能车竞赛

开启 LS2K0300 调车之旅（自己写的自己慢慢更，可能写的不好欢迎指教） 欢迎大家一起讨论共同进步！逐飞科技针对 LS2K0300 MCU 开发的开源库，涵盖多种实用功能，助力竞赛与产品开发。以下是快速上手指南&#…...

编程日记 2025/6/1 16:04:06

电子病历高质量语料库构建方法与架构项目（智能质控体系建设篇）

引言随着人工智能技术的迅猛发展，医疗信息化建设正经历着前所未有的变革。电子病历作为医疗机构的核心数据资产，其质量直接关系到临床决策的准确性和医疗安全。传统的病历质控工作主要依赖人工审核，存在效率低下、主观性强、覆盖面有限等问题。近年来，基于人工智能技术的…...

编程日记 2025/5/28 16:45:00

超级创新思路：基于CBAM-Transformer的强化学习时间序列预测模型（Python\matlab实现）

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！需要完整代码可私信或评论！本方案可用于医疗、金融、交通、零售、光伏功率预测、估计预测、天气预测、流量预测、故障检测等领域！目录首先声明，该模型为原创！原创！原创！且该思…...

编程日记 2025/6/1 16:04:08

JVM——垃圾收集策略

GC的基本问题什么是GC？ GC 是 garbage collection 的缩写，意思是垃圾回收——把内存（特别是堆内存）中不再使用的空间释放掉；清理不再使用的对象。为什么要GC？ 堆内存是各个线程共享的空间&#xff0c…...

编程日记 2025/5/29 10:56:02

从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征

从基础到实战的量化交易全流程学习：1.3 数学与统计学基础——概率与统计基础 | 数字特征第一部分：概率与统计基础第2节：数字特征：期望值、方差、协方差与相关系数一、期望值（Expected Value）&#xff1a…...

编程日记 2025/5/29 1:03:45

【MySQL】数据类型和表的操作

目录一. 常用的数据类型 1.数值类型 1.1 整形类型 1.2 浮点型类型 2.字符串类型 char和varchar的区别如何选择char和varchar 3.日期类型 4.二进制类型二. 表的操作 1.查看所有表 2.表的创建 3.查看表的结构 4.表的修改 4.1 添加新的列 4.2 修改表中现有的列 4…...

编程日记 2025/5/30 16:59:31

Tauri打包时出现WixTools以及NSIS报错

前言 Tauri构建时会通过github下载Wix和NSIS，由于国内网络限制，所以这个过程基本都会失败，而且你无法使用挂代理的方式解决此问题，唯一的办法就是先下载对于的库，然后把库丢到对应的文件夹内来解决此问题。。。文章目…...

编程日记 2025/5/31 10:40:47

Linux操作系统学习---进程地址空间

前言: 在学习c,c这些偏底层的语言时,我们常常会对一个变量取地址,一遍对他进行一系列的操作 . 可是 , 这真的是真实的物理地址吗 ? 其实并非如此 , 通过了解进程地址空间,我们就能解开这个困惑. 一、虚拟地址空间的概念: 同地址,不同值的代码示例: 下面通过创建子进程来看一个…...

编程日记 2025/5/29 19:05:53

docker compose -p的踩坑经验

刚才启动ragflow解析了几百个文件，再次启动登录时报错没有这个账户，心疼token几秒。。。再次回顾之前的启动方式和当前的启动方式，才发现有出入。问题： 第一次启动sudo docker compose up -d 第二次启动sudo docker compose -…...

编程日记 2025/6/4 13:36:13

深入理解 Linux 用户管理：从基础到实践

在 Linux 操作系统中，用户管理是确保系统安全、合理分配资源的核心环节。无论是个人开发者搭建本地开发环境，还是运维人员管理企业级服务器集群，熟练掌握 Linux 用户管理都是一项必备技能。本文将从用户管理的基础概念出发，结合实…...

编程日记 2025/5/29 12:48:13

Go语言之路————指针、结构体、方法

Go语言之路————指针、结构体、方法前言指针结构体声明初始化使用组合引用结构体和指针结构体的标签方法例子结合结构体总结前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触Go…...

编程日记 2025/5/29 11:05:05

【漫话机器学习系列】227.信息检索与数据挖掘中的常用加权技术（TF-IDF）

在自然语言处理（NLP）、信息检索（IR）和数据挖掘（DM）领域中，TF-IDF 是一种非常经典且常用的加权技术。无论是搜索引擎排序、文本挖掘，还是特征工程，TF-IDF都扮演着重要角色…...

编程日记 2025/5/28 8:30:41

【音视频】FFmpeg过滤器框架分析

ffmpeg的filter⽤起来是和Gstreamer的plugin是⼀样的概念，通过avfilter_link，将各个创建好的filter按⾃⼰想要的次序链接到⼀起，然后avfilter_graph_config之后，就可以正常使⽤。⽐较常⽤的滤镜有：scale、trim、over…...

编程日记 2025/5/29 16:40:37

硬盘损坏数据恢复后对python程序的影响

最近硬盘突然间坏掉了，让数据商恢复了2个月今天终于拿到了恢复后的数据。但是一测试问题就来了： PS E:\geosystem> python manage.py runserver 0.0.0.0:5000 Unhandled exception in thread started by <function check_errors.<locals>.…...

编程日记 2025/6/3 15:02:45

Azure Devops - 尝试一下在Pipeline中使用Self-hosted Windows agent

1.简单介绍 Azure Devops是微软提供的辅助软件的开发，测试，部署以及计划和进度跟踪的平台，通过Azure Devops可以使开发者，项目经理，运维人员在软件的整个生命周期中更紧密地合作，同时借助Continuous Integ…...

编程日记 2025/6/1 18:30:47

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小

Linux红帽：RHCSA认证知识讲解（十四）分区管理、交换分区，创建逻辑卷与调整逻辑卷的大小前言一、分区管理，使用fdisk管理分区1.1 找到硬盘1.2 使用fdisk分区1.3 格式化分区1.4 挂载分区二、创建逻辑卷，调整…...

编程日记 2025/6/1 11:57:24

详解 Unreal Engine（虚幻引擎）

详解 Unreal Engine（虚幻引擎） Unreal Engine（简称 UE）是由 Epic Games 开发的一款全球领先的实时渲染引擎，自 1998 年随首款游戏《Unreal》问世以来，已发展成为覆盖游戏开发、影视制作、建筑可视化、汽车…...

编程日记 2025/5/29 2:25:26

【Linux网络】Http服务优化 - 增加请求后缀、状态码描述、重定向、自动跳转及注册多功能服务

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/3 15:52:48

Docker compose 部署微服务项目（从0-1出发纯享版无废话）

目录一.Docker安装 （1）安装依赖 （2）安装Docker （3）启动Docker服务 （4）系统配置 （5）镜像加速配置 （6）验证安装二.编写Docke…...

编程日记 2025/5/29 13:38:08

C#学习第19天：多线程

什么是多线程？ 定义：多线程允许一个程序分成多个独立的执行路径来进行并发操作。用途：提高程序的执行效率，特别是在I/O操作、计算密集型任务和用户交互中。多线程核心概念 1. 创建和管理线程使用 Thread 类 using System; u…...

编程日记 2025/6/1 8:55:00

day7 python针对心脏病数据集预处理

在数据科学与机器学习领域，数据预处理与可视化是挖掘数据价值的关键前置步骤。本文以 heart1.csv 心脑血管疾病数据集为例，借助 Python 中的 pandas、matplotlib、seaborn 以及 scikit-learn 库，详细演示数据加载、缺失值处理、特征相关性分析…...

编程日记 2025/5/29 10:37:27

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率

树莓派学习专题＜9＞：使用V4L2驱动获取摄像头数据--设定分辨率和帧率 1. 设定分辨率2. 设定帧率3. 设定分辨率代码解析4. 获取与设定帧率代码解析5. 实测 1. 设定分辨率使用如下代码设定摄像头的分辨率： #define CAMERA_RESOLUTI…...

编程日记 2025/6/2 10:12:03

模态链：利用视觉-语言模型从多模态人类视频中学习操作程序

25年4月来自谷歌 DeepMind 和斯坦福大学的论文“Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models”。从人类视频中学习执行操作任务，是一种很有前景的机器人教学方法。然而，许多操作任务…...

编程日记 2025/6/4 16:45:55