当前位置： 首页 > news >正文

RabbitMQ高级篇之MQ可靠性 数据持久化

news 来源：原创 2025/7/12 23:47:17

文章目录

      • 消息丢失的原因分析
      • 内存存储的缺陷
      • 如何确保 RabbitMQ 的消息可靠性？
      • 数据持久化的三个方面
      • 持久化对性能的影响
      • 持久化实验验证
      • 性能对比
      • Spring AMQP 默认持久化
      • 总结

消息丢失的原因分析

RabbitMQ 默认使用内存存储消息，但这种方式带来了两个主要问题：

  • 内存不是永久存储：内存中的数据会随着 RabbitMQ 的重启丢失。如果消息存储在内存中，一旦 MQ 宕机或重启，所有未持久化的消息都会丢失。
  • 内存空间有限：如果消费者处理消息的速度较慢，而生产者发送消息的速度过快，MQ 会堆积大量的消息，导致内存占满，最终可能导致 MQ 阻塞。当内存满时，RabbitMQ 会尝试将内存中的部分消息写入磁盘，但此操作非常耗时，会导致 MQ 无法处理更多的消息，进而发生阻塞。

内存存储的缺陷

  • 消息丢失：因为内存不是持久化存储，当 RabbitMQ 重启时，内存中的所有数据（包括交换机、队列、消息）都将丢失。
  • 性能下降与阻塞：内存满时，消息需要被转移到磁盘，磁盘的写入速度慢，导致消息处理速度下降。如果消息堆积，MQ 会阻塞，不能继续接收或处理消息，严重影响系统的实时性。



如何确保 RabbitMQ 的消息可靠性？

要确保消息不丢失并且能够持续处理，需要采取数据持久化的措施。数据持久化意味着将消息、队列和交换机的元数据存储在磁盘中，确保即使 RabbitMQ 重启，消息也不会丢失。



数据持久化的三个方面

为了确保数据在 RabbitMQ 中的可靠性，需要对以下三方面进行持久化配置：

  1. 交换机持久化：
  • 换机在 RabbitMQ 中负责路由消息。如果交换机丢失，消息会丢失，因此交换机必须持久化。
  • 默认情况下，RabbitMQ 创建的交换机是持久化的。可以在创建交换机时，通过设置 durable=true 来指定交换机的持久化属性。



  1. 队列持久化：
  • 队列存储消息。如果队列丢失，所有未处理的消息都会丢失，因此队列也必须持久化。
  • 与交换机类似，队列的 durable 属性应该设置为 true，这样队列会在 RabbitMQ 重启后保留下来。



  1. 消息持久化：
  • 即使交换机和队列是持久化的，如果消息本身没有被持久化，消息依然会丢失。
  • 在发送消息时，通过设置 delivery mode=persistent 来将消息标记为持久化。这样，消息就会被存储到磁盘中，即使 RabbitMQ 重启，消息也不会丢失。


持久化对性能的影响

  • 非持久化消息：
    • 如果消息没有设置持久化，RabbitMQ 会把消息存储在内存中。当内存满时，它会将数据写入磁盘（称为 paged out），这会导致性能下降，因为磁盘写入操作较慢。
    • 这种模式下，MQ 可能会出现阻塞，即消息发送速率骤降，甚至停止处理消息。
  • 持久化消息：
    • 如果消息是持久化的，即每发送一条消息都立即写入磁盘，不会等待内存满了才写。这种方式保证了消息不会丢失，同时避免了 paged out 导致的阻塞问题。
    • 持久化消息的写入速度相对较慢，但性能波动较小，不会出现阻塞。虽然会有一些性能开销，但不会像非持久化消息那样，处理速度大幅下降。



持久化实验验证

  • 非持久化消息发送：
    • 当发送大量（例如 100 万条）非持久化消息时，如果队列或内存满了，RabbitMQ 会将内存中的消息写入磁盘。在此过程中，消息处理速度会显著下降，甚至停滞，导致性能严重下降。
    • paged out 操作会导致消息的处理速度一度降为零，之后才恢复。



  • 持久化消息发送：
    • 当发送持久化消息时，消息不仅存储在内存中，还会立即写入磁盘。因此，无论内存如何变化，磁盘中的数据都能保持一致，不会发生消息丢失。
    • 持久化模式下，即使有大量消息需要处理，RabbitMQ 仍然能够保持较高的处理速率，没有明显的性能下降或阻塞。



性能对比

  • 非持久化模式：发送大量消息时，随着内存满了，系统会进行 paged out，导致性能波动，速率降低到零，造成阻塞。
  • 持久化模式：每条消息都会立即持久化到磁盘，因此没有发生内存满了才写入的情况，性能保持稳定，处理速度平稳。



Spring AMQP 默认持久化

  • Spring AMQP 配置：默认情况下，Spring AMQP 创建的队列和交换机都是持久化的，发送的消息也是持久化的。因此，开发者不需要做额外的配置，默认行为即可保证消息的可靠性。

总结

为了确保 RabbitMQ 的消息可靠性，应采用以下措施：

  1. 确保交换机、队列和消息都做持久化，避免数据丢失。
  2. 通过 Spring AMQP 默认配置，可以确保消息的可靠性，但需要注意消息持久化的性能开销。
  3. 持久化虽然会带来一定的性能开销，但比起非持久化模式导致的阻塞问题，持久化更有利于系统的稳定性和可靠性。

相关文章：

RabbitMQ高级篇之MQ可靠性 数据持久化

文章目录 消息丢失的原因分析内存存储的缺陷如何确保 RabbitMQ 的消息可靠性？数据持久化的三个方面持久化对性能的影响持久化实验验证性能对比Spring AMQP 默认持久化总结 消息丢失的原因分析 RabbitMQ 默认使用内存存储消息，但这种方式带来了两个主要问…...

编程日记 2025/7/12 23:47:17

C 语言奇幻之旅 - 第16篇：C 语言项目实战

目录 引言1. 项目规划1.1 需求分析与设计1.1.1 项目目标1.1.2 功能需求1.1.3 技术实现方案 2. 代码实现2.1 模块化编程2.1.1 学生信息模块2.1.2 成绩管理模块 2.2 调试与测试2.2.1 调试2.2.2 测试2.2.4 测试结果 3. 项目总结3.1 代码优化与重构3.1.1 代码优化3.1.2 代码重构 3.…...

编程日记 2025/7/7 10:39:19

[笔记] 使用 Jenkins 实现 CI/CD ：从 GitLab 拉取 Java 项目并部署至 Windows Server

随着软件开发节奏的加快，持续集成（CI）和持续部署（CD）已经成为确保软件质量和加速产品发布的不可或缺的部分。Jenkins作为一款广泛使用的开源自动化服务器，为开发者提供了一个强大的平台来实施这些实践。然而…...

编程日记 2025/7/9 16:21:14

Git最便捷的迁移方式

#当公司要求git需要迁移时，你是不是感觉到束手无策。今天带来给大家最快，最便捷的迁移方式 这个命令是用于重命名git仓库中的远程仓库名。在这个命令中，我们将远程仓库的名字从"origin"改为"old-origin"。 git remote …...

编程日记 2025/7/9 19:30:34

【颜色分类--荷兰国旗问题】

问题 给定一个包含红色、白色和蓝色、共 n 个元素的数组 nums ， 原地 对它们进行排序，使得相同颜色的元素相邻，并按照红色、白色、蓝色顺序排列。我们使用整数 0、 1 和 2 分别表示红色、白色和蓝色。必须在不使用库内置的 sort 函数的情况下…...

编程日记 2025/7/9 18:14:30

xrdp连接闪退情况之一

错误核查 首先使用命令vim ~/.xsession-errors，当里面的报错信息为WARNING **: Could not make bus activated clients aware of XDG_CURRENT_DESKTOPGNOME environment variable:Failed to execute child process “dbus-launch” (No such file or directory)&am…...

编程日记 2025/7/9 7:56:03

KubeVirt 进阶：设置超卖比、CPU/MEM 升降配、在线磁盘扩容

前两篇文章，我们分别介绍 Kubevirt 的安装、基本使用 以及 将 oVirt 虚拟机迁移到 KubeVirt，我们留了两个ToDo，一个是本地磁盘的动态分配，一个是固定 IP 的需求，本期我们先解决第一个，本地磁盘的动态分配。…...

编程日记 2025/7/7 22:05:14

（回溯法）leetcode39组合总和

第一个2开头，下面的子节点的集合元素均为2,5,3 但是在5开头，下面的子节点集合元素均为5,3 带着这个图的思路确定i和index的传递值 backtracking(i, nums,8,sum);用的是i而不是i1 // ConsoleApplication3.cpp : 此文件包含 "main" 函数。程序…...

编程日记 2025/7/7 22:05:12

【数据结构】二叉搜索树

目录 1. 二叉搜索树的概念 2. 二叉搜索树的性能分析 3.二叉搜索树的实现 3. 1.二叉搜索树的插入 3.2. 二叉搜索树的查找 3.3. 二叉搜索树的删除 3.4. 二叉搜索树的实现代码 4. 二叉搜索树key和key/value两种使用场景 4.1 key搜索场景： 4.2 key/value搜索场…...

编程日记 2025/7/12 23:46:35

高可用虚拟IP-keepalived

个人觉得华为云这个文档十分详细：使用虚拟IP和Keepalived搭建高可用Web集群_弹性云服务器 ECS_华为云 应用场景：虚拟IP技术。虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供数据库服务器的主机除了有一个真实IP外还有一个…...

编程日记 2025/7/10 15:17:24

CSS语言的多线程编程

CSS语言的多线程编程 引言 在现代Web开发中，CSS（层叠样式表）被广泛用于给网页添加样式。然而，CSS本身是一种声明性语言，在设计上并没有直接支持多线程编程的功能。实际上，CSS的解析和应用是由浏览器的渲染…...

编程日记 2025/7/10 1:33:40

电脑之一键备份系统(One Click Backup System for Computer)

电脑之一键备份系统 相信使用电脑的的人都遇到过，电脑系统崩溃，开机蓝屏等原因，这个时候你急着用电脑办公，电脑却给你罢工是多么气人了，其实可以给电脑做一个系统备份。 最近每天都有系统蓝屏崩溃，这个实难…...

编程日记 2025/7/9 23:30:54

R语言的正则表达式

R语言中的正则表达式深度解析 正则表达式（Regular Expressions，简称Regex）是一种用于描述字符串匹配规则的工具，广泛应用于数据处理、文本分析、数据清洗等多个领域。在R语言中，正则表达式被广泛应用于字符串的处理和…...

编程日记 2025/7/7 9:23:08

解决el-table表格数据量过大导致页面卡顿问题 又名《umy-ui---虚拟表格仅渲染可视区域dom的神》

后台管理系统的某个页面需要展示多个列表 数据量过多 页面渲染dom卡顿 经调研发现两个组件 pl-table和umy-ui （也就是u-table） 最终决定使用umy-ui 它是专门基于 Vue 2.0 的桌面端组件库 流畅渲染表格万级数据 而且他是对element-ui的表格做了二次优化…...

编程日记 2025/7/9 21:30:00

《机器学习》——贝叶斯算法

贝叶斯简介 贝叶斯公式，又称贝叶斯定理、贝叶斯法则，最初是用来描述两个事件的条件概率间的关系的公式，后来被人们发现具有很深刻的实际意义和应用价值。该公式的实际内涵是，支持某项属性的事件发生得愈多，则该属性成…...

编程日记 2025/7/7 6:50:57

零基础 监控数据可视化 Spring Boot 2.x(Actuator + Prometheus + Grafana手把手) （上）

一、安装Prometheus Releases prometheus/prometheus GitHubhttps://github.com/prometheus/prometheus/releases 或 https://prometheus.io/download/https://prometheus.io/download/ 1. 下载适用于 Windows 的二进制文件： 找到最新版本的发布页面&#xf…...

编程日记 2025/7/10 23:20:18

4.STM32F407ZGT6-独立看门狗

参考： 1.正点原子 前言： 看门狗是一个项目或者产品中肯定需要的功能部分，必须会。常见的两种看门狗类型，独立看门狗和窗口看门狗，各有使用的场景。总结记录独立看门狗一些知识点： 1.独立看门狗的概念。&am…...

编程日记 2025/7/9 16:01:03

RHCE实验-nfs及autofs

本次实验的目的：实现服务端的网络文件共享（配置nfs）,且实现客户端的自动挂载（配置autofs） 服务端配置： 关闭防火墙和selinux: 安装软件 [rootlocalhost ~]# yum install nfs-utils -y 创建需要被挂载的目…...

编程日记 2025/7/7 22:04:49

docker代理设置

最近遇到国内镜像无法下载的问题，因此需要配置docker代理来使其能够下载镜像 代理设置方法如下： 编辑 /etc/docker/daemon.json 文件： 配置 HTTP 和 HTTPS 代理： {"proxies": {"http-proxy": "http:/…...

编程日记 2025/7/7 21:53:52

死信交换机

什么是死信？什么是死信交换机？ 在MQ中未能成功被消费的消息就被称之为死信，而死信交换机就用于存放死信消息。 消息转变成死信消息的原因： 消息被消费者拒绝或者需要重发（nack、reject） nack：消…...

编程日记 2025/7/7 20:58:15

cat命令详解

🏝️专栏：https://blog.csdn.net/2301_81831423/category_12872319.html 🌅主页：猫咪-9527-CSDN博客 “欲穷千里目，更上一层楼。会当凌绝顶，一览众山小。” cat 是 Linux/Unix 中的一个非常常用的命令&…...

编程日记 2025/7/10 18:46:04

路由器的转发表

【4-24】 已知路由器R₁ 的转发表如表T-4-24 所示。 表T-4-24 习题4-24中路由器R₁的转发表 前缀匹配 下一跳地址 路由器接口 140.5.12.64/26 180.15.2.5 m2 130.5.8/24 190.16.6.2 ml 110.71/16 ----- m0 180.15/16 ----- m2 190.16/16 ----- ml 默认 11…...

编程日记 2025/7/7 22:04:40

腾讯云AI代码助手编程挑战赛-古诗词学习

一、作品介绍 在科技与文化深度交融的当下，“腾讯云 AI 代码助手编程挑战赛 - 每日古诗词” 宛如一颗璀璨的新星，闪耀登场。它绝非一场普通的赛事，而是一座连接编程智慧与古典诗词韵味的桥梁。 这项挑战赛以独特的视角，将每日古…...

编程日记 2025/7/11 1:19:45

积分系统的设计

1. 目的 学习是需要正反馈的，这样学员才能有源源不断的动力去继续学习。 为了激励学员，我们需要设定一个学习积分的排行榜系统。优秀的学员给予一定的奖励，比如奖励优惠券。大家互相比拼的，刺激学员持续学习，互相卷起…...

编程日记 2025/7/12 9:17:43

功能篇：spring事务配置

在 Java 应用程序中配置事务管理通常涉及使用 Spring 框架，因为 Spring 提供了强大的事务管理抽象，可以简化事务的配置和管理。Spring 支持两种类型的事务管理：编程式事务管理和声明式事务管理。 编程式事务管理 编程式事务管理是通过编写代…...

编程日记 2025/7/9 23:18:28

单元测试概述入门

引入 什么是测试？测试的阶段划分？ 测试方法有哪些？ 1.什么是单元测试？ 单元测试：就是针对最小的功能单元（方法），编写测试代码对其正确性进行测试。 2.为什么要引入单元测试&#x…...

编程日记 2025/7/9 15:50:07

PySpark学习笔记2-RDD算子，RDD持久化

RDD定义 RDD是弹性分布式数据集，是spark中的最基本的数据抽象，里面的元素可以并行计算 RDD的五大特性 RDD是有分区的，它的分区是数据存储的最小单位 RDD的方法会作用在所有分区上 RDD之间是有依赖关系的 KV型的RDD可以有分区器 RDD的分区会尽…...

编程日记 2025/7/12 11:55:27

windows10下安装Microsoft SQL Server 2016

一、下载安装包 网站：MSDN, 我告诉你 - 做一个安静的工具站 选择需要的版本，点击详细信息，复制ed2k链接，打开eMule或迅雷，新建下载，粘贴链接，开始下载。 下载好的文件是一个.iso镜像文件。 二、…...

编程日记 2025/7/7 20:44:51

开关不一定是开关灯用 - 命令模式（Command Pattern）

命令模式（Command Pattern） 命令模式（Command Pattern）命令设计模式命令设计模式结构图命令设计模式涉及的角色 talk is cheap， show you my code总结 命令模式（Command Pattern） 命令模式&…...

编程日记 2025/7/8 23:10:31

急速了解什么是GPU服务器

GPU服务器是一种专门配置了高性能图形处理器（GPU）的服务器，旨在提供高性能计算、深度学习、科学计算等多种场景的计算服务。与传统的CPU服务器相比，GPU服务器在处理并行密集型计算任务时具有显著优势。本文将详细介绍GPU服务器的定…...

编程日记 2025/7/12 11:55:25

word论文排版常见问题汇总

word论文排版常见问题汇总 常用快捷键： Alt F9 正常模式与域代码模式切换 Ctrl F9 插入域代码 F9 刷新域代码显示，要注意选定后刷新才会有效果 word中在当前列表的基础上修改列表 在使用word时，我们会定义一个列表，并将其链接…...

编程日记 2025/7/12 11:55:24

作业：IO：day3

思维导图 使用3语言编写一个简易的界面 界面如下 1：标准输出流 2：标准错误流 3：文件流 要求： 按1的时候，通过printf输出数据， 按2的时候，通过perror输出数据， 按3的时候将输入写入文…...

编程日记 2025/7/12 11:55:22

H266/VVC 帧内预测 PDPC 技术

位置决定的帧内预测组合 PDPC 在 VVC 中，对于帧内预测的 Planar 模式、DC 模式和几种角度模式需要使用 PDPC (position dependent intra prediction combination) 方法进一步处理。 PDPC 用于 DC 模式、Planar 模式、小于等于水平模式(模式 18) 的角度模式、大于等于…...

编程日记 2025/7/12 11:55:20

微信小程序mp3音频播放组件，仅需传入url即可

// index.js // packageChat/components/audio-player/index.js Component({/*** 组件的属性列表*/properties: {/*** MP3 文件的 URL*/src: {type: String,value: ,observer(newVal, oldVal) {if (newVal ! oldVal && newVal) {// 如果 InnerAudioContext 已存在&…...

编程日记 2025/7/12 11:55:19

Hadoop3.x 万字解析，从入门到剖析源码

💖 欢迎来到我的博客！ 非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长…...

编程日记 2025/7/12 11:55:17

mysql的一些函数及其用法

mysql 1-来自于leetcode1517的题目 表: Users------------------------ | Column Name | Type | ------------------------ | user_id | int | | name | varchar | | mail | varchar | ------------------------已知一个表，它的…...

编程日记 2025/7/12 11:55:15

[java基础]LinkedList源码粗析

LinkedList 的数据结构 实现List、Deque 接口，基于 双向链表实现的列表。与基于数组的 ArrayList 不同，基于链表的LinkedList 允许在列表的任何位置快速地插入和删除元素。 Java中LinkedList实现了Deque，它提供了 add, offer, remove, poll, …...

编程日记 2025/7/12 11:55:13

基于Spring Boot的海滨体育馆管理系统的设计与实现

风定落花生，歌声逐流水，大家好我是风歌，混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的海滨体育馆管理系统的设计与实现。项目源码以及部署相关请联系风歌，文末附上联系信息 。 项目简介： 宠物医院…...

编程日记 2025/7/12 11:55:12

易支付二次元网站源码及部署教程

易支付二次元网站源码及部署教程 引言 在当今数字化时代，二次元文化逐渐成为年轻人生活中不可或缺的一部分。为了满足这一庞大用户群体的需求，搭建一个二次元主题网站显得尤为重要。本文将为您详细介绍易支付二次元网站源码的特点及其部署教程&#xf…...

编程日记 2025/7/12 11:55:10

json序列化时，默认遇到中文会转换成unicode，如果想要保留中文怎么办？

在使用 Python 的 json 模块进行序列化时，默认情况下会将中文转换为 Unicode 编码。如果你希望在序列化时保留中文，可以通过设置 ensure_asciiFalse 来实现。 以下是示例代码： import jsondata {"name": "李浩瑞", &q…...

编程日记 2025/7/10 12:14:31

Perl语言的循环实现

Perl语言的循环实现 引言 Perl是一种强大的脚本语言，以其灵活的语法和强大的文本处理能力著称。无论是在系统管理、网络编程，还是在Web应用开发中，Perl都广泛应用于各种领域。循环是编程语言中一个极其重要的概念，它允许程序重复…...

编程日记 2025/7/12 11:55:08

IOMMU PT

什么是 IOMMU PT IOMMU PT（Input/Output Memory Management Unit - Pass-Through）是一种技术，主要用于虚拟化环境中，特别是在使用直接设备分配（也称为设备直通）的情况下。这项技术允许虚拟机直接访问物理硬…...

编程日记 2025/7/10 5:17:34

DNS协议漏洞利用实验_hust计算机网络安全实验

文章目录 计算机网络安全实验 DNS协议漏洞利用实验 docker使用 建立实验环境docker常用指令 一些注意事项设置本地 DNS 服务器 配置用户计算机设置本地DNS服务器在本地 DNS 服务器中建一个区域 修改主机文件（可略）netwox实施DNS的用户响应欺骗攻击netwo…...

编程日记 2025/7/8 13:41:42

深度学习中的卷积和反卷积（二）——反卷积的介绍

1 简介 反卷积（deconvolution）又称转置卷积，是卷积的拟操作，常用于GAN等模型中。反卷积是上采样的一种，上采样是指将特征图维度恢复到原始图的维度，这种增大维度的过程被称为上采样。上采样可以用插值或反…...

编程日记 2025/7/12 21:20:42

PyCharm 引用其他路径下的文件报错 ModuleNotFound 或报红

PyCharm 中引用其他路径下的文件提示 ModuleNotFound，将被引用目录添加到系统路径： # # 获取当前目录 dir_path os.path.dirname(os.path.realpath(__file__)) # # 获取上级目录 parent_dir_path os.path.abspath(os.path.join(dir_path, os.pardir))…...

编程日记 2025/7/11 5:23:41

【人工智能】Transformers之Pipeline（二）：自动语音识别（automatic-speech-recognition）

​​​​​​​ 目录 一、引言 二、自动语音识别（automatic-speech-recognition） 2.1 概述 2.2 技术原理 2.2.1 whisper模型 2.2.2 Wav2vec 2.0模型 2.3 pipeline参数 2.3.1 pipeline对象实例化参数​​​​​​​ 2.3.2 pipeline对象使用参数…...

编程日记 2025/7/11 14:02:38

Linux 工作队列

系列文章目录 Linux内核学习 Linux 知识（1） Linux 知识（2） Linux 工作队列 Linux 内核源代码情景分析（一） Linux 设备驱动程序（二） 文章目录 系列文章目录综述工作（work_…...

编程日记 2025/7/10 22:11:01

程序血缘分析技术在工商银行软件工程中的应用

当前，随着软件领域技术更新换代速度的日益加快，市场需求也变得更加多样化和个性化，业界普遍通过加速产品迭代来满足客户需求，但在此过程中也暴露出一些研发管理痛点问题，如服务和程序类资产信息分散于各个不同的应用和系统中，信息归集费时费力；设计、开发和测试人员无法…...

编程日记 2025/7/8 1:28:01

纯手工（不基于maven的pom.xml、Web容器）连接MySQL数据库的详细过程（Java Web学习笔记）

1 引言 最近读一些Java Web开发类的书籍时，发现书中的连接数据库的过程缺少了一些关键性的过程，这对初学者非常不友好。为此，本文将给出详细的连接MySQL数据库的过程，并且是纯手工，不依赖于pom.xml和Web容器&#xff…...

编程日记 2025/7/10 1:43:08

node-sass@4.14.1报错的最终解决方案分享

输入npm i全安装文件所需的依赖的时候，博主是使用sass去书写的，使用的是node-sass4.14.1和sass-loader7.3.1的版本的，安装的时候老是出现错误， node-sass4.14.1版本不再被支持的原因 node-sass 是一个基于 LibSass 的 Node.js 绑…...

编程日记 2025/7/12 14:47:29