当前位置：首页 > news >正文

【MQ】RabbitMQ 高可用延时功能的探究

news 来源：原创 2025/5/18 11:19:33

延迟消息如果使用延时交换机来实现，如果数据量过大，就会很占 CPU 资源，轻则时间误差大，重则 RabbitMQ 宕机

一、针对一个 RabbitMQ 节点

（1）利用队列+ ttl，将延迟消息根据 delay 的时间进行分级

比如两小时、一天，这两个级别：

小于两天的消息直接放在延迟交换机
两天到一天的交给 ttl 为两小时的队列
其余的交给 ttl 为一天的队列

而两个 ttl 队列绑定同一个死信交换机，死信被咱们的服务处理后重新发送（delay - ttl，或者消息本身携带时间的信息，重新计算 delay），再根据新的 delay 判断前往哪里

这里可行的原因是，队列 + ttl 的 CPU 消耗只用于队列头的那一条消息，在这里就可以保存很多消息

对于这个问题，RabbitMQ 这个插件更适合于 delay 比较均匀的情况，一般到这里就结束了，但是有个坑点，一个热点时间的延迟消息会一起进入延迟交换机

（2）对于热点时间的消息处理

可以在发送到延迟交换机之前，先监控其数量（可以用 Redis 实现一个计数器），控制在一个可控的量级，如 10W，在范围内则发送，否则

存储起来，可以是 Mysql，也可以是 Redis，或者利用 RabbitMQ 的优先级队列，但是要主动的获取消息而不是监听
周期性的扫描（五分钟左右），监控 RabbitMQ 延时交换机的健康值，可以加入就加入（delay 小的先加入）（也可以 delay 相同的同一种消息合并成一个，与监听器约定一下这种情况）
但可能因为没及时扫描，导致新 delay ≤ 0，因此可能产生误差，我们可以将 delay 小于周期间隔的
1. 接受误差的范围内的不给予处理
2. 直接本地延时任务、交给 Redis 做延时队列分担多出来的这一份数据量（反正就是天女散花，将这个任务分担给其他服务）

如果是一个热点时间，消息的 delay 都很接近，但其实经过多次周期性的扫描，这个热点时间的消息大部分都可以进入延时交换机，再用 Redis 在最后接近热点时间，“冲刺”的时候助 RabbitMQ 一臂之力

以上是单机情况下我能想到的最好方案了，世界上没有绝对完美的东西，你可能描述一个极端的场景依旧可能出现问题，因此你可以解决其本质原因 “就是一个 MQ 处理不过来”

对于这种大数据量的情况，这一业务独享一个 RabbitMQ，减少 CPU 在其他业务的损耗

二、多个 RabbitMQ 节点相互扶持

因为集群针对的是队列中消息的同步，并不会同步延时交换机暂存的消息，这样不同的 RabbitMQ 去维护各自的延迟交换机就行了，让各个节点的延时交换机的数据量处在安全值范围内，之后到达队列再消息同步

你可能说，那宕机了，岂不是丢失了🤣，我们这样子做就是为了多个节点相互扶持，单机不宕机啊，同步了的话那每个节点都岌岌可危

旧的延时消息持久化了，有保证可靠性，重启即可
新的延时消息前往存活的节点

你可以维护一个表，就是延时消息表，设立时间误差进行周期性的扫描，将过期未删除记录的消息重新发送，作为一个兜底**（可以用任务调度平台去控制这些任务吧，如果 MQ 都很健康，其实也没必要一直扫描）**

但这种很极端，因为这样子做的话，我们就相当于不相信 MQ，一棒子打死所有人，但其实消息到 MQ 后，我们就只能全身心相信 MQ 持久化了我们的消息

我们不如直接重启这个挂掉的 MQ

注意：记得给每个节点安装延时交换机的插件

三、ttl 消息 + 优先级队列

RabbitMQ 还可以实现优先级队列

暂时不考虑 CPU 的损耗，我认为在定时方面可以忽略不记
优先级队列还不支持策略定义（但除了一些特殊需要，我们平时也用不到）

因此，如果将消息的 max - ttl 作为优先级，放入优先级队列里，是可以实现队列头为最小的 ttl，最先过期的会排在前面

定义队列的时候，设置 args “x-max-priority” 为 max，max 最大可以取 255，所以其优先级数量只可以为 1-255 个，一些甚至只能是 2-10 个

也就是说 ttl 的可选访问很小（固定只能 1-255 这个整数范围，只能控制时间单位改变其值域）

这个方法实现的延迟功能，取值有限，只能在特殊场景下使用

四、其他

RabbitMQ 的解决方案并不是绝对完美的，如果有特殊要求可以考虑其他的技术栈

【MQ】RabbitMQ 高可用延时功能的探究

延迟消息如果使用延时交换机来实现，如果数据量过大，就会很占 CPU 资源，轻则时间误差大，重则 RabbitMQ 宕机一、针对一个 RabbitMQ 节点 （1）利用队列 ttl，将延迟消息根据 delay 的时间进行分级…...

编程日记 2025/5/18 11:19:33

网络安全讲座之一:网络安全的重要性

第一讲内容主要对于安全的发展以及其重要性作了简明的阐述，并介绍了一些国内外知名的网络安全相关网站，并对于如何建立有效的安全策略给出了很好的建议，并让大家了解几种安全标准。　　媒体经常报道一些有关网络安全威胁的令人震惊的事件&am…...

编程日记 2025/5/13 23:37:57

flutter ListView Item复用源码解析

Flutter 的 ListView 的 Item 复用机制是其高性能列表渲染的核心，底层实现依赖于 Flutter 的渲染管线、Element 树和 Widget 树的协调机制。以下是 ListView 复用机制的源码级解析，结合关键类和核心逻辑进行分析。 1. ListView 的底层结构 ListView 的复…...

编程日记 2025/5/18 10:28:41

基于java手机销售网站设计和实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/5/18 10:08:58

HTML 左右联动高亮示例

HTML 左右联动高亮示例 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>左右联动高亮示例</titl…...

编程日记 2025/5/14 1:13:04

如何本地部署DeepSeek

第一步：安装ollama https://ollama.com/download 打开官网，选择对应版本第二步：选择合适的模型 https://ollama.com/ 模型名称中的 1.5B、7B、8B 等数字代表模型的参数量（Parameters），其中 B 是英文 B…...

编程日记 2025/5/15 8:05:04

虚拟机+Docker配置主机代理和常见配置

完整配置流程如下： 配置虚拟机使用宿主机代理： # 设置环境变量（宿主机IP为192.168.100.1，代理端口7890） export http_proxyhttp://192.168.100.1:7890 export https_proxyhttp://192.168.100.1:7890# 测试代理是否生…...

编程日记 2025/5/16 5:58:18

996引擎-问题处理：盟重传送石问题

996引擎-问题处理：盟重传送石问题问题解决方案补充：回城卷参考资料问题今天添加了个新地图，由于这个版本只有盟重传送石没设计回城卷。所以怎么搞都回不到新地图的回城点。（当时也是懵逼了都忘记它叫盟重传送石`）分析先看一下道具表的配置。 [@StdModeFuncX] 表示…...

编程日记 2025/5/7 5:40:07

从零到一学习c++（基础篇--筑基期七-vector与迭代器）

从零到一学习C（基础篇） 作者：羡鱼肘子温馨提示1：本篇是记录我的学习经历，会有不少片面的认知，万分期待您的指正。温馨提示2：本篇会尽量用更加通俗的语言介绍c的基础，用通俗的语言去…...

编程日记 2025/5/18 10:31:39

PKI及SSL协议分析

PKI的基本组成，完整的PKI系统必须具有权威认证机构(CA)、数字证书库、密钥备份及恢复系统、证书作废系统、应用接口（API）等基本构成部分，构建PKI也将围绕着这五大系统来着手构建。任务一：搭建CA服务器本任务初步了…...

编程日记 2025/5/18 11:04:40

请解释 JavaScript 中的函数式编程，优缺点是什么？

一、对JavaScript函数式编程的理解函数式编程（Functional Programming，FP）是一种编程范式，它将计算视为数学函数的求值，并避免改变状态和可变数据。在JavaScript中，函数式编程具有以下几个关键特性&…...

编程日记 2025/5/18 10:56:59

WPS接入DeepSeek模型

1.wps 下载安装 WPS-支持多人在线协作编辑Word、Excel和PPT文档_WPS官方网站 （最好是安装最新的wps） 2.offieceAi工具下载安装软件下载 | OfficeAI助手下载后安装下载下来的两个工具。安装路径可以自行修改 3.打开WPS,点击文件-》选项-》信任中心勾…...

编程日记 2025/5/17 15:47:22

头条百度批量采集软件说明文档

旧版说明文档《头条号文章批量采集软件4.0版本说明文档！头条/微头条文章批量采集》头条的采集软件已经更新了好多个版本了，一直没有做详细的介绍文档，最近更新了一些功能进去，一块来写一下说明文档。 1、主界面 2、头条作者采集…...

编程日记 2025/5/13 4:08:16

网络安全架构师怎么考网络安全架构

安全通信网络随着现代技术的不断发展，等级保护对象通常通过网络实现资源共享和数据交互，当大量的设备连成网络后，网络安全成了最为关注的问题。按照“一个中心，三重防御”的纵深防御思想，边界外部通过广域网或城域网…...

编程日记 2025/5/18 11:16:49

Vue 3 30天精进之旅：Day 21 - 项目实践：打造功能完备的Todo应用

前言经过前20天的学习，我们已经掌握了Vue 3的核心概念、组合式API、路由、状态管理等关键技术。今天将通过一个完整的项目实践——Todo应用，将所学知识融会贯通。我们将为Todo应用添加编辑、删除、过滤等进阶功能，并优化代码结构。一、项目…...

编程日记 2025/5/7 15:25:40

2025年02月11日Github流行趋势

项目名称：unsloth 项目地址url：https://github.com/unslothai/unsloth项目语言：Python历史star数：27175今日star数：1024项目维护者：danielhanchen, shimmyshimmer, Erland366, Datta0, xyangk项目简介&…...

编程日记 2025/5/17 1:28:08

嵌入式硬件篇---原码、补码、反码

文章目录前言简介八进制原码、反码、补码1. 原码规则示例问题 2. 反码规则示例问题 3. 补码规则示例优点 4. 补码的运算5. 总结十六进制原码、反码、补码1. 十六进制的基本概念2. 十六进制的原码规则示例 3. 十六进制的反码规则示例 4. 十六进制的补码规则示例 5. 十六进制补…...

编程日记 2025/5/18 10:27:18

PCM与G711A互转

PCM与G711A互转工具类（Java）调用方法（Kotlin） 工具类（Java） public class G711Code {private final static int SIGN_BIT 0x80;private final static int QUANT_MASK 0xf;private final static int SEG…...

编程日记 2025/5/17 11:23:41

MapReduce简单应用(三)——高级WordCount

目录 1. 高级WordCount1.1 IntWritable降序排列1.2 输入输出格式1.3 处理流程 2. 代码和结果2.1 pom.xml中依赖配置2.2 工具类util2.3 高级WordCount2.4 结果参考本文引用的Apache Hadoop源代码基于Apache许可证 2.0，详情请参阅 Apache许可证2.0。 1. 高级WordCo…...

编程日记 2025/5/11 18:18:44

C# 数据验证Regex

Regular Expression，简称 Regex,是一种用于匹配和处理文本的强大工具。它通过定义特定的模式，可以用来搜索、替换或提取字符串中的特定内容。先引入命名空间 using System.Text.RegularExpressions; Intege(整数) 必须是正整数 //必须是正整数publi…...

编程日记 2025/5/16 17:28:16

Jenkins+gitee 搭建自动化部署

Jenkinsgitee 搭建自动化部署环境说明： 软件版本备注CentOS8.5.2111JDK1.8.0_211Maven3.8.8git2.27.0Jenkins2.319最好选稳定版本，不然安装插件有点麻烦一、安装Jenkins程序 1、到官网下载相应的版本war或者直接使用yum安装 Jenkins官网下载直接…...

编程日记 2025/5/14 0:08:13

C/C++混合读入cin与scanf问题

因为C/C在某些时候是如此的融洽，以至于很多时候可能会混用，就比如 scanf与cin或getline(cin, ..)这是一个严肃的问题。因为随意混用，可能导致，在某些特殊时刻，读取混乱。所以本篇的意义就是为了缕清混用机制一、scan…...

编程日记 2025/5/17 6:30:55

矩阵 NFC 碰一碰发视频源码搭建技术解析,支持OEM

一、引言在移动互联与物联网飞速发展的当下，NFC（Near Field Communication，近场通信）技术凭借其便捷、快速的数据传输特性，在众多领域得到广泛应用。本文将深入探讨如何搭建矩阵 NFC 碰一碰发视频的源码，…...

编程日记 2025/5/12 15:14:20

Log4j定制JSON格式日志输出

1.前言 log4j是Java中一个强大的日志记录框架，通过简单的配置便可以在程序中进行日志打印与记录。关于log4j博主最近碰到一个需求，需要将程序运行过程中的日志按给定的json模板输出，本文记录一下log4j如何配置json格式的日志打印。 2.日志配…...

编程日记 2025/5/18 0:57:02

Spring依赖注入方式

写在前面：大家好！我是晴空๓。如果博客中有不足或者的错误的地方欢迎在评论区或者私信我指正，感谢大家的不吝赐教。我的唯一博客更新地址是：https://ac-fun.blog.csdn.net/。非常感谢大家的支持。一起加油，冲鸭&#x…...

编程日记 2025/5/13 17:25:45

【C++八股】什么是函数指针，如何定义和使⽤场景

函数指针是指向函数的指针变量，它存储的是一个函数的地址，允许通过指针间接调用函数。使用函数指针可以动态地选择和调用函数，或者将函数作为参数传递给其他函数。 1. 函数指针的定义函数指针的定义与普通指针稍有不同。它需要声明指向特定…...

编程日记 2025/5/14 15:39:15

DeepSeek 入驻 Cursor —— 表现能否超越 Claude？

DeepSeek 刚刚在 Cursor 平台上线了它的两款模型：DeepSeek V3 和 R1。目前，许多开发者（包括我们在内）主要依赖 Claude 3.5 Sonnet（最新版本 claude-3-5-sonnet-20241022）作为主要语言模型，因此我…...

编程日记 2025/5/18 7:38:07

skynet-src/atomic.h:25:23: 致命错误：stdatomic.h：没有那个文件或目录

skynet-src/atomic.h:25:23: 致命错误：stdatomic.h：没有那个文件或目录故事背景，又接了一个新项目，要搞开发环境啊。skyent的框架。ubuntu已经跑起来了，但是内网是centos的跑不起来。只能怀疑是环境问题了&#xff0…...

编程日记 2025/5/13 12:10:57

docker compose部署nexus

整个工具的代码都在Gitee或者Github地址内 gitee：solomon-parent: 这个项目主要是总结了工作上遇到的问题以及学习一些框架用于整合例如:rabbitMq、reids、Mqtt、S3协议的文件服务器、mongodb github：GitHub - ZeroNing/solomon-parent: 这个项目主要是…...

编程日记 2025/5/13 11:44:20

IBM服务器刀箱Blade安装Hyper-V Server 2019 操作系统

案例：刀箱某一blade，例如 blade 5 安装 Hyper-V Server 2019 操作系统（安装进硬盘）刀箱USB插入安装系统U盘，登录192.168... IBM BlandeCenter Restart Blande 5，如果Restart 没反应，那就 Power Off Blade 然后再 Power On 重启后进入BIOS界面设置usb存储为开机启动项 …...

编程日记 2025/5/17 11:25:47

Python的顺序结构和循环结构

文章目录一、条件语句（1）条件语句的定义（2）条件语句的语法（a）单分支 if（b）双分支 if-else（c）多分支 if-elif-elif-...-else （3）注意事…...

编程日记 2025/5/17 17:13:47

[python SQLAlchemy数据库操作入门]-30.掌握 SQLAlchemy：优雅应对数据库异常的艺术

哈喽，大家好，我是木头左！捕获和处理 SQLAlchemy 异常在实际应用中，需要根据不同的异常类型采取不同的处理策略。下面是一个示例，展示了如何捕获和处理 SQLAlchemy 的异常。 from sqlalchemy import create_engine, Column, Integer, String, exc from sqlalchemy.ext.…...

编程日记 2025/5/8 2:37:45

编译和链接【三】

文章目录编译和链接【三】前言系列文章入口编译过程词法分析语法分析语义分析生成中间代码汇编链接编译和链接【三】前言在我大一的时候， 我使用VC6.0对C语言程序进行编译链接和运行 ， 然后我接触了VS， Qt creator等众多IDE&#xff0c…...

编程日记 2025/5/16 17:33:10

11苍穹外卖之Apache ECharts（数据可视化图表、后端传数据）

课程内容 Apache ECharts 营业额统计用户统计订单统计销量排名Top10 功能实现：数据统计数据统计效果图： 1. Apache ECharts 1.1 介绍 Apache ECharts 是一款基于 Javascript 的数据可视化图表库，提供直观，生动&#…...

编程日记 2025/5/6 12:13:31

Grafana-使用Button修改MySQL数据库

背景众所周知，Grafana是一个用来展示数据的平台，但是有时候还是会有需求说能不能有一个按钮，点击的时候再对数据库进行修改，从而达到更新数据的效果经过多方查证，终于实现了一个简单的，点击button执行sq…...

编程日记 2025/5/7 7:49:48

C++11语法及库详解

目录一、c11语法 1. 自动类型推导 (auto) 2. 基于范围的 for 循环 3. Lambda 表达式 4. 智能指针 5. 右值引用和移动语义 6. nullptr 关键字 7. constexpr 关键字 8. 初始化列表 9. std::thread 多线程支持 10. std::function 和 std::bind 11. std::unordered_map…...

编程日记 2025/5/18 2:48:10

数据库，数据表的增删改查操作

一.数据库的基本操作 （1）创建数据库创建数据库就是在数据库系统中划分一块存储数据的空间，方便数据的分配、放置和管理。在MySQL中使用CREATE DATABASE命令创建数据库，语法格式如下: CREATE DATABASE数据库名称; 注&#xff1a…...

编程日记 2025/5/15 7:01:11

Python——批量图片转PDF（GUI版本）

目录专栏导读1、背景介绍2、库的安装3、核心代码4、完整代码总结专栏导读 🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手 🏳️‍🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注 👍 该系列文章专栏：请点击——>Python办公自动化专…...

编程日记 2025/5/18 6:33:03

RocketMQ面试题：原理部分

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/5/17 23:40:31

中间件-安装Minio-集成使用（ubantu-docker）

目录 1、安装docer 2、运行以下命令拉取MinIO的Docker镜像 3、检查当前所有Docker下载的镜像 4、创建目录 5、创建Minio容器并运行 6、SDK操作 FileUploader.java 1、安装docer 参考这篇：Linux安装Docker 2、运行以下命令拉取MinIO的Docker镜像 docker pull…...

编程日记 2025/5/16 11:46:21

vue3: const一个function怎么写呢？

问： 用ref或者reactive定一个一个const refCharts ref(function xxx (config){ xxxxx,xxxxx xxxx,xxxx })请问怎么写？ 回答： 在 Vue 3 中，ref 和 reactive 是两种常用的响应式数据定义方式。ref 用于定义单个响应式对象或原始值…...

编程日记 2025/5/17 20:32:19

【JVM详解三】垃圾回收机制

一、对象是否存活强引用：Object obj new Object(); 只要强引用还在，垃圾收集器永远不会回收掉被引用的对象。在不用对象的时将引用赋值为 null，能够帮助垃圾回收器回收对象。比如 ArrayList 的 clear() 方法实现。软引用（SoftRe…...

编程日记 2025/5/16 6:02:26

dbeaver 安装之后出现mysql连接异常问题

1.手动下载mysql驱动程序参考文档DBeaver连接mysql驱动下载失败怎么办？-CSDN博客 2.添加对应的下载程序到dbeaver 【DBeaver】缺少mysql驱动_dbeaver连接mysql缺少驱动-CSDN博客配置mysql 地址端口账户等即可使用...

编程日记 2025/5/1 5:04:20

Android Studio历史版本下载

Android Studio历史版本下载历史版本所在网站: https://developer.android.google.cn/studio/archive 等待加载 1、（需要点击switch to english）然后出现Terms and conditions 2、滑到最下面，点击I agree to the terms，之后才会…...

编程日记 2025/5/14 5:26:12

【每日一题 | 2025】2.3 ~ 2.9

个人主页：GUIQU. 归属专栏：每日一题文章目录 1. 【2.3】P8784 [蓝桥杯 2022 省 B] 积木画2. 【2.4】P8656 [蓝桥杯 2017 国 B] 对局匹配3. 【2.5】[ABC365D] AtCoder Janken 34. 【2.6】P8703 [蓝桥杯 2019 国 B] 最优包含5. 【2.7】P8624 [蓝桥杯 2015…...

编程日记 2025/5/10 8:34:12

国产编辑器EverEdit - 迷你查找

1 迷你查找 1.1 应用场景某些场景下，用户不希望调出复杂的查找对话框，此时可以使用迷你查找窗口。 1.2 使用方法选择主菜单查找 -> 迷你查找，或使用快捷键Ctrl Alt F，会在右上角弹出迷你查找窗口，如下图所示…...

编程日记 2025/5/16 14:59:09

制药行业 BI 可视化数据分析方案

一、行业背景随着医药行业数字化转型的深入，企业积累了海量的数据，包括销售数据、生产数据、研发数据、市场数据等。如何利用这些数据，挖掘其价值，为企业决策提供支持，成为医药企业面临的重大挑战。在当今竞争激烈的…...

编程日记 2025/5/14 7:07:08

第40天:Web开发-JS应用VueJS框架Vite构建启动打包渲染XSS源码泄露代码审计

#知识点 1、安全开发-VueJS-搭建启动&打包安全 2、安全开发-VueJS-源码泄漏&代码审计一、Vue搭建创建项目启动项目 1、Vue 框架搭建->基于nodejs搭建，安装nodejs即可参考：https://cn.vuejs.org/ 已安装18.3或更高版本的Node.js 2、Vue 创建…...

编程日记 2025/5/15 13:18:18

2.10学习总结

今天接着看了数据结构，但是跟指针有关的看不懂（万恶的指针），写了考试的补题。 #include <stdio.h> #include <stdlib.h> int a[1000005]; int main() {int n,i,x0;scanf("%d",&n);for(i1;i<n;i){x;i…...

编程日记 2025/5/14 19:33:49

MySQL 中可以通过添加主键来节省磁盘空间吗？（译文）

从历史上看，MySQL 不需要在表上定义显式主键，直到今天默认都是这样。不过，这种要求是通过两种复制方法施加的：组复制和 Percona XtraDB 集群 （PXC），默认情况下不允许使用没有主键的表。对于缺少…...

编程日记 2025/5/17 4:04:07