当前位置：首页 > news >正文

MessageQueue --- RabbitMQ WorkQueue

news 来源：原创 2025/9/2 7:39:42

MessageQueue --- RabbitMQ WorkQueue

什么是WorkQueue
如何分发
- RoundRobin
- Fair dispatch (Prefetch) --- 能者多劳

什么是WorkQueue

Work queues，任务模型。简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息。
当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。此时就可以使用workqueu模型，多个消费者共同处理消息处理，消息处理的速度就能大大提高了。

在这里插入图片描述

如何分发

RoundRobin

工作机制：

默认模式：当多个消费者订阅同一个队列时，RabbitMQ 会依次将消息分发给每个消费者，按顺序循环分配。
示例：
队列中有消息 M1, M2, M3, M4，消费者 C1 和 C2 同时订阅。
分发顺序为：M1 → C1，M2 → C2，M3 → C1，M4 → C2。

特点：

简单高效：无需额外配置，适合消费者处理速度相近的场景。

潜在问题：

若消费者处理速度差异较大，可能导致某些消费者空闲，而其他消费者积压消息。
例如：C1 处理速度慢，C2 处理速度快，但 C1 仍会分配到一半的消息，造成负载不均衡。

Example

//消息发送
//循环发送，模拟大量消息堆积现象。
@Test
public void testWorkQueue() throws InterruptedException {// 队列名称String queueName = "simple.queue";// 消息String message = "hello, message_";for (int i = 0; i < 50; i++) {// 发送消息，每20毫秒发送一次，相当于每秒发送50条消息rabbitTemplate.convertAndSend(queueName, message + i);Thread.sleep(20);}
}

//消息接收
//模拟多个消费者绑定同一个队列，我们添加2个方法，
//并且设置不同睡眠时间模拟不同性能读取
@RabbitListener(queues = "work.queue")
public void listenWorkQueue1(String msg) throws InterruptedException {System.out.println("消费者1接收到消息：【" + msg + "】" + LocalTime.now());Thread.sleep(20);
}
@RabbitListener(queues = "work.queue")
public void listenWorkQueue2(String msg) throws InterruptedException {System.err.println("消费者2........接收到消息：【" + msg + "】" + LocalTime.now());Thread.sleep(200);
}

在这里插入图片描述

消费者1很快完成了自己的25条消息
消费者2却在缓慢的处理自己的25条消息。
也就是说消息是平均分配给每个消费者，并没有考虑到消费者的处理能力。导致1个消费者空闲，另一个消费者忙的不可开交。没有充分利用每一个消费者的能力，最终消息处理的耗时远远超过了1秒。这样显然是有问题的。

Fair dispatch (Prefetch) — 能者多劳

工作机制：

配置预取计数（Prefetch Count）：通过设置 basicQos 参数，限制每个消费者未确认（unacknowledged）的消息数量。

进入prefetch的消息仍会被保留在队列中，但是同时也会发给消费者等待处理
在 RabbitMQ 的原始队列（Queue）中，会被标记为 “Unacked”（未确认）状态。
这些消息不会被其他消费者获取（即使设置了 prefetch 的消费者崩溃）。
只有消费者显式发送 ack 或 nack 后，消息才会从队列中移除（或重新排队）。

消息状态变化流程

消息推送给消费者：
RabbitMQ 将消息标记为 “Unacked”，但仍在队列中（占用内存或磁盘，取决于队列持久化配置）。
此时消息对其他消费者不可见。
消费者处理消息：
若成功处理并发送 ack → 消息从队列中物理删除。
若发送 nack(requeue=true) → 消息重新变为 “Ready” 状态，可被其他消费者获取。
若发送 nack(requeue=false) 或者超时→ 消息被放入死信队列，如果没有配置死信队列则被丢弃

示例：

Channel channel = connection.createChannel();
channel.basicQos(1); // 设置预取计数为 1
channel.basicConsume("queue_name", false, consumer); 
// 关闭自动确认（autoAck=false）

消费者在处理完当前消息并手动确认（ack）后，才会接收下一条消息。

特点：

负载均衡：处理速度快的消费者会获取更多消息，避免空闲。
可靠性：需配合手动确认（ack）机制，确保消息处理成功后才从队列移除。
适用场景：消费者处理速度差异较大时（如耗时任务），能显著提升整体吞吐量。
Automatic acknowledgement mode or manual acknowledgement mode with unlimited prefetch should be used with care. 通常设为 100~300，平衡吞吐与内存占用。

Example

在spring中有一个简单的配置，可以解决这个问题。我们修改consumer服务的application.yml文件，添加配置：

spring:rabbitmq:listener:simple:acknowledge-mode: manual # 设置确认方式为手动确认prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息

在这里插入图片描述

可以发现，由于消费者1处理速度较快，所以处理了更多的消息；消费者2处理速度较慢，只处理了6条消息。而最终总的执行耗时也在1秒左右，大大提升

还可根据实际情况自定义prefetch count，达到限流的目的

spring:rabbitmq:listener:simple:acknowledge-mode: manual # 设置确认方式为手动确认prefetch: 5 # 限制消费者只能接收5条消息

MessageQueue --- RabbitMQ WorkQueue

MessageQueue --- RabbitMQ WorkQueue 什么是WorkQueue如何分发RoundRobinFair dispatch (Prefetch) --- 能者多劳什么是WorkQueue Work queues，任务模型。简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息。当消息处理比较耗时的时候&…...

编程日记 2025/9/2 7:39:42

Redis内存碎片详解！

目录一、什么是内存碎片？🤔二、为什么 Redis 会有内存碎片呢？🤷‍♀️三、如何查看 Redis 内存碎片的信息？🔍四、如何清理 Redis 内存碎片？🧹五、总结📝 &#x1f3…...

编程日记 2025/9/2 7:39:41

如何使用 Nginx 代理 Easysearch 服务

Nginx 是一个高性能的 HTTP 服务器和反向代理服务器，广泛用于负载均衡、缓存、SSL 终端和服务代理等场景。本篇将尝试使用 Nginx 代理 Easysearch 服务，方法同样适用于 Elasticsearch 和 Opensearch。测试环境 Easysearch 集群版本为 1.10.0&#xff…...

编程日记 2025/8/23 20:04:08

用python输出OLED字模库的符号

提示：博主是小白，如有不足，望海涵和指出在单片机上练习使用OLED显示屏时，可以看到有个OLED字模库本文用python将这些字符打印出来，代码如下（本文只适用与128*64的OLED，如果是其它OLED&#xf…...

编程日记 2025/8/27 10:46:57

【java】Class.newInstance()

在 Java 中，Class.newInstance()是一个用于创建类的新实例的方法。它调用类的无参构造函数来创建对象。然而，从 Java 9 开始，Class.newInstance()方法已经被标记为废弃，推荐使用其他替代方法。 Class.newInstance()的使用 Class.…...

编程日记 2025/9/1 9:07:31

下述操作参考 Building Arrow C — Apache Arrow v20.0.0.dev267 安装依赖组件 sudo apt-get install \build-essential \ninja-build \cmake 下载源码 git clone --recursive --shallow-submodules gitgithub.com:apache/arrow.git 配置创建build目录并且进入 mkdir a…...

编程日记 2025/8/31 4:17:15

第二届图像处理与人工智能国际学术会议（ICIPAI2025）

重要信息时间：2025年4月18日-20日地点：吉林-长春（线上线下结合） 官网：www.icipai.org 简介（部分） 主题其他图像处理与人工智能（Image Processing & Artificial Intell…...

编程日记 2025/8/28 8:30:09

Kafka 消息堆积的原因有哪些？

Kafka 产生消息堆积的本质原因是： ⚠️ “消费速度 < 生产速度”，也就是：写入太快，处理太慢。下面我从实际场景出发，帮你梳理出常见的几种堆积情况，结合原因和例子，便于你对号入座排查问题 …...

编程日记 2025/8/27 18:00:41

解决cline等免费使用deepseek模型的问题

OpenAI、OpenRouter、Claude等都无法在国内免费正常使用，cline作为在vscode中应对cursor比较好的替代方案，怎么使用免费Deepseek，最核心的是在点击模型名称打开配置以下几项： 1、打开VSCode左侧的Cline\Roo Cline插件面板 2、点…...

编程日记 2025/8/31 13:44:10

ROS多设备交互

ROS多设备连接同一个Master：ROS Master多设备连接-CSDN博客在多个PC端连接同一个ROS Master后，接下来就可以实现不同设备之间的话题交流，Master主机端启动不同PC端的功能包等功能了尽管多个PC端拥有不同的ROS工作空间，但是只要…...

编程日记 2025/8/25 0:49:35

浅谈 MVVM 模式

MVVM（Model-View-ViewModel） 是一种软件架构设计模式，旨在将用户界面（UI）与业务逻辑分离，从而提高代码的可维护性和可测试性。它在现代前端开发和桌面应用开发中得到了广泛应用，尤其是在构建复杂…...

编程日记 2025/8/29 11:50:17

flutter点击事件教程

在 Flutter 中，处理点击事件是非常常见的操作。Flutter 提供了多种方式来实现用户交互，比如按钮点击、手势检测等。下面是一个详细的教程，帮助你理解如何在 Flutter 中实现点击事件。一、使用 onPressed 实现按钮点击事件 Flutter 提供了 E…...

编程日记 2025/8/28 11:24:59

[SAP SD] 常用事务码

在SAP系统中，事务码(Transaction Code)是一个具有特定功能的代码标识符，用于快速调用和执行SAP系统内的各种业务模块的功能 /NT-code: 关闭当前业务窗口，退回到SAP初始界面，进入对应的T-Code窗口 /OT-code: 新建SAP GUI窗口&…...

编程日记 2025/8/27 4:58:58

【＜二＞丹方改良：Spring 时代的 JavaWeb】之 Spring Boot 的未来：从微服务到云原生的演进

<前文回顾> 点击此处查看合集 https://blog.csdn.net/foyodesigner/category_12907601.html?fromshareblogcolumn&sharetypeblogcolumn&sharerId12907601&sharereferPC&sharesourceFoyoDesigner&sharefromfrom_link <今日更新> 一、引子&…...

编程日记 2025/8/30 0:53:38

保留格式地一键翻译英文ppt

我手头上有一个贝叶斯推断的英文ppt，假如我想翻译成中文，整合起来进行pre，你会怎么做？ 1，复制粘贴型： 在翻译软件与源文件ppt之间不断流转，效率太低 2，office ppt自带翻译插入整合…...

编程日记 2025/8/31 15:20:43

晶晨S905L3S／S905L3SB_安卓9.0_10秒开机_通刷-线刷固件包

晶晨S905L3S／S905L3SB_安卓9.0_10秒开机_通刷-线刷固件包线刷方法：（新手参考借鉴一下） 使用晶晨刷机工具USB_Burning_Tool进行刷机；请使用Amlogic USB Burning Tool v2.2.5或v2.2.7（晶晨线刷烧录工具v2.2…...

编程日记 2025/9/1 1:22:11

Android Transition转场动效使用全解析

Transition的使用和原理项目效果 1. 简述 Android 4.4.2 中引入了 Transition 过渡动画，不过功能比较简单。在 Android 5.0 的 Material Design 中引入更完整和强大的 Transition 框架。通过Transition可以实现： 同一个页面中的场景过渡动画Activit…...

编程日记 2025/9/2 3:27:20

第九章Python语言高阶加强-面向对象篇

目录一.初始对象二.成员方法 1.成员变量和成员方法三.类和对象四.构造方法五.其他内置方法（魔术方法） 1.__str__字符串方法 2.__lt__小于符号比较方法 3.__le__小于等于比较符号方法 4.__eq__比较运算符实现方法六.封装七.继承 1.继承…...

编程日记 2025/8/25 21:43:57

AI重构SEO关键词智能布局

内容概要随着人工智能技术在搜索引擎优化领域的深入发展，AI驱动的关键词智能布局正在重塑传统SEO策略的核心逻辑。通过整合自然语言处理、深度学习与语义分析技术，现代SEO系统已形成包含智能分词、意图解码、动态优化的三维技术框架，使关键…...

编程日记 2025/9/1 3:21:43

言同数字：法新社AFP海外新闻媒体发稿成功案例——出海品牌背书必备

作者：言同数字全球传播团队一、品牌困境：当中国技术遇上海外认知壁垒案例背景： 某中国光伏储能企业（应保密要求匿名，代号"GreenTech"），其家用储能系统在欧洲市场遭遇&#xff1…...

编程日记 2025/8/28 17:08:42

第三章 react redux的学习之redux和react-redux，@reduxjs/toolkit依赖结合使用

redux系列文章目录第一章简单学习redux,单个reducer 第二章简单学习redux,多个reducer 第四章 react-redux，reduxjs/toolkit依赖，学习第五章两张图告诉你redux常使用的api有哪些前言前面两章，我们是只使用的redux的依赖。本章…...

编程日记 2025/8/29 0:56:55

【HTML】纯前端网页小游戏-戳破彩泡

分享一个简单有趣的网页小游戏 - 彩色泡泡爆破。玩家需要点击屏幕上随机出现的彩色泡泡来得分。 <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-wi…...

编程日记 2025/9/2 1:12:38

【Python使用】嘿马云课堂web完整实战项目第3篇：增加数据,修改数据【附代码文档】

教程总体简介：项目概述项目背景项目的功能构架项目的技术架构 CMS 什么是CMS CMS需求分析与工程搭建静态门户工程搭建 SSI服务端包含技术页面预览开发 4 添加“页面预览”链接页面发布需求分析技术方案测试环境搭建数据字典服务端前端数据模型页面原…...

编程日记 2025/8/29 3:53:02

数据结构【栈和队列附顺序表应用算法】

栈和队列和顺序表应用算法练习 1.栈1.1概念与结构1.2栈的实现 2.队列2.1概念与结构2.2队列的实现 3.附（顺序表应用算法）3.1移除元素3.2删除有序数组中的重复项3.3合并两个有序数组 1.栈 1.1概念与结构栈：⼀种特殊的线性表，其只…...

编程日记 2025/8/28 6:04:49

Redis数据结构之String

目录 1.概述2.常见操作2.1 SET/GET2.2 MSET/MGET/MSETNX2.3 GETRANGE/SETRANGE2.4 INCR(BY)/DECR(BY)2.5 STRLEN2.6 APPEND2.7 GETSET 3.小结 1.概述 String是最常用的数据类型，一个key对应一个value。String是二进制安全的，可以包含任何数据&#xff0…...

编程日记 2025/8/18 0:20:31

Maven 远程仓库推送方法

步骤 1：配置 pom.xml 中的远程仓库地址在项目的 pom.xml 文件中添加 distributionManagement 配置，指定远程仓库的 URL。 xml 复制 <project>...<distributionManagement><snapshotRepository><id…...

编程日记 2025/8/31 11:05:33

uname

在 C 语言中，uname 函数用于获取当前操作系统的相关信息。它是 POSIX 标准的一部分，定义在 <sys/utsname.h> 头文件中。通过调用 uname 函数，可以获取系统名称、节点名称（主机名）、操作系统版本、机器硬件架构…...

编程日记 2025/8/27 1:06:17

【无标题】object，wait，notifyAll

在 Java 中，Object类提供了wait()方法，用于线程间的协作和同步。wait()方法使得当前线程暂停执行，并释放当前对象的锁，直到其他线程调用该对象的notify()或notifyAll()方法将其唤醒。这是实现线程间通信和同步的重要机制之一。 w…...

编程日记 2025/9/1 9:07:42

【Vue】核心特性实战解析：computed、watch、条件渲染与列表渲染

目录一、计算属性（computed） ✅ 示例： 计算属性-methods实现：在插值模块里，实现函数的调用功能计算属性-computed的实现： 计算属性-简写： ✅ 特点： ⚠️ 与 methods 的区别…...

编程日记 2025/8/29 17:52:40

精品可编辑PPT | 基于湖仓一体构建数据中台架构大数据湖数据仓库一体化中台解决方案

本文介绍了基于湖仓一体构建数据中台架构的技术创新与实践。它详细阐述了数据湖、数据仓库和数据中台的概念，分析了三者的区别与协作关系，指出数据湖可存储大规模结构化和非结构化数据，数据仓库用于高效存储和快速查询以支持决策，…...

编程日记 2025/8/28 0:19:33

基于Python网络爬虫的智能音乐可视化系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘要时代在飞速进步，每个行业都在努力发展现在先进技术，通过这些先进的技术来提高自己的水平和优势，智能音乐可视化系统当然不能排除在外。我本次开发的基于网络爬虫的智能音乐可视化系统是在实际应用和软件工程的开发原理之上，…...

编程日记 2025/9/2 0:39:01

基于STM32与应变片的协作机械臂力反馈控制系统设计与实现----2.2 机械臂控制系统硬件架构设计

2.2 机械臂控制系统硬件架构设计一、总体架构拓扑 1.1 典型三级硬件架构 #mermaid-svg-MWmxD3zX6bu4iFCv {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-MWmxD3zX6bu4iFCv .error-icon{fill:#552222;}#mermaid-s…...

编程日记 2025/8/30 14:07:16

在线记事本——支持Markdown

项目地址 https://github.com/Anyuersuper/CloudNotebook 百度网盘通过网盘分享的文件：CloudNotebook-master.zip 链接: https://pan.baidu.com/s/1kd2qNvm0eXc6_7oYDR769A?pwdyuer 提取码: yuer 📝 云笔记 (Cloud Notebook) 云笔记是一个简洁、安全…...

编程日记 2025/9/1 15:57:46

DDPM 做了什么

本博客主要侧重点在于HOW也就是DDPM怎么做的而不是WHY为什么要这样做那么第一个问题DDPM做了一件什么事：这个算法通过逐渐向原图像添加噪声来破坏图像，然后再学习如何从噪声成恢复图像。第二件事如何做到的：通过训练一个网络，…...

编程日记 2025/8/30 18:23:17

Redis数据结构之List

目录 1.概述2.常见操作2.1 LPUSH/RPUSH/LRANGE2.2 LPOP/RPOP2.3 LINDEX2.4 LLEN2.5 LREM2.6 LTRIM2.7 RPOPLPUSH2.8 LSET2.9 LINSERT 1.概述 List是简单的字符串列表，单key多个value，按照插入顺序排序。支持添加一个元素到列表的头部(左边)或者尾部(右…...

编程日记 2025/8/28 6:56:54

L2-023 图着色问题 #DFS C++邻接矩阵存图

文章目录题目解读输入格式输出格式思路Ac CODE 参考题目解读给定一个无向图V，询问是否可以用K种颜色为V中每一个顶点分配一种颜色，使得不会有两个相邻顶点具有同一种颜色输入格式第一行给出V,E,K， 分别代表无向图的顶点，…...

编程日记 2025/8/27 15:05:42

架构下的按钮效果设置

以下是一个完整的跨QML/Qt Widgets的主题方案实现，包含对按钮阴影的统一管理： 一、项目结构 Project/ ├── core/ │ ├── thememanager.h │ └── thememanager.cpp ├── widgets/ │ ├── mainwindow.h │ ├── mainwindow.cpp …...

编程日记 2025/8/28 22:10:29

Unhandled exception: org.apache.poi.openxml4j.exceptions.InvalidFormatException

代码在main方法里面没有报错，在Controller里面就报错了。原来Controller类里面少了行代码 import org.apache.poi.openxml4j.exceptions.InvalidFormatException; 加上去就解决了。...

编程日记 2025/8/18 0:40:29

Vue2_Vue.js教程

目录一、Vue.js安装 1、独立版本 2、CDN 方法 3、npm 方法二、Vue Al编程助手三、Vue.js目录结构目录解析四、Vue.js 起步 1.如何定义数据对象和方法并渲染进页面五、Vue.js 模板语法插值文本_{{}} Html_v-html 指令属性_v-bind (数据传输工具)指令表…...

编程日记 2025/8/18 0:10:45

2025/4/2 心得

第一题题目描述给定1001个范围在[1,1000]的数字，保证只有1个数字重复出现2次，其余数字只出现1次。试用O(n)时间复杂度来求出出现2次的这个数字。不允许用数组输入格式第一行：一个整数1001； 第二行：1001个用…...

编程日记 2025/8/28 0:23:39

Deep Reinforcement Learning for Robotics翻译解读

a. 机器人能力 1 单机器人能力（Single-robot competencies） 运动能力（Mobility） 行走（Locomotion）导航（Navigation） 操作能力（Manipulation） 静态操作&…...

编程日记 2025/8/28 22:20:03

【Linux】日志模块实现详解

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/8/30 7:15:35

AT_abc212_d [ABC212D] Querying Multiset

链接：AT_abc212_d [ABC212D] Querying Multiset - 洛谷题目描述高橋君は何も書かれていないたくさんのボールと 1 つの袋を持っています。最初、袋は空で、高橋君は Q 回の操作を行います。それぞれの操作は以下の 3 種類のうちのいずれかです。操作 1 : ま…...

编程日记 2025/8/29 9:56:32

Android使用OpenGL和MediaCodec录制

目录一,什么是opengl 二,什么是Android OpenGL ES 三, OpenGL 绘制流程四, OpenGL坐标系五, OpenGL 着色器六, GLSL编程语言七,使用MediaCodec录制在Opengl中渲染架构八,代码实现 8.1 自定义渲染view继承GLSurfaceView 8.2 自定义渲染器TigerRender 8.3 创建编…...

编程日记 2025/8/27 11:39:07

Java 实现插入排序：[通俗易懂的排序算法系列之三]

引言大家好！欢迎继续关注我的排序算法系列。今天，我们要学习的是另一种非常基础且重要的排序算法——插入排序 (Insertion Sort)。插入排序的思路非常贴近我们日常整理扑克牌的方式，理解起来相对自然。虽然它在最坏情况下的效率不高&…...

编程日记 2025/8/23 14:54:23

HarmonyOS：WebView 控制及 H5 原生交互实现

一、效果展示二、技术栈技术栈： 编程语言：使用 TypeScript 进行开发，借助其类型系统提升代码的可读性与稳定性。框架与库：基于鸿蒙系统相关框架（如kit.ArkWeb、hadss/hmrouter&#xff09…...

编程日记 2025/8/26 14:55:56

250405-VSCode编辑launch.json实现Debug调试Open-WebUI

A. 最终效果根据__init__.py配置launch.json 根据中utils/chat.py中form_data的messages [{role: user, content: 唐老鸭}],可以找到用户输入，进而通过关键词或模型调用的方式，对敏感问题进行特殊处理。 B. 文件配置 launch.json // { // /…...

编程日记 2025/8/30 13:31:45

SQL Server 数据库实验报告

1.1 实验题目：索引和数据完整性的使用 1.2 实验目的： （1）掌握SQL Server的资源管理器界面应用； （2）掌握索引的使用； （3）掌握数据完整性的…...

编程日记 2025/8/28 4:13:13

【寻找Linux的奥秘】第三章：基础开发工具（上）

请君浏览前言1. 软件包管理器1.1 linux中安装软件1.2 yum的具体操作1.2.1 查找软件包1.2.2 安装软件1.2.3 卸载软件 1.3 小结 2. 编辑器vim2.1 vim的基本概念和操作2.2 命令模式的命令集光标定位其他命令模式切换（常用的） 2.3 末⾏模式的命令集2.4 小结…...

编程日记 2025/8/27 7:10:38

Photoshop 2025 Mac中文Ps图像编辑

Photoshop 2025 Mac中文Ps图像编辑文章目录 Photoshop 2025 Mac中文Ps图像编辑一、介绍二、效果三、下载一、介绍 Adobe Photoshop 2025 Mac版集成了多种强大的图像编辑、处理和创作功能。①强化了Adobe Sensei AI的应用，通过智能抠图、自动修复、图像生成等功能…...

编程日记 2025/8/28 13:53:06

MessageQueue --- RabbitMQ WorkQueue

什么是WorkQueue

如何分发

RoundRobin

Fair dispatch (Prefetch) — 能者多劳

相关文章：