当前位置：首页 > news >正文

RocketMQ 顺序消息实现原理详解

news 来源：原创 2025/7/18 20:44:28

RocketMQ 的顺序消息实现原理主要围绕生产者发送顺序性、Broker存储顺序性和消费者消费顺序性三个核心环节展开，具体分为全局有序和分区有序两种模式。

一、顺序消息的分类

1. 全局有序

定义：某个Topic下所有消息严格按FIFO顺序处理。
实现：Topic仅配置一个MessageQueue，生产者单线程同步发送，消费者单线程消费。
局限：吞吐量低，仅适用于低并发场景（如金融对账）。

2. 分区有序（局部有序）

定义：同一业务分组（如相同订单ID）的消息保证顺序，不同分组可并行处理。
实现：通过ShardingKey（如订单ID）将消息路由到同一队列，消费者单线程消费该队列。
优势：兼顾顺序性与吞吐量，是生产环境主流方案。

二、关键技术实现

1. 生产者端：顺序发送

同步发送：必须使用同步发送（send()），避免异步发送因线程调度导致乱序。
队列选择器：通过MessageQueueSelector，根据ShardingKey哈希选择固定队列。

producer.send(msg, (mqs, msg, arg) -> {int index = Math.abs(arg.hashCode()) % mqs.size();return mqs.get(index); // 相同ShardingKey映射到同一队列
}, orderId);

2. Broker端：顺序存储

CommitLog顺序写入：消息按到达顺序追加到CommitLog文件，保证存储顺序。
队列分配：相同ShardingKey的消息写入同一ConsumeQueue，利用队列FIFO特性保证顺序。
锁机制：
分布式锁：防止多个消费者并发消费同一队列。
本地锁：确保单线程处理同一队列消息。

3. 消费者端：顺序消费

MessageListenerOrderly：注册该监听器，RocketMQ自动保证同一队列消息串行消费。

consumer.registerMessageListener(new MessageListenerOrderly() {@Overridepublic ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {// 单线程处理逻辑return ConsumeOrderlyStatus.SUCCESS;}
});

重试策略：消费失败时默认无限重试，需业务侧实现幂等性。

三、典型应用场景

订单流程：创建→支付→完成，需严格保证时序。
库存扣减：避免超卖或库存错误。
事件溯源：如MySQL Binlog同步，需按事件发生顺序处理。

四、注意事项

性能权衡：顺序消息会降低吞吐量，需根据业务需求选择全局或分区有序。
异常处理：消费失败可能导致队列阻塞，需设置合理重试策略或异步处理。
动态扩容：Broker队列数量变化时，需重新评估分片策略。

通过上述机制，RocketMQ在分布式环境下高效实现了消息顺序性，适用于高并发且需严格时序控制的业务场景。

RocketMQ 顺序消息实现原理详解

RocketMQ 的顺序消息实现原理主要围绕生产者发送顺序性、Broker存储顺序性和消费者消费顺序性三个核心环节展开，具体分为全局有序和分区有序两种模式。一、顺序消息的分类 1. 全局有序定义：某个Topic下所有消息严格按FIFO顺序处理。实现：…...

编程日记 2025/7/18 20:44:28

SpringBoot与GeoHash整合，实现骑手就近派单功能

通过使用GeoHash结合Redis的地理空间功能，能够实时管理和查询骑手的位置信息，并根据订单量和评分等因素动态分配最近的骑手来完成配送任务. 空间索引: GeoHash是一种将地理坐标（经纬度）编码为字符串的算法，可以用于空间索引。这使得我们可以方便地在Redis这样的内存数据库…...

编程日记 2025/7/18 20:17:17

spark任务的提交流程

目录 spark任务的提交流程1. 资源申请与初始化2. 任务划分与调度3. 任务执行4. 资源释放与结果处理附：关键组件协作示意图扩展说明SparkContext介绍 spark任务的提交流程用户创建一个 Spark Context；Spark Context 去找 Cluster Manager 申请资源同时说明需要多少 CPU 和内…...

编程日记 2025/7/18 20:41:47

阿博图书馆管理系统 Java+Spring Boot+MySQL 实战项目分享

一、项目简介为了提升图书馆的管理效率和用户体验，我们基于 Java Spring Boot MySQL 开发了一款完整的图书馆管理系统 —— 阿博图书馆管理系统。系统采用前后端分离架构，功能模块丰富，操作逻辑清晰，适合用于毕业设计、实训项…...

编程日记 2025/7/18 9:30:05

es学习小结

1.客户端类型推荐场景版本兼容性 Elasticsearch Java API Client 新项目、ES 8.x集群 8.x及以上 Spring Data Elasticsearch Spring生态项目、简化ORM操作 ES 7.x-8.x（需版本匹配） Low-Level REST Client 需要底层HTTP控制、兼容多版本ES …...

编程日记 2025/7/18 20:15:01

【数据库课程设计】网上投票管理系统

目录前言： 一，系统需求分析 1，需求概述 2，系统功能图 3，业务流程图业务流程分析业务流程图 4，数据流程图 5，数据字典二，概念结构设计 1，实体分析 2&am…...

编程日记 2025/7/18 20:15:00

STM32+ESP8266+ONENET+微信小程序上传数据下发指令避坑指南

之前只做过类似的但是以为这种烂大街的功能应该不难结果还是踩了不少坑，记录几个需要注意的点 1、创建产品的时候选择onejson，自定义方案。这样选择的就是物模型，之后可以去使用物模型的API调试。 2、设置物模型大概有以下几种比较常用的&…...

编程日记 2025/7/13 23:16:12

不同消息队列保证高可用实现方案

消息队列的高可用性（High Availability, HA）是分布式系统中的核心需求，不同消息队列通过多种技术手段实现高可用。以下是主流消息队列的高可用实现方案及对比： 一、Apache Kafka 副本机制（Replication） 每个…...

编程日记 2025/7/18 20:41:48

Android 蓝牙开发 - 蓝牙相关权限（蓝牙基本权限、Android 12 蓝牙新增权限、位置权限）

蓝牙基本权限 1、基本介绍 <uses-permission android:name"android.permission.BLUETOOTH" />BLUETOOTH：允许应用连接配对的蓝牙设备 <uses-permission android:name"android.permission.BLUETOOTH_ADMIN" />BLUETOOTH_ADMIN&am…...

编程日记 2025/7/18 20:21:32

【Linux】第二十一章管理存储堆栈

1. 分别说明LVM中物理卷、物理区块、卷组、逻辑卷的概念以及它们之间的关系。在 LVM (Logical Volume Management) 中，硬盘的管理变得更加灵活，允许动态地调整磁盘空间的分配。物理卷（PV）：LVM使用底层物理设备&…...

编程日记 2025/7/18 1:15:04

OpenCV 人脸识别：从基础到实践全解析

在人工智能与计算机视觉蓬勃发展的今天，人脸识别技术已深入我们生活的方方面面，从手机解锁到安防监控，其应用无处不在。而 OpenCV 作为计算机视觉领域最受欢迎的开源库之一，为开发者提供了一套高效且易用的人脸识别解决方案。本文…...

编程日记 2025/7/18 17:59:52

【HTML-2】HTML 标题标签：构建网页结构的基础

在网页开发中，标题标签(<h1>到<h6>)是构建内容层次结构和语义化标记的基础元素。这些标签不仅影响内容的视觉呈现，更对网页的可访问性和SEO有着深远影响。 1. 标题标签的基本用法 HTML提供了六个级别的标题标签： <h1>这…...

编程日记 2025/7/12 21:29:31

vue3前端后端地址可配置方案

在开发vue3项目过程中，需要切换不同的服务器部署，代码中配置的服务需要可灵活配置，不随着run npm build把网址打包到代码资源中，不然每次切换都需要重新run npm build。需要一个配置文件可以修改服务地址，而打包的代码…...

编程日记 2025/6/28 22:14:41

HTML应用指南：利用POST请求获取全国申通快递服务网点位置信息

申通快递（STO Express）作为中国领先的综合物流服务商，自1993年创立以来，始终秉持“正道经营、长期主义”的发展理念，深耕快递物流领域，开创了行业加盟制先河。经过30余年的发展，申通已成长为国家…...

编程日记 2025/7/13 19:12:05

《医院运营管理典型应用数据资源建设指南2025》全面分析

引言：医院数据资源建设的时代背景与意义医院运营管理数据资源建设正迎来前所未有的发展机遇与挑战。在深化支付改革与公立医院高质量发展政策驱动下，医院亟需建立智慧化运营管理体系，而数据资源作为关键要素，其建设水平直接关系到医院管理的科学性与效率。《医院运营管理…...

编程日记 2025/7/14 11:38:23

.NET外挂系列：3. 了解 harmony 中灵活的纯手工注入方式

一：背景 1. 讲故事上一篇我们讲到了注解特性，harmony 在内部提供了 20个 HarmonyPatch 重载方法尽可能的让大家满足业务开发，那时候我也说了，特性虽然简单粗暴，但只能解决 95% 的问题，言外之意还有一些…...

编程日记 2025/7/13 18:05:08

taro 小程序 CoverImage Image src无法显示图片的问题

目录一、问题描述二、解决方案一、问题描述使用taro开发的微信小程序图片无法正常显示，并报如下错误： [渲染层网络层错误] Failed to load local image resource /assets/icon/message.png the server responded with a status of 500 (HTTP/1.…...

编程日记 2025/7/15 15:30:30

05_核支持向量机

描述核支持向量机（通常简称为SVM）可以推广到更复杂模型的扩展，这些模型无法被输入空间的超平面定义。 SVM 的核心思想是找到一个最优的超平面，将不同类别的数据分开。这个超平面不仅要能够正确分类数据，还要使得两个…...

编程日记 2025/7/17 11:54:19

[解决方案] Word转PDF

背景： 之前做过一些pdf导出， 客户提了一个特别急的需求， 要求根据一个模版跟一个csv的数据源， 批量生成PDF， 因为之前用过FOP， 知道调整样式需要特别长的时间， 这个需求又特别急， 所…...

编程日记 2025/7/12 10:27:51

Oracle 11g post PSU Oct18 设置ssl连接（使用wallets）

说明 oracle 11g 从PSU 2018Oct（含）及之后的补丁不支持MD5. 要使用JDBC SSL要使用TSL1.2. 有两种方法，一种使用wallet, 一种使用JKS. 本文档使用wallets. 1. 为什么用TSL 1.2 https://blogs.oracle.com/developers/post/ssl-connection-to…...

编程日记 2025/7/15 0:11:34

linux关闭某端口暂用的进程

查看是哪个端口暂用 sudo netstat -tulpn | grep :80根据图片显示 80端口暂用的进程id是 3002 结束进程id为3002的进程 sudo kill -9 3002...

编程日记 2025/7/12 17:40:36

web开发全过程总结

目录利用pnpm创建vue3的文件使用pnpm创建项目项目配置在idea中创建Spring Boot项目配置基础项目架构(三层架构) 利用pnpm创建vue3的文件 1.打开cmd,以管理员的身份运行 2.切换到自己想要建立项目的文件的目录下或者直接在文件中以cmd的形式打开输入指令安装pnpm n…...

编程日记 2025/7/14 12:36:24

经典Java面试题的答案——Java 基础

大家好，我是九神。这是互联网技术岗的分享专题，废话少说，进入正题： 1.JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境…...

编程日记 2025/7/14 18:49:09

Fiddler 指定链接断点

问题背景在使用Fiddler进行抓包和mock数据时，由于前端页面通常依赖多个前置接口（如JS、CSS、登录态等），导致抓包过程中难以精准定位到目标接口。这种复杂性增加了调试和mock数据的难度。常见挑战前置接口过多：页…...

编程日记 2025/7/16 8:02:54

C# 语法篇：字段的定义和运算

对于字段来说，是在对象创建时就被初始化了；而构造函数的运行是在这之后。因此，不能对字段进行需要用到“构造函数赋值的变量”的运算，因为此时这些变量的值都为0或者随机值，编译器不允许这时候做运算。因此&#xf…...

编程日记 2025/7/12 12:18:08

音频应用的MediaSession冲突

前提条件系统级应用，使用了sharedUserId 应用在AndroidManifest.xml中声明了系统级UID：android:sharedUserId"android.uid.system"该配置使应用具有系统级权限，可以访问系统级API和资源使用MediaSession框架应用通过MediaSessi…...

编程日记 2025/7/16 15:19:32

【QT】类A接收TCP数据并通过信号通知类B解析

以下是基于Qt的完整示例代码，包含类A接收TCP数据并通过信号通知类B解析的实现： ------------------ ClassA.h 网络数据接收类 ------------------ #pragma once#include <QTcpServer> #include <QTcpSocket> #include <QObject>class…...

编程日记 2025/7/16 12:18:21

【Jitsi Meet】(腾讯会议的平替)Docker安装Jitsi Meet指南-使用内网IP访问

Docker安装Jitsi Meet指南-使用内网IP访问下载官方代码配置环境变量复制示例环境文件并修改配置：编辑 .env 文件： 修改 docker-compose.yml 文件生成自签名证书启动服务最终验证腾讯会议的平替。我们是每天开早晚会的，都是使用腾讯会议。腾…...

编程日记 2025/7/12 21:12:39

微服务架构中的多进程通信--内存池、共享内存、socket

目录 1 引言 2 整体架构简介 3 疑问 3.1 我们的共享内存消息机制是用的posix还是system V 3.2 rmmt中，不同线程之间的比如访问同一个内存，用的什么锁控制的 3.3 疑问：假如一个进程发送给了另外两个进程，然后另外两个进程都同…...

编程日记 2025/7/14 9:42:42

使用 adb 命令截取 Android 设备的屏幕截图

使用 adb 命令截取 Android 设备的屏幕截图。以下是两种常见的方法： 方法一：截屏后保存到电脑 adb shell screencap -p /sdcard/screenshot.png adb pull /sdcard/screenshot.png解释： adb shell screencap -p /sdcard/screenshot.png&…...

编程日记 2025/7/12 15:09:59

Jenkins服务器配置密钥对

1. 在 Jenkins 服务器上执行以下命令 # 生成 SSH 密钥对 ssh-keygen -t rsa -b 2048 -f ~/.ssh/id_rsa -N ""# 查看公钥内容 cat ~/.ssh/id_rsa.pub 2. 将显示的公钥内容复制，然后在目标服务器上执行 # 在目标服务器上执行 mkdir -p /root/.ssh chmod …...

编程日记 2025/7/18 1:08:15

Docker中部署Alertmanager

在 Docker 中部署 Alertmanager（通常与 Prometheus 告警系统配合使用）的步骤如下： 一、拉取镜像prom/alertmanager docker pull prom/alertmanager二、创建 Alertmanager 配置文件首先准备Alertmanager的配置文件 alertmanager.yml(如存…...

编程日记 2025/7/12 11:48:09

Keil软件中STM32(ARM)与C51兼容方法

推荐其他UP主：Keil5安装教程（包含C51与MDK共存） - Kojull - 博客园我已经实现了！...

编程日记 2025/7/16 14:12:18

青少年编程与数学 02-019 Rust 编程基础 19课题、项目发布

青少年编程与数学 02-019 Rust 编程基础 19课题、项目发布一、准备工作1. 创建和配置项目2. 编写代码和测试3. 文档注释二、构建发布版本1. 构建优化后的可执行文件2. 静态链接（可选） 三、发布到 crates.io1. Crates.io核心功能使用方法特点最新动态 2…...

编程日记 2025/7/14 11:12:01

一洽小程序接入说明

接入说明文档以微信小程序作为示例介绍，其他小程序接入操作与此类似 1、添加校验文件开发者使用微信小程序提供的 webview 组件可以实现打开一洽的H5对话小程序的“域名配置”中添加一洽的对话域名地址，需要获取校验文件提供给一洽放在域名根目录下…...

编程日记 2025/7/13 14:35:30

RabbitMQ的基本使用

RabbitMQ 是一个非常流行的消息中间件，用于实现生产者与消费者之间的异步通信。它基于 AMQP 协议（高级消息队列协议），支持多种编程语言和平台。以下是 RabbitMQ 的基本使用说明，包括安装、核心概念、基本操作和 Pyth…...

编程日记 2025/7/17 8:01:23

CSS专题之常见布局

前言石匠敲击石头的第 13 次作为一名前端开发，在日常开发中，写页面是必不可少的工作，但有时候发现很多的页面结构都是类似的，所以打算写一篇文章来梳理一下日常开发中常见的布局，如果哪里写的有问题欢迎指出。单列…...

编程日记 2025/7/12 19:46:27

CentOS 7连接公司网络配置指南

在物理主机上安装了一个CentOS 7，需要连接公司的网络，但是公司的网络需要输入用户名密码才能连接解决方案需要同时设置 wifi-sec.key-mgmt 和 802-1x 参数。以下是分步操作： 1. 创建基础 Wi-Fi 连接 sudo nmcli con add con-name &quo…...

编程日记 2025/7/17 11:58:23

一、需开放端口 TCP: 21115, 21116, 21117, 21118, 21119 UDP: 21116 二、安装docker 1.使用 root 权限登录 CentOS。确保 yum 包更新到最新 yum update 2. 卸载旧版本 yum remove docker 3. 安装 Docker 所需依赖 yum -y install yum-utils device-mapper-persistent-d…...

编程日记 2025/7/13 6:01:50

CentOS 7上部署BIND9 DNS服务器指南

场景假设： 我们要为内部网络 192.168.1.0/24 搭建一个权威 DNS 服务器。域名：mylab.localDNS 服务器 IP：192.168.1.10我们将配置正向解析 (hostname -> IP) 和反向解析 (IP -> hostname)。一、安装 BIND9 更新系统并安装 BIND 及工…...

编程日记 2025/7/13 19:31:19

面试突击：消息中间件之RabbitMQ

一：你们项目中哪里用到了RabbitMQ ? 难易程度：☆☆☆ 出现频率：☆☆☆☆ 我们项目中很多地方都使用了RabbitMQ , RabbitMQ 是我们项目中服务通信的主要方式之一 , 我们项目中服务通信主要有两种方式实现 : 通过Feign实现服务调用通过MQ实现服…...

编程日记 2025/7/14 8:52:42

基于 ESP32 与 AWS 全托管服务的 IoT 架构：MQTT + WebSocket 实现设备-云-APP 高效互联

目录一、总体架构图二、设备端（ESP32）低功耗设计（适配 AWS IoT） 1.MQTT 设置（ESP32 连接 AWS IoT Core） 2.低功耗策略总结（ESP32）三、云端架构（基于 AWS Serverless + IoT Core） 1.AWS IoT Core 接入 2.云端 → APP：WebSocket 推送方案流程： 3.数据存…...

编程日记 2025/7/15 23:18:14

将 /dev/vdb1 的空间全部合并到 /dev/mapper/centos-root（即扩展 CentOS 的根分区）

要将 /dev/vdb1 的 1TB 空间合并到 /dev/mapper/centos-root（即扩展 CentOS 的根分区），可以采用 LVM（逻辑卷管理） 的方式。以下是详细步骤： 步骤 1：检查当前磁盘和 LVM 情况 1.1 确认 /dev/vdb…...

编程日记 2025/7/15 4:46:07

CentOS Stream安装MinIO教程

1. 下载 MinIO 二进制文件 # 进入 MinIO 安装目录 sudo cd /usr/local/bin/# 下载 MinIO 二进制文件（替换为最新版本链接） wget https://dl.min.io/server/minio/release/linux-amd64/minio chmod x minio2. 创建专用用户和存储目录 # 创建 minio 用户…...

编程日记 2025/6/28 22:04:44

游戏引擎学习第299天:改进排序键第二部分

回顾并为当天内容做准备我们会现场编写完整的游戏代码。回顾上周发现自己对游戏中正确的排序规则并没有清晰的理解。主要原因是我们更擅长三维游戏开发，缺乏二维游戏和二维游戏技术的经验，对于二维精灵排序、模拟三维效果的最佳方案等没有太多技巧和经…...

编程日记 2025/7/18 9:25:12

设计模式----软考中级软件设计师（自用学习笔记）

目录 1、设计模式的要素 2、设计模式的分类 3、简单工厂模式 4、工厂方法 5、抽象工厂 6、生成器 7、原型 8、单例模式 9、适配器 10、桥接 11、组合模式 12、装饰 13、外观 14、享元 15、代理 16、责任链 17、命令 18、解释器 19、迭代器 20、中介者 21、…...

编程日记 2025/7/12 21:12:58

uniapp如何设置uni.request可变请求ip地址

文章目录简介方法一：直接在请求URL中嵌入变量方法二：使用全局变量方法三：使用环境变量方法四：服务端配置方法五：使用配置文件（如config.js）:总结简介在uni-app中，uni.request 用…...

编程日记 2025/7/17 15:59:17

Centos上搭建 OpenResty

一、OpenResty简介 OpenResty 是基于 Nginx 的扩展平台，完全兼容 Nginx 的核心功能（如 HTTP 服务和反向代理），同时通过内嵌 LuaJIT 支持，允许开发者用 Lua 脚本灵活扩展业务逻辑。它简化了动态逻辑的实现。二、安装…...

编程日记 2025/7/13 4:50:36

Kotlin与物联网（IoT）：Android Things开发探索

在物联网（IoT）领域，Kotlin 凭借其简洁性、安全性和与 Java 生态的无缝兼容性，逐渐成为 Android Things 开发的有力工具。尽管 Google 已于 2022 年宣布停止对 Android Things 的官方支持，但其技术思想仍值得探索&#…...

编程日记 2025/7/14 21:01:51

WIFI信号状态信息 CSI 深度学习篇之CNN（Python）

本博客是一篇非新手导向的CNN处理CSI图像帧的教程，基于tensorflow框架构建CNN模型进行训练，训练对象依然是前述博客中所提到的CSI图像帧（500 x 90 x 1）。代码里用到了深度可分离卷积，这种结构在减少计算量和参数数量方…...

编程日记 2025/7/13 19:12:18