当前位置：首页 > news >正文

RocketMQ使用场景问题

news 来源：原创 2025/5/15 22:18:40

1.消息丢失

有这么一个场景，就是订单支付完成之后，订单系统会进行发送消息给RocketMQ集群，下游会有积分系统进行监听这个消息，进行消费然后给用户发放积分。在下面的这个场景中，通过查询日志发现了订单系统发送订单支付消息的日志。别的就没有了。

那我们进行分析

1. 发送订单支付消息给RocketMQ集群会出现消息丢失的情况的吗？

会出现消息丢失的情况，可能出现的原因：在发送的过程中，出现了网络抖动，导致了消息没有发送的MQ的集群上；MQ集群收到了消息，但是在进行保存的时候，由于自身的一些bug或者其他原因导致数据没有存储上也是可能的等。

2.消息到达了MQ，MQ会自己导致数据丢失吗？

答案也是可能的，举个例子，我们发送消息到MQ集群上，此时消息还是在os cache中，还是没有写入到磁盘，此时Broker机器发生了宕机，那么消息就会出现丢失的情况。

3.消息到达了MQ，并且MQ将数据写入了磁盘，数据还会丢失吗？

答案还是有可能的，比方说磁盘发生了故障，导致数据的丢失。

4.消费者拿到了消息，消息就不会丢失了吗？

答案还是有可能会丢失的，假如我们的消费者拿到了消息，此时还没有进行消费，此时系统会有自动提交offset的能力，自动提交了offset，同时咱们的消息者宕机了，那么再次重启之后，这条消息就会出现丢失的情况。

解决方案：

针对情况一：我们可以采用RocketMQ的事务消息机制来保证消息发送的可靠性。

步骤一都失败了，那就没必要进行更新订单状态可以直接返回了；

步骤二失败了此时就会有步骤五算是一个补偿机制来进行反查状态；

步骤三失败了，会触发步骤四进行RollBack；

步骤四失败了此时就会有步骤五算是一个补偿机制来进行反查状态；

针对情况二，情况三：我们采用同步刷盘和Raft协议主从同步的策略

当我们的Broker接收到消息之后，会先写入到os cache中，此时还没写入到磁盘中，这个时候如果机器宕机了，消息就会丢失了。需要将默认的刷盘机制由异步刷盘改为同步刷盘，同时采用Broker集群的策略，一个Master broker写入成功，一个slave broker写入成功才认为是写入成功。这样的话就算Master Broker宕机了，slave Broker上也有消息，不会出现消息的丢失的情况。

针对情况四：我们采用消息消费完成之后，再进行提交offset。

2.消息重复消费的问题

还是上述的场景，可能会出现消息消费重复的问题。

情况一：生产者进行重复发送了两次消息。

情况二：消费者进行消费了两次消息，在进行第一次消费的时候，代码逻辑处理完成了，但还未来得及进行offset提交，此时机器宕机或者重启，那么下次进行拉取消息的时候，还是会把消息再次拉取一遍，再次进行消费。

针对情况一，我们的解决办法：

1.在进行发送的消息的时候，从MQ中进行查询一下消息是否存在MQ中，如果MQ中存在，那么就没必要进行再次的发送

2.基于Redis缓存的幂等控制：当你成功发送一条消息到MQ之后，就要在Redis缓存中存放一个消息的状态信息。

3.基于业务的判断逻辑：比方说你的业务里有一些操作，是发送完成消息之后就要做一些状态的变更，那么就可以根据状态的变更来做。

其实针对这种发送端来保证发送的幂等性，在我们的实际的开发中并不常用，因为我们基本上都能接受消息在发送端的重复，我们要进行保证的是消息在消费端的幂等性，这种方式跟在发送端保证消息发送的幂等性基本类似。这里就不再赘述。

3.消费者宕机的情况

正常情况下我们进行消费RocketMQ的消息，消费成功的话会进行返回CONSUME_SUCCESS,但当我们消费消息有异常的时候，我们就不会返回CONSUME_SUCCESS而是返回CONSUME_LA TER状态。那RocketMQ收到这个状态之后，会把这个消息放入到重试队列中去，过一段时间，重试队列中的消息会给我们，让我们进行再次消费，这个也是有次数的限制，并不会一直让我们进行重试，默认重试的次数是16次。如果超过了16次还是没成功呢，此时消息就会进入到死信队列中，针对死信队列中的消息要进行如何的处理，就要看我们的业务场景来说，如果需要处理死信队列中数据，我们可以订阅死信队列，然后开启消费。

4.消息乱序的情况

在进行消费消息的时候，会出现消息乱序的情况，我们举一个例子，我们有一个场景是要进行数据同步，在进行数据同步的时候，进行监听的数据库的binlog消息，一般情况下，都是先有insert的binlog，然后才会有update的binlog消息，但是在实际场景中出现了先有update的binlog，然后再有insert的binlog的情况。

出现这种的情况的原因：因为Topic会有多个MessageQueue，咱们再进行发送消息的时候会将消息发送到不同的MessageQueue上，当有两个消费者来进行拉取消息的时候，就会出现update的binlog先进行消费，insert的binlog后进行消费的场景。

那出现这种情况的原因是不在同一个MessageQueue中，那么我们将针对同一个表的binlog消息都写到同一个MessageQueue文件中，那么这个问题是不是就会解决了。答案是未必的，因为在进行消息消费的时候可能会出现失败的情况，如果出现了失败的情况就要进入重试，那么这个时候消息还是会乱序的，那么此时如果针对这种情况的话就不能返回CONSUME_LA TER状态，而是应该返回SUSPEND_CURRENT_QUEUE_A_MOUNT状态，这个状态的意思是等一会，一会再来进行处理这批消息。

RocketMQ使用场景问题

1.消息丢失有这么一个场景，就是订单支付完成之后，订单系统会进行发送消息给RocketMQ集群，下游会有积分系统进行监听这个消息，进行消费然后给用户发放积分。在下面的这个场景中，通过查询日志发现了订单系统发送订单支付…...

编程日记 2025/5/15 22:18:40

医院机房运维：所有IT资源运行状态同一平台实时呈现

在当今数字化医疗高速发展的时代，医院的信息化系统已然成为保障医疗服务顺畅开展、守护患者生命健康的关键基础设施。以郑州人民医院为例，随着医疗业务不断拓展，其背后支撑的机房运维面临着诸多棘手难题。传统的分散式人工维护模式&#xff…...

编程日记 2025/5/15 20:27:56

windows远程桌面无法连接，报错：“由于没有远程桌面授权服务器可以提供许可证，远程会话被中断。请跟服务器管理员联系”

windows远程桌面无法连接，报错：“由于没有远程桌面授权服务器可以提供许可证，远程会话被中断。请跟服务器管理员联系” 问题描述：解决方法：无法删除条目解决如下：正常激活详见：[RDS远程服务激活…...

编程日记 2025/5/15 16:14:45

Spring Boot 各种事务操作实战(自动回滚、手动回滚、部分回滚）

概念事务定义事务，就是一组操作数据库的动作集合。事务是现代数据库理论中的核心概念之一。如果一组处理步骤或者全部发生或者一步也不执行，我们称该组处理步骤为一个事务。当所有的步骤像一个操作一样被完整地执行，我们称该事务被提交。…...

编程日记 2025/5/13 17:35:32

[gcc]代码演示-O使用场景

使用场景： 开发阶段： 在开发阶段，通常使用 -O0（无优化）以获得最快的编译速度和最完整的调试信息。这有助于快速迭代和调试。对于性能测试，可以使用 -O1 或 -O2 以获得一些基本的优化，同时保持较…...

编程日记 2025/4/29 1:48:17

conan从sourceforge.net下载软件失败

从sourceforge.net下载软件，经常会没有开始下载就返回了。原因是： 自动选择的镜像站不能打开。在浏览器中，我们可以手动选择站点尝试，但是conan就不行了。手动选择一个站点，能够有文件保存窗口弹出，之后…...

编程日记 2025/5/14 20:47:21

电脑msvcp140.dll是什么文件？怎么修复电脑msvcp140.dll缺失的问题？

电脑msvcp140.dll文件详解及缺失问题修复指南在探索电脑的奥秘时，我们时常会遇到各种文件、错误代码和系统问题。今天，我将为大家深入解析一个常见的系统文件——msvcp140.dll，以及当这个文件缺失时应该如何进行修复。作为一名在软件开发领…...

编程日记 2025/5/5 4:34:27

基于STM32的热带鱼缸控制系统的设计

文章目录一、热带鱼缸控制系统1.题目要求2.思路3.电路仿真3.1 未仿真3.2 开始仿真，显示屏显示水温、浑浊度、光照强度等值3.3 当水温低于阈值，开启加热并声光报警3.4 当浑浊度高于阈值，开启自动换水并声光报警3.5 当光照低于阈值&#xff0c…...

编程日记 2025/5/15 10:22:53

unity学习7：unity的3D项目的基本操作: 坐标系

目录学习参考 1 unity的坐标系 1.1 左手坐标系 1.2 左手坐标系和右手坐标系的区别 1.3 坐标系的原点(0,0,0) 2 坐标系下的具体xyz坐标 2.1 position这里的具体xyz坐标值 2.2 父坐标 2.3 世界坐标和相对坐标 2.3.1 世界坐标 2.3.2 相对坐标 2.4 父物体，…...

编程日记 2025/5/15 17:33:29

认识一下，轻量消息推送 Server-Sent Events

什么是 SSE（Server-Sent Events） Server-Sent Events（简称 SSE）是一种在浏览器中实现单向实时通信的技术。它允许服务器通过 HTTP 持久连接向客户端发送实时更新的数据流。这种通信模式非常适用于需要频繁向客户端推送数据的场景，例如股票行情更新、实时聊天通知、社交媒…...

编程日记 2025/5/15 16:01:49

Python爬虫入门指南：从零开始抓取数据

Python爬虫入门指南：从零开始抓取数据引言在大数据时代，数据是新的石油。而爬虫作为获取数据的重要手段，受到了越来越多的关注。Python作为一门强大的编程语言，其简洁易用的特性使得它成为爬虫开发的首选语言。本篇文章将带你…...

编程日记 2025/5/2 5:29:54

c++ vector 使用find查找指定元素方法

在 C 中，std::vector 是一个动态数组，用于存储同类型元素的序列。如果你想在 std::vector 中查找指定元素，可以使用 std::find 算法。std::find 是定义在 <algorithm> 头文件中的标准库函数。以下是一个示例代码，展示了如…...

编程日记 2025/5/13 17:46:18

计算机组成原理——控制单元设计

组合逻辑设计...

编程日记 2025/5/15 22:17:27

特征点检测与匹配——MATLAB R2022b

特征点检测与匹配在计算机视觉中的作用至关重要，它为图像处理、物体识别、增强现实等领域提供了坚实的基础。目录 Harris角点检测 SIFT（尺度不变特征变换） SURF（加速稳健特征） ORB（Oriented FAST and Rotated BRIEF）总结特征点检测与匹配是计算机视觉中的一项基…...

编程日记 2025/5/15 17:29:45

在 IntelliJ IDEA 中开发 GPT 自动补全插件

背景与目标随着 AI 的发展，GitHub Copilot 等智能代码补全工具在开发者中获得了广泛的应用，极大地提高了编程效率。本篇文章将教你如何开发一个 IntelliJ IDEA 插件，使用 OpenAI 的 GPT API 来实现类似 Copilot 的代码自动补全功能。通过这…...

编程日记 2025/5/13 10:06:33

主键有多种设计

1. 自增ID id bigint NOT NULL AUTO_INCREMENT COMMENT 主键ID 优点： 简单直观自动生成递增有序，对索引友好缺点： 可能暴露业务信息分布式系统下需要特殊处理合并数据时可能冲突 2. UUID/GUID id char(36) NOT NULL COMMENT 主键ID …...

编程日记 2025/5/15 4:41:13

SCT12A0,一款2.7V-14V Vin、30W全集成同步升压转换器

SCT12A0是一款高效率，全集成 13mΩ 高侧MOSFET和11mΩ低侧MOSFET的同步升压转换器，支持 2.7V 至 14V 输入电压范围，最高可达12A 开关电流。开关电流限可以通过外部电阻进行调节。 SCT12A0采用自适应恒定关断时间峰值电流控制以提供快速瞬态。…...

编程日记 2025/5/15 22:14:08

Python 数据结构揭秘：栈与队列

栈（Stack） 定义栈是一种后进先出（Last In First Out, LIFO）的数据结构。它类似于一个容器，只能在一端进行插入和删除操作。栈有两个主要的操作：push（入栈）和 pop（出栈…...

编程日记 2025/5/15 21:03:09

3、蓝牙打印机按键 - GPIO输入控制

1、硬件 1.1、看原理图初始高电平，按键按下导通处于低电平状态。 PB8号引脚。 1.2、看手册 a、看系统架构 GPIOB号端口有APB2总线控制 b、RCC使能 RCC->APB2ENR的第3位控制GPIOB使能。 c、GPIOB寄存器配置浮空输入模式下，I/O的电平状态是不确定…...

编程日记 2025/5/15 21:54:38

LeetCode--复原IP地址（面试手撕算法高频题）

题目描述:有效 IP 地址正好由四个整数（每个整数位于 0 到 255 之间组成，且不能含有前导 0），整数之间用 . 分隔。例如："0.1.2.201" 和 "192.168.1.1" 是有效 IP 地址，但是 "0.…...

编程日记 2025/5/15 22:10:31

050_小驰私房菜_MTK Camera debug, data rate 、mipi_pixel_rate 确认

mipi_pixel_rate = data rate * 4 / 10 (4 是表示4lane,10表示raw数据是10bit) mipi_pixel_rate 信息，我们可以通过 sentest命令打印看到：下面的信息我们可以看到，mipi_pixel_rate = 501.357739Mpps，mipi rate = 10000000，是对应的我们驱动文件里面配置写的mipi_pixel_r…...

编程日记 2025/5/15 22:01:18

TCP粘/拆包----自定义消息协议

今天是2024年12月31日，今年的最后一天，希望所有的努力在新的一年会有回报。❀ 无路可退，放弃很难，坚持很酷 TCP传输是一种面向二进制的，流的传输。在传输过程中最大的问题是消息之间的边界不明确。而在服务端主要的…...

编程日记 2025/5/15 21:05:37

conda指定路径安装虚拟python环境

DataBall 助力快速掌握数据集的信息和使用方式，会员享有百种数据集，持续增加中。需要更多数据资源和技术解决方案，知识星球： “DataBall - X 数据球(free)” -------------------------------------------------------------…...

编程日记 2025/5/15 20:31:33

FPGA、STM32、ESP32、RP2040等5大板卡，结合AI，更突出模拟+数字+控制+算法

板卡选择困难症了？如果你也想玩FPGA、STM32、ESP32、RP2040相关的板卡，不如看看以下几款板卡，如果正巧碰上能实现你想要做的项目呢~ 01 小脚丫FPGA STEP BaseBoard V4.0套件 STEP BaseBoard V4.0是第4代小脚丫FPGA扩展底板（点击了…...

编程日记 2025/5/10 20:49:30

Flume拦截器的实现

Flume conf文件编写 vim file_to_kafka.conf#定义组件 a1.sources r1 a1.channels c1#配置source a1.sources.r1.type TAILDIR a1.sources.r1.filegroups f1 a1.sources.r1.filegroups.f1 /Users/zhangjin/model/project/realtime-flink/applog/log/app.* # 设置断点续传…...

编程日记 2025/5/15 22:04:55

【数据仓库】hadoop web UI 增加账号密码认证

升级了hadoop版本到3.3.6,未配置任何鉴权，默认端口9870 8088开放到了公网，结果没几天就被挖矿攻击了。通过开放的端口提交了很多非法任务到yarn上，并成功在服务器执行了恶意脚本。这次是真实真切的感受了，网络环境的险恶，以前仅仅是别人的案例来提高自己的安全意识，这…...

编程日记 2025/5/13 14:16:36

《特征工程：自动化浪潮下的坚守与变革》

在机器学习的广阔天地中，特征工程一直占据着举足轻重的地位。它宛如一位幕后的工匠，精心雕琢着原始数据，将其转化为能够被机器学习模型高效利用的特征，从而推动模型性能迈向新的高度。然而，随着技术的飞速发展&#xf…...

编程日记 2025/5/14 7:55:45

【亚马逊云科技】基于Amazon EKS部署高可用的OceanBase的最佳实践

一、前言随着企业业务的快速发展和数据量的不断增长，高性能、高可用的数据库解决方案成为了关键需求。OceanBase作为一款分布式关系型数据库，以其高扩展性、高可用性和高性能的特点，逐渐受到企业的广泛关注。然而，在复杂的分布式…...

编程日记 2025/5/13 4:08:39

新能源电动汽车动力电池技术

新能源电动汽车动力电池技术是新能源汽车发展的核心之一，以下是动力电池技术的一些关键方面： 技术进展能量密度提升：近年来，动力电池的能量密度有了显著提升，从2010年的100Wh/kg提高到2024年的300Wh/kg。能量密度的…...

编程日记 2025/5/15 12:26:14

小程序组件 —— 30 组件 - 背景图片的使用

在编写小程序的样式文件时，可以使用 background-image 属性来设置元素的背景图像；但是这个属性在微信小程序中使用时存在坑； 注意事项：微信小程序中的 background-iamge 不支持本地路径！需要使用网络图片，…...

编程日记 2025/5/11 23:55:08

量子力学复习

黑体辐射热辐射绝对黑体： （辐射能力很强，完全的吸收体，理想的发射体） 辐射实验规律： 温度越高，能量越大，亮度越亮温度越高，波长越短光电效应实验装置&#xf…...

编程日记 2025/5/14 13:56:27

n8n - AI自动化工作流

文章目录一、关于 n8n关键能力n8n 是什么意思二、快速上手一、关于 n8n n8n是一个具有原生AI功能的工作流自动化平台，它为技术团队提供了代码的灵活性和无代码的速度。凭借400多种集成、原生人工智能功能和公平代码许可证，n8n可让您构建强大的自动化…...

编程日记 2025/5/15 21:09:56

1.1.7 master公式的使用

code 递归例子 – 返回最大数据 # 递归行为， 返回[L, R]的最大值 # 递归：base case； 遍历；返回值 from test1 import *def getMax(arr):return process(arr, 0, len(arr)-1)def process(arr, L, R):if (L R):return arr[L] #…...

编程日记 2025/5/15 20:47:30

Windows系统安装Docker Desktop

文章目录注意事项安装步骤官网下载软件安装到其它盘符操作(如果就想安装到C盘可以跳过这个步骤, 直接执行文件)等待出现软件安装界面Windows系统的配置软件的一些必要设置(以下设置需要点击apply才能生效，如果点不了，那就是安装后，出现了错误…...

编程日记 2025/5/15 21:43:21

快速上手LangChain（四）LangChain Hub和LangSmith

文章目录快速上手LangChain（四）LangChain Hub和LangSmith什么是LangChain HubLangChain Hub功能 LangSmith使用快速上手LangChain（四）LangChain Hub和LangSmith 什么是LangChain Hub LangChain Hub官网地址：https:…...

编程日记 2025/5/15 21:24:39

jquery实现的网页版扫雷小游戏源码

源码介绍这是一款基于jQuery实现的经典扫雷小游戏源码，玩家根据游戏规则进行游戏，末尾再在确定的地雷位置单击右键安插上小红旗即可赢得游戏！是一款非常经典的jQuery游戏代码。本源码改进了获胜之后的读数暂停功能。效果预览源码下载 j…...

编程日记 2025/5/15 8:11:41

C#运动控制系统：雷赛控制卡实用完整例子 C#雷赛开发快速入门 C#雷赛运动控制系统实战例子 C#快速开发雷赛控制卡

雷赛控制技术 DMC系列运动控制卡是一款新型的 PCI/PCIe 总线运动控制卡。可以控制多个步进电机或数字式伺服电机；适合于多轴点位运动、插补运动、轨迹规划、手轮控制、编码器位置检测、IO 控制、位置比较、位置锁存等功能的应用。 DMC3000 系列卡的运动控制函数库功…...

编程日记 2025/5/15 10:24:45

理解linux内核中的几种地址

1. 前言《Linux内核完全注释》这本书提到了几种Linux内核中的几种地址，实地址，有虚拟地址，逻辑地址，线性地址，物理地址。除了物理地址以外，其他几种容易弄混淆。这里做一下笔记，讲一下我的理解…...

编程日记 2025/5/15 20:25:00

MySQL（二）MySQL DDL数据库定义语言

1. MySQL DDL数据库定义语言 1.1. MySQL定义语言进入MySQL mysql -u root -p(回车后输入密码，即可进入mysq1)1.1.1. 数据库操作 （1）查看数据库 mysql>show databases;注:MySQL语句分隔符为“；” mysql库很重要它里面有…...

编程日记 2025/5/15 20:40:30

《Vue3实战教程》19：Vue3组件 v-model

如果您有疑问，请观看视频教程《Vue3实战教程》组件 v-model 基本用法 v-model 可以在组件上使用以实现双向绑定。从 Vue 3.4 开始，推荐的实现方式是使用 defineModel() 宏： vue  <script setup> co…...

编程日记 2025/5/15 21:15:30

spring boot通过文件配置yaml里面的属性

yaml文件 fsg: batch-approval:# 批量审批batch-approval:pool:core-size: 2max-size: 10queue-capacity: 100keep-alive: 60name-prefix: ApprovalThread-shutdown:await-termination: trueawait-termination-period: 60ConfigurationProperties配置 import lombok.Data; imp…...

编程日记 2025/5/15 22:13:02

1.消息丢失

2.消息重复消费的问题

3.消费者宕机的情况

4.消息乱序的情况

相关文章：