当前位置： 首页 > news >正文

【RabbitMQ】消息丢失问题排查与解决

news 来源：原创 2025/6/17 10:54:18

RabbitMQ 消息丢失是一个常见的问题，可能发生在消息的生产、传输、消费或 Broker 端等多个环节。消息丢失的常见原因及对应的解决方案：

一、消息丢失的常见原因

1. 生产端（Producer）原因
  • (1) 消息未持久化
    • 原因：生产者发送消息时未设置持久化（deliveryMode 为非持久化模式），且 Broker 未持久化队列或交换器。
    • 场景：Broker 宕机或重启时，未持久化的消息会丢失。
  • (2) 生产者通道或连接异常关闭
    • 原因：生产者在发送消息过程中，通道（Channel）或连接（Connection）异常关闭，导致消息未完全发送到 Broker。
  • (3) 未使用发布确认机制（Publisher Confirm/Return）
    • 原因：生产者未开启发布确认机制，无法感知消息是否成功到达 Broker。
    • 场景：网络波动或 Broker 未正确接收消息时，生产者无法及时重试。
2. 传输端（Broker）原因
  • (1) 队列未持久化
    • 原因：队列未设置为持久化（durable 为 false），Broker 宕机或重启时队列消失，消息丢失。
  • (2) Broker 磁盘空间不足
    • 原因：Broker 的磁盘空间耗尽时，无法持久化消息，可能导致消息被丢弃。
  • (3) 集群节点间同步失败
    • 原因：在集群模式下，主节点和从节点之间的数据同步失败，导致消息未被复制到其他节点，主节点故障时消息丢失。
  • (4) 网络分区（Network Partition）
    • 原因：网络中断导致 Broker 节点之间无法通信，可能触发脑裂或消息未正确路由。
3. 消费端（Consumer）原因
  • (1) 消费者提前 ACK 消息
    • 原因：消费者在处理消息前就发送了确认（ACK），若后续处理失败，Broker 会认为消息已成功消费并删除。
  • (2) 消费者自动 ACK 消息
    • 原因：消费者未显式开启手动确认模式（manual Ack），消息被自动确认后，即使处理失败也会丢失。
  • (3) 消费者应用崩溃
    • 原因：消费者在处理消息时崩溃，未完成的 ACK 会导致消息丢失（取决于消息的持久化和队列的配置）。
  • (4) 消息被拒绝且未重新投递
    • 原因：消费者调用 basic.reject 或 basic.nack 时未设置 requeue = false，导致消息被丢弃。
4. 其他原因
  • (1) 消息 TTL（Time To Live）过期
    • 原因：消息设置了过期时间，且 Broker 未配置死信队列（DLQ），过期消息会被直接删除。
  • (2) 队列被显式删除
    • 原因：队列被手动删除或因配置错误被自动删除，队列中的消息随之消失。
  • (3) 消息被消费者过滤或路由错误
    • 原因：绑定关系错误或路由键不匹配，消息可能被路由到错误的队列或直接丢弃。

二、解决方案与最佳实践

1. 生产端（Producer）的解决方案
  • (1) 消息持久化
    • 配置：生产者发送消息时设置持久化模式（deliveryMode=2）。
      Message message = MessageBuilder.withBody(...).setDeliveryMode(2).build();
    • 队列和交换器持久化：确保队列和交换器在声明时设置为持久化（durable=true）。
      // 声明持久化队列
declareQueue(new Queue("my_queue", true));
  • (2) 发布确认机制（Publisher Confirm/Return）
    • Confirm：确认消息已到达 Broker。
      RabbitTemplate template = new RabbitTemplate(connectionFactory);
template.setConfirmCallback((correlationData, ack, cause) -> {if (!ack) {// 处理未确认的消息}
});
    • Return：确认消息已到达队列（需配合 mandatory=true）。
      template.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {// 处理未路由到队列的消息
});
  • (3) 异步发送与重试
    • 使用异步发送并结合重试机制（如结合 Spring Retry 或重试队列）。
2. 传输端（Broker）的解决方案
  • (1) 队列和交换器持久化
    • 确保队列、交换器和绑定关系都设置为持久化（durable=true）。
  • (2) 配置磁盘告警和扩容
    • 监控磁盘使用率，设置告警阈值，及时扩容或清理数据。
  • (3) 集群高可用（HA）配置
    • 使用 镜像队列（Mirrored Queues） 或 联邦队列（Federation） 实现数据冗余。
    • 配置 HA Policy（如 ha-mode: all）确保消息在多个节点间同步。
  • (4) 网络分区策略
    • 设置合理的 网络分区策略（如 cluster_partition_handling），避免脑裂时数据丢失。
    • 示例：
      # 在 rabbitmq.conf 中配置
cluster_partition_handling autoheal
3. 消费端（Consumer）的解决方案
  • (1) 手动 ACK 消息
    • 消费者显式开启手动确认模式（manualAck=true），并在消息处理完成后才发送 ACK。
      @RabbitListener(ackMode = "MANUAL", containers = "myContainer")
public void handleMessage(Message message, Channel channel) throws IOException {// 处理消息channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
}
  • (2) 消息重试机制
    • 本地重试：使用 Spring Retry 或其他重试库在消费者端重试。
    • 远程重试：通过死信队列（DLQ）和延迟队列实现。
      # 配置死信队列
x-dead-letter-exchange: dl-exchange
x-dead-letter-routing-key: dl-routing-key
x-message-ttl: 60000  # 消息存活时间
  • (3) 消费者事务管理
    • 结合 事务消息 或 TCC模式，确保消息处理与业务逻辑的原子性。
  • (4) 消费者崩溃恢复
    • 消费者应用需保证消息处理幂等性（如通过唯一 ID 去重），并在重启后重新消费未处理的消息。
4. 其他解决方案
  • (1) 启用消息日志
    • 在生产者和消费者端记录消息的发送和接收日志，便于追踪丢失原因。
  • (2) 避免消息被拒绝丢弃
    • 在消费者拒绝消息时设置 requeue=true，将消息重新入队。
      channel.basicNack(deliveryTag, false, true);  // 重新入队
  • (3) 配置消息过期策略
    • 结合死信队列（DLQ）处理过期消息，避免直接丢弃。
  • (4) 监控与告警
    • 使用监控工具（如 Prometheus + Grafana）实时监控消息流量和队列状态，及时发现异常。

三、消息丢失的预防措施

1. 四级持久化保障
  • 消息持久化：生产者发送消息时设置 deliveryMode=2。
  • 队列持久化：声明队列时设置 durable=true。
  • 磁盘持久化：Broker 配置 disk_free_limit 避免磁盘满。
  • 集群持久化：使用镜像队列确保消息在多个节点间冗余。
2. 确保 ACK 的可靠性
  • 延迟 ACK：在消息处理完成后才发送 ACK，避免提前确认。
  • 批量 ACK：谨慎使用批量确认，确保所有消息处理成功后再确认。
3. 网络与 Broker 稳定性
  • 高可用集群：部署 RabbitMQ 集群，避免单点故障。
  • 监控告警：监控 Broker 的内存、磁盘、连接数等指标，及时处理异常。
4. 业务逻辑设计
  • 幂等性：消费者处理逻辑需支持幂等性（如通过唯一 ID 去重）。
  • 最终一致性：对于关键业务，通过补偿机制（如 Saga 模式）保证最终一致性。

四、典型场景与解决方案

场景 1：Broker 宕机导致消息丢失
  • 原因：未持久化的消息或队列。
  • 解决：
    • 消息、队列、交换器均设置为持久化。
    • 配置镜像队列（HA）确保数据冗余。
场景 2：消费者提前 ACK 导致消息丢失
  • 原因：ACK 发送在业务逻辑之前。
  • 解决：
    • 使用手动 ACK，并在业务处理完成后发送。
    • 结合数据库事务，确保消息处理与数据操作的原子性。
场景 3：网络波动导致消息未到达 Broker
  • 原因：生产者未开启确认机制或通道未正确关闭。
  • 解决：
    • 开启 Publisher Confirm 和 Return 机制。
    • 使用可靠网络或增加重试次数。
场景 4：消费者处理失败且未重试
  • 原因：消费者未实现重试逻辑，直接丢弃消息。
  • 解决：
    • 配置死信队列（DLQ）捕获失败消息。
    • 结合重试队列或人工介入处理失败消息。

五、总结

RabbitMQ 消息丢失的根源在于 消息生命周期中任一环节的可靠性不足。通过以下措施可以最大程度避免消息丢失：

  1. 持久化：消息、队列、交换器均设置为持久化。
  2. 确认机制：生产者使用 Confirm/Return，消费者使用手动 ACK。
  3. 高可用集群：部署镜像队列或集群，避免单点故障。
  4. 重试与补偿：结合 DLQ 和业务补偿机制，确保消息最终被处理。
  5. 监控与日志：实时监控和记录消息状态，快速定位问题。

六、扩展思考

  • 消息可靠性 vs 性能：持久化和冗余会降低性能，需根据业务场景权衡。
  • Exactly-Once 消费：RabbitMQ 本身不支持 Exactly-Once，需通过业务逻辑（如数据库唯一约束）实现。
  • 消息顺序性：消息丢失可能影响顺序性，需结合队列绑定策略或业务逻辑保证顺序。

如果需要更具体的配置示例或业务场景分析，可以进一步探讨！

相关文章：

【RabbitMQ】消息丢失问题排查与解决

RabbitMQ 消息丢失是一个常见的问题，可能发生在消息的生产、传输、消费或 Broker 端等多个环节。消息丢失的常见原因及对应的解决方案： 一、消息丢失的常见原因 1. 生产端（Producer）原因 (1) 消息未持久化 原因：生产…...

编程日记 2025/5/31 11:38:05

idea 保证旧版本配置的同时，如何从低版本升到高版本

文章目录 前言idea 保证旧版本配置的同时，如何从低版本升到高版本1. 备份项目2. 下载最新的idea3. 安装安装包4. 导入idea2019旧配置5. 验证前言 如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差，…...

编程日记 2025/5/29 15:12:15

校园社区小程序源码解析

基于ThinkPHP、FastAdmin和UniApp开发的校园社区小程序源码，旨在为校园内的学生和教职员工提供一个便捷的在线交流和服务平台。 该小程序前端采用UniApp进行开发，具有良好的跨平台兼容性，可以轻松发布到iOS和Android平台。同时，后…...

编程日记 2025/5/29 13:35:46

Windows11安装rockerMq5.0+以及springboot集成rockerMq

安装jdk17，rockermq5.0需要jdk11，我这里使用jdk17 配置系统环境变量 ROCKETMQ_HOME D:\work\mmq\rocketmq-all-5.2.0-bin-release 编写启动脚本 D: cd D:\work\mmq\rocketmq-all-5.2.0-bin-release\bin start mqnamesrv.cmd start mqbroker.cmd -n 127.0…...

编程日记 2025/5/29 17:08:20

ros2中自定义的package查不到？

在ros2中自定义的package功能包，使用命令：ros2 pkg list无法查找到自己的功能包？ 首先，利用ros2 pkg create命令创建好功能包之后要利用colcon build命令进行编译，编译成功之后，在当前路径需要运行命令&am…...

编程日记 2025/6/4 15:08:27

【Python CGI编程】

Python CGI（通用网关接口）编程是早期Web开发中实现动态网页的技术方案。以下是系统化指南，包含核心概念、实现步骤及安全实践： 一、CGI 基础概念 1. 工作原理 浏览器请求 → Web服务器（如Apache） → 执行…...

编程日记 2025/5/27 5:05:03

idea运行

各种小kips Linuxidea上传 Linux 部署流程 1、先在idea打好jar包，clean之后install 2、在Linux目录下，找到对应项目目录，把原来的jar包放在bak文件夹里面 3、杀死上一次jar包的pid ps -ef|grep cliaidata.jar kill pid 4、再进行上传新的jar…...

编程日记 2025/5/27 6:43:13

2025年渗透测试面试题总结-安恒[社招]售前工程师（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。 目录 安恒[社招]售前工程师 1. 自我介绍 2. 离职原因 3. 掌握的法律法规 4. 等级保护实施框架 5. 行业方…...

编程日记 2025/5/31 10:01:36

[ linux-系统 ] 命令行参数 | 环境变量

命令行参数 命令行参数是指用户在启动程序时通过命令行传递给程序的参数。这些参数可以用于控制程序的行为、传递输入数据或配置选项。 在 C/C 中，命令行参数通过 main 函数的参数传递 命令行参数列表 argc:参数的个数 argv[]：参数的清单 为什么要…...

编程日记 2025/5/28 15:00:40

Spring三级缓存的作用与原理详解

在Spring框架中，Bean的创建过程涉及到了三级缓存机制。这个机制主要是为了提高单例模式下bean实例化和依赖注入的效率。本文将深入探讨Spring中的三级缓存，以及其在bean生命周期中的重要作用。 首先，让我们理解什么是三级缓存。Spring中的三…...

编程日记 2025/5/22 8:57:01

Linux信号的保存

Linux系统中信号的保存涉及内核为每个进程维护的数据结构，确保信号在产生后、处理前被正确记录和管理。以下是详细的解释： 1. 信号的基本概念 信号（Signal）：用于通知进程发生了特定事件的异步通知机制，如…...

编程日记 2025/5/26 14:41:14

leetcode0215. 数组中的第K个最大元素-medium

1 题目：数组中的第K个最大元素 官方标定难度：中 给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。 请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。 你必须设计并实现时…...

编程日记 2025/5/28 15:46:41

C++（17）：引用传参

目录 一、核心概念 二、代码示例：对比指针和引用 1. 指针传参的问题 2. 引用传参的改进 三、引用传参的优势 四、总结 一、核心概念 别名机制：引用是变量的别名，操作引用等同于操作原变量。 避免拷贝：直接操作原始变量&…...

编程日记 2025/5/29 17:17:35

handsome主题美化及优化：10.1.0最新版 - 1

文章目录 前言右侧导航栏主题标题居中页面两侧框架留白间距handsome 原生入站提示评论一键赞、踩、打卡时光机头像圆形logo 扫光赞赏按钮跳动鼠标点击特效复制版权提示彩色标签云及右栏数字自定义右键响应时间和访客总数全站字数统计版权提示时间流逝添加心知天气总结 前言 ha…...

编程日记 2025/5/29 14:10:42

基于React的高德地图api教程006：两点之间距离测量

文章目录 6、距离测量6.1 两点之间距离测量6.1.1 两点距离测量按钮6.1.2 点击地图添加点6.1.3 测量两点之间距离并画线6.2 测量过程显示两点之间预览线6.3 绘制完毕6.4 显示清除按钮6.5 代码下载6.06、距离测量 6.1 两点之间距离测量 6.1.1 两点距离测量按钮 实现代码： re…...

编程日记 2025/5/29 17:28:07

Java回溯算法解决非递减子序列问题（LeetCode 491）的深度解析

文章目录 问题描述错误代码分析原代码实现错误原因 修正方案与代码实现修正后的代码关键修正点 核心问题：为什么 used 不需要回溯？作用域与生命周期示例分析 总结算法设计要点复杂度分析 问题描述 给定一个整数数组 nums，找出并返回所有不同…...

编程日记 2025/5/19 21:01:01

基于PXIE 总线架构的Kintex UltraScale 系列FPGA 高性能数据预处理板卡

基于PXIE 总线架构的Kintex UltraScale 系列FPGA 高性能数据预处理板卡 一款基于3U PXIE 总线架构的高性能数据预处理FMC 载板，板卡具有1 个FMC（HPC）接口，1 个X8 GTH 背板互联接口，可以实现1 路PCIe x8。板卡采用Xili…...

编程日记 2025/5/22 1:20:29

[前端] wang 富文本 vue3

官方链接 https://www.npmjs.com/package/wangeditor-next/editor-for-vue <template><div style"border: 1px solid #ccc"><Toolbar style"border-bottom: 1px solid #ccc" :editor"editorRef" :defaultConfig"toolbarCo…...

编程日记 2025/5/29 10:22:44

【Python 操作 MySQL 数据库】

在 Python 中操作 MySQL 数据库主要通过 pymysql 或 mysql-connector-python 库实现。以下是完整的技术指南&#xff0c;包含连接管理、CRUD 操作和最佳实践&#xff1a; 一、环境准备 1. 安装驱动库 pip install pymysql # 推荐&#xff08;纯Python实现&#xff0…...

编程日记 2025/5/22 8:09:43

编译opencv4.11gstreamer 参考

0xC0000139: Entry Point Not Found gstreamer-1.0 如需要编译gstreamer模块需要提前安装好2个文件Index of /data/pkg/windows 下载带msvc的表示用Visual Studio编译 gif功能顺便勾上 最后 测试可能遇到的问题 把F:\gstreamer\1.0\x86_64\bin目录下的所有dll复制到exe所在位置…...

编程日记 2025/5/26 7:59:14

OpenCV边界填充（Border Padding）详解：原理、方法与代码实现

一、什么是边界填充&#xff1f; 边界填充&#xff08;Border Padding&#xff09;是图像处理中一项基础而重要的技术&#xff0c;它通过在图像边缘周围添加像素来解决卷积等操作导致的边界问题。当我们对图像应用滤波器或进行卷积操作时&#xff0c;图像边缘的像素无法像中心…...

编程日记 2025/5/17 12:00:44

Deeper and Wider Siamese Networks for Real-Time Visual Tracking

现象&#xff1a; the backbone networks used in Siamese trackers are relatively shallow, such as AlexNet , which does not fully take advantage of the capability of modern deep neural networks. direct replacement of backbones with existing powerful archite…...

编程日记 2025/5/30 21:26:14

保安员考试报名时，体检项目包含哪些？

保安员考试报名时的体检项目主要包括以下几类&#xff1a; 实验室检查&#xff1a;血常规、尿常规、大便常规是必检项目&#xff0c;主要用于检查血液、尿液和消化系统是否存在问题。部分地区可能还会检查肝功能、肾功能等&#xff0c;通过检测相关指标来评估肝脏和肾脏的功能状…...

编程日记 2025/5/21 10:18:34

基于SpringBoot的房屋租赁管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…...

编程日记 2025/5/29 10:23:12

MCU开发学习记录16* - 看门狗学习与实践(HAL库) - IWDG与WWDG -STM32CubeMX

名词解释&#xff1a; IWDG&#xff1a;Independent watchdog WWDG&#xff1a;Window watchdog LSE&#xff1a;​Low-Speed External Clock​ 统一文章结构&#xff08;数字后加*&#xff09;&#xff1a; 第一部分&#xff1a; 阐述外设工作原理&#xff1b;第二部分&#…...

编程日记 2025/5/23 23:39:29

如何解决LCMS 液质联用液相进样器定量环漏液问题

以下是解决安捷伦1260液相色谱仪为例的进样器定量环漏液问题的一些方法&#xff1a;视频操作 检查相关部件 检查定量环本身&#xff1a;观察定量环是否有破损、裂纹或变形等情况。如果发现定量环损坏&#xff0c;需及时更换。检查密封垫&#xff1a;查看进样阀的转子密封垫、计…...

编程日记 2025/5/17 11:58:35

【Linux】ssh命令 – 安全的远程连接服务

原创&#xff1a;厦门微思网络 SSH命令的概念 ssh命令的功能是安全地远程连接服务器主机系统&#xff0c;作为OpenSSH套件中的客户端连接工具&#xff0c;ssh命令可以让我们轻松地基于SSH加密协议进行远程主机访问&#xff0c;从而实现对远程服务器的管理工‍作。 语法 ssh 参…...

编程日记 2025/5/31 8:02:14

硬件中的OID是什么？SNMP如何通过OID获取信息？——用“图书馆”比喻彻底讲清底层原理-优雅草卓伊凡|小无

硬件中的OID是什么&#xff1f;SNMP如何通过OID获取信息&#xff1f;——用“图书馆”比喻彻底讲清底层原理-优雅草卓伊凡|小无 1. 终极比喻&#xff1a;OID是设备的“图书编码系统” 想象你走进一座巨型图书馆&#xff08;这个图书馆就是一台网络设备&#xff0c;比如路由器…...

编程日记 2025/5/31 11:36:23

java后端学习

1.Java基础 Java基础学习-CSDN博客 2.spring->springboot spring学习-&#xff1e;sprintboot-CSDN博客 3.maven Maven-CSDN博客 4mybatis -&#xff1e;mybatisplus mybatis -&#xff1e;mybatisplus-CSDN博客 5.git操作学习 git版本控制学习-CSDN博客 6.mysql …...

编程日记 2025/5/26 9:44:32

Python打卡 DAY 27

知识点回顾&#xff1a; 1. 装饰器的思想&#xff1a;进一步复用 2. 函数的装饰器写法 3. 注意内部函数的返回值 作业&#xff1a; 编写一个装饰器 logger&#xff0c;在函数执行前后打印日志信息&#xff08;如函数名、参数、返回值&#xff09; def logger(func):def wrap…...

编程日记 2025/5/20 4:41:58

2025蓝桥杯JAVA编程题练习Day8

1. 路径 题目描述 小蓝学习了最短路径之后特别高兴&#xff0c;他定义了一个特别的图&#xff0c;希望找到图 中的最短路径。 小蓝的图由 2021 个结点组成&#xff0c;依次编号 1 至 2021。 对于两个不同的结点 a, b&#xff0c;如果 a 和 b 的差的绝对值大于 21&#xff0…...

编程日记 2025/5/29 16:18:19

7 个正则化算法完整总结

哈喽&#xff01;我是我不是小upper&#xff5e;之前和大家聊过各类算法的优缺点&#xff0c;还有回归算法的总结&#xff0c;今天咱们来深入聊聊正则化算法&#xff01;这可是解决机器学习里 “过拟合” 难题的关键技术 —— 想象一下&#xff0c;模型就像个死记硬背的学生&am…...

编程日记 2025/6/2 17:08:09

lesson03-简单回归案例（理论+代码）

一、梯度下降 二、 线性方程怎么样&#xff1f; 三、有噪音吗&#xff1f; 四、让我们看一个列子 五、如何优化 启发式搜索 学习进度 六、线性回归、逻辑回归、分类 总结、 简单线性回归是一种统计方法&#xff0c;用于确定两个变量之间的关系。具体来说&#xff0c;它试图…...

编程日记 2025/5/29 13:17:03

Linux系统篇——文件描述符FD

&#x1f9e0; Linux 文件描述符&#xff08;File Descriptor&#xff09;详解与学习指南 一、什么是文件描述符&#xff08;fd&#xff09; 在 Linux 中&#xff0c;一切皆文件&#xff08;everything is a file&#xff09;&#xff0c;包括普通文件、目录、套接字&#xff…...

编程日记 2025/6/1 18:41:42

C++ Kafka客户端(cppkafka)安装与问题解决指南

一、cppkafka简介 cppkafka是一个现代C的Apache Kafka客户端库&#xff0c;它是对librdkafka的高级封装&#xff0c;旨在简化使用librdkafka的过程&#xff0c;同时保持最小的性能开销。 #mermaid-svg-qDUFSYLBf8cKkvdw {font-family:"trebuchet ms",verdana,arial,…...

编程日记 2025/5/24 20:06:55

MySQL的缓存策略

一、MySQL缓存方案用来解决什么 缓存用户定义的热点数据&#xff0c;用户直接从缓存获取热点数据&#xff0c;降低数据库的读写压力场景分析&#xff1a; 内存访问速度是磁盘访问速度 10 万倍&#xff08;数量级&#xff09;读的需求远远大于写的需求mysql 自身缓冲层跟业务无…...

编程日记 2025/5/29 10:31:17

ubuntu22.04卸载vscode

方法 1&#xff1a;通过 Snap 卸载 VSCode 如果你是通过 Snap 安装的 VSCode&#xff08;Ubuntu 22.04 默认推荐方式&#xff09;&#xff0c;按照以下步骤卸载&#xff1a; 检查是否通过 Snap 安装&#xff1a; bash snap list | grep code如果输出显示 code&#xff0c;说明…...

编程日记 2025/6/2 18:32:24

主流数据库排查与优化速查手册

主流数据库排查与优化速查手册&#xff08;优化版&#xff09; 一、连接失败 1.1 统一排查流程 #mermaid-svg-IIyarbd8VatJFN14 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-IIyarbd8VatJFN14 .error-icon{fill:…...

编程日记 2025/5/28 13:43:18

MySQL 数据库优化：InnoDB 存储引擎深度解析：架构、调优与最佳实践

InnoDB 是 MySQL 的默认存储引擎，因其支持事务、行级锁和崩溃恢复等特性，广泛应用于高并发、数据一致性要求高的场景。本文将从 InnoDB 的核心架构、调优策略、监控诊断、高级特性 到 备份恢复 进行系统性分析，并结合代码示例与实战案例，帮助开发者全面掌握其应用与优化技巧…...

编程日记 2025/5/31 9:13:42

[AI算法] LLM训练-构建transformers custom model

文章目录 1. 继承与实现基础结构2. 支持 DeepSpeed 和 Accelerate 的注意事项a. 模型输出格式b. 设备管理c. 分布式训练兼容性d. DeepSpeed 特定优化 3. 训练脚本集成建议4. 测试与调试建议 在使用 Hugging Face 的 transformers 库时&#xff0c;若要自定义一个继承自 PreTrai…...

编程日记 2025/5/24 4:56:13

突发，苹果发布下一代 CarPlay Ultra

汽车的平均换代周期一般都超过5年&#xff0c;对于老旧燃油车而言&#xff0c;苹果的 Carplay 是黑暗中的明灯&#xff0c;是延续使用寿命的利器。 因为你可能不需要冰箱彩电大沙发&#xff0c;但一定需要大屏车载导航、倒车影像、车载听歌。如果原车不具备这个功能&#xff0…...

编程日记 2025/5/24 5:20:52

git克隆github项目到本地的三种方式

本文旨在使用git工具将别人发布在github上的项目保存到本地 1.安装git&#xff0c;创建github账户&#xff0c;并使用ssh关联自己的github账号和git&#xff0c;具体教程可以参照下面两篇文章&#xff1a; Github入门教程&#xff0c;适合新手学习&#xff08;非常详细&#…...

编程日记 2025/5/25 9:32:49

Excel MCP: 自动读取、提炼、分析Excel数据并生成可视化图表和分析报告

最近&#xff0c;一款Excel MCP Server的开源工具火了&#xff0c;看起来功能很强大&#xff0c;咱们今天来一探究竟。 基础环境 最近两年&#xff0c;大家都可以看到AI的发展有多快&#xff0c;我国超10亿参数的大模型&#xff0c;在短短一年之内&#xff0c;已经超过了100个&…...

编程日记 2025/5/24 16:11:57

香港 GPU 服务器优势及使用场景解析

在快速发展的科技领域&#xff0c;数据处理和复杂计算已成为众多行业的支柱&#xff0c;GPU 服务器的重要性不容小觑。GPU 服务器是内部集成一个或多个 GPU的物理服务器&#xff0c;用于执行每个用例所需的任务。而香港 GPU 服务器&#xff0c;是指部署在中国香港数据中心、配备…...

编程日记 2025/5/26 9:25:00

Go语言交替打印问题及多种实现方法

Go语言交替打印问题及多种实现方法 在并发编程中&#xff0c;多个线程&#xff08;或 goroutine&#xff09;交替执行任务是一个经典问题。本文将以 Go 语言为例&#xff0c;介绍如何实现多个 goroutine 交替打印数字的功能&#xff0c;并展示几种不同的实现方法。 Go 语言相关…...

编程日记 2025/5/29 13:31:18

Grafana分布统计：Heatmap面板

Heatmap是是Grafana v4.3版本以后新添加的可视化面板&#xff0c;通过热图可以直观的查看样本的分布情况。在Grafana v5.1版本中Heatmap完善了对Prometheus的支持。这部分&#xff0c;将介绍如何使用HeatmapPanel实现对Prometheus监控指标的可视化。 使用Heatmap可视化Histogr…...

编程日记 2025/5/29 10:17:26

rk3576 gstreamer opencv

安装gstreamer rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 rk3588使用gstreamer推流_rk3588 gstreamer-CSDN博客 Installing on Linux sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-pl…...

编程日记 2025/5/22 10:29:55

用户现场不支持路由映射，如何快速将安防监控EasyCVR视频汇聚平台映射到公网？

一、方案背景​ 随着数字化安防与智能交通管理发展&#xff0c;视频监控远程管理需求激增。EasyCVR作为专业视频融合平台&#xff0c;具备多协议接入等核心功能&#xff0c;是智能监控的重要工具。但实际部署中&#xff0c;当EasyCVR处于内网且路由器无法进行端口映射时&#…...

编程日记 2025/5/26 9:14:09

棋牌室台球室快速接入美团团购接口

北极星平台从2024年12月份开始慢慢关闭&#xff0c;现在很多开发者反馈北极星token已经不能刷新了&#xff0c;全部迁移到美团团购综合平台。 申请这个平台要求很高 1、保证金费用要15万起步 2、平台必须是二级等保和安全产品 &#xff0c;一个二级等保费用10万起步 所以很多…...

编程日记 2025/5/26 6:11:06

Qwen3技术报告解读：训练秘籍公开，推理与非推理模型统一，大模型蒸馏小模型（报告详细解读）

1.简介 Qwen3 是 Qwen 模型家族的最新版本&#xff0c;它是一系列大型语言模型&#xff08;LLMs&#xff09;&#xff0c;旨在提升性能、效率和多语言能力。基于广泛的训练&#xff0c;Qwen3 在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展&#xff0c;具有以下…...

编程日记 2025/6/2 23:46:59