当前位置： 首页 > news >正文

RocketMQ: 消息积压问题的解决

news 来源：原创 2025/6/27 3:26:45

概述


1 ） 什么是消息积压

  • 在分布式消息系统中，消息积压是指消息生产速度超过消息消费速度，导致未处理的消息在消息队列中累积的现象
  • 这种现象可能会导致系统性能下降、资源占用增加，甚至影响系统的正常运行

2 ）消息积压通常由以下几个原因

2.1 消费者处理能力不足：

  • 消费者数量不足，无法跟上生产者的生产速度
  • 单个消费者的处理能力有限，无法高效处理大量消息
  • 消费者存在性能瓶颈，如 CPU、内存或网络带宽不足

2.2 消息生产速率过高：

  • 生产者发送消息的速度过快，超过了消费者的处理能力
  • 生产者并发度高，短时间内产生大量消息

2.3 网络问题：

  • 网络延迟或不稳定，导致消息传输效率低下
  • 消费者与消息服务器之间的网络连接中断

2.4 系统故障：

  • 消费者进程崩溃或挂起，无法及时处理消息
  • 消息服务器故障，导致消息无法及时分发

2.5 业务逻辑复杂：

  • 消费者处理消息的业务逻辑复杂，耗时较长
  • 消费者在处理消息时发生错误，导致消息重试，进一步增加积压

2.6 系统配置不当

  • RocketMQ系统的配置不当，如Broker的队列数量、线程池大小或消费者的并发数等配置不合理，导致消息处理能力受限，从而造成消息积压。
  • Broker的队列数量设置过少，导致消息无法分散到多个队列中并行处理
  • 消费者的并发数设置过低，导致无法充分利用系统资源来处理消息
  • 线程池大小配置不合理，如线程数过少导致处理速度受限，或线程数过多导致资源竞争和上下文切换频繁

消息积压可能会带来以下影响：

  • 性能下降：消息积压会导致系统性能下降，响应时间延长
  • 资源占用增加：消息队列中的消息数量增加，占用更多的内存和磁盘空间
  • 数据一致性问题：长时间的消息积压可能导致数据的一致性和完整性问题
  • 用户体验下降：对于需要实时处理的业务场景，消息积压会影响用户体验

解决方案


1 ) 增加消费者数量有用吗？

1.1 可能有效

  • 在这里，可能有效，只是说可能，首先要理解一个 MessageQueue 只能被一个消费者消费
  • 如果消费者的数量小于 MessageQueue 的数量，增加消费者可以加快消息消费速度，减少消息积压
  • 比如一个 Topic 有 4 个 MessageQueue，2 个消费者进行消费，如果增加一个消费者可以加快拉取消息的频率；
  • 如果消费者的数量大于或等于 MessageQueue 的数量，增加消费者是没有用的
  • 比如一个 Topic 有 4 个 MessageQueue，并且有 4 个消费者进行消费

1.2 无效的场景

  • 消息处理速度瓶颈：如果消费者处理消息的速度无法跟上生产者生产消息的速度，即使增加消费者数量，也无法彻底解决消息积压问题
  • 资源限制：当系统资源（如CPU、内存、网络等）达到瓶颈时，增加消费者数量可能会导致资源竞争加剧，反而降低消费速度
  • 消息处理逻辑复杂：如果消息处理逻辑较为复杂，导致单个消息处理时间较长，甚至消费者依赖的存储与中间件资源紧张，增加消费者数量可能无法显著提高消费速度

2 ）增加消费者处理能力

  • 增加消费者实例：根据消费者的消费能力，适当增加消费者实例的数量，以提高整体的消费速度。这可以通过在消费者集群中添加更多的节点来实现
  • 优化消费者处理逻辑：分析消费者处理消息的逻辑，寻找性能瓶颈并进行优化。例如，简化处理逻辑、减少不必要的IO操作等
  • 使用批量消费：在消息处理逻辑允许的情况下，使用批量消费方式，即一次性拉取并处理多条消息，以提高消费者消费速度
  • 跳过部分消息：在确保业务不受影响的前提下，跳过部分非关键消息，优先处理关键消息
  • 调整消费模式：将集群消费模式调整为广播消费模式，让每个消费者都处理所有消息，提高消费速度

3 ）调整生产者发送策略

  • 流量控制：使用RocketMQ的流量控制功能，限制生产者的发送速率，避免短时间内大量消息涌入导致消息积压
  • 发送速率调整：根据消费者的处理能力，合理调整生产者的发送速率，确保生产速率与消费速率相匹配。

4 ）优化系统配置和性能

  • 增加消息队列容量：通过增加消息队列的容量，提升消息的存储能力，减少因队列容量不足而导致的消息积压
  • 调整Broker配置：优化Broker的配置参数，如调整队列数量、线程池大小等，以提高Broker的处理能力
  • 使用延迟消息：对于一些不需要立即处理的消息，可以使用延迟消息功能，将消息的发送时间延迟到未来的某个时间点，以减少当前的消息积压

5 ）监控和告警

  • 实时监控：对RocketMQ进行实时监控，及时发现消息积压问题并采取相应的处理措施
  • 告警机制：设置告警机制，当消息积压达到预设阈值时，自动触发告警通知相关人员进行处理

6 ）监控和告警

  • 实时监控：对RocketMQ进行实时监控，及时发现消息积压问题并采取相应的处理措施
  • 告警机制：设置告警机制，当消息积压达到预设阈值时，自动触发告警通知相关人员进行处理

7 ）预案制定和应急响应

  • 预案制定：针对可能出现的消息积压问题，提前制定预案，包括临时扩容、数据迁移等策略，以便在问题发生时能迅速响应
  • 应急响应：当消息积压问题发生时，按照预案进行应急响应，快速解决问题并恢复系统正常运行

最佳实践

  • 弹性伸缩：使用自动伸缩技术，根据消息队列的长度动态调整消费者数量
  • 消息优先级：对消息进行优先级划分，优先处理重要消息
  • 批量处理：对于可以批量处理的消息，尽量采用批量处理方式，减少处理次数
  • 消息重试策略：合理设置消息重试次数和间隔，避免因重试导致的消息积压

通过以上措施，可以有效缓解和解决 RocketMQ 中的消息积压问题，确保系统的稳定性和高效性

相关文章：

RocketMQ: 消息积压问题的解决

概述 1 ） 什么是消息积压 在分布式消息系统中，消息积压是指消息生产速度超过消息消费速度，导致未处理的消息在消息队列中累积的现象这种现象可能会导致系统性能下降、资源占用增加，甚至影响系统的正常运行 2 ）消息积…...

编程日记 2025/6/27 3:26:45

Qt的定时器应用案例 || Qt的图片添加显示

目录 1.ui界面 2.头文件 3.cpp源文件 4.main文件 5.关于ui_mytimerevent.h的代码编译错误 6.图片的添加展示方式 7.结果展示 8.参考文章 1.ui界面 2.头文件 #ifndef MYTIMEREVENT_H #define MYTIMEREVENT_H#include <QMainWindow> #include <QTime> //#in…...

编程日记 2025/6/26 18:00:32

24.12.02 Element

import { createApp } from vue // 引入elementPlus js库 css库 import ElementPlus from element-plus import element-plus/dist/index.css //中文语言包 import zhCn from element-plus/es/locale/lang/zh-cn //图标库 import * as ElementPlusIconsVue from element-plus/i…...

编程日记 2025/6/27 2:15:42

web安全攻防入门教程

Web安全攻防入门教程 Web安全攻防是指在Web应用程序的开发、部署和运行过程中&#xff0c;保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现&#xff0c;还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。 本教程将带你入门Web安全攻…...

编程日记 2025/6/27 2:17:41

Android——android相对布局（RelativeLayout）及各属性

参考:Android——android相对布局&#xff08;RelativeLayout&#xff09;及属性 - 艺言弈行 - 博客园 (cnblogs.com)...

编程日记 2025/6/27 2:42:52

初窥 HTTP 缓存

引言 对于前端来说, 你肯定听说过 HTTP 缓存。 当然不管你知不知道它, 对于提高网站性能和用户体验, 它都扮演着重要的角色! 它通过在客户端和服务器之间存储和重用先前获取的资源副本, 来减少网络流量和降低资源加载时间, 从而提升用户体验! 以下是 HTTP 缓存的重要性: 减少…...

编程日记 2025/6/27 3:09:55

【LeetCode】3. 哈希表： 字母异位词分组；有效的数独

题目 字母异位词分组 给你一个字符串数组&#xff0c;请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 示例 1: 输入: strs [“eat”, “tea”, “tan”, “ate”, “nat”, “bat”] 输出: [[“…...

编程日记 2025/6/26 20:36:05

设计模式之抽象工厂 C# 范例

在设计模式中&#xff0c;抽象工厂模式&#xff08;Abstract Factory Pattern&#xff09; 是一种创建型模式&#xff0c;它提供一个接口&#xff0c;用于创建一组相关或相互依赖的对象&#xff0c;而无需指定具体类。这种模式的关键在于通过抽象工厂来封装产品的创建&#xff…...

编程日记 2025/6/27 2:44:07

基于Python的猎聘网招聘数据采集与可视化分析

1.1项目简介 在现代社会&#xff0c;招聘市场的竞争日趋激烈&#xff0c;企业和求职者都希望能够更有效地找到合适的机会与人才。猎聘网作为国内领先的人力资源服务平台&#xff0c;汇聚了大量的招聘信息和求职者数据&#xff0c;为研究招聘市场趋势提供了丰富的素材。基于Pyt…...

编程日记 2025/6/27 3:13:02

oracle数据库的启动与关闭

一.oracle数据库的启动过程 启动实例&#xff08;Start the Instance&#xff09; 启动实例&#xff1a;一个Oracle数据库实例由内存结构和后台进程组成&#xff0c;启动实例时会加载这些内存结构和启动进程。实例是数据库的一个运行时环境&#xff0c;它包含了数据库的控制文…...

编程日记 2025/6/23 23:43:28

openGauss开源数据库实战十六

文章目录 任务十六 openGauss逻辑结构:触发器管理任务目标实施步骤一、测试openGauss的触发器1.创建测试表2.创建触发器对应的函数3.创建触发器4.测试触发器 二、触发器的类型1.行级触发器2.语句级触发器3.AFTER触发器和 BEFORE触发器 任务十六 openGauss逻辑结构:触发器管理 …...

编程日记 2025/6/26 20:37:15

智能教育的关键之一是构建智能学习系统

教育部办公厅12月27日发布《关于加强中小学人工智能教育的通知》&#xff0c;提出人工智能教育六大主要任务和举措&#xff0c;包括构建系统化课程体系、实施常态化教学与评价、开发普适化教学资源、建设泛在化教学环境、推动规模化教师供给和组织多样化交流活动。《通知》提出…...

编程日记 2025/6/27 2:56:19

【Linux 篇】Docker 容器星河与镜像灯塔：Linux 系统下解锁应用部署奇幻征程

文章目录 【Linux 篇】Docker 容器星河与镜像灯塔&#xff1a;Linux 系统下解锁应用部署奇幻征程前言一 、docker上部署mysql1. 拉取mysql镜像2. 创建容器3. 远程登录mysql 二 、docker上部署nginx1. 拉取nginx镜像2. 在dockerTar目录下 上传nginx.tar rz命令3. 创建nginx容器4…...

编程日记 2025/6/27 2:52:24

十四(AJAX)、AJAX、axios、常用请求方法(GET POST...)、HTTP协议、接口文档、form-serialize

1. AJAX介绍及axios基本使用 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8" /><meta http-equiv"X-UA-Compatible" content"IEedge" /><meta name"viewport" content&q…...

编程日记 2025/6/26 19:15:41

雪花算法生成ID

下面将简单介绍雪花算法的简单应用和在web应用中的使用。 雪花算法的组成&#xff1a;雪花算法是由64位组成&#xff1a;符号位(1)、时间戳(41)、机器码(5[数据中心]5[机器ID])、计数器(12) 对于雪花算法的源码可以在这里看&#xff1a;bwmarrin/snowflake: A simple to use …...

编程日记 2025/6/26 17:32:25

Java - JSR223规范解读_在JVM上实现多语言支持

文章目录 1. 概述2. 核心目标3. 支持的脚本语言4. 主要接口5. 脚本引擎的使用执行JavaScript脚本执行groovy脚本1. Groovy简介2. Groovy脚本示例3. 如何在Java中集成 Groovy4. 集成注意事项 6. 与Java集成7. 常见应用场景8. 优缺点9. 总结 1. 概述 JSR223&#xff08;Java Spe…...

编程日记 2025/6/25 4:32:25

vue3 基本使用

Vue 3 提供了多种方式来构建用户界面&#xff0c;包括选项式 API 和 Composition API。下面我将详细介绍 Vue 3 的基本使用和语法&#xff0c;主要集中在选项式 API 上&#xff0c;因为这对于初学者来说更容易上手。 1. 创建 Vue 项目 如果你还没有一个 Vue 项目&#xff0c;…...

编程日记 2025/6/27 2:45:43

Redis自学之路—高级特性(实现消息队列)（七）

目录 简介 Redis的Key和Value的数据结构组织 全局哈希表 渐进式rehash 发布和订阅 操作命令 publish 发布消息 subscribe 订阅消息 psubscribe订阅频道 unsubscribe 取消订阅一个或多个频道 punsubscribe 取消订阅一个或多个模式 查询订阅情况-查看活跃的频道 查询…...

编程日记 2025/6/22 10:48:04

ROS基本框架2——在ROS开发中创建并使用自定义消息（C++版本）

ROS基本框架2——在ROS开发中创建并使用自定义消息（C++版本） code review! 参考笔记 1.ROS基本框架1——编写简单的发布者和订阅者（C++和Python版本） 2.ROS基本框架2——在ROS开发中创建并使用自定义消息（C++版本） 文章目录 ROS基本框架2——在ROS开发中创建并使用自定义…...

编程日记 2025/6/27 2:30:05

计算机的错误计算（一百七十二）

摘要 探讨 MATLAB 对于算式 的计算误差。 例1. 在 MATLAB 中计算 的值。 直接贴图吧&#xff1a; 这样&#xff0c;MATLAB 的输出中只有3位正确数字&#xff0c;有效数字的错误率为 (16-3)/16 81.25% . 因为16位的正确输出为 0.2971242332737277e-18&#xff08;ISReals…...

编程日记 2025/6/27 3:06:26

贵州大学oj平台高级语言第九次作业（四）

题目&#xff1a;链表的基础操作 题目描述 链表是软件中一种最基本的数据结构&#xff0c;它是用链式存储结构实现数据存储的线性表。它较顺序表(如数组)而言在插入和删除数据时不必移动其后的大批量元素。现在给你一些整数&#xff0c;然后会频繁地插入和删除其中的某些元素&a…...

编程日记 2025/6/27 2:18:47

手机卡限速丨中国移动5G变3G，网速500kb

以下猜测错误&#xff0c;又有新的猜测&#xff1a;河南移动的卡出省限速。可能是因为流量结算。 “2024年7月1日起&#xff0c;中国移动集团内部将开启跨省流量结算” 在深圳四五年了&#xff0c;之前没有过&#xff0c;就从上个月开始。11月底解除限速&#xff0c;12月刚开…...

编程日记 2025/6/27 3:00:26

种花问题算法

假设有一个很长的花坛&#xff0c;一部分地块种植了花&#xff0c;另一部分却没有。可是&#xff0c;花不能种植在相邻的地块上&#xff0c;它们会争夺水源&#xff0c;两者都会死去。 给你一个整数数组 flowerbed 表示花坛&#xff0c;由若干 0 和 1 组成&#xff0c;其中 0 …...

编程日记 2025/6/27 2:33:00

Node.js-Mongodb数据库

MongoDB MongoDB是什么&#xff1f; MongoDB是一个基于分布式文件存储的数据库 数据库是什么&#xff1f; 数据库&#xff08;DataBase&#xff09;是按照数据结构来组织、存储和管理数据的应用程序&#xff08;软件&#xff09; 数据库作用&#xff1f; 对数据进行增、删…...

编程日记 2025/6/27 2:57:39

Nginx

目录 基本介绍 Nginx核心功能 Nginx下载&安装&启动 配置防火墙 Nginx常用命令 Nginx配置文件 全局块 events块 http块 http全局块 server 块 检查配置信息 快速入门 安装JDK 安装Tomcat 反向代理分析 Location语法规则 反向代理配置-Location实例 …...

编程日记 2025/6/27 2:18:46

CTF-PWN: 全保护下格式化字符串利用 [第一届“吾杯”网络安全技能大赛 如果能重来] 赛后学习(没思路了)

通过网盘分享的文件&#xff1a;如果能重来.zip 链接: https://pan.baidu.com/s/1XKIJx32nWVcSpKiWFQGpYA?pwd1111 提取码: 1111 --来自百度网盘超级会员v2的分享漏洞分析 格式化字符串漏洞,在printf(format); __int64 sub_13D7() {char format[56]; // [rsp10h] [rbp-40h]…...

编程日记 2025/6/27 2:47:20

HTML5系列（7）-- Web Storage 实战指南

前端技术探索系列&#xff1a;HTML5 Web Storage 实战指南 &#x1f5c4;️ 致读者&#xff1a;本地存储的新纪元 &#x1f44b; 前端开发者们&#xff0c; 今天我们将深入探讨 HTML5 中的 Web Storage 技术&#xff0c;这是一个强大的本地存储解决方案&#xff0c;让我们能…...

编程日记 2025/6/27 3:25:17

RocketMQ: 保证消息的可靠性投递

概述 在分布式系统中&#xff0c;消息队列作为异步通信的重要组件&#xff0c;其可靠性和稳定性至关重要RocketMQ 是阿里巴巴开源的一款高性能、高可靠性的分布式消息中间件&#xff0c;广泛应用于各种场景&#xff0c;如交易订单处理、日志收集、流计算等 RocketMQ 的可靠性…...

编程日记 2025/6/26 8:03:38

消息传递神经网络（Message Passing Neural Networks, MPNN）

消息传递神经网络&#xff08;Message Passing Neural Networks, MPNN&#xff09; 一、引言二、消息传递框架概述1.消息传递阶段&#xff08;1&#xff09;消息生成与传播-message&#xff08;2&#xff09;消息聚合-aggregate&#xff08;3&#xff09;消息更新-update&#…...

编程日记 2025/6/27 2:17:39

Python干货总结篇：列表、字典、集合、元组的区别与用途

前言&#xff1a; 更详细知识点&#xff0c;搞懂列表、字典、集合、元组到底是什么&#xff0c;可关注主页文章&#xff1a;Python知识点精汇&#xff01; 目录 一、特点与用途 1.列表&#xff1a;a[ ] 2.集合&#xff1a;a{ } 3.字典&#xff1a;a{key:value} 4.元组&am…...

编程日记 2025/6/27 3:06:26

vue.js学习(day 18)

实例&#xff1a;面经基础版...

编程日记 2025/6/26 23:25:53

【Gitlab】CICD使用minio作为分布式缓存

1、安装minio 下载适合自己系统版本的安装文件https://dl.min.io/server/minio/release/windows-amd64/ yum install xxx.rpm 2、配置/etc/profile export MINIO_ACCESS_KEYroot [ui登录账号] export MINIO_SECRET_KEYminioDev001 [ui登录密码] export MINIO_OPTS"…...

编程日记 2025/6/27 2:35:59

医院管理系统

私信我获取源码和万字论文&#xff0c;制作不易&#xff0c;感谢点赞支持。 医院管理系统 摘要 随着信息互联网信息的飞速发展&#xff0c;医院也在创建着属于自己的管理系统。本文介绍了医院管理系统的开发全过程。通过分析企业对于医院管理系统的需求&#xff0c;创建了一个计…...

编程日记 2025/6/27 3:04:47

编译器优化技术

方法内联 逃逸分析 公共子表达式消除 数据边界检查消除...

编程日记 2025/6/25 8:16:40

高斯消元——acwing

题目一&#xff1a;高斯消元解线性方程组 883. 高斯消元解线性方程组 - AcWing题库 分析 代码 #include<bits/stdc.h> using namespace std;const int N 110; const double eps 1e-6; // 注意了double, 和1e-6 ,,这样才是double的0 int n;double a[N][N];int guass…...

编程日记 2025/6/27 2:35:59

华为关键词覆盖应用市场ASO优化覆盖技巧

在我国的消费者群体当中&#xff0c;华为的品牌形象较高&#xff0c;且产品质量过硬&#xff0c;因此用户基数也大。与此同时&#xff0c;随着影响力的增大&#xff0c;华为不断向外扩张&#xff0c;也逐渐成为了海外市场的香饽饽。作为开发者和运营者&#xff0c;我们要认识到…...

编程日记 2025/6/26 14:08:19

[代码随想录06]哈希表的使用，有效字母异位词，两数组交集，快乐数，两数之和

前言 哈希表是什么&#xff1f;一句话带你理解&#xff0c;简单来说我们对于杂乱的数据&#xff0c;怎么快速找到数据&#xff0c;如何做呢&#xff1f;一般的做法就是遍历复杂度为o(N)去找寻一个数据&#xff0c;但是吧&#xff0c;我们这样思考的话&#xff0c;还是花了大量时…...

编程日记 2025/6/27 3:21:41

linux网络抓包工具

linux网络抓包工具 一、tcpdump1.1 基本用法1.2 龙芯平台实例操作 二、wireshark2.1 主要功能2.2 龙芯平台实例操作 一、tcpdump tcpdump 指令可列出经过指定网络界面的数据包文件头&#xff0c;可以将网络中传送的数据包的 “头” 完全截获下来提供分析。它支持针对网络层、协…...

编程日记 2025/6/27 2:40:50

运维工程师.云计算工程师面试题.考试题

《（全国）运维自动化阶段第1套卷》 卷面总分 题号 单选题 90 题分 得分 一、单选题（每题2分，共计70分；得分____） 1． 下面哪个选项可以做变量名称？（ ） A、if B、123abc C、for D、User_Name 2． 哪种数据类型可以做增,删,改相关操作？（ ） A、字符串 B、列表 C、元…...

编程日记 2025/6/27 2:54:57

递归1——递归入门

目录 1.递归 2.递归的基本题目 2.1.题目一——P5739 【深基7.例7】计算阶乘 - 洛谷 | 计算机科学教育新生态 2.2.题目二——B2064 斐波那契数列 - 洛谷 | 计算机科学教育新生态 2.3.题目三——B2142 求 123...N 的值 - 洛谷 | 计算机科学教育新生态 2.4.题目四——B2144…...

编程日记 2025/6/27 2:21:30

XuperChain核心流程

04-XuperChain核心流程 0 XuperChain架构图 核心框架 Xuper Chain主要由 Xuper Core 这个核心引擎来构建。Xuper Core 分为三个部分&#xff1a; 基础组件&#xff1a;日志、存储、监控等关键组件&#xff0c;以及密码学库等基本组件。 核心组件&#xff1a;包括共识、合约、账…...

编程日记 2025/6/27 2:26:06

2024.12.2工作复盘

1.今天学了什么&#xff1f; 简单的写了一篇博客&#xff0c;是关于参数校验的问题&#xff0c;参数校验&#xff0c;一个是前后端校验到底一不一致&#xff0c;一个是绕过前端校验&#xff0c;看后台的逻辑到底能不能校验住。 2.今天解决了什么问题&#xff1f; 3.今天完成…...

编程日记 2025/6/27 3:15:28

关于Vscode配置Unity环境时的一些报错问题（持续更新）

第一种报错&#xff1a; 下载net请求超时&#xff08;一般都会超时很正常的&#xff09; 实际时并不需要解决&#xff0c;它对你的项目毫无影响 第二种报错&#xff1a; .net版本不匹配 解决&#xff1a;&#xff08;由于造成问题不一样&#xff0c;所以建议都尝试一次&…...

编程日记 2025/6/27 3:20:19

微信小程序——文档下载功能分享（含代码）

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…...

编程日记 2025/6/23 8:51:34

长短期记忆网络 （LSTM） 简介

文章目录 一、说明二、传统 RNN 的问题三、为什么梯度消失&#xff1f;四、长短期记忆网络简介五、忘记门六、Update Gate (Input Gate)七、Output Gate八、数学上的内存九、从 LSTM 到 Transformer十、总结 一、说明 机器学习取得进步的领域之一是自然语言处理。对于用于机器…...

编程日记 2025/6/25 13:40:25

【电子通识】USB Type-C线缆为什么有的用到E-Marker芯片

USB Type-C接口具备数据传输、充电（基于USB PD协议）和音频视频传输能力。但是，上述功能都有强弱之别，并因此衍生出了无数种规格的USB Type-C线缆。 如下所示直接搜索就可以看到，虽然都是Type-C接口，但存在很多不同种类的线缆规格。 以数据传输为例，USB Type-C可选USB2.0…...

编程日记 2025/6/24 11:43:03

【故障处理系列--移动云云盘根目录在线扩容】

移动云云盘根目录扩容 **目的&#xff1a;**测试harbor仓库服务器的根目录能否在线扩容 1、移动云控制台系统盘扩容 这里以我自己的虚拟机演示 2、查看分区的文件类型 3、安装growpart工具 rootgitlab-cli:~# apt install cloud-guest-utils -y rootgitlab-cli:~# apt ins…...

编程日记 2025/6/26 18:01:52

混沌工程/混沌测试/云原生测试/云平台测试

背景 私有云/公有云/混合云等具有复杂&#xff0c;分布式&#xff0c;环境多样性等特点&#xff0c;许多特殊场景引发的线上问题很难被有效发现。所以需要引入混沌工程&#xff0c;建立对系统抵御生产环境中失控条件的能力以及信心&#xff0c;提高系统面对未知风险得能力。 …...

编程日记 2025/6/25 8:45:16

CQ 社区版 2024.11 | 新增“审批人组”概念、可通过SQL模式自定义审计图表……

CloudQuery 社区 11 月新版本来啦&#xff01;本月版本依旧是 CUG&#xff08;CloudQuery 用户组&#xff09;尝鲜版的更新。 针对审计模块增加了 SQL 模式自定义审计图表&#xff1b;在流程模块引入了“审批人组”概念。此外&#xff0c;在 SQL 编辑器、连接管理等模块都涉及…...

编程日记 2025/6/24 1:42:15

【maven-4】IDEA 配置本地 Maven 及如何使用 Maven 创建 Java 工程

IntelliJ IDEA&#xff08;以下简称 IDEA&#xff09;是一款功能强大的集成开发环境&#xff0c;广泛应用于 Java 开发。下面将详细介绍如何在 IDEA 中配置本地 Maven&#xff0c;并创建一个 Maven Java 工程&#xff0c;快速上手并高效使用 Maven 进行 Java 开发。 1. Maven …...

编程日记 2025/6/24 17:51:38