当前位置： 首页 > news >正文

Redis - 消息队列 Stream

news 来源：原创 2025/9/19 16:34:51

一、概述

消息队列

  1. 定义
    1. 消息队列模型：一种分布式系统中的消息传递方案，由消息队列、生产者和消费者组成
    2. 消息队列：负责存储和管理消息的中间件，也称为消息代理（Message Broker）
    3. 生产者：负责 产生并发送 消息到队列的应用程序
    4. 消费者：负责从队列 获取并处理 消息的应用程序
  2. 功能：实现消息发送和处理的解耦，支持异步通信，提高系统的可扩展性和可靠性
  3. 主流消息队列解决方案
    1. RabbitMQ：轻量级，支持多种协议，适合中小规模应用
    2. RocketMQ：阿里开源，高性能，适合大规模分布式应用

Stream

  1. 定义：Stream：Redis 5.0 引入的一种数据类型，用于处理高吞吐量的消息流、事件流等场景
  2. 功能：按时间顺序 ”添加、读取、消费“ 消息，支持消费者组、消息确认等功能

二、Stream 工作流程

  1. 写入消息：
    1. 生产者通过 XADD 向 Stream 中添加消息。每条消息自动获得唯一的 ID，按时间顺序存入 Stream。
  2. 创建消费者组
    1. 如果使用消费者组，首先需要通过 XGROUP CREATE 创建消费者组。
    2. 消费者组会根据时间顺序将消息分配给组内的消费者。
  3. 读取消息：
    1. 消费者使用 XREADGROUP 命令读取 Stream 中的消息。
    2. 消息按规则分配给不同消费者处理，每个消费者读取到不同的消息。
  4. 确认消息：
    1. 消费者在处理完消息后，使用 XACK 命令确认消息，表示该消息已成功处理。
    2. 如果消息未确认（例如消费者崩溃或超时），它将保持在 Pending 状态，等待重新分配给其他消费者。
  5. 重新分配未确认消息：
    1. 如果消息在一定时间内没有被确认，其他消费者可以读取未确认的消息并进行处理。
    2. 可通过 XPENDING 命令查看未确认消息，或在消费者组中设置时间阈值自动重新分配。
  6. 删除消费者组：
    1. 不再需要消费者组时，使用 XGROUP DESTROY 命令删除消费者组

三、Stream 实现

消费者组模式

  1. 定义：Redis Streams 的一部分，用于处理消息的分布式消费
  2. 优点
    1. 消息分流：多消费者争抢消息，加快消费速度，避免消息堆积
    2. 消息标示：避免消息漏读，消费者读取消息后不马上销毁，加入 consumerGroup 维护的 pending list 队列等待 ACK
    3. 消息确认：通过消息 ACK 机制，保证消息至少被消费一次
    4. 可以阻塞读取，避免盲等
  3. 实现方法 ：通过 Stream 数据类型实现消息队列，命令以 “X” 开头

常用命令

XGROUP CREATE key groupName ID [MKSTREAM]

  1. 功能：创建消费者组
  2. 参数
    1. key：队列名称
    2. groupName：组名称
    3. ID：起始 ID 标识，$ 表示队列中最后一个消息，0 表示队列中第一个消息
    4. MKSTREAM：队列不存在则创建队列

XGROUP DESTORY key groupName

  1. 功能：删除指定消费者组

XGROUP CREATECONSUMER key groupName consumerName

  1. 功能：添加组中消费者

XGROUP DELCONSUMER key groupName consumerName

  1. 功能：删除组中消费者

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key …] ID [ID …]

  1. 功能：读取组中的消息
  2. gourp：消费者组名称
  3. consumer：消费者名称(不存在则自动创建)
  4. count：本次查询的最大数量
  5. BLOCK milliseconds：当没有消息时最长等待时间
  6. NOACK：无需手动 ACK，获取到消息后自动确认
  7. STREAMS KEY：指定队列名称
  8. ID：获取消息的起始 ID，> 表示从下一个未消费消息开始 (常用)

XPENDING key group [ [ IDLE min-idle-time ] start end count [consumer] ]

  1. 功能：获取 pending-list 中的消息
  2. IDLE：获取消息后、确认消息前的这段时间，空闲时间超过 min-idle-time 则取出
  3. start：获取的最小目标 ID
  4. end：获取的最大目标 ID
  5. count：获取的数量
  6. consumer：获取 consumer 的 pending-list

XACK key group ID [ ID … ]

  1. 功能：确认从组中读取的消息已被处理
  2. key：队列名称
  3. group：组名称
  4. ID：消息的 ID

表格版命令

  1. 命令

    命令功能
    XGROUP CREATE key groupName ID [MKSTREAM]创建消费者组
    XGROUP DESTORY key groupName删除指定消费者组
    XGROUP CREATECONSUMER key groupName consumerName添加组中消费者
    XGROUP DELCONSUMER key groupName consumerName删除组中消费者
    XREADGROUP GROUP groupName consumerName [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key …] ID [ID …]读取组中的消息，ID 填写 “>” 则读取第一条未读消息
    XACK key group ID [ ID … ]确认从组中读取的消息已被处理

  2. 属性

    属性名定义
    key队列名称
    groupName消费者组名称
    ID起始 ID 标示，$ 代表队列中最后一个消息，0 代表第一个消息
    MKSTREAM队列不存在时自动创建队列
    BLOCK milliseconds没有消息时的最大等待时长
    NOACK无需手动 ACK，获取到消息后自动确认
    STREAMS key指定队列名称

运行逻辑

while(true) {// 尝试监听队列，使用阻塞模式，最长等待 2000 msObject msg = redis.call("XREADGROUP GROUP group1 consumer1 COUNT 1 BLOCK 2000 STREAMS s1 >");if(msg == null) {continue;}try {// 处理消息，完成后一定要 ACKhandleMessage(msg);} catch (Exception e) {while(true) {// 重新读取阻塞队列消息Object msg = redis.call("XREADGROUP GROUP group1 consumer1 COUNT 1 STREAM S1 0");if(msg == null)               // 如果阻塞队中的消息已经全部处理则退出pending-listbreak;try {handleMessage(msg);    			// 重新处理 pending-list 中的消息} catch (Exception e){continue;                   // 如果还出错, 则继续重新读取}}}
}

四、示例

  1. 目标：消息队列实现数据库异步修改数据库，将下单 message 缓存在 redis 中，减小下单操作对数据库的冲击

  2. 项目结构

    1. RedisConfig 配置类：创建消费者组是一次性的操作，适合放在配置类中
    2. VoucherOrderHandler 内部类：消费者的逻辑和订单业务相关，因此适合放在 VoucherOrderServiceImpl 中
    3. 多线程启动逻辑：消费者线程的启动与订单业务密切相关，直接放在 VoucherOrderServiceImpl 类中更符合职责分离原则
    src/main/java
├── com/example
│   ├── config
│   │   └── RedisConfig.java                  // Redis 配置类，包含消费者组初始化
│   ├── service
│   │   ├── VoucherOrderService.java
│   │   └── impl
│   │       └── VoucherOrderServiceImpl.java  // 包含 VoucherOrderHandler 内部类
│   ├── entity
│   │   └── VoucherOrder.java                 // 优惠券订单实体
│   ├── utils
│   │   └── BeanUtil.java                     // 用于 Map 转 Bean 的工具类
│   └── controller
│       └── VoucherOrderController.java       // 如果有 Controller

  3. 创建消费者组（config.RedisConfig）

    @Bean
public void initStreamGroup() {// 检查是否存在消费者组 g1try {stringRedisTemplate.opsForStream().createGroup("stream.orders", "g1");} catch (RedisSystemException e) {// 如果 group 已存在，抛出异常，可忽略log.warn("消费者组 g1 已存在");}
}

  4. 创建消费者线程

    1. 位置：作为 VoucherOrderServiceImpl 内的预构造部分
    @PostConstruct
public void startConsumers() {for (int i = 0; i < 5; i++) { // 5 个线程，模拟多个消费者new Thread(new VoucherOrderHandler()).start();}
}

  5. 添加消息到消息队列 （src/main/resources/lua/SECKILL_SCRIPT.lua）

    --1. 参数列表
--1.1. 优惠券id
local voucherId = ARGV[1]
--1.2. 用户id
local userId = ARGV[2]
--1.3. 订单id
local orderId = ARGV[3]--2. 数据key
local stockKey = 'seckill:stock:' .. voucherId          --2.1. 库存key
local orderKey = 'seckill:order' .. voucherId           --2.2. 订单key--3. 脚本业务
--3.1. 判断库存是否充足 get stockKey
if( tonumber( redis.call('GET', stockKey) ) <= 0 ) thenreturn 1
end
--3.2. 判断用户是否重复下单 SISMEMBER orderKey userId
if( redis.call( 'SISMEMBER', orderKey, userId ) == 1 ) thenreturn 2
end
--3.4 扣库存 incrby stockKey -1
redis.call( 'INCRBY', stockKey, -1 )
--3.5 下单(保存用户) sadd orderKey userId
redis.call( 'SADD', orderKey, userId )
-- 3.6. 发送消息到队列中
redis.call( 'XADD', 'stream.orders', '*', 'userId', userId, 'voucherId', voucherId, 'id', orderId )

  6. 创建消费者类（ServiceImpl）

    1. 位置：作为 VoucherOrderServiceImpl 内的私有类
    // 在ServiceImpl中创建一个VoucherOrderHandler消费者类,专门用于处理消息队列中的消息
private class VoucherOrderHandler implements Runnable {@Overridepublic void run() {while (true) {try {// 1. 获取消息队列中的订单信息List<MapRecord<String, Object, Object>> list = stringRedisTemplate.opsForStream().read(Consumer.from("g1", "c1"),StreamReadOptions.empty().count(1).block(Duration.ofSeconds(2)),StreamOffset.create( "stream.order", ReadOffset.lastConsumed()));// 2. 没有消息则重新监听if (list == null || list.isEmpty() ) continue;// 3. 获取消息中的 voucherOrderMapRecord<String, Object, Object> record = list.get(0);Map<Object, Object> value = record.getValue();VoucherOrder voucherOrder = BeanUtil.fillBeanWithMap(value, new VoucherOrder(), true);// 4. 创建订单createVoucherOrder(voucherOrder);// 5. 确认当前消息已消费 XACKstringRedisTemplate.opsForStream().acknowledge("s1", "g1", record.getId());} catch ( Exception e) {log.error("处理订单异常", e);// 6. 处理订单失败则消息会加入pending-list,继续处理pending-listhandlePendingList();}}}// 处理pending-list中的消息private void handlePendingList() {while(true) {try {// 1. 消费pending-list中的消息List<MapRecord<String, Object, Object>> list = stringRedisTemplate.opsForStream().read(Consumer.from("g1", "c1"),                                   // 消费者此消息的消费者StreamReadOptions.empty().count(1),                          // StreamOffset.create("stream.order", ReadOffset.from("0"))     // 从pending-list的第一条消息开始读);// 2. 退出条件, list 为空 -> pending-list 已全部处理if(list == null || list.isEmpty()) break;// 3. 获取消息中的 voucherOrderMapRecord<String, Object, Object> record = list.get(0);Map<Object, Object> value = record.getValue();VoucherOrder voucherOrder = BeanUtil.fillBeanWithMap(value, new VoucherOrder(), true);// 4. 创建订单createVoucherOrder(voucherOrder);// 5. 确认消息已消费(XACK)stringRedisTemplate.opsForStream().acknowledge("s1", "g1", record.getId());} catch (Exception e) {log.error("处理pendding订单异常", e);try{Thread.sleep(20);     // 如果发生异常则休眠一会再重新消费pending-list中的消息} catch (Exception e2) {e.printStackTrace(); }}}}
}

  7. 创建消息方法

    1. 目标：用户通过这个方法发送一条创建订单的 Message 给 Redis Stream
    // 创建Lua脚本对象
private static final DefaultRedisScript<Long> SECKILL_SCRIPT;// Lua脚本初始化 (通过静态代码块)
static {SECKILL_SCRIPT = new DefaultRedisScript<>();SECKILL_SCRIPT.setLocation(new ClassPathResource("lua/SECKILL_SCRIPT.lua"));SECKILL_SCRIPT.setResultType(Long.class);
}@Override
public void createVoucherOrder(Long voucherId, Long userId) {// 生成订单 ID（模拟）long orderId = System.currentTimeMillis();// 执行 Lua 脚本Long result = stringRedisTemplate.execute(SECKILL_SCRIPT,Collections.emptyList(),                    // 使用空的 key 列表voucherId.toString(), userId.toString(), String.valueOf(orderId));// 根据 Lua 脚本返回结果处理if (result == 1) {throw new RuntimeException("库存不足！");} else if (result == 2) {throw new RuntimeException("不能重复下单！");}// 如果脚本执行成功，则订单消息会进入 Redis Stream，消费者组会自动处理System.out.println("订单创建成功！");
}

(缺陷) 单消费者模式

  1. 常用命令
    1. XADD key [NOMKSTREAM] [MAXLEN | MINID [=|~] threshold [LIMIT count] * | ID field value [field value …]
    2. XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key …] ID [ ID … ]
  2. 缺陷：有消息漏读风险

五、其他消息队列方案

(缺陷) List 实现

  1. 优点
    1. 不受 JVM 内存上限限制：因为利用 Redis 存储
    2. 数据安全 ：因为基于 List 结构本身是数据存储，基于 Redis 持久化机制
    3. 消息有序性：通过 List 结构的 LPUSH & BRPOP 命令实现顺序
  2. 缺点
    1. 消息丢失：BRPOP 的时候如果宕机则消息会丢失
    2. 只支持单消费者

(缺陷) PubSub 实现

  1. 定义
    1. Publish & Subscribe 模型，一种消息队列模型
    2. 生产者向指定的 channel 来 public 消息
    3. 消费者从 subscribe 的 channel 中接收消息
  2. 功能：支持多消费者模式，多个消费者可以同时 subscribe 一个 channel
  3. 优点：采用发布订阅模型，支持多生产者、消费者
  4. 缺点
    1. 不支持数据持久化
    2. 无法避免消息丢失
    3. 消息堆积有上限，超出时数据丢失

三种消息队列对比

相关文章：

Redis - 消息队列 Stream

一、概述 消息队列 定义 消息队列模型&#xff1a;一种分布式系统中的消息传递方案&#xff0c;由消息队列、生产者和消费者组成消息队列&#xff1a;负责存储和管理消息的中间件&#xff0c;也称为消息代理&#xff08;Message Broker&#xff09;生产者&#xff1a;负责 产…...

编程日记 2025/9/19 16:34:51

【多维DP】【hard】力扣1269. 停在原地的方案数

有一个长度为 arrLen 的数组&#xff0c;开始有一个指针在索引 0 处。 每一步操作中&#xff0c;你可以将指针向左或向右移动 1 步&#xff0c;或者停在原地&#xff08;指针不能被移动到数组范围外&#xff09;。 给你两个整数 steps 和 arrLen &#xff0c;请你计算并返回&…...

编程日记 2025/9/19 16:33:53

Android显示系统（11）- 向SurfaceFlinger申请Surface

Android显示系统&#xff08;01&#xff09;- 架构分析 Android显示系统&#xff08;02&#xff09;- OpenGL ES - 概述 Android显示系统&#xff08;03&#xff09;- OpenGL ES - GLSurfaceView的使用 Android显示系统&#xff08;04&#xff09;- OpenGL ES - Shader绘制三角…...

编程日记 2025/9/18 5:01:17

OpenCV实验篇：识别图片颜色并绘制轮廓

第三篇&#xff1a;识别图片颜色并绘制轮廓 1. 实验原理 颜色识别的原理&#xff1a; 颜色在图像处理中通常使用 HSV 空间来表示。 HSV 空间是基于人类视觉系统的一种颜色模型&#xff0c;其中&#xff1a; H&#xff08;Hue&#xff09;&#xff1a;色调&#xff0c;表示颜色…...

编程日记 2025/9/19 16:33:52

鸿蒙-应用内悬浮窗

//悬浮窗工具类 import { window } from kit.ArkUI; import { BusinessError } from kit.BasicServicesKit; import { Logger } from mbbase/common-ui; import * as FloatedWindowPage from ./FloatedWindowPage; // 导入命名路由页面 const TAG [FloatedWindowUtils]; ex…...

编程日记 2025/9/19 16:30:38

Ubuntu Linux操作系统

一、Ubuntu简介 Ubuntu Linux是由南非人马克沙特尔沃思(Mark Shuttleworth)创办的基于Debian Linux的操作系统&#xff0c;于2004年10月公布。Ubuntu是一个以桌面应用为主的Linux发行版操作系统。Ubuntu拥有庞大的社区力量&#xff0c;用户可以方便地从社区获得帮助。其官方网…...

编程日记 2025/9/19 16:32:07

Linux下SVN客户端保存账号密码

参考文章&#xff1a;解决&#xff1a;Linux上SVN 1.12版本以上无法直接存储明文密码_linux svn 保存密码-CSDN博客新版本svn使用gpg-agent存储密码-CSDN博客svn之无法让 SVN 存储密码&#xff0c;即使配置设置为允许_编程设计_ITGUEST 方法一&#xff1a;明文方式保存密码 首…...

编程日记 2025/9/18 22:41:17

【DBeaver】连接带kerberos的hive[Apache|HDP]

目录 一、安装配置Kerberos客户端环境 1.1 安装Kerberos客户端 1.2 环境配置 二、基于Cloudera驱动创建连接 三、基于Hive原生驱动创建连接 一、安装配置Kerberos客户端环境 1.1 安装Kerberos客户端 在Kerberos官网下载,地址如下&#xff1a;https://web.mit.edu/kerberos…...

编程日记 2025/9/19 16:33:55

Android-Glide详解

目录 一&#xff0c;介绍 二&#xff0c;使用 三&#xff0c;源码分析思路 四&#xff0c;with源码分析 五&#xff0c;模拟Glide生命周期管理 一&#xff0c;介绍 Glide目前是安卓最主流的加载图片的框架&#xff0c;也是源码最为复杂的框架之一。 要想完完全全吃透Glide的源…...

编程日记 2025/9/19 16:30:22

【容器】k8s学习笔记原理详解（十万字超详细）

Pod详解 Pod介绍 Pod结构 每个Pod中都可以包含一个或者多个容器&#xff0c;这些容器可以分为两类&#xff1a; 用户程序所在的容器&#xff0c;数量可多可少Pause容器&#xff0c;这是每个Pod都会有的一个根容器&#xff0c;它的作用有两个&#xff1a; 可以以它为依据&am…...

编程日记 2025/9/19 16:33:08

SQL Server通过存储过程实现自定义邮件格式并定时发送

在 SQL Server 中，可以通过存储过程实现自定义邮件格式并定时发送。这通常涉及以下几个步骤： 1. 配置 Database Mail：首先需要配置 SQL Server 的 Database Mail 功能。 2. 创建存储过程：编写存储过程来生成自定义邮件格式并发送邮件。 3. 设置 SQL Server 代理作…...

编程日记 2025/9/15 0:40:18

通过增强的 vSphere 集成增强你的 vSphere 监控

作者&#xff1a;来自 Elastic Ishleen Kaur•Lalit Satapathy vSphere 是 VMware 的云计算虚拟化平台&#xff0c;提供一套功能强大的虚拟化资源管理套件。它允许组织创建、管理和优化虚拟环境&#xff0c;提供高可用性、负载平衡和简化资源分配等高级功能。vSphere 可以高效利…...

编程日记 2025/9/19 8:19:13

C++ 并发专题 - C++线程同步的几种方法

一&#xff1a;概述 线程同步是多线程编程中的一个重要概念&#xff0c;它用于控制多个线程之间对共享资源的访问&#xff0c;避免竞态条件&#xff08;race condition&#xff09;和数据不一致的问题。线程同步确保在多线程环境中&#xff0c;多个线程访问共享数据时能够按照某…...

编程日记 2025/9/18 5:09:04

[java]网络编程

java.net.*包下提供了网络编程的解决方案 通信架构 CS架构 客户端 客户端需要开发 用户需要安装 服务端 需要开发 BS架构 浏览器 不需要开发 需要安装浏览器 服务器 需要开发 网络通信三要素 IP地址 是设备在网络中的唯一标识, 全称 互联网协议地址 分类 公网IP 可…...

编程日记 2025/9/19 2:55:04

[C++]类的继承

一、什么是继承 1.定义&#xff1a; 在 C 中&#xff0c;继承是一种机制&#xff0c;允许一个类&#xff08;派生类&#xff09;继承另一个类&#xff08;基类&#xff09;的成员&#xff08;数据和函数&#xff09;。继承使得派生类能够直接访问基类的公有和保护成员&#xf…...

编程日记 2025/9/18 5:16:08

2024安装hexo和next并部署到github和服务器最新教程

碎碎念 本来打算写点算法题上文所说的题目&#xff0c;结果被其他事情吸引了注意力。其实我之前也有过其他博客网站&#xff0c;但因为长期不维护&#xff0c;导致数据丢失其实是我懒得备份。这个博客现在部署在GitHub Pages上&#xff0c;github不倒&#xff0c;网站不灭&…...

编程日记 2025/9/18 12:21:08

【spring】@Qualifier注解

目录 1. 说明2. 用法示例2.1 标注在字段上2.2 标注在方法上2.3 标注在类上2.4 在自定义注解上的应用 3. 注意事项 1. 说明 1.Qualifier是Spring框架中的一个注解&#xff0c;主要用于解决依赖注入时的歧义性问题。2.定义&#xff1a;Qualifier是一个限定符注解&#xff0c;用于…...

编程日记 2025/9/19 8:15:12

uniapp 应用的生命周期、页面的生命周期、组件的生命周期

uniapp 作为一款跨平台的移动应用开发框架&#xff0c;其生命周期分为应用生命周期、页面生命周期和组件生命周期。下面分别介绍这三种生命周期的具体内容&#xff1a; 应用生命周期 应用生命周期仅适用于整个应用&#xff0c;在 App.vue 中可以监听到以下生命周期函数&#…...

编程日记 2025/9/18 9:53:46

热更新解决方案4——xLua热补丁

概述 运行时不在执行C#中的代码&#xff0c;而是执行Lua中的代码&#xff0c;相当于是打了个补丁。 1.第一个热补丁 2.多函数替换 3.协程函数替换 在原HotfixMain脚本中只加个协程函数即可&#xff08;和在Start中启动协程函数&#xff09; 4.索引器和属性替换 在HotfixMain中…...

编程日记 2025/9/18 20:10:48

【MARL】深入理解多智能体近端策略优化（MAPPO）算法与调参

&#x1f4e2;本篇文章是博主强化学习&#xff08;RL&#xff09;领域学习时&#xff0c;用于个人学习、研究或者欣赏使用&#xff0c;并基于博主对相关等领域的一些理解而记录的学习摘录和笔记&#xff0c;若有不当和侵权之处&#xff0c;指出后将会立即改正&#xff0c;还望谅…...

编程日记 2025/9/18 0:27:46

3.2.1.2 汇编版 原子操作 CAS

基本原理说明 在 x86 和 ARM 架构上&#xff0c;原子操作通常利用硬件提供的原子指令来实现&#xff0c;比如 LOCK 前缀&#xff08;x86&#xff09;或 LDREX/STREX&#xff08;ARM&#xff09;。以下是一些关键的原子操作&#xff08;例如原子递增和比较交换&#xff09;的汇…...

编程日记 2025/9/18 5:32:37

关于llama2:从原始llama-2-7b到llama-2-7b-hf的权重转换教程

1.首先&#xff0c;我是从各个教程里面选了一个实际操作的教程&#xff08;这样更加靠谱&#xff09;&#xff1a;下载llama2-7b并转hf模型_huggingface 下载llama2-7b-chat-hf-CSDN博客 2.但是&#xff0c;其实我在另外一篇更好的教程里面看到过一个坑&#xff08;这篇好像是腾…...

编程日记 2025/9/14 9:16:29

物理机内网穿透

前言&#xff1a; 本文主要讲述如何使用内网穿透以及其安全性。 将带领大家在公网上搭建几个常用靶场。 一&#xff0c;什么是内网穿透。 大多数情况下&#xff0c;我们的个人电脑都处于内网&#xff0c;即没有可公开访问的独立 IP 地址&#xff0c;因此其他内网用户找不到…...

编程日记 2025/9/19 9:45:03

构建一个rust生产应用读书笔记四（实战1）

我们需要从访客那里收集哪些信息&#xff0c;以便将其登记为电子邮件通讯的订阅者&#xff1f; 电子邮件地址&#xff1a;这是最基本的要求&#xff0c;因为我们需要通过电子邮件地址向订阅者发送内容。姓名&#xff1a;虽然这不是强制性的&#xff0c;但我们希望收集一个名字…...

编程日记 2025/9/18 5:29:44

[LeetCode-Python版]206. 反转链表（迭代+递归两种解法）

题目 给你单链表的头节点 head &#xff0c;请你反转链表&#xff0c;并返回反转后的链表。 示例 1&#xff1a; 输入&#xff1a;head [1,2,3,4,5] 输出&#xff1a;[5,4,3,2,1] 示例 2&#xff1a; 输入&#xff1a;head [1,2] 输出&#xff1a;[2,1] 示例 3&#xff1…...

编程日记 2025/9/18 5:14:36

shardingsphere分库分表跨库访问 添加分片规则

shardingsphere分库分表跨库访问 添加分片规则 建立 JDBC 环境 创建表 t_order&#xff1a; CREATE TABLE t_order (tid bigint(20) NOT NULL,tname varchar(255) DEFAULT NULL,goods_id bigint(20) DEFAULT NULL,tstatus varchar(255) DEFAULT NULL,PRIMARY KEY (tid) ) E…...

编程日记 2025/9/18 5:20:09

【NLP 15、深度学习处理文本】

目录 一、反向传播 ​编辑 1.反向传播运算过程 2.前向传播和反向传播的作用 前向传播 反向传播 3.定义模型&#xff08;torch包&#xff09; 4.手动实现 ① 线性层 ② sigmoid激活函数 ③ 手动实现MSE均方差损失函数 ④ 前向传播 ⑤ 手动实现梯度计算 ⑤ 权重的更新&#xff1a…...

编程日记 2025/9/19 12:16:20

Android Studio创建新项目并引入第三方so外部aar库驱动NFC读写器读写IC卡

本示例使用设备&#xff1a;https://item.taobao.com/item.htm?spma21dvs.23580594.0.0.52de2c1bbW3AUC&ftt&id615391857885 一、打开Android Studio,点击 File> New>New project 菜单&#xff0c;选择 要创建的项目模版&#xff0c;点击 Next 二、输入项目名称…...

编程日记 2025/9/17 16:39:43

3D视觉[一]3D计算机视觉

3D视觉[一]3D计算机视觉 3D计算机视觉概述 像机标定 文章目录 3D视觉[一]3D计算机视觉前言一、人类视觉二、计算机视觉2.1 计算机视觉的研究目的2.2 计算机视觉的研究任务2.3 计算机视觉的研究方法2.4 视觉计算理论2.5 马尔框架中计算机视觉表达的四个层次2.5.1 图像&#xff…...

编程日记 2025/9/14 18:15:40

Linux权限（超详细彻底搞懂Linux的权限）

&#x1f525;个人主页&#x1f525;&#xff1a;孤寂大仙V &#x1f308;收录专栏&#x1f308;&#xff1a;Linux &#x1f339;往期回顾&#x1f339;&#xff1a;Linux常见指令(初学者必看) &#x1f516;流水不争&#xff0c;争的是滔滔不 一、Linux下的两种用户超级用户&…...

编程日记 2025/9/18 5:13:07

Ubuntu22.04安装docker desktop遇到的bug

1. 确认已启用 KVM 虚拟化 如果加载了模块&#xff0c;输出应该如下图。说明 Intel CPU 的 KVM 模块已开启。 否则在VMware开启宿主机虚拟化功能&#xff1a; 2. 下一步操作&#xff1a; Ubuntu | Docker Docs 3. 启动Docker桌面后发现账户登陆不上去&#xff1a; Sign in | …...

编程日记 2025/9/10 1:55:27

网新恒天八股总结

Java的基本数据类型 四类八种 整数类型&#xff1a;byte,short,int,long 浮点类型&#xff1a;float,double 字符类型&#xff1a;char 布尔类型&#xff1a;boolean char类型的范围 0 ~ 65535&#xff0c;可以表示16位无符号整数 equals和的区别 &&#xff0c;&&a…...

编程日记 2025/9/18 5:12:26

【AIGC】与模型对话：理解与预防ChatGPT中的常见误解

博客主页&#xff1a; [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: AIGC | ChatGPT 文章目录 &#x1f4af;前言&#x1f4af;模型的工作原理和用户期望差异人工智能模型的基本工作原理认知上的局限与误解用户期望与模型实际能力的差距精确理解用户意图的重要性实际应用中的建议 &…...

编程日记 2025/9/7 3:58:51

09篇--图片的水印添加（掩膜的运用）

如何添加水印&#xff1f; 添加水印其实可以理解为将一张图片中的某个物体或者图案提取出来&#xff0c;然后叠加到另一张图片上。具体的操作思想是通过将原始图片转换成灰度图&#xff0c;并进行二值化处理&#xff0c;去除背景部分&#xff0c;得到一个类似掩膜的图像。然后…...

编程日记 2025/9/18 2:45:03

Qt 使用modbus协议

Qt 框架下 使用modbus协议 一&#xff0c;使用Qt原生的 QModbusClient &#xff0c;比如QModbusTcpClient 1&#xff0c;因为modbus的读写 需要在同一个线程中&#xff0c;所以需要在主线程中利用moveToThread的方式&#xff0c;将业务逻辑封装到 子线程中。 2&#xff0c;m…...

编程日记 2025/9/19 7:26:40

pip离线安装一个github仓库

要使用pip安装一个本地Git仓库&#xff0c;你可以按照以下步骤操作&#xff1a; 确保你已经克隆了Git仓库到本地。 进入仓库所在的目录。 使用pip安装。 以下是具体的命令&#xff1a; 克隆Git仓库到本地&#xff08;替换下面的URL为你的仓库URL&#xff09; git clone https…...

编程日记 2025/9/17 14:00:37

【ETCD】【源码阅读】深入分析 storeTxnWrite.Put方法源码

该方法是 storeTxnWrite 类型中的核心方法&#xff0c;负责将键值对存储到数据库&#xff0c;同时处理键的元数据&#xff08;如版本、修订号、租约&#xff09;并管理租约关联。 目录 一、完整代码二、方法详解方法签名1. 计算修订号并初始化变量2. 检查键是否已存在3. 生成索…...

编程日记 2025/9/19 2:05:04

桥接模式的理解和实践

桥接模式&#xff08;Bridge Pattern&#xff09;&#xff0c;又称桥梁模式&#xff0c;是一种结构型设计模式。它的核心思想是将抽象部分与实现部分分离&#xff0c;使它们可以独立地进行变化&#xff0c;从而提高系统的灵活性和可扩展性。本文将详细介绍桥接模式的概念、原理…...

编程日记 2025/9/18 2:52:30

【Rust自学】3.2. 数据类型：标量类型

3.2.0. 写在正文之前 欢迎来到Rust自学的第三章&#xff0c;一共有6个小节&#xff0c;分别是: 变量与可变性数据类型&#xff1a;标量类型&#xff08;本文&#xff09;数据类型&#xff1a;复合类型函数和注释控制流&#xff1a;if else控制流&#xff1a;循环 通过第二章…...

编程日记 2025/9/19 13:47:10

【Leetcode Top 100】199. 二叉树的右视图

问题背景 给定一个二叉树的 根节点 r o o t root root&#xff0c;想象自己站在它的右侧&#xff0c;按照从顶部到底部的顺序&#xff0c;返回从右侧所能看到的节点值。 数据约束 二叉树的节点个数的范围是 [ 0 , 100 ] [0,100] [0,100] − 100 ≤ N o d e . v a l ≤ 100…...

编程日记 2025/9/14 11:57:14

Java并发编程框架之其他并发工具

选错了就选错了&#xff0c;不要一遍一遍的后悔&#xff0c;总是一遍遍的想&#xff0c;当时怎么样就好了&#xff0c;不要欺负当时的自己&#xff0c;当时你一个人站在迷雾中&#xff0c;也很迷茫&#xff0c;就算重新来一遍&#xff0c;以你当时的阅历和心智&#xff0c;还是…...

编程日记 2025/9/16 1:02:57

MinerU:PDF文档提取工具

目录 docker一键启动本地配置下载模型权重文件demo.py使用命令行启动GPU使用情况 wget https://github.com/opendatalab/MinerU/raw/master/Dockerfile docker build -t mineru:latest .docker一键启动 有点问题&#xff0c;晚点更新 本地配置 就是在Python环境中配置依赖和…...

编程日记 2025/9/18 4:08:01

Unity性能优化---使用SpriteAtlas创建图集进行批次优化

在日常游戏开发中&#xff0c;UI是不可缺少的模块&#xff0c;而在UI中又使用着大量的图片&#xff0c;特别是2D游戏还有很多精灵图片存在&#xff0c;如果不加以处理&#xff0c;会导致很高的Batches&#xff0c;影响性能。 比如如下的例子&#xff1a; Batches是9&#xff0…...

编程日记 2025/9/18 4:21:46

wazuh-modules-sca-scan

sca模块主函数wm_sca_main -> wm_sca_start 检查policy文件中的每一个项目wm_sca_check_policy static int wm_sca_check_policy(const cJSON * const policy, const cJSON * const checks, OSHash *global_check_list) {if(!policy) {return 1;}const cJSON * const id c…...

编程日记 2025/9/18 4:20:05

力扣-图论-15【算法学习day.65】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向和记录学习过程&#xff08;例如想要掌握基础用法&#xff0c;该刷哪些题&#xff1f;&#xff09;我的解析也不会做的非常详细&#xff0c;只会提供思路和一些关键点&#xff0c;力扣上的大佬们的题解质量是非…...

编程日记 2025/9/17 18:27:44

JS萤石云录像回放拖动进度条无法正常播放

问题描述&#xff1a; 本项目版本&#xff1a;vue2.6.12&#xff0c;webpack3.6.0&#xff0c;ezuikit-js0.7.2 在使用萤石云的JavaScript SDK做监控的直播、录像回放时&#xff0c;遇到部分设备的录像回放&#xff0c;无法根据控制面板的拖动进度条查看某时间段的录像。 官方…...

编程日记 2025/9/18 19:04:20

Spring Boot 启动时间优化全攻略

引言 随着 Spring Boot 的广泛应用&#xff0c;开发者享受到了快速开发和自动化配置的便利。然而&#xff0c;随着项目复杂度的增加&#xff0c;Spring Boot 项目启动时间也变得越来越长&#xff0c;这在开发、调试和部署阶段可能会成为效率瓶颈。如何优化 Spring Boot 的启动…...

编程日记 2025/9/18 5:04:12

ubuntu服务器木马类挖矿程序排查、及安全管理总结

版本 24.04 由于GPU多卡服务器多人使用&#xff0c;需要链接隧道ssh等&#xff0c;容易中招挖矿脚本。 总的思路是&#xff0c;顺着进程的PID回溯最终的程序运行起点&#xff0c;这里可以先看一下日志&#xff1a; journalctl -u PID 通过 PID 精确定位进程的信息&#xff0c…...

编程日记 2025/9/15 5:36:26

redis 使用Lettuce 当redis挂掉重启之后 网络是怎么重新连接

Lettuce是一个高性能的Java Redis客户端&#xff0c;支持同步、异步和反应式编程模式 Lettuce的核心功能包括&#xff1a; ‌高性能‌&#xff1a;通过使用Netty作为底层网络通信框架&#xff0c;实现了非阻塞IO&#xff0c;提高了性能。‌丰富的API‌&#xff1a;提供了丰富…...

编程日记 2025/9/18 5:05:55

【PyTorch】实现在训练过程中自定义动态调整学习率

问题描述&#xff1a; 在使用 PyTorch 训练自定义神经网络时&#xff0c;我们希望能够动态地调整学习率&#xff0c;以便在训练过程中逐渐优化模型&#xff0c;避免过拟合并加速收敛。那么&#xff0c;如何在 PyTorch 中实现这一功能呢&#xff1f; 解决方案&#xff1a; 在训…...

编程日记 2025/9/14 16:28:01