当前位置：首页 > news >正文

事务03之MVCC机制

news 来源：原创 2025/5/21 10:16:23

MVCC 多版本并发控制机制

文章目录

MVCC 多版本并发控制机制
- 一：并发事务的场景
- - 1：读读场景
  - 2：写写场景
  - 3：读写 or 写读场景
- 二：MVCC机制综述
- - 1：MVCC日常生活的体现
  - 2：多版本并发控制
- 三：MVCC实现原理剖析(重点，难点)
- - 1：隐藏字段
  - - 1.1：隐藏主键 - ROW_ID(6Bytes)
    - 1.2：删除标识 - Deleted_Bit(1Bytes)
    - 1.3：最近更新的事务ID - TRX_ID(6Bytes)
    - 1.4：回滚指针 - ROLL_PTR(7Bytes)
  - 2：undo_log日志
  - 3：readView（核心）
  - - 3.1：到底什么是readView
    - 3.2：机制实现原理和可见性算法
    - 3.3：RC和RR的区别

一：并发事务的场景

1：读读场景

读-读场景即是指多个事务/线程在一起读取一个相同的数据，比如事务T1正在读取ID=88的行记录，事务T2也在读取这条记录，两个事务之间是并发执行的。
在这里插入图片描述
对于这种情况而言，不需要做任何操作，因为不改变数据就不会引起任何并发问题

2：写写场景

多个事务之间一起对同一数据进行写操作，比如事务T1对ID=88的行记录做修改操作，事务T2则对这条数据做删除操作

事务T1提交事务后想查询看一下，结果连这条数据都不见了，这也是所谓的脏写问题，也被称为更新覆盖问题

对于这个问题在所有数据库、所有隔离级别中都是零容忍的存在，最低的隔离级别也要解决这个问题。【写互斥锁就可以解决脏写问题】

在这里插入图片描述

3：读写 or 写读场景

读写 -> 先读后写

在这里插入图片描述

写读，先写后读

在这里插入图片描述
并发事务中同时存在读、写两类操作时，这是最容易出问题的场景，脏读、不可重复读、幻读都出自于这种场景中

当有一个事务在做写操作时，读的事务中就有可能出现这一系列问题，因此数据库才会引入各种机制解决。

二：MVCC机制综述

MVCC机制的全称为Multi-Version Concurrency Control，即多版本并发控制技术，主要是为了提升数据库并发性能而设计的

其中采用更好的方式处理了读-写并发冲突，做到即使有读写冲突时，也可以不加锁解决，从而确保了任何时刻的读操作都是非阻塞的。

1：MVCC日常生活的体现

文章的发布和审核

假设我发布了一篇关于xxx的文章，发布后有一位观看者比较细心，文中存在两三个错别字，被这人指出来了，因此我去修正错别字后重新发布。

问题来了，对于文章首次发布也好，重新发布也罢，绝对要等审核通过后才会正式发布的，那我修正文章后重新发布，文章又会进入「审核中」这个状态

此时对于其他正在看、准备看的人来说，文章是不是就不见了？毕竟文章还在审核，因此对这个业务需求又该如何实现呢？多版本！

也就是说，对于首次发布后通过审核的文章，在后续重新发布审核时，用户可以看到更新前的文章，也就是看到老版本的文章，当更新后的文章审核通过后，再使用新版本的文章代替老版本的文章即可。

这样就能做到新老版本的兼容，也能够确保文章修正时，其他正在阅读的小伙伴不会受影响，而MySQL-MVCC机制的思想也大致相同。
在这里插入图片描述

2：多版本并发控制

MySQL中的多版本并发控制，也和上面给出的例子类似

回想一下，脏读、不可重复读、幻读问题都是由于多个事务并发读写导致的，但这些问题都是基于最新版本的数据并发操作才会出现

如果读、写的事务操作的不是同一个版本呢？这样就可以做到互不影响

⚠️ MySQL中仅在RC、RR才会使用MVCC机制

如果是RU允许存在脏读问题、允许一个事务读取另一个事务未提交的数据，那自然可以直接读最新版本的数据，因此无需MVCC介入。

如果是Serializable串行化级别，因为会将所有的并发事务串行化处理，也就是不论事务是读操作，亦或是写操作，都会被排好队一个个执行，这都不存在所谓的多线程并发问题了，自然也无需MVCC介入。

🖊 MVCC机制在MySQL中，仅有InnoDB引擎支持，而在该引擎中，MVCC机制只对RC、RR两个隔离级别下的事务生效。

当然，RC、RR两个不同的隔离级别中，MVCC的实现也存在些许差异

三：MVCC实现原理剖析(重点，难点)

MVCC由三个部分构成：隐藏字段，undoLog, readview

1：隐藏字段

通常而言，当你基于InnoDB引擎建立一张表后，MySQL除开会构建你显式声明的字段外，通常还会构建一些InnoDB引擎的隐藏字段

在InnoDB引擎中主要有DB_ROW_ID、DB_Deleted_Bit、DB_TRX_ID、DB_ROLL_PTR这四个隐藏字段

在这里插入图片描述

1.1：隐藏主键 - ROW_ID(6Bytes)

对于InnoDB引擎的表而言，由于其表数据是按照聚簇索引的格式存储，因此通常都会选择主键作为聚簇索引列，然后基于主键字段构建索引树

但如若表中未定义主键，则会选择一个具备唯一非空属性的字段，作为聚簇索引的字段来构建树。

而当两者都不存在时，InnoDB就会隐式定义一个顺序递增的列ROW_ID来作为聚簇索引列。

因此要牢记一点，如果你选择的引擎是InnoDB，就算你的表中未定义主键、索引，其实默认也会存在一个聚簇索引

只不过这个索引在上层无法使用，仅提供给InnoDB构建树结构存储表数据。

1.2：删除标识 - Deleted_Bit(1Bytes)

对于一条delete语句而言，当执行后并不会立马删除表的数据，而是将这条数据的Deleted_Bit删除标识改为1/true

后续的查询SQL检索数据时，如果检索到了这条数据，但看到隐藏字段Deleted_Bit=1时，就知道该数据已经被其他事务delete了，因此不会将这条数据纳入结果集。

设计Deleted_Bit这个隐藏字段的好处是什么呢？

主要是能够有利于聚簇索引

比如当一个事务中删除一条数据后，后续又执行了回滚操作，假设此时是真正的删除了表数据，会发生什么情况呢？

①删除表数据时，有可能会破坏索引树原本的结构，导致出现叶子节点合并的情况。
②事务回滚时，又需重新插入这条数据，再次插入时又会破坏前面的结构，导致叶子节点分裂。

综上所述，如果执行delete语句就删除真实的表数据，由于事务回滚的问题，就很有可能导致聚簇索引树发生两次结构调整，这其中的开销可想而知；而且先删除，再回滚，最终树又变成了原状，那这两次树的结构调整还是无意义的。

所以，当执行delete语句时，只会改变将隐藏字段中的删除标识改为1/true，如果后续事务出现回滚动作，直接将其标识再改回0/false即可

会不会产生过多的deleted = 1的数据使得磁盘爆满呢？

MySQL中存在purger线程的概念，为了防止“已删除”的数据占用过多的磁盘空间，purger线程会自动清理Deleted_Bit=1/true的行数据。

当然，为了确保清理数据时不会影响MVCC的正常工作，purger线程自身也会维护一个ReadView

如果某条数据的Deleted_Bit=true，并且TRX_ID对purger线程的ReadView可见，那么这条数据一定是可以被安全清除的（即不会影响MVCC工作）。

1.3：最近更新的事务ID - TRX_ID(6Bytes)

MySQL对于每一个创建的事务，都会为其分配一个事务ID[TRX_ID]，事务ID同样遵循顺序递增的特性，即后来的事务ID绝对会比之前的ID要大，比如：

此时事务T1准备修改表字段的值，MySQL会为其分配一个事务ID=1，当事务T2准备向表中插入一条数据时，又会为这个事务分配一个ID=2…

但有一个细节点需要记住：MySQL对于所有包含写入SQL的事务，会为其分配一个顺序递增的事务ID，但如果是一条select查询语句，则分配的事务ID=0。

不过对于手动开启的事务，MySQL都会为其分配事务ID，就算这个手动开启的事务中仅有select操作。

表中的隐藏字段TRX_ID，记录的就是最近一次改动当前这条数据的事务ID，这个字段是实现MVCC机制的核心之一。

1.4：回滚指针 - ROLL_PTR(7Bytes)

ROLL_PTR全称为rollback_pointer，也就是回滚指针的意思，这个也是表中每条数据都会存在的一个隐藏字段

当一个事务对一条数据做了改动后，会将旧版本的数据放到Undo-log日志中，而rollback_pointer就是一个地址指针，指向Undo-log日志中旧版本的数据

当需要回滚事务时，就可以通过这个隐藏列，来找到改动之前的旧版本数据，而MVCC机制也利用这点，实现了行数据的多版本。

2：undo_log日志

Undo-log中并不仅仅只存储一条旧版本数据，其实在该日志中会有一个版本链

在这里插入图片描述

从上图中可明显看出：不同的旧版本数据，会以roll_ptr回滚指针作为链接点，然后将所有的旧版本数据组成一个单向链表。

⚠️ 最新的旧版本数据，都会插入到链表头中，而不是追加到链表尾部。[头插法]

上述update语句的详细过程

对要修改的行数据加上排他锁。
将原本的旧数据拷贝到Undo-log的rollback Segment区域。
对表数据上的记录进行修改，修改完成后将隐藏字段中的trx_id改为当前事务ID。
将隐藏字段中的roll_ptr指向Undo-log中对应的旧数据，并在提交事务后释放锁。

为什么Undo-log日志要设计出版本链呢？

一方面可以实现事务点回滚（这点回去参考事务篇）
另一方面则可以实现MVCC机制（这点后面聊）。

移除机制

与删除标识类似，Undo-log移除的工作同样由purger线程负责

purger线程内部也会维护一个ReadView，它会以此作为判断依据，来决定何时移除Undo记录。

3：readView（核心）

思考一个问题：如果T2事务要查询一条行数据，此时这条行数据正在被T1事务写，那也就代表着这条数据可能存在多个旧版本数据

T2事务在查询时，应该读这条数据的哪个版本呢？

在这里插入图片描述
此时就需要用到ReadView，用它来做多版本的并发控制，根据查询的时机来选择一个当前事务可见的旧版本数据读取。

3.1：到底什么是readView

先来说下两个概念，快照读和当前读：

当前读：在锁定读（使用锁隔离事物）的时候读到的是最新版本的数据

快照读：可重复读下mvcc生效读取的是数据的快照，并不是最新版本的数据（未提交事物的数据）

------- 可以这么区分 ------

快照读：读取的是快照版本。普通的SELECT就是快照读。通过mvcc来进行并发控制的，不用加锁。

当前读：读取的是最新版本。UPDATE、DELETE、INSERT、SELECT … LOCK IN SHARE MODE、SELECT … FOR UPDATE是当前读。

MVCC基于当前MySQL的运行状态生成的快照，也被称之为读视图，即ReadView

在这个快照中记录着当前所有活跃事务的ID（活跃事务是指还在执行的事务，即未结束（提交/回滚）的事务）。

当一个事务启动后，首次执行select操作时，MVCC就会生成一个数据库当前的ReadView，通常而言，一个事务与一个ReadView属于一对一的关系（不同隔离级别下也会存在细微差异），ReadView一般包含四个核心内容：

creator_trx_id：代表创建当前这个ReadView的事务ID。
trx_ids：表示在生成当前ReadView时，系统内活跃的事务ID列表。
up_limit_id：活跃的事务列表中，最小的事务ID。
low_limit_id：表示在生成当前ReadView时，系统中要给下一个事务分配的ID值。

⚠️ 值得一提的是low_limit_id，它并不是目前系统中活跃事务的最大ID，因为MySQL的事务ID是按序递增的，因此当启动一个新的事务时，都会为其分配事务ID，而这个low_limit_id则是整个MySQL中，要为下一个事务分配的ID值。

在这里插入图片描述
假设目前数据库中共有T1~T5这五个事务，T1、T2、T4还在执行，T3已经回滚，T5已经提交

此时当有一条查询语句执行时，就会利用MVCC机制生成一个ReadView

由于单纯由一条select语句组成的事务并不会分配事务ID，因此默认为0，所以目前这个快照的信息如下：

{"creator_trx_id" : "0","trx_ids" : "[1,2,4]","up_limit_id" : "1","low_limit_id" : "6"
}

3.2：机制实现原理和可见性算法

经过前面得知：

当一个事务尝试改动某条数据时，会将原本表中的旧数据放入Undo-log日志中。
当一个事务尝试查询某条数据时，MVCC会生成一个ReadView快照。

其中Undo-log主要实现数据的多版本，ReadView则主要实现多版本的并发控制

假设现在有两个事务：

# 原始数据如下
+---------+-----------+----------+----------+---------------------+
| user_id | user_name | user_sex | password | register_time       |
+---------+-----------+----------+----------+---------------------+
|       1 | 熊猫      | 女       | 6666     | 2022-08-14 15:22:01 |
+---------+-----------+----------+----------+---------------------+# 事务1 trx_id = 1
UPDATE zz_users SET user_name = "竹子" WHERE user_id = 1;
UPDATE zz_users SET user_sex = "男" WHERE user_id = 1;# 事务2 trx_id = 2
SELECT * FROM zz_users WHERE user_id = 1;

目前存在T1、T2两个并发事务，T1目前在修改ID=1的这条数据，而T2则准备查询这条数据，下面就是T2执行的具体的过程:

在这里插入图片描述

说简单一点，就是首先会去获取表中行数据的隐藏列，然后经过上述一系列判断后，可以得知：目前查询数据的事务到底能不能访问最新版的数据。

如果能，就直接拿到表中的数据并返回
不能则去Undo-log日志中获取旧版本的数据返回。

该获取哪个版本的旧数据呢？

如果Undo-log日志中的旧数据存在一个版本链时，此时会首先根据隐藏列roll_ptr找到链表头，然后依次遍历整个列表，从而检索到最合适的一条数据并返回。合适的条件如下：旧版本的数据，其隐藏列trx_id不能在ReadView.trx_ids活跃事务列表中。

因为如果旧版本的数据，其trx_id依旧在ReadView.trx_ids中，就代表着产生这条旧数据的事务还未提交，自然不能读取这个版本的数据

范围查询时，突然出现新增数据怎么办呢？

SELECT * FROM zz_users;
+---------+-----------+----------+----------+---------------------+
| user_id | user_name | user_sex | password | register_time       |
+---------+-----------+----------+----------+---------------------+
|       1 | 熊猫      | 女       | 6666     | 2022-08-14 15:22:01 |
|       2 | 竹子      | 男       | 1234     | 2022-09-14 16:17:44 |
|       3 | 子竹      | 男       | 4321     | 2022-09-16 07:42:21 |
|       4 | 猫熊      | 女       | 8888     | 2022-09-27 17:22:59 |
|       9 | 黑竹      | 男       | 9999     | 2022-09-28 22:31:44 |
+---------+-----------+----------+----------+---------------------+-- T1事务：查询ID >= 3 的所有用户信息
select * from  zz_users where user_id >= 3;-- T2事务：新增一条 ID = 6 的用户记录
INSERT INTO zz_users VALUES(6,"棕熊","男","7777","2022-10-02 16:21:33");

此时当T1事务查询数据时，突然蹦出来一条ID=6的数据

经过判断之后会发现新增这条数据的事务还在执行，所以要去查询旧版本数据

但此时由于是新增操作，因此roll_ptr=null，即表示没有旧版本数据，此时不会读取最新版的数据

因为如果查询数据的事务不能读取最新版数据，同时又无法从版本链中找到旧数据，那就意味着这条数据对T1事务完全不可见，因此T1的查询结果中不会包含ID=6的这条新增记录。

3.3：RC和RR的区别

在这里插入图片描述

RC工作原理

在这里插入图片描述

RR工作原理

在这里插入图片描述

事务03之MVCC机制

MVCC 多版本并发控制机制文章目录 MVCC 多版本并发控制机制一：并发事务的场景1：读读场景2：写写场景3：读写 or 写读场景二：MVCC机制综述1：MVCC日常生活的体现2：多版本并发控制三：M…...

编程日记 2025/5/21 10:16:23

Autosar-Os是怎么运行的？（时间保护）

写在前面： 入行一段时间了，基于个人理解整理一些东西，如有错误，欢迎各位大佬评论区指正！！！ 1.功能概述 AUTOSAR OS 的四大可定制类型凸显了时间保护（Timing Protection）…...

编程日记 2025/5/19 22:59:12

论文阅读(九)：通过概率图模型建立连锁不平衡模型和进行关联研究：最新进展访问之旅

1.论文链接：Modeling Linkage Disequilibrium and Performing Association Studies through Probabilistic Graphical Models: a Visiting Tour of Recent Advances 摘要： 本章对概率图模型（PGMs）的最新进展进行了深入的回顾&…...

编程日记 2025/5/18 8:31:35

python学opencv|读取图像（五十二）使用cv.matchTemplate()函数实现最佳图像匹配

【1】引言前序学习了图像的常规读取和基本按位操作技巧，相关文章包括且不限于： python学opencv|读取图像-CSDN博客 python学opencv|读取图像（四十九）原理探究：使用cv2.bitwise()系列函数实现图像按位运算-CSDN博客…...

编程日记 2025/5/21 3:07:48

视频脚本生成器（基于openai API和streamlit）

utils.py： # 所有和ai交互的代码放进utils.py里（utils 通常是 “utilities” 的缩写，意为 “实用工具” 或 “实用函数”）from langchain.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from lan…...

编程日记 2025/5/21 10:49:05

《LLM大语言模型+RAG实战+Langchain+ChatGLM-4+Transformer》

文章目录 Langchain的定义Langchain的组成三个核心组件实现整个核心组成部分为什么要使用LangchainLangchain的底层原理Langchain实战操作LangSmithLangChain调用LLM安装openAI库-国内镜像源代码运行结果小结使用Langchain的提示模板部署Langchain程序安装langserve代码请求格…...

编程日记 2025/5/19 6:28:51

【MySQL — 数据库增删改查操作】深入解析MySQL的 Update 和 Delete 操作

1. 测试数据 mysql> select* from exam1; ----------------------------------------- | id | name | Chinese | Math | English | ----------------------------------------- | 1 | 唐三藏 | 67.0 | 98.0 | 56.0 | | 2 | 孙悟空 | 87.0 | 78.…...

编程日记 2025/5/16 2:43:06

AnyThingLLM本地私有知识库搭建

***************************************************** 环境准备操作系统：Windows11 内存：32GB RAM 存储：预留 300GB 可用空间显存: 16G 网络: 100M带宽前置准备: 已安装ollama环境 deepseek本地大模型 ***************************…...

编程日记 2025/5/19 17:06:05

数仓ETL测试

提取，转换和加载有助于组织使数据在不同的数据系统中可访问，有意义且可用。ETL工具是用于提取，转换和加载数据的软件。在当今数据驱动的世界中，无论大小如何，都会从各种组织，机器和小工具中生成大量数据。 …...

编程日记 2025/5/20 10:48:35

leetcode——将有序数组转化为二叉搜索树（java）

给你一个整数数组 nums ，其中元素已经按升序排列，请你将其转换为一棵平衡二叉搜索树。示例 1： 输入：nums [-10,-3,0,5,9] 输出：[0,-3,9,-10,null,5] 解释：[0,-10,5,null,-3,null,9] 也将被视为正确答…...

编程日记 2025/5/21 1:27:04

蓝桥杯模拟算法：多项式输出

P1067 [NOIP2009 普及组] 多项式输出 - 洛谷 | 计算机科学教育新生态这道题是一道模拟题，我们需要分情况讨论，我们需要做一下分类讨论 #include <iostream> #include <cstdlib> using namespace std;int main() {int n;cin >> n;for…...

编程日记 2025/5/17 14:31:34

新鲜速递：DeepSeek-R1开源大模型本地部署实战—Ollama + MaxKB 搭建RAG检索增强生成应用

在AI技术快速发展的今天，开源大模型的本地化部署正在成为开发者们的热门实践方向。最火的莫过于吊打OpenAI过亿成本的纯国产DeepSeek开源大模型，就在刚刚，凭一己之力让英伟达大跌18%，纳斯达克大跌3.7%，足足是给中国AI产…...

编程日记 2025/5/18 21:50:14

【张雪峰高考志愿填报】合集

【张雪峰高考志愿填报】合集链接：https://pan.quark.cn/s/89a2d88fa807 高考结束，分数即将揭晓，志愿填报的关键时刻近在眼前！同学们，这可是人生的重要转折点，选对志愿，就像为未来铺就一条…...

编程日记 2025/5/20 0:47:24

【gRPC-gateway】option定义规则及HttpBody响应

HTTP Option 定义规则在 .proto 文件中，通过 google.api.http 注解定义 HTTP 路由规则，控制请求参数映射需要在.proto文件显式 import https://github.com/googleapis/googleapis/tree/master/google/api 一、HTTP Option 定义规则详解 1. 基础路由…...

编程日记 2025/5/19 10:33:42

rsync安装与使用-linux015

使用 rsync 可以非常高效地将文件或目录从一个服务器传输到另一个服务器。能力： 支持 64 位文件、64 位 inode、64 位时间戳、64 位长整型支持套接字对、符号链接、符号链接时间、硬链接、硬链接特殊文件、硬链接符号链接支持 IPv6、访问时间（atimes&…...

编程日记 2025/5/21 14:02:31

一种用于低成本水质监测的软传感器开源方法：以硝酸盐（NO3⁻）浓度为例

论文标题 A Soft Sensor Open-Source Methodology for Inexpensive Monitoring of Water Quality: A Case Study of NO3− Concentrations 作者信息 Antonio Jess Chaves, ITIS Software, University of Mlaga, 29071 Mlaga, Spain Cristian Martn, ITIS Software, Universi…...

编程日记 2025/5/19 12:30:45

剑指 Offer II 011. 0 和 1 个数相同的子数组

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20011.%200%20%E5%92%8C%201%20%E4%B8%AA%E6%95%B0%E7%9B%B8%E5%90%8C%E7%9A%84%E5%AD%90%E6%95%B0%E7%BB%84/README.md 剑指 Offer II 011. 0 和 1 个数相同的子…...

编程日记 2025/5/18 18:10:54

games101-作业3

由于此次试验需要加载模型，涉及到本地环节，如果是windows系统，需要对main函数中的路径稍作改变： 这么写需要： #include "windows.h" 该段代码： #include "windows.h" int main(int ar…...

编程日记 2025/5/18 5:24:01

信息安全专业优秀毕业设计选题汇总：热点选题

目录前言毕设选题开题指导建议更多精选选题选题帮助最后前言大家好,这里是海浪学长毕设专题! 大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理…...

编程日记 2025/5/21 16:57:32

AI协助探索AI新构型的自动化创新概念

训练AI自生成输出模块化代码，生成元代码级别的AI功能单元代码，然后再由AI组织为另一个AI，实现AI开发AI的能力；用AI协助探索迭代新构型AI将会出现，并成为一种新的技术路线潮流。有限结点，无限的连接形式&a…...

编程日记 2025/5/17 17:10:09

python——Django 框架

Django 框架 1、简介 Django 是用python语言写的开源web开发框架，并遵循MVC设计。 Django的**主要目的是简便、快速的开发数据库驱动的网站。**它强调代码复用，多个组件可以很方便的以"插件"形式服务于整个框架，Django有许多功能…...

编程日记 2025/5/16 4:15:18

SpringBoot基础概念介绍-数据源与数据库连接池

🙋大家好！我是毛毛张! 🌈个人首页： 神马都会亿点点的毛毛张毛毛张今天介绍的SpringBoot中的基础概念-数据源与数据库连接池，同时介绍SpringBoot整合两种连接池的教程文章目录 1 数据库与数据库管理系统2 JDBC与数…...

编程日记 2025/5/19 0:23:49

MYSQL 商城系统设计商品数据表的设计商品商品类别商品选项卡多表查询

介绍在开发商品模块时，通常使用分表的方式进行查询以及关联。在通过表连接的方式进行查询。每个商品都有不同的分类，每个不同分类下面都有商品规格可以选择，每个商品分类对应商品规格都有自己的价格和库存。在实际的开发中应该给这些表进行…...

编程日记 2025/5/19 7:29:06

视频网站服务器为什么需要使用负载均衡？

随着视频网站等娱乐活动的逐渐增加，进行使用的用户数量也在不断上升，大量的用户会给视频网站行业带来一定的访问压力，需要处理大量的媒体资料，比如上传视频图片和数据保存发布等内容，会消耗大量的带宽资源，…...

编程日记 2025/5/20 7:08:45

Golang Gin系列-9：Gin 集成Swagger生成文档

文档一直是一项乏味的工作（以我个人的拙见），但也是编码过程中最重要的任务之一。在本文中，我们将学习如何将Swagger规范与Gin框架集成。我们将实现JWT认证，请求体作为表单数据和JSON。这里唯一的先决条件是Gin服务器。…...

编程日记 2025/5/20 0:17:04

docker中运行的MySQL怎么修改密码

1，进入MySQL容器 docker exec -it 容器名 bash 我运行了 docker ps命令查看。正在运行的容器名称。可以看到MySQL的我起名为db docker exec -it db bash 这样就成功的进入到容器中了。 2，登录MySQL中 mysql -u 用户名 -p 回车密码 mysql -u root -p roo…...

编程日记 2025/5/18 1:13:16

智能汽车网络安全威胁报告

近年来随着智能汽车技术的快速发展，针对智能汽车的攻击也逐渐从传统的针对单一车辆控制器的攻击转变为针对整车智能化服务的攻击，包括但不限于对远程控制应用程序的操控、云服务的渗透、智能座舱系统的破解以及对第三方应用和智能服务的攻击。随着WP.29 …...

编程日记 2025/5/21 16:37:30

[EAI-026] DeepSeek-VL2 技术报告解读

Paper Card 论文标题：DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding 论文作者：Zhiyu Wu, Xiaokang Chen, Zizheng Pan, Xingchao Liu, Wen Liu, Damai Dai, Huazuo Gao, Yiyang Ma, Chengyue Wu, Bin…...

编程日记 2025/5/17 18:29:55

【腾讯云】腾讯云docker搭建单机hadoop

这里写目录标题下载jdk hadoop修改hadoop配置编写Dockerfile构建镜像运行镜像创建客户端下载jdk hadoop wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz wget --no-check-certificate https://repo.huaweicloud.…...

编程日记 2025/5/20 4:40:13

【回溯+剪枝】电话号码的字母组合括号生成

文章目录 17. 电话号码的字母组合解题思路：回溯哈希表22. 括号生成解题思路：回溯剪枝 17. 电话号码的字母组合 17. 电话号码的字母组合给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。答案可以按任意顺序返回。 …...

编程日记 2025/5/20 16:28:14

Day29（补）-【AI思考】-精准突围策略——从“时间贫困“到“效率自由“的逆袭方案

文章目录精准突围策略——从"时间贫困"到"效率自由"的逆袭方案**第一步：目标熵减工程（建立四维坐标）** 与其他学习方法的结合**第二步：清华方法本土化移植** 与其他工具对比**~~第三步：游戏化改造…...

编程日记 2025/5/20 7:50:09

进程间通信

进程间通信进程间通信介绍进程间通信⽬的数据传输：⼀个进程需要将它的数据发送给另⼀个进程资源共享：多个进程之间共享同样的资源。通知事件：⼀个进程需要向另⼀个或⼀组进程发送消息，通知它（它们&#xff09…...

编程日记 2025/5/18 15:08:05

【PyTorch】6.张量运算函数：一键开启！PyTorch 张量函数的宝藏工厂

目录 1. 常见运算函数个人主页：Icomi 专栏地址：PyTorch入门在深度学习蓬勃发展的当下，PyTorch 是不可或缺的工具。它作为强大的深度学习框架，为构建和训练神经网络提供了高效且灵活的平台。神经网络作为人工智能的核心技术&…...

编程日记 2025/5/19 8:10:42

2024年数据记录

笔者注册时间超过98.06%的用户 CSDN 原力是衡量一个用户在 CSDN 的贡献和影响力的系统，笔者原力值超过99.99%的用户其他年度数据...

编程日记 2025/5/17 18:00:27

hot100（4）

31.437. 路径总和 III - 力扣（LeetCode） 方法一：递归、dfs 由树的结构想到使用递归解决，且路径相关问题容易考虑到使用dfs和bfs. 使用dfs解决，这里关键在于如何设计递归函数。递归函数的参数：root,tar…...

编程日记 2025/5/20 13:25:59

海浪波高预测（背景调研）

#新星杯14天创作挑战营第7期# ps：图片由通义千问生成历史工作： 针对更高细粒度、更高精度的波浪高度预测任务： Mumtaz Ali 等人提出了一种多元线性回归模型（MLR-CWLS），该模型利用协方差加权最小二乘法&a…...

编程日记 2025/5/19 12:14:40

C++ 3

delete 和 free 有什么区别？ delete和free都是用来释放动态分配的内存，但它们有不同的使用方式： 语法： ○ delete是C中的关键字，用于释放由new分配的对象。 ○ free是C语言中的函数，通常包含在<stdlib…...

编程日记 2025/5/20 23:01:19

【逻辑学导论】1.4论证与说明

许多语段看起来好像是论证，实际上不是论证而是说明。即使有某些前提或结论指示词出现，例如“因为”“由于”“因”“所以”等，也不能解决问题，这些语词既可用在论证中也可用在说明中（虽然“因……”一词有时可以指时间…...

编程日记 2025/5/19 17:01:06

vue3+elementPlus之后台管理系统（从0到1）(day4-完结)

面包屑创建一个面包屑组件将路由导入然后格式化map对象 key-value 将当前路由的key和value获取然后存入list数组中遍历list数据，渲染内容  <template><el-breadcrumb separator">"><el-breadcrum…...

编程日记 2025/5/19 12:15:06

Python标准库 - os (2) 进程管理

文章目录 3 进程管理3.1 进程状态和控制3.2 进程优先级3.3 程序段控制3.4 其他 4 创建子进程4.1 创建子进程常见函数4.2 spawn*族函数4.3 exec*族函数 5 子进程管理5.1 创建子进程触发事件5.2 等待子进程执行完5.3 子进程的状态 os模块提供了各种操作系统接口。包括环境变量、进…...

编程日记 2025/5/19 3:01:34

单细胞-第四节多样本数据分析,下游画图

文件在单细胞\5_GC_py\1_single_cell\2_plots.Rmd 1.细胞数量条形图 rm(list ls()) library(Seurat) load("seu.obj.Rdata")dat as.data.frame(table(Idents(seu.obj))) dat$label paste(dat$Var1,dat$Freq,sep ":") head(dat) library(ggplot2) lib…...

编程日记 2025/5/19 5:44:10

【2024年华为OD机试】(B卷,100分)- 热点网站统计（Java JS PythonC/C++）

一、问题描述题目描述企业路由器的统计页面需要动态统计公司访问最多的网页URL的Top N。设计一个算法，能够高效动态统计Top N的页面。输入描述每一行都是一个URL或一个数字： 如果是URL，代表一段时间内的网页访问。如果是数字N&#…...

编程日记 2025/5/21 10:16:04

脚本运行禁止：npm 无法加载文件，因为在此系统上禁止运行脚本

问题与处理策略 1、问题描述 npm install -D tailwindcss执行上述指令，报如下错误 npm : 无法加载文件 D:\nodejs\npm.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID135170 中的 about_…...

编程日记 2025/5/18 20:02:18