当前位置：首页 > news >正文

Kronecker分解（K-FAC）：让自然梯度在深度学习中飞起来

news 来源：原创 2025/9/14 0:04:08

Kronecker分解（K-FAC）：让自然梯度在深度学习中飞起来

在深度学习的优化中，自然梯度下降（Natural Gradient Descent）是一个强大的工具，它利用Fisher信息矩阵（FIM）调整梯度方向，让参数更新更高效。然而，Fisher信息矩阵的计算复杂度是个大难题——对于参数量巨大的神经网络，直接计算和求逆几乎是不可能的。这时，Kronecker分解（Kronecker-Factored Approximate Curvature，简称K-FAC）登场了。它通过巧妙的近似，让自然梯度在深度学习中变得实用。今天，我们就来聊聊K-FAC的原理、优势，以及参数正交性如何给它加分。

Fisher信息矩阵的挑战

Fisher信息矩阵 ( $I(\theta)$ ) 衡量了模型输出对参数 ( $\theta$ ) 的敏感度，在自然梯度下降中的更新公式是：

$\theta_{t+1} = \theta_t - \eta I(\theta)^{-1} \frac{\partial L}{\partial \theta}$

这里，( $I(\theta)^{-1}$ ) 是Fisher信息矩阵的逆，起到“校正”梯度的作用。但问题来了：

存储复杂度：如果模型有 ( $n$ ) 个参数，( $I(\theta)$ ) 是一个 ( $\times n$ ) 的矩阵，需要 ( $O(n^2)$ ) 的存储空间。
计算复杂度：求逆需要 ( $O(n^3)$ ) 的时间复杂度。

对于一个有百万参数的神经网络，( $n^2$ ) 和 ( $n^3$ ) 是天文数字，直接计算完全不现实。K-FAC的出现，就是要解决这个“卡脖子”的问题。

什么是Kronecker分解（K-FAC）？

K-FAC是一种近似方法，全称是“Kronecker-Factored Approximate Curvature”。它的核心思想是利用神经网络的层级结构，将Fisher信息矩阵分解成小块矩阵，然后用Kronecker乘积（一种特殊的矩阵乘法）来近似表示。这样，既降低了计算成本，又保留了自然梯度的大部分优势。

通俗比喻

想象你在整理一个巨大的仓库（Fisher信息矩阵），里面堆满了杂乱的货物（参数间的关系）。直接搬运整个仓库太费力，而K-FAC就像把仓库分成几个小隔间（每一层网络一个），每个隔间用两个简单清单（小矩阵）描述货物分布。这样，你不用搬整个仓库，只需处理小隔间，就能大致知道货物的布局。

K-FAC的原理

1. 分层近似

神经网络通常是分层的，每一层有自己的权重（例如 ( $W_l$ )）。K-FAC假设Fisher信息矩阵 ( $I(\theta)$ ) 对不同层之间的参数交叉项近似为零，只关注每层内部的参数关系。这样，( $I(\theta)$ ) 变成一个块对角矩阵（block-diagonal matrix），每个块对应一层：

$I(\theta) \approx \text{diag}(I_1, I_2, \dots, I_L)$

其中 ( $I_l$ ) 是第 ( $l$ ) 层的Fisher信息矩阵。

2. Kronecker分解

对于每一层 ( $l$ )，权重 ( $W_l$ ) 是一个矩阵（比如 ( $\times n$ )）。对应的Fisher信息矩阵 ( $I_l$ ) 本来是一个 ( $\cdot n) \times (m \cdot n)$ ) 的大矩阵，直接计算很麻烦。K-FAC观察到，神经网络的梯度可以分解为输入和输出的贡献，于是近似为：

$I_l \approx A_l \otimes G_l$

( $A_l$ )：输入激活的协方差矩阵（大小 ( $\times m$ )），表示前一层输出的统计特性。
( $G_l$ )：梯度相对于输出的协方差矩阵（大小 ( $\times n$ )），表示当前层输出的统计特性。
( $\otimes$ )：Kronecker乘积，将两个小矩阵“组合”成一个大矩阵。后文有解释。

3. 高效求逆

Kronecker乘积有个妙处：如果 ( $I_l = A_l \otimes G_l$ )，其逆可以通过小矩阵的逆计算：

$I_l^{-1} = A_l^{-1} \otimes G_l^{-1}$

( $A_l$ ) 是 ( $\times m$ )，求逆是 ( $O(m^3)$ )。
( $G_l$ ) 是 ( $\times n$ )，求逆是 ( $O(n^3)$ )。

相比直接求 ( $\cdot n) \times (m \cdot n)$ ) 矩阵的 ( $O((mn)^3)$ )，K-FAC把复杂度降到了 ( $O(m^3 + n^3)$ )，通常 ( $m$ ) 和 ( $n$ ) 远小于 ( $\cdot n$ )，节省巨大。

K-FAC的数学细节

假设第 ( $l$ ) 层的输出为 ( $a_l = W_l h_{l-1}$ )（( $h_{l-1}$ ) 是前一层激活），损失为 ( $L$ )。Fisher信息矩阵的精确定义是：

$I_l = E\left[ \text{vec}\left( \frac{\partial L}{\partial a_l} h_{l-1}^T \right) \text{vec}\left( \frac{\partial L}{\partial a_l} h_{l-1}^T \right)^T \right]$

K-FAC近似为：

$I_l \approx E\left[ h_{l-1} h_{l-1}^T \right] \otimes E\left[ \frac{\partial L}{\partial a_l} \frac{\partial L}{\partial a_l}^T \right] = A_l \otimes G_l$

( $A_l = E[h_{l-1} h_{l-1}^T]$ )：输入协方差。
( $G_l = E\left[ \frac{\partial L}{\partial a_l} \frac{\partial L}{\partial a_l}^T \right]$ )：输出梯度协方差。

自然梯度更新变成：

$\text{vec}(\Delta W_l) = (A_l^{-1} \otimes G_l^{-1}) \text{vec}\left( \frac{\partial L}{\partial W_l} \right)$

实际中，( $A_l$ ) 和 ( $G_l$ ) 通过小批量数据的平均值估计，动态更新。

K-FAC的优势

1. 计算效率

从 ( $O(n^3)$ ) 降到 ( $O(m^3 + n^3)$ )，K-FAC让自然梯度在大型网络中可行。例如，一个隐藏层有 1000 个神经元，普通方法需要处理百万级矩阵，而K-FAC只需处理千级矩阵。

2. 保留曲率信息

虽然是近似，K-FAC依然捕捉了每层参数的局部曲率，帮助模型更快收敛，尤其在损失函数表面复杂时。

3. 并行性

每一层的 ( $A_l$ ) 和 ( $G_l$ ) 可以独立计算，非常适合GPU并行加速。

参数正交性如何助力K-FAC？

参数正交性是指Fisher信息矩阵的非对角元素 ( $I_{ij} = 0$ )（( $\neq j$ )），意味着参数间信息独立。K-FAC天然假设层间正交（块对角结构），但层内参数的正交性也能进一步简化计算。

1. 更接近对角形式

如果模型设计时让权重尽量正交（比如通过正交初始化，( $W_l W_l^T = I$ )），( $A_l$ ) 和 ( $G_l$ ) 的非对角元素会减小，( $I_l$ ) 更接近对角矩阵。求逆时计算量进一步降低，甚至可以用简单的逐元素除法近似。

2. 提高稳定性

正交参数减少梯度方向的耦合，自然梯度更新更稳定，避免震荡。例如，卷积网络中正交卷积核可以增强K-FAC的效果。

3. 实际应用

在RNN或Transformer中，正交初始化（如Hennig的正交矩阵）结合K-FAC，能显著提升训练速度和性能。

K-FAC的应用场景

深度神经网络：K-FAC在DNN优化中加速收敛，常用于图像分类任务。
强化学习：如ACKTR算法，结合K-FAC改进策略优化。
生成模型：变分自编码器（VAE）中，K-FAC优化变分参数。

总结

Kronecker分解（K-FAC）通过分层和Kronecker乘积，将Fisher信息矩阵的计算复杂度从“天文数字”降到可接受范围，让自然梯度下降在深度学习中大放异彩。它不仅高效，还保留了曲率信息，适合现代大规模模型。参数正交性则是它的好帮手，通过减少参数间干扰，让K-FAC更简单、更稳定。下次训练网络时，不妨试试K-FAC，也许会带来惊喜！

补充：解释Kronecker乘积

详细解释Kronecker乘积（Kronecker Product）的含义，以及为什么K-FAC观察到神经网络的梯度可以分解为输入和输出的贡献，从而将其近似为 ( $I_l \approx A_l \otimes G_l$ )。

什么是Kronecker乘积？

Kronecker乘积是一种特殊的矩阵运算，用符号 ( $\otimes$ ) 表示。它可以将两个较小的矩阵“组合”成一个更大的矩阵。具体来说，假设有两个矩阵：

( $A$ ) 是 ( $\times m$ ) 的矩阵。
( $G$ ) 是 ( $\times n$ ) 的矩阵。

它们的Kronecker乘积 ( $\otimes G$ ) 是一个 ( $\cdot n) \times (m \cdot n)$ ) 的矩阵，定义为：

$\otimes G = \begin{bmatrix} a_{11} G & a_{12} G & \cdots & a_{1m} G \\ a_{21} G & a_{22} G & \cdots & a_{2m} G \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} G & a_{m2} G & \cdots & a_{mm} G \end{bmatrix}$

其中，( $a_{ij}$ ) 是 ( $A$ ) 的第 ( $i$ ) 行第 ( $j$ ) 列元素，( $G$ ) 是整个 ( $\times n$ ) 矩阵。也就是说，( $A$ ) 的每个元素 ( $a_{ij}$ ) 都被放大为一个 ( $\times n$ ) 的块矩阵 ( $a_{ij} G$ )。

通俗解释

想象你在做一个拼图，( $A$ ) 是一个 ( $\times m$ ) 的模板，告诉你每个位置的重要性（比如协方差）；( $G$ ) 是一个 ( $\times n$ ) 的小图案。Kronecker乘积就像把 ( $G$ ) 这个图案按照 ( $A$ ) 的模板放大排列，形成一个更大的拼图，最终大小是 ( $\cdot n) \times (m \cdot n)$ )。

例子

假设 ( $\begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$ )（2×2），( $\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$ )（2×2），则：

$\otimes G = \begin{bmatrix} 1 \cdot \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} & 2 \cdot \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} \\ 3 \cdot \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} & 4 \cdot \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} \end{bmatrix}$

$\begin{bmatrix} 0 & 1 & 0 & 2 \\ 1 & 0 & 2 & 0 \\ 0 & 3 & 0 & 4 \\ 3 & 0 & 4 & 0 \end{bmatrix}$

结果是一个 4×4 矩阵（( $\cdot 2 \times 2 \cdot 2$ )）。

K-FAC为何用Kronecker乘积近似？

现在我们来看K-FAC为什么观察到神经网络的梯度可以分解为输入和输出的贡献，并用 ( $I_l \approx A_l \otimes G_l$ ) 来近似Fisher信息矩阵。

背景：Fisher信息矩阵的定义

对于第 ( $l$ ) 层的权重 ( $W_l$ )（一个 ( $\times n$ ) 矩阵），Fisher信息矩阵 ( $I_l$ ) 是关于 ( $W_l$ ) 的二阶统计量。假设输出为 ( $a_l = W_l h_{l-1}$ )（( $h_{l-1}$ ) 是前一层激活），损失为 ( $L$ )，精确的Fisher信息矩阵是：

$I_l = E\left[ \text{vec}\left( \frac{\partial L}{\partial a_l} h_{l-1}^T \right) \text{vec}\left( \frac{\partial L}{\partial a_l} h_{l-1}^T \right)^T \right]$

这里：

( $\frac{\partial L}{\partial a_l}$ ) 是损失对输出的梯度（大小为 ( $\times 1$ )）。
( $h_{l-1}$ ) 是输入激活（大小为 ( $\times 1$ )）。
( $\frac{\partial L}{\partial a_l} h_{l-1}^T$ ) 是 ( $W_l$ ) 的梯度（( $\times n$ ) 矩阵）。
( $\text{vec}(\cdot)$ ) 将矩阵拉成向量，( $I_l$ ) 是 ( $\cdot n) \times (m \cdot n)$ ) 的。

直接计算这个期望需要存储和操作一个巨大矩阵，复杂度为 ( $O((mn)^2)$ )。

K-FAC的观察：梯度分解

K-FAC注意到，神经网络的梯度 ( $\frac{\partial L}{\partial W_l} = \frac{\partial L}{\partial a_l} h_{l-1}^T$ ) 天然具有“输入”和“输出”的分离结构：

输入贡献：( $h_{l-1}$ ) 是前一层的激活，决定了梯度的“空间结构”。
输出贡献：( $\frac{\partial L}{\partial a_l}$ ) 是当前层的输出梯度，决定了梯度的“强度”。

这两个部分是外积（outer product）的形式，提示我们可以分别统计它们的特性，而不是直接算整个大矩阵的协方差。

分解为输入和输出的协方差

K-FAC假设梯度的期望可以近似分解为输入和输出的独立统计量：

$I_l \approx E\left[ h_{l-1} h_{l-1}^T \right] \otimes E\left[ \frac{\partial L}{\partial a_l} \frac{\partial L}{\partial a_l}^T \right]$

( $A_l = E[h_{l-1} h_{l-1}^T]$ )：输入激活的协方差矩阵（( $\times m$ )），捕捉了 ( $h_{l-1}$ ) 的统计特性。
( $G_l = E\left[ \frac{\partial L}{\partial a_l} \frac{\partial L}{\partial a_l}^T \right]$ )：输出梯度的协方差矩阵（( $\times n$ )），捕捉了后续层反馈的统计特性。

为什么用Kronecker乘积 ( $\otimes$ )？因为梯度 ( $\frac{\partial L}{\partial W_l}$ ) 是一个矩阵，其向量化形式 ( $\text{vec}(\frac{\partial L}{\partial W_l})$ ) 的协方差天然可以用输入和输出的外积结构表示。Kronecker乘积正好能将 ( $A_l$ ) 和 ( $G_l$ ) “组合”成一个 ( $\cdot n) \times (m \cdot n)$ ) 的矩阵，与 ( $I_l$ ) 的维度一致。

为什么这个近似合理？

结构假设：
- 神经网络的分层设计让输入 ( $h_{l-1}$ ) 和输出梯度 ( $\frac{\partial L}{\partial a_l}$ ) 在统计上相对独立。
- 这种分解假设 ( $h_{l-1}$ ) 和 ( $\frac{\partial L}{\partial a_l}$ ) 的相关性主要通过外积体现，忽略了更高阶的交叉项。
维度匹配：
- ( $A_l \otimes G_l$ ) 生成一个 ( $\cdot n) \times (m \cdot n)$ ) 矩阵，与 ( $I_l$ ) 的维度一致。
- 它保留了输入和输出的主要统计信息，同时简化了计算。
经验验证：
- 实验表明，这种近似在实践中效果很好，尤其在全连接层和卷积层中，能捕捉梯度曲率的主要特征。

为什么分解为输入和输出的贡献？

回到K-FAC的观察：神经网络的梯度 ( $\frac{\partial L}{\partial W_l} = \frac{\partial L}{\partial a_l} h_{l-1}^T$ ) 是一个外积形式，这种结构启发我们分开考虑：

输入端（( $h_{l-1}$ )）：它来自前一层，反映了数据的空间分布（如激活的协方差）。
输出端（( $\frac{\partial L}{\partial a_l}$ )）：它来自后续层，反映了损失对当前输出的敏感度。

在神经网络中，梯度本质上是“输入”和“输出”交互的结果。K-FAC利用这一点，将Fisher信息矩阵分解为两部分的乘积，而不是直接处理整个权重矩阵的复杂关系。这种分解不仅符合直觉（网络是层层传递的），也大大降低了计算负担。

总结

Kronecker乘积 ( $\otimes$ ) 是K-FAC的核心工具，它将输入协方差 ( $A_l$ ) 和输出梯度协方差 ( $G_l$ ) 组合成一个大矩阵，近似表示Fisher信息矩阵 ( $I_l$ )。这种近似的依据是神经网络梯度的外积结构——输入和输出的贡献可以分开统计。K-FAC通过这种方式，把原本难以计算的 ( $\cdot n) \times (m \cdot n)$ ) 矩阵问题，简化成了两个小矩阵的操作，既高效又实用。

后记

2025年2月24日22点48分于上海，在Grok3大模型辅助下完成。

Kronecker分解（K-FAC）：让自然梯度在深度学习中飞起来

Kronecker分解（K-FAC）：让自然梯度在深度学习中飞起来在深度学习的优化中，自然梯度下降（Natural Gradient Descent）是一个强大的工具，它利用Fisher信息矩阵（FIM）调整梯度…...

编程日记 2025/9/14 0:04:08

Ubutu部署WordPress

前言什么是word press WordPress是一种使用PHP语言开发的建站系统，用户可以在支持PHP和MySQL数据库的服务器上架设WordPress。它是一个开源的内容管理系统（CMS），允许用户构建动态网站和博客。现在的WordPress已经强大到几乎可以…...

编程日记 2025/9/14 9:10:45

请解释 React 中的 Hooks，何时使用 Hooks 更合适？

一、Hooks 核心理解 1. 什么是 Hooks？ Hooks 是 React 16.8 引入的函数式编程范式，允许在函数组件中使用状态管理和生命周期能力。就像给函数组件装上了"智能芯片"，让原本只能做简单展示的组件具备了处理复杂逻辑的能力。 2. 类…...

编程日记 2025/9/10 15:57:55

在Linux桌面上创建Idea启动快捷方式

1、在桌面新建idea.desktop vim idea.desktop [Desktop Entry] EncodingUTF-8 NameIntelliJ IDEA CommentIntelliJ IDEA Exec/home/software/idea-2021/bin/idea.sh Icon/home/software/idea-2021/bin/idea.svg Terminalfalse TypeApplication CategoriesApplication;Developm…...

编程日记 2025/9/13 9:03:55

如何在netlify一键部署静态网站

1. 准备你的项目确保你的静态网站文件（如 HTML、CSS、JavaScript、图片等）都在一个文件夹中。通常，项目结构如下： my-static-site/ ├── index.html ├── styles/ │ └── styles.css └── scripts/└── script.js…...

编程日记 2025/9/14 15:04:01

网页制作09-html,css,javascript初认识のhtml如何使用表单

表单主要用来收集客户端提供的相关信息。,使网页具有交互作用。在网页制作的过程中，常常需要使用表单，如进行会员注册，网上调查和搜索等访问者可以使用如文本域列表框，复选框以及单选按钮之类的表单对象输入信息，然后…...

编程日记 2025/9/13 22:59:17

Linux 命令大全完整版（03）

1. 系统管理命令 screen 功能说明：多重视窗管理程序。语　　法：screen [-AmRvx -ls -wipe][-d <作业名称>][-h <行数>][-r <作业名称>][-s <shell>][-S <作业名称>]补充说明：screen 为多重视窗管理程序。此处…...

编程日记 2025/9/14 5:40:27

【新人系列】Python 入门专栏合集

✍ 个人博客：https://blog.csdn.net/Newin2020?typeblog 📝 专栏地址：https://blog.csdn.net/newin2020/category_12801353.html 📣 专栏定位：为 0 基础刚入门 Python 的小伙伴提供详细的讲解，也欢迎大佬们…...

编程日记 2025/9/14 15:06:39

嵌入式软件数据结构（一）链表知识点专栏附源码附原理

嵌入式软件数据结构（一）链表知识点专栏附源码附原理前言： 首先我们要知道什么是链表？ 什么是链表，链表是一种通过指针串联在一起的线性结构，每一个节点由两部分组成，一个是数据域一个是指…...

编程日记 2025/9/11 16:54:15

order by布尔盲注、时间盲注

pdo防御下，order by、limit不能参数绑定，可以进行sql注入案例：靶场的less-46 布尔盲注： import requests from lxml import htmldef get_id_one(URL, paload):res requests.get(urlURL, paramspaload)tree html.fromstring(…...

编程日记 2025/9/14 15:04:01

数据结构与算法-图论-最短路-拓展运用

选择最佳路线分析： 这是一道图论中的最短路径问题，目标是在给定的公交网络中，找到从琪琪家附近的车站出发，到她朋友家附近车站（编号为 s ）的最短时间。以下是对该问题的详细分析： 问题关键信息…...

编程日记 2025/9/14 3:43:50

数据开发的简历及面试

简历个人信息: 邮箱别写QQ邮箱, 写126邮箱/189邮箱等学历>>本科及以上写,大专及以下不写专业>>非计算机专业不写政治面貌>>党员写, 群众不用写掌握的技能: 精通 > 熟悉 > 了解专业工具: 大数据相关的公司: 如果没有可以写的>>金融服…...

编程日记 2025/9/13 18:54:06

android s下make otapackage编译失败

[DESCRIPTION] android s上，我司推荐使用split build的方式进行编译，但是部分客户依旧会采用AOSP full build的方式进行编译。而我司在这块release的时候，并未进行验证。因此执行make otapackage的时候，会出现如下报错。 [0312/…...

编程日记 2025/9/13 23:42:58

【算法通关村 Day12】字符串

字符串青铜挑战字符串转换转换为小写字母给你一个字符串 s ，将该字符串中的大写字母转换成相同的小写字母，返回新的字符串。leetcode791 public class ToLowerCase {/*** 将字符串中的大写字母转换为小写字母。** param s 输入字符串* return 转换…...

编程日记 2025/9/14 1:21:04

grafana K6压测

文章目录 install and runscript.jsoptions最佳实践 report 解析 https://grafana.com/docs/k6/latest/get-started install and run install # mac brew install k6当前目录下生成压测脚本 # create file script.js k6 new [filename] # create file ‘script.js’ in …...

编程日记 2025/9/11 14:12:38

SQLite 安装教程以及可视化工具介绍

目录简述 1. Windows 系统安装 1.1 下载预编译的二进制文件 1.2 解压文件 1.3 配置环境变量 1.4 验证安装 2. GUI 可视化工具 2.1 免费工具 2.1.1 DB Browser for SQLite 2.1.2 SQLiteStudio 2.1.3 SQLite Expert 2.1.4 SQLiteGUI 2.1.5 Antares SQL 2.1.6 DbGa…...

编程日记 2025/9/13 21:49:59

谷云科技iPaaS×DeepSeek：构建企业智能集成的核心底座

2025年，DeepSeek大模型的爆发式普及，正引领软件行业实现 “智能跃迁”。从代码生成到系统集成，从企业级应用到消费级产品，自然语言交互能力已成为新一代软件的核心竞争力。据行业分析，超60%的软件企业已启动大模型适配…...

编程日记 2025/9/11 7:26:05

mac 下 java 调用 gurobi 不能加载 jar

在 mac 电脑中的 java 始终不能加载 gurobi 的 jar 包，java 的开发软件 eclipse，idea 总是显示找不到 gurobi 的 jar 包，但是 jar 包明明就在那里。摸索了三个小时，最后发现原因竟然是： jar 包太新，替换…...

编程日记 2025/9/13 19:39:02

京准电钟：NTP精密时钟服务器在自动化系统中的作用

京准电钟：NTP精密时钟服务器在自动化系统中的作用京准电钟：NTP精密时钟服务器在自动化系统中的作用 NTP精密时钟服务器在自动化系统中的作用非常重要，特别是在需要高精度时间同步的场景中。NTP能够提供毫秒级的时间同步精度，这…...

编程日记 2025/9/8 15:34:01

京东-零售-数据研发面经【附答案】

近期，有参加春招的同学和我交流了他的面试历程，我针对这些内容进行了细致的总结与梳理，并在此分享出来，希望能助力大家学习与借鉴。 1.八股文 1）HashMap的底层原理是什么【见V6.0面试笔记 Java基础部分第19题】 2&am…...

编程日记 2025/9/7 11:42:42

面试之《react hooks在源码中是怎么实现的？》

要深入理解 React Hooks 在源码中的实现，可以从以下几个关键方面来剖析： 核心数据结构在 React 内部，使用链表来管理每个函数组件的 Hooks。每个 Hook 对应一个节点，这些节点通过 next 指针相连。以下是简化后的 Hook 节点结构…...

编程日记 2025/9/10 4:35:32

泛型的约束有哪几种？（C#）

目录 1 值类型约束（where T : struct） 2 引用类型约束（where T : class） 3 无参构造函数约束（where T : new ()） 4 基类约束（where T : <基类名>） 5 接口约束&#xff08…...

编程日记 2025/9/13 16:57:17

Harmony开发笔记（未完成）

一、感想作为一名拥有11年经验的Android开发者，我亲历了Android从高速发展到如今面临“僧多粥少”的过程。技术的世界瞬息万变，没有一种技术能够让人依赖一辈子。去年初，我自学了鸿蒙系统，并顺利通过了鸿蒙官方的初级和高级认。…...

编程日记 2025/9/14 0:50:04

DevSecOps普及：安全与开发运维的深度融合

一、引言随着软件开发模式的演进，DevOps已成为现代软件工程的主流实践。然而，在传统的DevOps流程中，安全往往被视为开发和运维之外的额外环节，导致安全漏洞在产品交付后才被发现，增加了修复成本和风险。为了解决这一…...

编程日记 2025/9/12 0:43:15

JavaScript 系列之：Ajax、Promise、Axios

前言同步：会阻塞。同步代码按照编写的顺序逐行依次执行，只有当前的任务完成后，才会执行下一个任务。异步：异步代码不会阻塞后续代码的执行。当遇到异步操作时，JavaScript 会将该操作放入任务队列中，继续…...

编程日记 2025/9/12 14:44:35

為什麼使用不限量動態住宅IP採集數據？

在瞭解“不限量動態住宅IP數據採集”之前，我們需要先搞清楚什麼是“動態住宅IP”。簡單來說，動態IP是一種會定期變化的IP地址，通常由互聯網服務提供商（ISP）分配給家庭用戶。與固定IP（靜態IP）不同…...

编程日记 2025/9/11 17:47:33

vue3-06vue2(Object.defineProperty)与vue3(基于ES6的Proxy)的响应式原理对比

1.vue2响应原理 1.1对于对象与数组对象类型: 通过 object.defineProperty() 对属性的读取、修改进行拦截 (数据劫持) 数组类型:通过重写更新数组的一系列方法来实现拦截。 (对数组的变更方法进行了包裹) Vue2的响应式是基于Object.defineProperty实现的 1.2 基本原理Objec…...

编程日记 2025/9/12 10:09:20

MySQL数据库入门到大蛇尚硅谷宋红康老师笔记高级篇 part 4

第04章_逻辑架构 1. 逻辑架构剖析首先MySQL是典型的C/S架构，即Client/Server架构，服务器端程序使用的mysqld。不论客户端进程和服务器进程是采用哪种方式进行通信，最后实现的效果都是：客户端进程向服务器进程发送一段文本&…...

编程日记 2025/9/11 8:29:00

清华大学DeepSeek文档下载，清华大学deepseek下载（完成版下载）

文章目录前言一、清华大学DeepSeek使用手册下载二、清华大学DeepSeek使用手册思维导图前言这是一篇关于清华大学deepseek使用手册pdf的介绍性文章，主要介绍了DeepSeek的定义、功能、使用方法以及如何通过提示语设计优化AI性能。以下是对这些核心内容的简要概述&…...

编程日记 2025/9/13 17:03:43

HDFS数据多目录、异构存储、回收站

1.NameNode元数据多目录 HDFS集群中可以在hdfs-site.xml中配置“dfs.namenode.name.dir”属性来指定NameNode存储数据的目录，默认NameNode数据存储在${hadoop.tmp.dir}/dfs/name目录，“hadoop.tmp.dir”配置项在core-site.xml中。我们也可以将NameNod…...

编程日记 2025/9/11 14:57:04

windows设置暂停更新时长

windows设置暂停更新时长 win11与win10修改注册表操作一致 ，系统界面不同 1.打开注册表 2.在以下路径 \HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsUpdate\UX\Settings 右键新建 DWORD 32位值，名称为FlightSettingsMaxPauseDays 根据需求填写数…...

编程日记 2025/9/11 1:26:00

04 路由表的IP分组传输过程

目录 1、路由表的核心结构 2、IP分组传输过程和数据包转发过程 2.1、IP分组传输过程 2.2、数据包转发过程 2.3、IP分组传输过程和数据包转发的区别 3、数据包的变化 3.1、拓扑结构 3.2、传输过程详解（主机A → 主机B） 3.2.1、主机A发送数据 3.2…...

编程日记 2025/9/13 3:34:24

实现Python+Django+Transformers库中的BertTokenizer和BertModel来进行BERT预训练，并将其应用于商品推荐功能

一、环境安装准备 #git拉取 bert-base-chinese 文件#创建虚拟运行环境python -m venv myicrplatenv#刷新source myicrplatenv/bin/activate#python Django 集成nacospip install nacos-sdk-python#安装 Djangopip3 install Django5.1#安装 pymysql settings.py 里面需要 # 强制…...

编程日记 2025/9/10 20:06:03

数据结构---定长顺序表

1.线性表的定义存在唯一的一个被称为“第一个”的数据元素；存在唯一的一个被称为“最后一个”的数据元素；除第一个之外，集合中的每一个数据元素都只有一个前驱；除最后一个之外，集合中的每一个数据元素都只有一个后继…...

编程日记 2025/9/12 13:08:46

Elasticsearch 相关面试题

1. Elasticsearch基础 Elasticsearch是什么？ Elasticsearch是一个分布式搜索引擎，基于Lucene实现。 Mapping是什么？ES中有哪些数据类型？ Mapping：定义字段的类型和属性。数据类型：text、keyword、integer、…...

编程日记 2025/9/12 20:17:55

冒泡排序（Bubble Sort）详细教程：Java实现与优化

一、什么是冒泡排序？ 冒泡排序（Bubble Sort）是一种简单的排序算法，它的基本思想是通过两两比较相邻元素，将较大的元素“冒泡”到数列的末尾。每一轮遍历会将一个较大的元素放到正确的位置，直到整个数组有序…...

编程日记 2025/9/14 4:57:41

【git】【reset全解】Git 回到上次提交并处理提交内容的不同方式

Git 回到上次提交并处理提交内容的不同方式在 Git 中，若要回到上次提交并对提交内容进行不同处理，可使用 git reset 命令搭配不同选项来实现。以下为你详细介绍操作步骤及各选项的作用。 1. 查看提交历史在操作之前，可通过以下命令查看提…...

编程日记 2025/9/13 5:08:03

矩阵的正定（Positive Definite）与负定（Negative Definite）：从Fisher信息矩阵看“曲率”的秘密

矩阵的正定与负定：从Fisher信息矩阵看“曲率”的秘密在数学和统计学中，矩阵的“正定性”和“负定性”是一对重要概念，尤其在优化、统计推断和机器学习中频繁出现。比如，Fisher信息矩阵（Fisher Information Matrix, F…...

编程日记 2025/9/12 9:23:58

Uniapp 小程序：语音播放与暂停功能的实现及优化方案

界面部分 //开启语音 <button class"open" v-if"showPlayfalse" click"playText">这是开启播放的图片</button >//关闭语音 <button class"close" v-if"showPlaytrue" click"stopText">这是…...

编程日记 2025/9/12 13:55:19

Python基于机器学习的微博舆情情感分析系统，微博评论情感分析可视化系统（全新升级）

大家好，今天为大家带来的是Python基于机器学习的微博舆情情感分析系统，微博评论情感分析可视化系统，这个系统在原本的系统上进行优化升级。算法从开源框架的 snlow ，到支持机器学习的 lstm 算法可以手动输入语句，进行…...

编程日记 2025/9/13 6:48:13

IP-------GRE和MGRE

4.GRE和MGRE 1.应用场景现实场景居家工作，公司工作，分公司工作----------需要传输交换数据--------NAT---在该场景中需要两次NAT（不安全） 为了安全有两种手段-----1.物理专线---成本高 2.VPN--虚拟专用网---隧道技术--封装技…...

编程日记 2025/9/13 16:20:14

内网综合渗透测试——WinterMute: 1靶场

靶场来源 <WinterMute: 1 ~ VulnHub> Wintermute 虚拟机网络配置指南本实验涉及网络跳转技术，需正确配置VirtualBox网络。所有IP均为动态分配，配置快速简便。通过"文件 >> 导入虚拟设备"导入各虚拟机。 STRAYLIGHT (网络#1 和 …...

编程日记 2025/9/9 4:24:21

项目进度管理工具：甘特图与关键路径法（2025实战指南）

在全球数字化转型加速的背景下，项目延期率高达42%的现状倒逼管理者掌握科学的进度管理工具。本文结合2025年最新实践，深度解析甘特图与关键路径法的原理及应用，助你构建精准可控的项目进度管理体系。一、双剑合璧：工具组合的价值…...

编程日记 2025/9/11 9:33:02

deepseek-r1-centos-本地服务器配置方法

参考： 纯小白 Centos 部署DeepSeek指南_centos部署deepseek-CSDN博客 https://blog.csdn.net/xingxin550/article/details/145574080 手把手教大家如何在Centos7系统中安装Deepseek，一文搞定_centos部署deepseek-CSDN博客 https://blog.csdn.net/soso67…...

编程日记 2025/9/13 21:44:06

C# Unity 唐老狮 No.2 模拟面试题

本文章不作任何商业用途仅作学习与交流安利唐老狮与其他老师合作的网站,内有大量免费资源和优质付费资源,我入门就是看唐老师的课程打好坚实的基础非常非常重要: Unity课程 - 游习堂 - 唐老狮创立的游戏开发在线学习平台 - Powered By EduSoho 如果你发现了文章内特殊的字体…...

编程日记 2025/9/14 8:16:08

一周学会Flask3 Python Web开发-flask3上下文全局变量session,g和current_app

锋哥原创的Flask3 Python Web开发 Flask3视频教程： 2025版 Flask3 Python web开发视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili flask3提供了session,g和current_app上下文全局变量来方便我们操作访问数据。以下是一个表格，用于比较Flask中的…...

编程日记 2025/9/8 17:41:15