当前位置：首页 > news >正文

深度学习篇---模型权重变化与维度分析

news 来源：原创 2025/5/21 12:45:09

文章目录

前言
1. 权重的作用
2. 权重的维度
- 全连接层
- 卷积层
3. 权重的变化
4.实例代码（PyTorch 框架）
- 场景
- 代码解释
- - 模型定义
  - 数据生成
  - 优化设置
  - 初始权重
  - 设置训练循环
  - 前向传播
  - 反向传播
  - 更新权重
  - 结果输出
- 维度与变化总结
- - 维度匹配
  - 梯度跟新
5. 增加网络深度：多层感知机（MLP）
- 代码解释
6. 权重初始化的影响
- 核心概念
7. 正则化：限制权重的自由度
8. 梯度问题与解决方案
9. 可视化权重变化
- 结果分析
10.总结：深度带来的挑战与解决策略
11. 卷积层的权重维度与计算
- 核心概念
- - 卷积核
  - 输入通道
  - 输出通道
  - 权重维度公式
  - 输入输出尺寸公式
12. 实例代码：CNN模型构建与维度分析
- 维度传递解析
- - 输入数据
  - 卷积层1
  - 卷积层2
  - 全连接层
13. 卷积核权重的动态变化
- 可视化卷积核（代码示例）
- 结果分析
- - 初始卷积核
  - 训练后卷积核
14. 池化层的作用
- 下采样
- 维度变化
15. CNN的权重更新与正则化
- 优化器设置（含L2正则化）
- 反向传播流程
- - 计算损失
  - 反向传播速度
  - 更新权重
16. CNN与全连接层的对比
17.总结：CNN权重的核心特点
- - 维度动态变化
  - 权重共享与局部感知
  - 训练动态性

前言

通过增加网络深度和引入高级技术，模型可以解决更复杂的问题（如图像分类、自然语言处理）。理解权重的动态变化和维度传递，是设计高效神经网络的关键。本文简单介绍了神经网络模型权重变化与维度分析的相关知识。

1. 权重的作用

在深度学习中，权重（Weight）是神经网络的核心参数。每个神经元通过权重对输入数据进行加权求和，再经过激活函数输出结果。训练模型时，通过调整权重使得预测结果接近真实值，这一过程称为“学习”。

2. 权重的维度

权重的维度由网络层的结构决定：

全连接层

全连接层：若输入特征数为 m，输出特征数为 n，权重维度为 (n, m)。

卷积层

卷积层：若使用 k 个大小为 3x3 的卷积核，输入通道为 c，则权重维度为 (k, c, 3, 3)（PyTorch 格式）。

3. 权重的变化

通过反向传播计算损失函数的梯度，优化器（如 SGD）按学习率调整权重：

新权重 = 旧权重 - 学习率 × 梯度

4.实例代码（PyTorch 框架）

场景

场景：线性回归模型（y = 2x + 1 + 噪声）

python
import torch
import torch.nn as nn
import torch.optim as optim# 1. 定义模型
class LinearModel(nn.Module):def __init__(self):super().__init__()self.linear = nn.Linear(1, 1)  # 输入1维，输出1维def forward(self, x):return self.linear(x)model = LinearModel()# 2. 生成数据
x_train = torch.rand(100, 1) * 10          # 100个输入样本
y_train = 2 * x_train + 1 + torch.randn(x_train.shape)  # 真实值 + 噪声# 3. 设置损失函数和优化器
criterion = nn.MSELoss()                   # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.01)  # 学习率0.01# 4. 打印初始权重
print("初始权重：", model.linear.weight.data.item())
print("初始偏置：", model.linear.bias.data.item())# 5. 训练模型
epochs = 100
for epoch in range(epochs):# 前向传播outputs = model(x_train)loss = criterion(outputs, y_train)# 反向传播optimizer.zero_grad()  # 清空梯度loss.backward()        # 计算梯度optimizer.step()       # 更新权重# 每20次打印损失if (epoch+1) % 20 == 0:print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')

深度学习篇---模型权重变化与维度分析

文章目录前言1. 权重的作用2. 权重的维度全连接层卷积层3. 权重的变化4.实例代码（PyTorch 框架）场景代码解释模型定义数据生成优化设置初始权重设置训练循环前向传播反向传播更新权重结果输出维度与变化总结维度匹配梯度跟新5. 增加网络深度：多层感知机（MLP）代码解释6. 权…...

编程日记 2025/5/21 12:45:09

AtCoder Beginner Contest 403(题解ABCDEF)

A - Odd Position Sum #1.奇数数位和 #include<iostream> #include<vector> #include<stdio.h> #include<map> #include<string> #include<algorithm> #include<queue> #include<cstring> #include<stack> #include&l…...

编程日记 2025/5/21 11:20:59

计算机视觉与深度学习｜双目立体匹配算法理论+Opencv实践+matlab实践

双目立体匹配一、双目立体匹配算法理论与OpenCV、matlab实践一、双目立体匹配理论二、OpenCV实践三、优化建议四、算法对比与适用场景二、双目立体匹配算法理论及Matlab实践指南一、双目立体匹配理论二、Matlab实践步骤三、算法对比与优化建议四、完整流程示例五、常见问题与解…...

编程日记 2025/5/21 11:42:09

深挖Java基础之：认识Java（创立空间/先导：Java认识）

今天我要介绍的是在Java中对Java的一些基本语法的认识与他们的运用，以及拟举例子说明和运用场景，优势和劣势， 注：本篇文章是对Java的一些基本的，简单的代码块的一些内容，后续会讲解在Java中的变量类型&…...

编程日记 2025/5/21 12:09:14

springmvc从请求到响应的流程分析

一、创建springmvc项目通过网盘分享的文件：hello-springmvc.zip 链接: https://pan.baidu.com/s/1VmUHurgph661ND9LWqKhaw 提取码: b36a 二、从请求到响应流程我们先画一下流程图，如下图所示。三、源码解析 3.1 HttpServlet接收请求用户发送htt…...

编程日记 2025/5/21 11:42:09

RabbitMQ 启动报错 “crypto.app“ 的解决方法

RabbitMQ 启动报错 “crypto.app” 的解决方法在使用 RabbitMQ 时，有时会遇到启动报错的问题，其中一种常见的报错是： {"init terminating in do_boot",{error,{crypto,{"no such file or directory","crypto.app…...

编程日记 2025/5/21 10:46:31

idm 禁止自动更新提示（修改注册表）

目前版本：v 6.42 Bulid 35 运行-regedit- 计算机\HKEY_CURRENT_USER\SOFTWARE\DownloadManager 计算机\HKEY_CURRENT_USER\SOFTWARE\DownloadManagerLstCheck -> 0 重启...

编程日记 2025/4/30 6:32:44

LeetCode - 02.02.返回倒数第 k 个节点

目录题目解法一双指针算法原理详细过程为什么它有效？ 时间复杂度与空间复杂度代码解法二递归算法核心思想执行流程详解具体例子代码题目面试题 02.02. 返回倒数第 k 个节点 - 力扣（LeetCode） 解法一双指针算…...

编程日记 2025/5/21 10:30:53

＜c++＞使用detectMultiScale的时候出现opencv.dll冲突

最近在试着弄一下opencv，看网上很多人都是的用的python，但是python跑起来没有c快，生成的qt工程也大一些，想着试试c看能不能生成opencv。然后就用到这个函数，detectMultiScale。出现一个问题，就是我的程序在…...

编程日记 2025/5/21 11:55:58

从实列中学习linux shell脚本2: shell 的变量方法命名和使用规则之类比如拿：获取cpu 负载，以及负载超过2.0 以后就发生邮件为例子

以下是对 Linux Shell 中变量、方法（函数）、命名规则的详细说明，并结合获取CPU负载并在负载超过2.0时发送邮件的示例进行演示： 1. Shell 变量命名规则命名格式：变量名由字母、数字、下划线组成，不能以…...

编程日记 2025/5/21 12:20:05

Centos Ubuntu RedOS系统类型下查看系统信息

文章目录一、项目背景二、页面三、说明四、代码1.SysInfo2.EmsSysConfig3.HostInformationController4.HostInfo 一、项目背景公司项目想展示当前部署系统的：操作系统，软件版本、IP、主机名。二、页面三、说明说明点1：查询系统类型及…...

编程日记 2025/5/21 12:13:15

【Hive入门】Hive高级特性：视图与物化视图

在大数据分析中，Hive作为Hadoop生态系统中的重要组件，提供了强大的数据查询和管理能力。除了基本表的操作，Hive还支持视图和物化视图，这两种特性在数据管理和查询优化中扮演着重要角色。本文将深入探讨视图的创建与性能影响&…...

编程日记 2025/5/20 7:52:17

特征工程四-2：使用GridSearchCV 进行超参数网格搜索（Hyperparameter Tuning）的用途

1. GridSearchCV 的作用 GridSearchCV（网格搜索交叉验证）用于： 自动搜索给定参数范围内的最佳超参数组合。交叉验证评估每个参数组合的性能，避免过拟合。返回最佳模型，可直接用于预测或分析。 2. 代码逐行解析 (1…...

编程日记 2025/5/21 11:26:27

【Hive入门】Hive函数：内置函数与UDF开发

Apache Hive作为Hadoop生态系统中的重要组件，为大数据分析提供了强大的SQL-like查询能力。Hive不仅支持丰富的内置函数，还允许用户开发自定义函数（UDF）以满足特定需求。本文将深入探讨Hive的内置函数（包括数学函数、字…...

编程日记 2025/4/30 6:31:39

HTML Picture标签详细教程

HTML Picture标签详细教程简介 <picture>标签是HTML5中引入的一个强大元素，它为开发者提供了更灵活的图像资源管理方式。该标签主要用于让浏览器根据不同条件（如设备屏幕大小、分辨率或支持的图像格式）选择最适合当前显示环境的图像…...

编程日记 2025/5/21 11:19:17

Html1

一，HTML概述网页开发需要学习的知识： html css javaScript 两个框架 VUE.js ElementUI UI user interface 用户界面 HTML xml 可扩展标记语言-->存储数据 Markup Language标签语言都会提供各种标…...

编程日记 2025/5/21 11:49:04

runpod team 怎么设置自己的ssh key呢？

生成 ed25519 公钥密钥 ssh-keygen -t ed25519 -C "yourqq.com"然后在pod容器配置key以及启动方式选择edit pod 添加启动代码启动代码可以参考官方给的内容： https://docs.runpod.io/pods/configuration/use-ssh bash -c apt update;DEBIAN_FRONT…...

编程日记 2025/5/11 22:57:10

import dart:async; import package:flutter/material.dart;class CountdownTimer extends StatefulWidget {final int seconds;final double? fontSize;final Color? textColor;final bool showDays;final bool showHours;final bool showMinutes;final bool showSeconds;fi…...

编程日记 2025/5/15 19:11:59

存储器分类

按宏观分类内部存储：用于临时存储当前程序运行所需要的数据外部存储：指硬盘，用于存储需要保存下的数据按存储功能分磁盘存储器(Disk)，如机械硬盘非易失性存储器（Flash memory），分为固态硬…...

编程日记 2025/4/30 6:29:33

案例解析：基于量子计算的分子对接-QDOCK（Quantum Docking）

分子对接（Moleculardocking）在药物发现中具有重要意义，但对接的计算速度和准确率始终难以平衡，其巨大解搜索空间对传统计算机来说异常艰巨。本文通过引入网格点匹配（GPM, Grind point matching）和特征原子…...

编程日记 2025/5/18 4:04:15

人工智能和机器学习在包装仿真中的应用与价值

引言随着包装成为消费品关键的差异化因素，对智能设计、可持续性和高性能的要求比以往任何时候都更高。为了满足这些复杂的期望，公司越来越多地采用先进的仿真方法，而现在人工智能 (AI) 和机器学习 (ML) 又极大地增强了这些方法。本文探讨…...

编程日记 2025/5/21 10:46:31

系统的环境变量

目录基本概念用途之一环境变量表命令行参数表理解更多的环境变量基本概念环境变量(environmentvariables)⼀般是指在操作系统中⽤来指定操作系统运⾏环境的⼀些参数。环境变量通常具有某些特殊⽤途，还有在系统当中通常具有全局特性用途之一我们看…...

编程日记 2025/5/21 11:06:23

css3伸缩盒模型第一章(主轴以及伸缩盒模型)

css3伸缩盒模型第一章(主轴) 一、伸缩盒模型简介 2009 年， W3C 提出了一种新的盒子模型 —— Flexible Box （伸缩盒模型，又称：弹性盒子）。它可以轻松的控制：元素分布方式、元素对齐方式、元素视觉顺序 ……...

编程日记 2025/5/21 11:29:41

【MySQL】(9) 视图

一、什么是视图视图是一张虚拟表，是表、其它视图的查询结果集。它本身不像基础表（物理表）一样存储数据，而是将 SQL 查询语句包装起来，通过执行查询语句动态生成数据。二、视图的作用当我们需要频繁使用一条查询语句…...

编程日记 2025/5/21 10:30:53

day10 python机器学习全流程实践

在机器学习的实践中，数据预处理与模型构建是极为关键的环节。本文将回顾数据预处理的全流程，并基于处理后的数据完成简单的机器学习建模与评估，暂不涉及复杂的调参过程。一、预处理流程回顾机器学习的成功，很大程度上依赖于高…...

编程日记 2025/5/21 11:40:27

Rust Ubuntu下编译生成环境win程序踩坑指南

前言： 1，公司要给一线搞一个升级程序，需要在win下跑。之前都是找开发总监帮忙，但是他最近比较忙。就让我自己搞。有了下文.。说来惭愧，之前写过一篇ubuntu下编译windows的文章。里面的demo就一句话 fuck world。依赖…...

编程日记 2025/5/21 10:29:20

2025年- H12-Lc119-56.合并区间（普通数组）---java版

1.题目描述 2.思路思路参考了代码随想录： 按照左边界从小到大排序之后，如果 intervals[i][0] < intervals[i - 1][1] 即intervals[i]的左边界 < intervals[i - 1]的右边界，则一定有重叠。（本题相邻区间也算重贴&#xff…...

编程日记 2025/5/21 11:33:26

合并两个有序链表

题目：21. 合并两个有序链表将两个升序链表合并为一个新的升序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例 1： 输入：l1 [1,2,4], l2 [1,3,4] 输出：[1,1,2,3,4,4]示例 2： 输入&#x…...

编程日记 2025/4/30 6:27:22

rsync命令详解与实用案例

rsync命令详解与实用案例 rsync是一款功能强大的Linux文件同步工具，通过高效的增量传输算法，能够显著减少数据传输量和时间，是备份、镜像和跨平台文件同步的理想选择。其核心价值在于只传输文件的差异部分，而非全量复制&#xff…...

编程日记 2025/5/21 11:54:08

gitee 如何修改提交代码的邮箱

gitee 如何修改提交代码的邮箱 1. 修改全局提交邮箱2. 修改特定仓库的提交邮箱3. 修改已提交记录的邮箱 4. 可能遇到的问题git filter-repo 拒绝执行解决办法方法一：使用 --force 参数 （亲测有效）方法二：创建一个全新的克隆仓库注…...

编程日记 2025/5/21 12:25:15

MATLAB画一把伞

% 伞的参数num_ribs 5; % 伞骨数量修改为5R 1; % 伞的半径height 0.5; % 伞的高度handle_length 2; % 伞柄长度semicircle_radius 0.26; % 伞柄末端半圆的半径% 生成伞叶网格theta linspace(0, 2*pi, 100);phi linspace(0, pi/2, 50);[Theta, Phi] meshgrid(theta, phi…...

编程日记 2025/5/21 11:40:27

vue 实现文件流下载功能前端实现文件流下载

首先场景就是，一般的文件下载是通过后端返回的文件地址下载文件，但当后端返回的是文件流的时候，下载要做特殊处理案例截图：下载成功：代码处理，首先就是要在接口封装的地方加上在 Vue 前端开发中实现文件流下载与普通文件下载的核心区别在于数据处理方式。文件流…...

编程日记 2025/5/21 12:38:44

[Android]导航栏中插入电源菜单

1. 新增 frameworks/base/packages/SystemUI/res/layout/power.xml <?xml version"1.0" encoding"utf-8"?> <com.android.systemui.navigationbar.buttons.KeyButtonView xmlns:android"http://schemas.android.com/apk/res/android"…...

编程日记 2025/5/21 12:40:20

VSCode Verilog环境搭建

VSCode Verilog环境搭建下载Iverilog安装Iverilog验证安装VS Code安装插件下载Iverilog 官网下载Iverilog 安装Iverilog 一定要勾选这两项建议勾选这两项验证安装运行Windows PowerShell输入命令：iverilog输入命令：Get-Command gtkwave …...

编程日记 2025/5/21 11:20:59

Hadoop 和 Spark 生态系统中的核心组件

通过jps命令，可以看到如下进程名，请解释一下它们各自是哪个命令产生的，有什么作用？一、Worker 1.来源：Spark 集群的工作节点（Worker Node），由 start-worker.sh 启动 2.作用&#…...

编程日记 2025/5/21 12:15:02

MySQL多表操作

熟能生巧，全部代码在最后！！！ 一、多表关系一对一关系、一对多关系、多对多关系注意多对多关系必须有中间表进行关联多对多的关系就相当于是两个一对多关系二、创建外键约束专门用于多表操作的一种约束方式控制的那个表…...

编程日记 2025/5/21 11:36:35

WPF TextBlock控件性能优化指南

WPF TextBlock控件性能优化指南 1. 引言 TextBlock作为WPF中最基础且使用最广泛的文本显示控件，其性能优化对整个应用程序的响应速度和资源占用有着重要影响。尽管TextBlock是一个轻量级控件，但在大型应用或需要显示大量文本的场景中，不恰当…...

编程日记 2025/5/21 10:25:15

DotNet 入门：(一) 环境安装

一、前言本想用 Go 语言实现一个通过小爱同学操作电脑的，比如我对着手机说打开音乐，或调小音乐，电脑能做相应的处理。奈何我一时间没看懂，就想着用.Net 来试一下，于是就有了下面这篇文章。二、安装.Net 环境 1. 下…...

编程日记 2025/5/18 8:35:59

初识Redis · 分布式锁

目录前言： 分布式锁 setnx lua脚本和看门狗 redlock算法 Redlock 的加锁流程（5 步） 前言： 到了分布式锁这一章之后，我们首先能联想到的问题就是线程安全的问题，线程安全指的是多个线程在并发执行的…...

编程日记 2025/4/30 6:24:02

使用 OpenCV 实现图像中心旋转

在图像处理中，围绕中心点旋转图像是一个常见的需求。无论是为了数据增强、视觉效果，还是图像对齐，旋转图像都是一项基础且重要的操作。本文将详细介绍如何使用 OpenCV 实现围绕图像中心旋转的功能，并深入探讨其背后的数学原理。一…...

编程日记 2025/4/30 6:24:01

云钥科技红外短波工业相机

云钥科技的红外短波相机是一款基于短波红外（SWIR，波长范围约1-3微米）技术的成像设备，专为高精度检测、全天候成像及特殊场景应用设计。以下从核心技术、性能参数、应用场景及产品优势等方面进行详细介绍： 一、核心…...

编程日记 2025/4/30 6:24:01

npm如何安装pnpm

在 npm 中安装 pnpm 非常简单，你可以通过以下步骤完成： 1. 使用 npm 全局安装 pnpm 打开终端（命令行工具），运行以下命令： npm install -g pnpm2. 验证安装安装完成后，可以检查 pnpm 的版本以确保安装成功： pnpm --version如果正确显示版本号（如 8.x.x），说明安…...

编程日记 2025/4/30 6:22:59

GTC Taipei 2025 医疗域前瞻：从AI代理到主权生态，解码医疗健康与生命科学的未来图景

引言 2025年，全球医疗健康领域正经历一场由人工智能、机器人技术与分布式计算驱动的范式转移。随着NVIDIA及其生态伙伴在GTC Taipei 2025大会上的深度布局，医疗行业的核心趋势愈发清晰：AI代理程序（Digital AI Agents）赋能临床协作、医疗大数据与精准医学加速落地、医学影…...

编程日记 2025/5/18 2:21:27

【AI学习】李宏毅新课《DeepSeek-R1 这类大语言模型是如何进行「深度思考」（Reasoning）的？》的部分纪要

针对推理模型，主要讲了四种方法，两种不需要训练模型，两种需要。对于reason和inference，这两个词有不同的含义！ 推理时计算不是新鲜事，AlphaGo就是如此。这张图片说明了将训练和推理时计算综合考虑的关系&…...

编程日记 2025/5/16 14:14:39

npm打包内存不足- JavaScript heap out of memory

直接贴出报错信息 <--- Last few GCs --->[30904:0000010F60FE58E0] 22090 ms: Scavenge 2037.4 (2069.4) -> 2036.4 (2074.2) MB, 2.5 / 0.0 ms (average mu 0.228, current mu 0.216) allocation failure [30904:0000010F60FE58E0] 22101 ms: Scavenge 2…...

编程日记 2025/5/13 18:32:25

【最新 MCP 战神手册 08】工具使用详解：实现 AI 行动

文章目录 1. 开始啦！2. 第一部分：设计高效且安全的工具3. 第二部分：定义工具蓝图——参数、输出与约束条件4. 第三部分：弥合差距：LLM 兼容性（函数调用）5. 第四部分：实施与测试的最佳实践1. 开始啦！在前几章中，我们将工具介绍为 AI 模型在 MCP 客户端引导下向 MCP 服…...

编程日记 2025/4/30 6:22:57

开发iOS App时，我常用的一款性能监控小工具分享

开发iOS App时，我常用的一款性能监控小工具分享最近在做一个iOS应用的性能优化，频繁遇到内存泄露、界面卡顿和网络请求超时的问题。平时用Xcode Instruments虽然专业，但流程繁琐，临时排查问题不够灵活。于是开始找有没有轻量一…...

编程日记 2025/5/12 8:39:56

如何防止 ES 被 Linux OOM Killer 杀掉

当 Linux 系统内存不足时，内核会找出一个进程 kill 掉它释放内存，旨在保障整个系统不至于崩溃。如果 ES 按照最佳实践去实施部署，会保留一半的内存，不至于发生此类事情。但事情总有例外，有的朋友可能 ES 和其他的程序部…...

编程日记 2025/4/30 6:21:55

Windows权限与icacls命令详解

在Windows操作系统中，权限管理是确保系统安全和资源访问控制的核心机制。特别是在使用NTFS（New Technology File System）文件系统的环境中，访问控制列表（ACL）用于定义哪些用户或组可以对文件、文件夹或其他…...

编程日记 2025/4/30 6:20:54

5.4.2 MVVM例2-用户控件的使用（水在水管中流动的实例）

本文以一个例子介绍用户控件的使用(UserControl)，下图所示：一、主要技术点 1.MainViewModel使用CommunityToolkit.Mvvm 这个Nuget包 2.LinearGradientBrush使用，下面代码可以产生如下的效果 <LinearGradientBrush x:Key="HorizontalBackground" …...

编程日记 2025/4/30 6:20:53