当前位置：首页 > news >正文

PyTorch构建自定义模型

news 来源：原创 2025/8/28 12:47:22

PyTorch 提供了灵活的方式来构建自定义神经网络模型。下面我将详细介绍从基础到高级的自定义模型构建方法，包含实际代码示例和最佳实践。

一、基础模型构建

1. 继承 nn.Module 基类

所有自定义模型都应该继承 torch.nn.Module 类，并实现两个基本方法：

import torch.nn as nn
import torch.nn.functional as Fclass MyModel(nn.Module):def __init__(self):super().__init__()  # 必须调用父类初始化# 在这里定义网络层self.conv1 = nn.Conv2d(1, 20, 5)self.conv2 = nn.Conv2d(20, 50, 5)self.fc1 = nn.Linear(4*4*50, 500)self.fc2 = nn.Linear(500, 10)def forward(self, x):# 定义前向传播逻辑x = F.relu(self.conv1(x))x = F.max_pool2d(x, 2, 2)x = F.relu(self.conv2(x))x = F.max_pool2d(x, 2, 2)x = x.view(-1, 4*4*50)x = F.relu(self.fc1(x))x = self.fc2(x)return F.log_softmax(x, dim=1)

2. 模型使用方式

model = MyModel()
output = model(input_tensor)  # 自动调用forward方法
loss = criterion(output, target)
loss.backward()

二、中级构建技巧

1. 使用 nn.Sequential

nn.Sequential 是一种用于快速构建顺序神经网络的容器类，适用于模块按线性顺序排列的模型。

class MySequentialModel(nn.Module):def __init__(self):super().__init__()self.features = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=2, stride=2),nn.Conv2d(64, 128, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=2, stride=2))self.classifier = nn.Sequential(nn.Linear(128 * 8 * 8, 512),nn.ReLU(inplace=True),nn.Linear(512, 10))def forward(self, x):x = self.features(x)x = x.view(x.size(0), -1)x = self.classifier(x)return x

2. 参数初始化

def initialize_weights(m):if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')if m.bias is not None:nn.init.constant_(m.bias, 0)elif isinstance(m, nn.Linear):nn.init.normal_(m.weight, 0, 0.01)nn.init.constant_(m.bias, 0)model.apply(initialize_weights)  # 递归应用初始化函数

三、高级构建模式

1. 残差连接 (ResNet风格)

class ResidualBlock(nn.Module):def __init__(self, in_channels, out_channels, stride=1):super().__init__()self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(out_channels)self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3,stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(out_channels)self.shortcut = nn.Sequential()if stride != 1 or in_channels != out_channels:self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1,stride=stride, bias=False),nn.BatchNorm2d(out_channels))def forward(self, x):out = F.relu(self.bn1(self.conv1(x)))out = self.bn2(self.conv2(out))out += self.shortcut(x)return F.relu(out)

2. 自定义层

class MyCustomLayer(nn.Module):def __init__(self, input_dim, output_dim):super().__init__()self.weight = nn.Parameter(torch.randn(output_dim, input_dim))self.bias = nn.Parameter(torch.randn(output_dim))def forward(self, x):return F.linear(x, self.weight, self.bias)

四、模型保存与加载

1. 保存整个模型

torch.save(model, 'model.pth')  # 保存
model = torch.load('model.pth')  # 加载

2. 保存状态字典 (推荐)

torch.save(model.state_dict(), 'model_state.pth')  # 保存
model.load_state_dict(torch.load('model_state.pth'))  # 加载

五、模型部署准备

1. 模型导出为TorchScript

scripted_model = torch.jit.script(model)  # 或 torch.jit.trace
scripted_model.save('model_scripted.pt')

2. ONNX格式导出

dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, "model.onnx", input_names=["input"], output_names=["output"])

六、完整示例：自定义CNN分类器

import torch
from torch import nn
from torch.nn import functional as Fclass CustomCNN(nn.Module):"""自定义CNN图像分类器Args:num_classes (int): 输出类别数dropout_prob (float): dropout概率，默认0.5"""def __init__(self, num_classes=10, dropout_prob=0.5):super().__init__()self.features = nn.Sequential(nn.Conv2d(3, 32, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=2, stride=2),nn.Conv2d(32, 64, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=2, stride=2),nn.Conv2d(64, 128, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=2, stride=2))self.avgpool = nn.AdaptiveAvgPool2d((6, 6))self.classifier = nn.Sequential(nn.Dropout(p=dropout_prob),nn.Linear(128 * 6 * 6, 512),nn.ReLU(inplace=True),nn.Dropout(p=dropout_prob),nn.Linear(512, num_classes))# 初始化权重for m in self.modules():if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')elif isinstance(m, nn.Linear):nn.init.normal_(m.weight, 0, 0.01)nn.init.constant_(m.bias, 0)def forward(self, x: torch.Tensor) -> torch.Tensor:"""前向传播Args:x (torch.Tensor): 输入张量，形状为[B, C, H, W]Returns:torch.Tensor: 输出logits，形状为[B, num_classes]"""x = self.features(x)x = self.avgpool(x)x = torch.flatten(x, 1)x = self.classifier(x)return x

七、注意事项

‌输入输出维度匹配‌
- 需确保相邻模块的输入/输出维度兼容。例如，卷积层后接全连接层时需通过 Flatten 或自适应池化调整维度‌。

‌调试与验证‌

可通过模拟输入数据验证模型结构，如：

input = torch.ones(64, 3, 32, 32)  # 模拟 batch_size=64 的输入
output = model(input)
print(output.shape)  # 检查输出形状是否符合预期

PyTorch构建自定义模型

PyTorch 提供了灵活的方式来构建自定义神经网络模型。下面我将详细介绍从基础到高级的自定义模型构建方法，包含实际代码示例和最佳实践。一、基础模型构建 1. 继承 nn.Module 基类所有自定义模型都应该继承 torch.nn.Module 类，并实现两个基本方法&…...

编程日记 2025/8/28 12:47:22

JVM虚拟机篇（一）深入理解JVM：组成部分、运行流程及程序计数器详解

JVM虚拟机篇（一）深入理解JVM：组成部分、运行流程及程序计数器详解 JVM虚拟机篇（一）深入理解JVM：组成部分、运行流程及程序计数器详解一、引言二、JVM的组成部分2.1 类加载子系统2.2 运行时数据区2.3 执行引…...

编程日记 2025/8/28 12:45:55

从零构建大语言模型全栈开发指南：第三部分：训练与优化技术-3.1.2Tokenization策略：BPE算法与词表设计

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 3.1.2 Tokenization策略：BPE算法与词表设计1. BPE（Byte-Pair Encoding）算法原理与实现1.1 BPE核心思想1.2 BPE算法步骤2. 词表设计关键要素2.1 词表规模与模型性能2.2 特殊标记设计3. BPE变体与改进算…...

编程日记 2025/8/27 16:21:00

学透Spring Boot — 013. Spring Web-Flux 函数式风格的控制器

这是我的学透Spring Boot的第13篇文章，更多文章请移步我的专栏学透 Spring Boot_postnull咖啡的博客-CSDN博客目录传统风格的Spring MVC 函数式编程风格的Spring MVC 引入WebFlux依赖定义Handler类定义Router类 WebFlux不生效灵魂拷问 Spring Web MVC…...

编程日记 2025/8/28 12:44:39

L33.【LeetCode题解】快乐数(双指针思想)

目录 1.题目 2.分析 3.代码 4.提交结果 5.题外话证明:一定是循环的前置知识:鸽巢原理不严格证明 1.题目 https://leetcode.cn/problems/happy-number/ 编写一个算法来判断一个数 n 是不是快乐数。「快乐数」定义为： 对于一个正整数，每一次将…...

编程日记 2025/8/28 12:42:03

gltf unity-Unity中Gltf模型的使用与优化技巧

在现代游戏开发和3D应用领域，高质量模型是提升用户体验的关键因素之一。GLTF（GL Transmission Format）作为一款开放标准的3D模型交换格式，已经被越来越多的开发者所认可。Unity引擎，作为全球领先的3D游戏开发平台&…...

编程日记 2025/8/28 12:44:39

Oracle数据库指南

目录一、前言二、Oracle数据库基础入门篇 1. Oracle体系结构概述 2. 安装与配置 3. SQL语言入门三、PL/SQL编程与高级特性 1. PL/SQL基础语法 2. 触发器与任务调度 3. 高级特性四、日常维护与监控 1. 备份与恢复策略 2. 日志管理与故障排查 3. 自动化运维五…...

编程日记 2025/8/28 12:43:09

Qt -信号与槽

博客主页：【夜泉_ly】本文专栏：【暂无】欢迎点赞👍收藏⭐关注❤️ 目录前言引入connect调用链模板类型的connectQObject::connectImplQObjectPrivate::connectImpl qobject_p_p.hconnect作用总结ai对信号与槽的模拟实现前言面向对象&am…...

编程日记 2025/8/28 12:43:10

环境安装 ➜ ~ sw_vers ProductName: macOS ProductVersion: 15.3.2 ➜ ~ pip --version pip 24.3.1 from /opt/homebrew/lib/python3.11/site-packages/pip (python 3.11)安装ModelScope SDK pip install modelscope➜ ~ modelscope download --help Traceback (most r…...

编程日记 2025/8/26 19:35:44

Xshell Plus 6下载与安装

文章目录 Xshell Plus 6 简介（一）网络连接与协议支持（二）会话管理（三）安全特性（四）文件传输功能（因集成Xftp 6 ）（五）个性化与便捷功能…...

编程日记 2025/8/26 19:39:06

Kubernetes 集群搭建（一）：从环境准备到 Calico 网络插件部署

（一）虚拟环境准备名称ip备注m1192.168.101.131mastern1192.168.101.132workern2192.168.101.133worker （二）集群统一配置 2.1 关闭防火墙和selinux systemctl stop firewalld systemctl disable firewalld sed -i s/enforcin…...

编程日记 2025/8/28 12:43:09

【国产突围！致远电子ZXDoc如何打破Vector垄断，成为新能源车研发“神器”？】

摘要：在汽车“新四化”浪潮下，国产汽车总线工具链软件正迎来高光时刻！广州致远电子推出的ZXDoc以全栈自主化技术硬核国产芯片生态，斩获2024金辑奖“最佳技术实践应用奖”，成为新能源车企研发工程师的“效率倍增器”。本…...

编程日记 2025/8/28 12:43:09

3-Visual Studio 2022打包NET开发项目为安装包

引言本文将上一期博文>>>门店管理系统开发<<<开发的项目打包为Windows安装包一，安装扩展安装此扩展：installer Projects 二，创建安装程序项目创建项目右键解决方案-添加-新建项目选择setup Project项目填写项目名…...

编程日记 2025/8/23 5:12:15

Cookie、Session、Token、JWT的区别和使用场景

Cookie、Session和Token的区别存储位置数据容量安全性生命周期性能Cookie客户端（通常是浏览器）4KB、Cookie数量也有限制不安全、XSS（跨站脚本攻击）、CSRF（跨站请求伪造）可以设置过期时间，过期后…...

编程日记 2025/8/28 12:45:55

P1883 【模板】三分 | 函数

题目描述给定 n 个二次函数 f1(x),f2(x),…,fn(x)（均形如 ax2bxc），设 F(x)max{f1(x),f2(x),...,fn(x)}，求 F(x) 在区间 [0,1000] 上的最小值。输入格式输入第一行为正整数 T，表示有 T 组数据。每组…...

编程日记 2025/8/28 12:45:55

Ruoyi-vue plus 5.2.2 flowble设计流程点击开始流程图错误

网关设置条件或者是事件删除后出现，点击网关节点无法找到下面的事件节点。配置页面事件错误，点背景配置进去了事件，发现再次加载，或者删除的时候VUE页面无法加载。解决方式：查看XML文件，这个节点是否存在…...

编程日记 2025/8/28 12:44:39

MySQL学习笔记（三）——图形化界面工具DataGrip

目录 1. 图形化界面工具 2.下载 3. 安装 3.1 安装步骤 3.2 激活说明 4. 使用 4.1 汉化教程 4.2 使用 1. 图形化界面工具上述，我们已经讲解了通过 DDL 语句，如何操作数据库、操作表、操作表中的字段，而通过 DDL 语句执行在命令进行操…...

编程日记 2025/8/27 21:21:19

keil软件仿真

设置选择软件仿真。修改参数。获取参数找到自己的芯片信号。这里用的是F103ZET6 复制下来，并对其进行修改。接下来进入仿真即可...

编程日记 2025/8/28 12:47:22

每日一题（小白）模拟娱乐篇14

直接理解题意，一分钟扩散一次，那么2020分钟也就是需要循环2020次，然后加入扩散后的条件，每一个次扩散使方格子的总量1（只要有一个点扩散就无需看其他的点），若干次循环过后总数之和即所有黑色格子…...

编程日记 2025/8/23 1:52:13

（二）使用Android Studio开发基于Java+xml的安卓app之环境搭建

以下是使用Android Studio搭建基于Java和XML的Android应用开发环境的详细步骤： 一、系统要求操作系统：Windows 7/8/10/11（64位）内存：建议8GB及以上磁盘空间：至少5GB空闲（建议预留10GB以上&…...

编程日记 2025/8/28 12:42:04

STM32定时器通道1-4（CH1-CH4）的引脚映射关系

以下是 STM32定时器通道1-4（CH1-CH4）的引脚映射关系的详细说明，以常见型号为例。由于不同系列/型号差异较大，请务必结合具体芯片的参考手册确认。一、STM32F1系列（如STM32F103C8T6） 1. TIM1（高级定时器）通道默认引脚重映射引脚（部分/完全）备注CH1PA8无互补输出CH1…...

编程日记 2025/8/28 12:45:55

看爬山虎学本领软爬机器人来创新各种场景能适应

*本文只做阅读笔记分享* 一、灵感来源：向植物取经大家好！今天来聊一款超酷的软爬机器人，它的灵感来自会攀爬的植物——爬山虎。大家都知道，爬墙高手爬山虎能在各种复杂墙面轻松生长攀爬，可现有的攀爬机器人在复杂…...

编程日记 2025/8/23 2:06:58

Spring AI Alibaba示例项目深度解析：dashscope-audio子模块详解

Spring AI Alibaba示例项目深度解析：dashscope-audio子模块详解一、模块定位与核心价值 1.1 功能定位 • 音频处理核心组件：基于阿里云DashScope平台实现STT（语音识别）和TTS（文生语音）双模态能力 • 企业级解决方案：提供同步/异步/流式三种调用范式，适配不同业务场景…...

编程日记 2025/8/22 11:19:26

Linux 下日志系统搭建全攻略

目录一、引言二、日志系统基础日志级别日志输出格式三、创建日志所需函数认识可变参数编辑获取时间的函数小结四、创建日志一、引言在 Linux 环境中开发 C/C 程序时，日志系统是不可或缺的一部分。它不仅有助于调试程序、排查问题&#xff…...

编程日记 2025/8/28 1:38:12

前端布局难题：父元素padding导致子元素无法全屏？3种解决方案

大家好，我是一诺。今天要跟大家分享一个我在实际项目中经常用到的CSS技巧——如何让子元素突破父元素的padding限制，实现真正的全屏宽度效果。为什么会有这个需求？ 记得我刚入行的时候，接到一个需求：要在内容区插入…...

编程日记 2025/8/28 12:42:04

写.NET可以指定运行SUB MAIN吗?调用任意一个里面的类时,如何先执行某段初始化代码?

VB.NET 写.NET可以指定运行SUB MAIN吗?调用任意一个里面的类时,如何先执行某段初始化代码? 分享 1. 在 VB.NET 中指定运行 Sub Main 在 VB.NET 里，你能够指定 Sub Main 作为程序的入口点。下面为你介绍两种实现方式： 方式一：在项目属性…...

编程日记 2025/8/27 1:06:04

蓝桥杯单片机频率

long int Freq; unsigned int Timer_1000Ms; 加上 TMOD | 0x05; void Timer0Init(void) //0毫秒12.000MHz {AUXR & 0x7F; //定时器时钟12T模式TMOD & 0xF0; //设置定时器模式TMOD | 0x05;TL0 0x00; //设置定时初值TH0 0x00; //设置定时初值TF0 0; //清除TF0标…...

编程日记 2025/8/25 12:17:08

word导出PDF老是目录格式变化的问题

这里是写给和我一样的笨蛋的经验帖，适合试了很多网上的经验，结果都用不成的傻瓜蛋，先说好，我是傻瓜蛋，我不是在攻击谁，我们只是客观的，缺根弦罢了。这些帖子里讲的最多的应该是：“…...

编程日记 2025/8/22 18:18:58

P1577 切绳子(二分）

题目描述有 N 条绳子，它们的长度分别为 Li。如果从它们中切割出 K 条长度相同的绳子，这 K 条绳子每条最长能有多长？答案保留到小数点后 2 位(直接舍掉 2 位后的小数)。输入格式第一行两个整数 N 和 K，接下来 N 行&#xf…...

编程日记 2025/8/25 9:01:40

高级：分布式系统面试题精讲

一、引言分布式系统在现代软件开发中占据重要地位，其设计和实现需要考虑多个关键因素。面试官通过相关问题，考察候选人对分布式系统核心概念的理解、实际应用能力以及在复杂场景下的问题解决能力。本文将深入分析分布式系统的CAP定理、一致性协议、分布…...

编程日记 2025/8/23 16:07:52

【速写】SFT案例实操（以Qwen2.5-instruct-0.5B）

参考资料： https://openbayes.com/console/bbruceyuan/containers/OPg9Oo99ET6https://www.bilibili.com/video/BV1NM1tY3Eu5 LoRA微调案例首先还是要安装： !pip install -q accelerate peft bitsandbytes transformers sentencepiece !pip install…...

编程日记 2025/8/24 4:16:51

springboot457-库存管理系统(源码+数据库+纯前后端分离+部署讲解等)

💕💕作者： 爱笑学姐 💕💕个人简介：十年Java，Python美女程序员一枚，精通计算机专业前后端各类框架。 💕💕各类成品Java毕设。javaweb，ssm&#xf…...

编程日记 2025/8/26 20:05:16

Node.js中间件的分类

目录 Node.js 中间件的分类与详细介绍 1. 目录结构 2. Express 中间件的主要分类 3. 代码实现 1. 应用级中间件（作用于整个应用） 示例：日志记录中间件 2. 路由级中间件（仅作用于特定路由） 示例：身份…...

编程日记 2025/8/25 15:02:53

棒球规则快速入门·棒球1号位

棒球规则快速入门： 得分方式进攻方击球后，依次跑过一、二、三垒并返回本垒得1分。若击球直接飞出外场围栏（全垒打），击球员和已上垒的跑垒员均可得分。比赛结构共9局，每局分上下半场，双方各…...

编程日记 2025/8/25 17:40:25

【深度学习】通过colab将本地的数据集上传到drive

本地数据集上传到colab很慢，而且断开后就没了，因此通过colab将本地的数据集上传到drive，即使断开连接，第二次连接后挂载drive后即可直接使用数据集。步骤一、将本地数据集上传到colab的临时文件夹中，由于将文件夹上传…...

编程日记 2025/8/25 19:44:59

MYSQL 存储引擎和日志

存储引擎 InnoDB 支持行级别的锁粒度，MyISAM 不支持，只支持表级别的锁粒度。MyISAM 不提供事务支持。InnoDB 提供事务支持，实现了 SQL 标准定义了四个隔离级别。MyISAM 不支持外键，而 InnoDB 支持。MyISAM 不支持 MVCC&#xff0c…...

编程日记 2025/8/25 6:52:23

【2022】【论文笔记】太赫兹量子阱——

前言类型太赫兹 + 量子阱太赫兹 + 量子阱太赫兹+量子阱期刊红外与毫米波学报红外与毫米波学报红外与毫米波学报作者张真真 ,...

编程日记 2025/8/23 23:43:14

【NLP 面经 7、常见transformer面试题】

目录 1. 为何使用多头注意力机制？ 2. Q和K使用不同权重矩阵的原因 3. 选择点乘而非加法的原因 4. Attention进行scaled的原因 5. 对padding做mask操作 6. 多头注意力降维原因 7. Transformer Encoder模块简介 8. 乘以embedding size的开方的意义 9. 位置编码 10. 其…...

编程日记 2025/8/17 22:31:31

在js中数组相关用法讲解

数组 uniqueArray 简单数组去重 /*** 简单数组去重* param arr* returns*/ export const uniqueArray <T>(arr: T[]) > [...new Set(arr)];const arr1 [1,1,1,1 2, 3];uniqueArray(arr); // [1,2,3]uniqueArrayByKey 根据 key 数组去重 /*** 根据key数组去重* …...

编程日记 2025/8/25 6:51:36

第四章 react-redux，@reduxjs/toolkit依赖，学习

redux系列文章目录第一章简单学习redux,单个reducer 第二章简单学习redux,多个reducer 第三章 redux和react-redux，reduxjs/toolkit依赖结合使用第五章两张图告诉你redux常使用的api有哪些前言本章将使用react-redux，reduxjs/toolkit依赖创…...

编程日记 2025/8/28 11:27:11

雅思7分听说读写专项书籍推荐

对于目标 7分以上的雅思考生（中高级水平），选对资料真的事半功倍。下面按照听力、阅读、写作、口语、综合书籍五大类来分别列举高分推荐书籍，每本书包括：适合人群、核心内容、推荐理由，并贴合7分目标。 …...

编程日记 2025/8/27 6:14:15

C++容器使用说明

C标准库提供了多种容器，分为序列容器、关联容器、无序关联容器、容器适配器及其他相关类型。以下是所有标准容器的分类及简要说明： 1. 序列容器（Sequence Containers） 按线性顺序存储元素，支持随机或顺序访问。 vecto…...

编程日记 2025/8/24 16:16:43

Python-函数

1. 函数基础 1.1 定义函数在Python中，使用def关键字来定义函数： def greet():"""简单的问候函数"""print("Hello, World!")1.2 调用函数定义函数后，可以通过函数名加括号来调用： …...

编程日记 2025/8/23 11:12:23

【Redis】数据的淘汰策略

目录淘汰策略方案（8种） LRU和LFU策略的区别使用建议手搓LRU算法方式一方式二大家好，我是jstart千语。今天和大家回来聊一下redis，这次要讲的是它的淘汰策略。为什么需要淘汰策略呢，就是当redis里面的内存占…...

编程日记 2025/8/23 12:18:24

第七章：从类库到服务的分布式基石_《凤凰架构：构建可靠的大型分布式系统》

第七章：从类库到服务的分布式基石一、服务发现（Service Discovery） 核心目标：解决分布式系统中服务实例动态变化时如何定位可用服务的问题。 1. 服务发现的意义动态环境挑战： 微服务架构中，服务实例的…...

编程日记 2025/8/25 12:02:38

spring-ai-alibaba第九章使用Milvus构建大模型RAG应用

1、pom文件 <dependencies><dependency><groupId>com.alibaba.cloud.ai</groupId><artifactId>spring-ai-alibaba-starter</artifactId><version>${spring-ai-alibaba.version}</version></dependency><dependency&g…...

编程日记 2025/8/24 19:50:30