当前位置：首页 > news >正文

pyTorch框架使用CNN进行手写数字识别

news 来源：原创 2025/8/28 13:17:54

1.导包

2.torchvision数据处理的方法

3.下载加载手写数字的训练数据集

4.下载加载手写数字的测试数据集

5. 将训练数据与测试数据转换成dataloader

6.转成迭代器取数据

7.创建模型

8. 把model拷到GPU上面去

9. 定义损失函数

10. 定义优化器

11. 定义训练过程

12.最终运行测试

1.导包

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

torch.__version__

'2.4.1+cu121'

# 检查GPU是否可用
torch.cuda.is_available()

True

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')device

device(type='cuda', index=0)

# pytorch中使用GPU进行训练的主要流程注意点：
#1. 把模型转移到GPU上.
#2. 将每一批次的训练数据转移到GPU上.

# torchvision 内置了常用的数据集和常见的模型.
#使用pyTorch框架整迁移学习时，可以从torchvision中加载出来

2.torchvision数据处理的方法

import torchvisionfrom torchvision import datasets, transforms

# transforms.ToTensor 的作用如下：
# 1. 把数据转化为tensor
# 2. 数据的值转化为0到1之间.
# 3. 会把channel放到第一个维度上.

# transforms用来做数据增强, 数据预处理等功能的. 
#Compose()可以将很多数据处理的方法组合起来， 用列表来组合
transformation = transforms.Compose([transforms.ToTensor(),])

3.下载加载手写数字的训练数据集

#下载获取手写数字数据集MNIST  ，获取其中的训练数据集
#train=True表示获取训练数据集
train_ds = datasets.MNIST('./', train=True, transform=transformation, download=True)

datasets

<module 'torchvision.datasets' from 'D:\\anaconda3\\lib\\site-packages\\torchvision\\datasets\\__init__.py'>

4.下载加载手写数字的测试数据集

# 下载获取 手写数字的 测试数据集
#train=False表示获取测试数据集
test_ds = datasets.MNIST('./', train=False, transform=transformation, download=True)

5. 将训练数据与测试数据转换成dataloader

# 将训练数据与测试数据 转换成dataloader
train_dl = torch.utils.data.DataLoader(train_ds, batch_size=64, shuffle=True)   #shuffle=True表示打乱数据
test_dl = torch.utils.data.DataLoader(test_ds, batch_size=256)  #测试数据时，不需要进行反向传播，可以将batch_size的值给大一些

6.转成迭代器取数据

#可迭代对象 与 迭代器 不同
#train_dl是可迭代对象
#iter()将train_dl可迭代对象的数据 变成 迭代器
#next()从迭代器中取出一批数据
images, labels = next(iter(train_dl))

#tensorflow中图片的表现形式[batch, hight, width, channel]
# pytorch中图片的表现形式[batch, channel, hight, width]
images.shape

torch.Size([64, 1, 28, 28])

labels  #还没有one_hot编码的

tensor([1, 1, 2, 3, 2, 1, 8, 4, 5, 8, 4, 3, 0, 0, 4, 8, 2, 3, 3, 7, 3, 0, 5, 5,5, 6, 7, 2, 9, 4, 7, 9, 6, 7, 1, 4, 3, 9, 2, 4, 6, 4, 1, 1, 9, 2, 4, 7,7, 6, 2, 6, 8, 1, 3, 5, 4, 7, 5, 0, 6, 0, 9, 1])

img = images[0]   #取一张图的数据

img.shape  #一张图数据的形状   #三维数据 不方便可视化

img = img.numpy()  #可以先将数据转成numpy数据类型， 再进行数据降维，  再进行可视化

img = np.squeeze(img)  #数据降维，降一个维度，把只有1的维度降掉， 将形状变成(28, 28)

img.shape

(28, 28)

plt.imshow(img, cmap='gray')   #图片数据可视化

7.创建模型

class Model(nn.Module):    #继承nn.Moduledef __init__(self):    #重写方法super().__init__() #继承父类的方法#无论经过什么层，batch_size一直保持不变(第一个数)#第一层卷积层#nn.Conv2d(输入的通道数, 自定义输出的通道数=这一层使用的卷积核的个数, 卷积核的大小)#输出的通道数=卷积核的个数（神经元个数）#nn.Conv2d（）参数dilation=1(默认值)，表示 不膨胀卷积#padding 默认为0#卷积核的大小为奇数时，padding=valid， 图片大小= （（原图片大小w - 卷积核的大小F）+ 1） /   步长s （此时步长默认steps = 1）self.conv1 = nn.Conv2d(1, 32, 3)# in: 64, 1, 28 , 28 -> out: 64, 32, 26, 26#池化层nn.MaxPool2d((卷积核的大小))   ，卷积核的大小可以用元组（2,2）表示，或者直接用一个数2表示   #strip步长默认为2#池化层的数值设置一般都一样，可重复使用，创建一次就行#卷积核的大小为偶数时，padding=same， 图片大小= 原图片大小w  / 步长s（此时的步长steps默认为2）#上一句化 等同于 经过一次池化层，原图片大小减半#经过池化层，输入通道数=上一层的输出通道数=上一层使用的卷积核个数self.pool = nn.MaxPool2d((2, 2)) # out: 64, 32, 13, 13
#         self.pool = nn.MaxPool2d(2)  #等同于上一行代码#第二层卷积核nn.Conv2d(上一层卷积的输出通道数, 自定义在这一层使用的卷积核的个数, 3)self.conv2 = nn.Conv2d(32, 64, 3)# in: 64, 32, 13, 13 -> out: 64, 64, 11, 11# 再加一层池化操作, in: 64, 64, 11, 11  --> out: 64, 64, 5, 5#第一层全连接层（输入通道数=上一层维度形状相乘，自定义输出通道数量=这一层使用的神经元数量）self.linear_1 = nn.Linear(64 * 5 * 5, 256)#第二层全连接层（输入通道数=上一层输出通道数，自定义输出通道数=问题分类数量（数字识别0~9，共10个数字））self.linear_2 = nn.Linear(256, 10)#定义前向传播def forward(self, input):#链式调用     #relu激活函数（第一层卷积层）  #调用自定义方法，需要加上self.x = F.relu(self.conv1(input))x = self.pool(x)           #第二层：池化层x = F.relu(self.conv2(x))  #第三层：卷积层，然后+ relu激活函数x = self.pool(x)           #第四层：池化层# flatten 展平， 进行维度变形x = x.view(-1, 64 * 5 * 5)   # （每批次具有64个样本， 特征数量）x = F.relu(self.linear_1(x)) #第五层：全连接层+激活函数relux = self.linear_2(x)       #第六层：输出层     #一般会在这一层之后添加一个sigmoid函数，这里没有加，后面需要处理一下return x

8. 把model拷到GPU上面去

model = Model()# 把model拷到GPU上面去
model.to(device)

Model((conv1): Conv2d(1, 32, kernel_size=(3, 3), stride=(1, 1))(pool): MaxPool2d(kernel_size=(2, 2), stride=(2, 2), padding=0, dilation=1, ceil_mode=False)(conv2): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1))(linear_1): Linear(in_features=1600, out_features=256, bias=True)(linear_2): Linear(in_features=256, out_features=10, bias=True)
)

9. 定义损失函数

#定义损失函数
loss_fn = torch.nn.CrossEntropyLoss()

10. 定义优化器

#定义优化器
optimizer = optim.Adam(model.parameters(), lr=0.001)

11. 定义训练过程

#定义训练过程
def fit(epoch, model, train_loader, test_loader):#声明变量correct = 0      #预测准确的数量total = 0        #总共的样本数量running_loss = 0 #每运行一次的累计损失for x, y in train_loader:# 把CPU上的数据放到GPU上去. x, y = x.to(device), y.to(device)y_pred = model(x)loss = loss_fn(y_pred, y)optimizer.zero_grad()loss.backward()optimizer.step()with torch.no_grad():  #不计算梯度求导时#计算预测值   #argmax()是取最大值的索引， y_pred是10个预测数字的概率（包含10个概率数值），是二维数据类型   # dim=1表示取第二个维度上的索引：列上y_pred = torch.argmax(y_pred, dim=1)#计算预测准确的数量，  #.item()表示把sum（）求和的聚合运算（bool值会直接用1或0表示）之后的 标量（一个具体的数）取出来correct += (y_pred == y).sum().item()total += y.size(0)  #总共样本数量running_loss += loss.item()  #每运行一次的累计损失epoch_loss = running_loss / len(train_loader.dataset)  #计算平均损失epoch_acc = correct / total  #计算准确率# 测试过程，不需要计算梯度求导test_correct = 0test_total = 0test_running_loss = 0with torch.no_grad():for x, y in test_loader:x, y = x.to(device), y.to(device)y_pred = model(x)loss = loss_fn(y_pred, y)y_pred = torch.argmax(y_pred, dim=1)test_correct += (y_pred == y).sum().item()test_total += y.size(0)test_running_loss += loss.item()test_epoch_loss = test_running_loss / len(test_loader.dataset)test_epoch_acc = test_correct / test_totalprint('epoch: ', epoch,'loss: ', round(epoch_loss, 3),    #3表示三位小数'accuracy: ', round(epoch_acc, 3),'test_loss: ', round(test_epoch_loss, 3),'test_accuracy: ', round(test_epoch_acc))return epoch_loss, epoch_acc, test_epoch_loss, test_epoch_acc

12.最终运行测试

epochs = 20     #指定运行的次数
train_loss = []
train_acc = []
test_loss = []
test_acc = []
for epoch in range(epochs):epoch_loss, epoch_acc, test_epoch_loss, test_epoch_acc = fit(epoch, model, train_dl, test_dl)train_loss.append(epoch_loss)train_acc.append(epoch_acc)test_loss.append(epoch_loss)test_acc.append(epoch_acc)

pyTorch框架使用CNN进行手写数字识别

目录 1.导包 2.torchvision数据处理的方法 3.下载加载手写数字的训练数据集 4.下载加载手写数字的测试数据集 5. 将训练数据与测试数据转换成dataloader 6.转成迭代器取数据 7.创建模型 8. 把model拷到GPU上面去 9. 定义损失函数 10. 定义优化器 11. 定义训练…...

编程日记 2025/8/28 13:17:54

新能源汽车电子电气架构设计中的功能安全

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/8/28 16:28:21

使用binance-connector库获取Binance全市场的币种价格，然后选择一个币种进行下单

一个完整的示例，展示如何使用 api 获取Binance全市场的币种价格，然后选择一个最便宜的币种进行下单操作代码经过修改，亲测可用，目前只可用于现货，合约的待开发获取市场价格：使用client.ticker_price()获取所有交易对的当前价格账户检查：获取账户余额，确保有足够的资…...

编程日记 2025/8/24 8:34:23

HikariCP 源码核心设计解析与 ZKmall开源商城场景调优实践

HikariCP 作为 Spring Boot 默认数据库连接池，其高性能源于独特的无锁设计、轻量级数据结构和精细化生命周期管理。以下从源码解析与 ZKmall开源商城性能调优两个维度展开： 一、HikariCP 源码核心设计解析无锁并发控制与 ConcurrentBag 容器 Concur…...

编程日记 2025/8/22 10:08:33

P1036 [NOIP 2002 普及组] 选数（DFS）

题目描述已知 n 个整数 x1,x2,⋯,xn，以及 1 个整数 k（k<n）。从 n 个整数中任选 k 个整数相加，可分别得到一系列的和。例如当 n4，k3，4 个整数分别为 3,7,12,19 时，可得全部的组合与它…...

编程日记 2025/8/23 16:43:11

自然语言处理

自然语言处理基础什么是自然语言处理：让计算机来理解人类所说的一种语言。自然语言处理实际就是让计算机理解人类说的话，然后像人一样进行交互，去进行对话，去生成自然语言。自然语言处理的基本任务词性标注：把给…...

编程日记 2025/8/23 9:53:41

LeetCode刷题常见的Java排序

1. 字符串排序（字母排序）首先，你的代码实现了根据字母表顺序对字符串中的字母进行排序，忽略了大小写并且保留了非字母字符的位置。关键点是：提取和排序字母：通过 Character.isLetter() 判断是否为字母，并利用 Character.toLowerCase() 来忽略大小写进行排序。保留非字…...

编程日记 2025/8/24 11:41:27

# 利用OpenCV和Dlib实现疲劳检测：守护安全与专注

利用OpenCV和Dlib实现疲劳检测：守护安全与专注在当今快节奏的生活中，疲劳和注意力不集中是许多人面临的常见问题，尤其是在驾驶、学习等需要高度集中精力的场景中。疲劳不仅影响个人的健康和安全，还可能导致严重的事故。为了应对…...

编程日记 2025/8/24 8:28:29

python基础-16-处理csv文件和json数据

文章目录【README】【16】处理csv文件和json数据【16.1】csv模块【16.1.1】reader对象【16.1.2】在for循环中， 从reader对象读取数据【16.1.3】writer对象【16.1.5】DictReader与DictWriter对象【16.4】json模块【16.4.1】使用loads()函数读取json字符串并转为jso…...

编程日记 2025/8/28 4:00:23

Mysql 数据库编程技术01

一、数据库基础 1.1 认识数据库为什么学习数据库瞬时数据：比如内存中的数据，是不能永久保存的。持久化数据：比如持久化至数据库中或者文档中，能够长久保存。数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长…...

编程日记 2025/8/27 16:39:05

基于SSM的车辆管理系统的设计与实现(代码+数据库+LW)

摘要当下，正处于信息化的时代，许多行业顺应时代的变化，结合使用计算机技术向数字化、信息化建设迈进。以前企业对于车辆信息的管理和控制，采用人工登记的方式保存相关数据，这种以人力为主的管理模式已然落后。本人结…...

编程日记 2025/8/27 13:30:29

BugKu Simple_SSTI_2

这个题很简单，主要是记录一下，做题的原理： 打开环境，提示我们用flag传参，然后我们需要判断是什么模板： 这里有一张图片，可以帮助我们轻松判断是什么模板类型：这个图片找不到出处了&…...

编程日记 2025/8/24 5:50:54

浙考！【触发器逻辑方程推导（电位运算）】

RS触发器是浙江高考通用技术一大考点。“对角线原则”、“置1置0”、“保持”、“不使用”、“记忆功能”…经常让考生云里雾里，非常反直觉。这篇文章，我想以高中生的视角诠释一下触发器。 1、触发器逻辑方程推导（以或非门触发器为例&…...

编程日记 2025/8/20 5:34:26

一、前序遍历 144. Binary Tree Preorder Traversal 递归代码实现： /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* …...

编程日记 2025/8/19 17:53:37

es中节点类型有哪些

Elasticsearch 节点类型有哪些在 Elasticsearch 中，节点类型（或角色）定义了每个节点在集群中的职责。不同版本的 Elasticsearch 对节点角色的定义和管理方式有所不同，尤其在 7.9.0 版本引入 node.roles 后，配置方式更…...

编程日记 2025/8/26 18:16:22

【学习笔记】深度学习环境部署相关

文章目录 [AI硬件科普] 内存/显存带宽，从 NVIDIA 到苹果 M4[工具使用] tmux 会话管理及会话持久性[A100 02] GPU 服务器压力测试，gpu burn，cpu burn，cuda samples[A100 01] A100 服务器开箱，超微平台，gpu、…...

编程日记 2025/8/28 1:13:00

游戏引擎学习第206天

回顾并为当天的工作定下目标接着回顾了前一天的进展。之前我们做了一些调试功能，并且已经完成了一些基础的工作，但是还有一些功能需要继续完善。其中一个目标是能够展示实体数据，以便在开发游戏逻辑系统时，可以清晰地查看和检查…...

编程日记 2025/8/24 16:38:01

Rust所有权详解

文章目录 Rust所有权所有权规则作用域内存和分配移动与克隆栈空间堆空间关于函数的所有权机制作为参数作为返回值引用与租借垂悬引用 Rust所有权 C/C中我们对于堆内存通常需要自己手动管理，手动申请和释放，即便有了智能指针，对于效率的影…...

编程日记 2025/8/28 13:27:23

贪心算法的使用条件

1. 算法原理贪心算法是一种在每一步选择中都采取当前状态下最优（局部最优）的策略，从而希望最终得到全局最优解的算法。其核心思想是：“目光短浅” 地选择当前最优解，不回溯、不瞻前顾后。示例：活动选择问…...

编程日记 2025/8/28 1:38:26

网络性能优化参数关系解读 | TCP Nagle / TCP_NODELAY / TCP_QUICKACK / TCP_CORK

注：本文为 “网路性能优化” 相关文章合辑。未整理去重。如有内容异常，请看原文。 TCP_NODELAY 详解 lenky0401 发表于 2012-08-25 16:40 在网络拥塞控制领域，Nagle 算法（Nagle algorithm）是一个非常著名的算法&…...

编程日记 2025/8/20 2:27:39

《打破SQL与AI框架对接壁垒，解锁融合新路径》

在当今科技飞速发展的浪潮中，SQL作为管理和处理关系型数据的经典语言，与代表前沿技术的人工智能框架之间的融合，正逐渐成为推动数据驱动型应用发展的重要力量。这种融合所带来的接口实现，不仅是技术上的突破，更是为众多…...

编程日记 2025/8/20 2:09:03

虚拟Ashx页面,在WEB.CONFIG中不添加handlers如何运行

https://localhost:44311/webapi.ashx 虚拟ASHX页面,在WEB.CONFIG中添加handlers，如何不添加节点，直接运行?把页面直接保存ASHX名称？现在是.VB 如果你不想通过在 web.config 里添加 handlers 节点来配置处理程序，而是直接让 .as…...

编程日记 2025/8/24 13:02:42

【ssrf漏洞waf绕过】

SSRF绕过方法 SSRF对于防御方式(waf)绕过方法 SSRF攻击内网的redis 题目一基于java 的一个 WEBLOGIC 框架首先我们要知道它内网有什么服务，我们正常给8888端口发送请求是能接受到的，那么我们把8888端口给关闭了，再次请求发现后有一个错误…...

编程日记 2025/8/22 10:03:05

BEVFormer v2(CVPR2023)

文章目录 AbstractIntroductionRelated WorksBEV 3D Object DetectorAuxiliary Loss in Camera 3D Object DetectionTwo-stage 3D Object Detector BEVFormer v2Overall ArchitecturePerspective SupervisionPerspective LossRavamped Temporal EncoderTwo-stage BEV DetectorD…...

编程日记 2025/8/25 7:36:42

1.导包

2.torchvision数据处理的方法

3.下载加载手写数字的训练数据集

4.下载加载手写数字的测试数据集

5. 将训练数据与测试数据 转换成dataloader

6.转成迭代器取数据

7.创建模型

8. 把model拷到GPU上面去

9. 定义损失函数

10. 定义优化器

11. 定义训练过程

12.最终运行测试

相关文章：

5. 将训练数据与测试数据转换成dataloader