当前位置：首页 > news >正文

PyTorch数据集与数据集加载

news 来源：原创 2025/7/14 19:32:44

PyTorch中的Dataset与DataLoader详解

1. Dataset基础

Dataset是PyTorch中表示数据集的抽象类，我们需要继承它并实现两个关键方法：

from torch.utils.data import Datasetclass CustomDataset(Dataset):def __init__(self, data, labels):"""初始化方法，加载数据"""self.data = dataself.labels = labelsdef __len__(self):"""返回数据集的大小"""return len(self.data)def __getitem__(self, idx):"""根据索引获取单个样本"""sample = self.data[idx]label = self.labels[idx]return sample, label

使用示例

# 假设我们有一些简单的数据
data = [[1, 2], [3, 4], [5, 6], [7, 8]]
labels = [0, 1, 0, 1]# 创建数据集实例
dataset = CustomDataset(data, labels)# 测试数据集
print(f"数据集大小: {len(dataset)}")  # 输出: 4
print(dataset[0])  # 输出: ([1, 2], 0)

2. DataLoader功能

DataLoader负责从Dataset中加载数据，并提供批处理、打乱顺序和多线程加载等功能。

from torch.utils.data import DataLoader# 创建DataLoader
dataloader = DataLoader(dataset,          # 数据集对象batch_size=2,     # 每批数据大小shuffle=True,     # 是否打乱数据num_workers=2     # 使用多少子进程加载数据
)# 遍历数据
for batch_idx, (batch_data, batch_labels) in enumerate(dataloader):print(f"批次 {batch_idx}:")print("数据:", batch_data)print("标签:", batch_labels)

3. 实际应用示例

图像数据集示例

import os
from PIL import Imageclass ImageDataset(Dataset):def __init__(self, img_dir, transform=None):self.img_dir = img_dirself.transform = transformself.img_names = os.listdir(img_dir)def __len__(self):return len(self.img_names)def __getitem__(self, idx):img_path = os.path.join(self.img_dir, self.img_names[idx])image = Image.open(img_path).convert('RGB')if self.transform:image = self.transform(image)# 假设文件名格式为 "label_image.jpg"label = int(self.img_names[idx].split('_')[0])return image, label

使用数据增强

from torchvision import transforms# 定义数据转换
transform = transforms.Compose([transforms.Resize(256),transforms.RandomCrop(224),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])# 创建数据集
dataset = ImageDataset("path/to/images", transform=transform)# 创建DataLoader
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)

4. 高级功能

自定义批处理

from torch.utils.data.dataloader import default_collatedef custom_collate(batch):# 过滤掉None样本batch = [item for item in batch if item is not None]if len(batch) == 0:return Nonereturn default_collate(batch)dataloader = DataLoader(dataset, batch_size=4, collate_fn=custom_collate)

使用Subset划分数据集

from torch.utils.data import random_split# 假设我们有一个大的数据集
full_dataset = CustomDataset(data, labels)# 划分训练集和测试集
train_size = int(0.8 * len(full_dataset))
test_size = len(full_dataset) - train_size
train_dataset, test_dataset = random_split(full_dataset, [train_size, test_size])# 创建对应的DataLoader
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=32, shuffle=False)

5. 性能优化技巧

num_workers设置：根据CPU核心数设置合理的num_workers值（通常2-4）
pin_memory：在GPU训练时设置pin_memory=True可以加速数据传输
预取数据：使用prefetch_factor参数（PyTorch 1.7+）

dataloader = DataLoader(dataset,batch_size=64,shuffle=True,num_workers=4,pin_memory=True,prefetch_factor=2
)

6. 常见问题解决

内存不足：减小batch_size或使用IterableDataset
数据加载慢：确保数据存储在SSD上，使用更快的文件格式（如HDF5）
数据不平衡：使用WeightedRandomSampler

from torch.utils.data import WeightedRandomSampler# 假设我们有不平衡的数据集
weights = [1.0 if label == 0 else 0.1 for _, label in dataset]
sampler = WeightedRandomSampler(weights, num_samples=len(weights), replacement=True)balanced_loader = DataLoader(dataset, batch_size=32, sampler=sampler)

通过合理使用Dataset和DataLoader，可以高效地管理和加载大规模数据集，为深度学习模型训练提供稳定、高效的数据管道。

PyTorch数据集与数据集加载

PyTorch中的Dataset与DataLoader详解 1. Dataset基础 Dataset是PyTorch中表示数据集的抽象类，我们需要继承它并实现两个关键方法： from torch.utils.data import Datasetclass CustomDataset(Dataset):def __init__(self, data, labels):""…...

编程日记 2025/7/14 19:32:44

探秘 Git 底层原理：理解版本控制的基石

Git 是一款开源的分布式版本控制系统，在软件开发领域广泛应用，能有效管理项目的版本变更，Git 已经成为了版本控制的代名词。日常使用中，我们通过git commit提交代码，用git push推送变更，这些便捷操作背后&a…...

编程日记 2025/7/7 18:25:12

chili3d调试10 网页元素css node deepwiki 生成圆柱体生成零件图片

.input是input的外框，.input input是input的内框沙雕全部input都换成textarea了自己的方法用接口定义，把自己的方法pub出去，定义在内部拉出去只是取个值这其实是mainwindow端pub回来的窗口pub端把数据pub回 mainwindow端让mainwindow端…...

编程日记 2025/7/14 19:15:56

【计网】互联网的组成

回顾： 互联网(Internet)：它是一个专有名词，是一个特定的互连网，它是指当下全球最大的、最开放的、由众多网络相互连接而形成的特定的的互连网，采用TCP/IP协议族作为通信规则。一、互联网的组成部分从互联网的工作方…...

编程日记 2025/6/29 7:36:23

Go语言接口实现面对对象的三大特征

一.知识回顾在 Go 语言中，接口是一种强大的抽象机制，它允许我们定义一组方法签名，任何类型只要实现了这些方法，就被视为实现了该接口。接口的实现是隐式的，这意味着类型不需要显式声明它实现了某个接口，只…...

编程日记 2025/7/14 18:34:31

TS 字面量类型

str是string类型l str2是常量，类型是字面量类型用途：配合联合类型确定更严谨精确的可选值利恩...

编程日记 2025/7/14 18:32:42

langchain中 callbacks constructor实现

目录代码代码解释代码结构代码功能类似例子代码 from typing import Any, Dict, Listfrom langchain_openai import ChatOpenAI from langchain_core.callbacks import BaseCallbackHandler from langchain_core.messages import BaseMessage from langchain_core.outputs …...

编程日记 2025/7/14 18:51:11

小土堆pytorch--tensorboard的使用

小土堆pytorch--tensorboard的使用小土堆pytorch--tensorboard的使用0.介绍1.使用tensorboard绘制 y x 等简单函数1.1 相应的代码1.2 对上述代码的解释1.3 可能遇到的问题1.3.1 问题1.3.2 解决方法 2.使用tensorboard加载数据集中的图片2.1 相应代码2.2 对上述代码的解释2.2.…...

编程日记 2025/7/14 18:50:15

从 0 到 1：使用 Jetpack Compose 和智能自动化实现高效 Android UI 开发

现代 Android UI 开发正逐步从命令式 XML 向声明式 Compose 转变。Compose 凭借其简洁、高效、易测试的特点，能够让开发者更专注于界面和业务逻辑，而不必陷入大量模板化的代码。手把手带你构建一个完整的 Todo List 应用，并演示如何借助自动化…...

编程日记 2025/7/14 18:37:07

学习黑客 week1周测复盘

Day 7 – 周测 & 复盘今天任务： 完成 10 道快测题，涵盖 Week 1 的核心知识点：《CIA 三要素》、OWASP Top 10、MITRE ATT&CK、NIST RMF、Linux 权限、TCP/IP、网络安全法、“黑客五阶段” 与风险管理。撰写 300 字周总结&#xf…...

编程日记 2025/6/29 5:23:08

【五一培训】Day 3

Topic 1：元学习一、概念：learn to learn 区分少样本学习与元学习少样本学习（Few-shot learning）是元学习的一个重要应用，它指的是机器能够在仅有少量样本的情况下，成功地学习和泛化到新任务上。在许多现…...

编程日记 2025/7/14 19:05:28

C++继承详讲

1.继承的概念继承是实现代码复用的手段，它允许程序员在保持基类特性的基础上进行扩展，增加功能，这样产生新的类，称派生类。 2.继承和组合 1.继承体系下，子类对象包含父类的成员。组合体系下，子类对象包含…...

编程日记 2025/7/14 18:50:16

第四节：OpenCV 基础入门-第一个 OpenCV 程序：图像读取与显示

一、引言：为什么选择 OpenCV？ 在计算机视觉领域，OpenCV（Open Source Computer Vision Library）是一个开源的、跨平台的计算机视觉库，广泛应用于图像处理、模式识别、机器学习等领域。它支持多种编程语言&a…...

编程日记 2025/7/14 18:34:31

基于PHP实现的easy管理系统

easy管理系统 2.0.1 easy管理系统是一个多功能的 Web 管理平台，旨在简化项目管理、文件共享和协作流程。它集成了大创项目管理、在线文档生成、代码托管等多种功能，并提供了用户管理、系统设置、日志查看等后台管理能力。 ✨ 功能特性统一管理平台:…...

编程日记 2025/7/14 18:55:21

ios systeam introduction

Here is an in-depth look at Apple’s iOS, from its inception to its latest major release, covering architecture, core components, security, app lifecycle, development tools, and the headline features of iOS 18. iOS began life as “iPhone OS,” unveiled alo…...

编程日记 2025/7/14 18:42:02

【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架

文章目录第一遍一、摘要二、关键词三、预知识1. 什么是优化泛化问题2. 什么是消融研究3. model alignment（模型对齐） 第二遍：了解论文论点一、研究背景与目的二、相关工作三、LLMOPT框架四、METHODOLOGY(方法论)1. 数据处理2. 学习过程3. 自…...

编程日记 2025/6/29 5:11:34

Prompt多版本测试指南：如何科学评估不同提示词的效果

对于现代AI开发来说，同一个需求，不同的提示表达方式往往会产生截然不同的结果。因此，如何设计、测试和优化提示词成为了一项关键技能。本文将深入探讨Prompt多版本测试的技术方法，帮助你系统性地评估不同提示词的效果&#xff0…...

编程日记 2025/7/14 19:02:52

每日c/c++题备战蓝桥杯（洛谷P1015 [NOIP 1999 普及组] 回文数）

洛谷P1015 [NOIP 1999 普及组] 回文数题解题目描述 P1015 回文数是NOIP 1999普及组的经典模拟题。题目要求如下： 给定一个数N（十进制）和进制K（2≤K≤16），将N转换为K进制表示后，通过以下操…...

编程日记 2025/7/14 18:47:19

最小单调子序列的长度+联通最小乘积

因为题目ICPC是英文版，基于大家都不怎么看的懂的情况下直接给大家进行题目讲解题目1： 题目分析： 构造一个长度为n的排列 p（里面的数是1-n),不能重复得 max⁡(lis(p),lds(p)) 最小。其中，lis(p)是 p 的最长递增子序…...

编程日记 2025/7/14 18:33:30

OpenHarmony平台驱动开发（一），ADC

OpenHarmony平台驱动开发（一） ADC 概述功能简介 ADC（Analog to Digital Converter），即模拟-数字转换器，可将模拟信号转换成对应的数字信号，便于存储与计算等操作。除电源线和地线之外&#…...

编程日记 2025/7/14 18:30:32

数据结构与算法：回溯

回溯先给出一些leetcode算法题，以后遇见了相关题目再往上增加主要参考代码随想录 2.1、组合问题关于去重：两种写法的性能分析需要注意的是：使用set去重的版本相对于used数组的版本效率都要低很多，大家在leetcode上提交&#x…...

编程日记 2025/7/14 18:36:20

KaiwuDB X 遨博智能 | 构建智能产线监测管理新系统

01 项目背景遨博智能作为国内协作机器人行业领军企业，深度布局制造、农业、医疗、教育、民生等场景，出货量连续四年蝉联国内第一、世界第二。随着工业自动化的蓬勃发展，遨博智能生产规模不断扩大，先后在常州、淄博等地建设完成…...

编程日记 2025/7/14 19:03:42

高等数学第三章---微分中值定理与导数的应用（§3.6 函数图像的描绘§3.7 曲率）

3.6 函数图像的描绘一、曲线的渐近线对于某些函数，其图形向无穷远处延伸时，会越来越趋近于某一条直线，这条直线被称为曲线的渐近线 (Asymptote)。 1. 定义若曲线 y f ( x ) yf(x) yf(x) 上一点 P ( x , y ) P(x, y) P(x,y) 沿曲线趋…...

编程日记 2025/7/14 18:55:21

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.2 数据类型转换（CAST函数/自定义函数）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL数据分析实战：数据清洗之数据类型转换（CAST函数/自定义函数）4.2 数据类型转换：让数据「格式正确，类型对…...

编程日记 2025/7/14 18:38:03

docker:制作镜像+上传镜像+拉取镜像

1.dockerfile制作镜像示例内容： 1.创建一个index.js的文件 console.log("hello world")2.在相同目录下创建名为dockerfile的文件 FROM node:alpine COPY index.js /index.js CMD node /index.js3.构建镜像 docker build -t minterra/hello-docker . …...

编程日记 2025/7/14 18:43:58

信息系统监理师第二版教材模拟题第三组（含解析）

信息系统监理师模拟题第三组（30题）监理基础理论信息系统工程监理的性质是（） A. 服务性、独立性、公正性、科学性 B. 强制性、营利性、行政性、技术性 C. 临时性、从属性、随意性、主观性 D. 单一性、封闭性、被动性、保守性答案：A 解析：监理具有服务性、独立性、公正…...

编程日记 2025/7/14 19:05:28

潮乎盲盒商城系统全开源多级分销推广海报奖品兑换试玩概率OSS云存储多端源码

一、源码描述这是一套潮乎盲盒商城源码，仿小叮当盲盒商城，后端Laravel框架前端uniappvue，前后端数据库分离，支持四端同步数据（H5小程序等），测试环境: php7.4，mysql5.6，…...

编程日记 2025/7/14 18:43:57

文章记单词 | 第64篇（六级）

一，单词释义 residence [ˈrezɪdəns] n. 住宅；居住；住所；居住期fling [flɪŋ] v. （用力地）扔，掷，抛；猛动（身体或身体部位）；急冲&a…...

编程日记 2025/7/14 19:27:05

数据同步实战篇

文章目录数据同步实战篇1. mysql数据同步1.1 mysql集群部署1.2 数据同步1.2.1 同步复制1.2.2 异步复制1.2.3 半同步复制 2. redis数据同步2.1 redis集群部署2.2 数据同步 3. mq数据同步3.1 mq集群部署3.2 数据同步 4. es数据同步4.1 es集群部署4.2 数据同步数据同步实战篇数…...

编程日记 2025/7/14 18:52:52

具身系列——Double DQN算法实现CartPole游戏（强化学习）

完整代码参考： rl/ddqn_cartpole.py 陈先生/ailib - Gitee.com 部分训练得分： Model saved to ./output/best_model.pth New best model saved with average reward: 9.6 Episode: 0 | Train Reward: 25.0 | Epsilon: 0.995 | Best Eval Avg: 9.6…...

编程日记 2025/7/14 18:49:09

以下是在 Ubuntu 上的几款PDF 阅读器，涵盖轻量级、功能丰富和特色工具：

默认工具：Evince（GNOME 文档查看器） 特点：Ubuntu 预装，轻量快速，支持基本标注和书签。安装：已预装，或手动安装： sudo apt install evince功能全面：Okular&…...

编程日记 2025/7/14 18:39:11

有关水下图像增强的论文

4.21 TEBCF：Real-World Underwater Image Texture Enhancement Model Based on Blurriness and Color Fusion 基于模糊和颜色融合的现实水下图像纹理增强模型 2022年的一篇文章，基于传统方法，基于不同的色彩方法构建了两个新的融合输入。一…...

编程日记 2025/7/14 19:08:03

Raycaster光线投射

Raycaster光线投射 3D虚拟工厂在线体验描述光线投射Raycaster，用于进行raycasting（光线投射）。光线投射用于进行鼠标拾取（在三维空间中计算出鼠标移过了什么物体）。构造器 Raycaster( origin : Vector3, dire…...

编程日记 2025/7/14 18:40:20

javaEE——单例模式

目录前言1.概念2. 实现3. 比较和改进总结前言本篇文章来介绍单例模式，并讲述在保证线程安全的前提下，单例模式的写法。 1.概念单例模式是一种设计模式，可以说是写代码的一种模板，如果在一些固定的场景下按照设计模式进行写…...

编程日记 2025/6/29 5:11:29

WSL在D盘安装Ubuntu

目录前提条件步骤一：查看可用的Linux发行版步骤二：安装Ubuntu 22.04步骤三：导出已安装的Ubuntu到D盘步骤四：注销当前Ubuntu安装步骤五：在D盘导入Ubuntu启动Ubuntu 前提条件 Windows 10或Windows 11系统已启用WSL功能…...

编程日记 2025/7/14 18:46:32

Java并发编程-多线程基础（三）

文章目录线程间通信线程间通信的核心问题volatile 关键字1. 核心特性2. 使用限制3. 示例 synchronized 关键字1. 核心特性2. 示例 volatile 与 synchronized 的对比Volatile 和 Synchronized 最佳实践线程间通信线程间通信的核心问题多个线程通过共享内存实现信息交换&am…...

编程日记 2025/7/14 19:03:44

React--》掌握react构建拖拽交互的技巧

在这篇文章中将深入探讨如何使用react-dnd，从基础的拖拽操作到更复杂的自定义功能带你一步步走向实现流畅、可控且用户友好的拖拽体验,无论你是刚接触拖拽功能的初学者还是想要精细化拖拽交互的经验开发者，都能从中找到适合自己的灵感和解决方案。目录 …...

编程日记 2025/7/14 7:15:36

【Qt】常用的类与数据类型

目录一、Qt常见基本数据类型二、Qt 字符串类应用 2.1 操作字符串 2.2 查询字符串三、QMap 类&QHash 类&QVector 类 3.1 QMap 类 3.2 QHash 类 3.3 QVector 类四、QList 类&QLinkedList 类 4.1 QList 类 4.2 QLinkedList 类 4.3 STL 风格迭代器遍历…...

编程日记 2025/7/14 18:47:18

React实现B站评论Demo

该Demo涉及的技术点 useState函数（数据驱动视图）子组件的封装条件判断回调函数的封装 1、评论数据 {"list": [{"rpid": 3,"user": {"uid": "13258165","avatar": "http://toutiao.…...

编程日记 2025/7/14 18:53:42

从实列中学习linux shell12 通过Shell脚本来优化MySQL数据库性能，特别是慢SQL跟踪和索引优化

在Shell脚本中优化MySQL数据库性能，特别是慢SQL跟踪和索引优化可以通过以下步骤实现。以下是一个结构化的解决方案，包含示例代码和详细说明： 1. 启用慢查询日志目标：动态启用慢查询日志并配置参数，收集慢SQL数据。…...

编程日记 2025/7/14 18:52:52

ES6入门---第三单元模块一：类、继承

补充： prototype 属性使您有能力向对象添加属性和方法。 object.prototype.namevalue <script>function Person(name, age){this.name name;this.age age;}/* Person.prototype.showName function(){return 名字为: ${this.name};};Person.prototype.showA…...

编程日记 2025/7/14 19:01:39

CSS 变量与原生动态主题实现

CSS 变量与原生动态主题实现 CSS 变量基础 CSS 变量（自定义属性）是 CSS 语言的一项强大功能，允许我们在样式表中定义和重用值。与 SCSS 或 LESS 等预处理器中的变量不同，CSS 变量在运行时计算，这意味着它们可以动态更…...

编程日记 2025/7/14 10:32:54

Ubuntu 安装 Docker

安装 Docker 1. 卸载旧版本（如果有） sudo apt-get remove docker docker-engine docker.io containerd runc 2. 更新 APT 包的索引 sudo apt-get update 3. 安装依赖包 sudo apt-get install -y \ca-certificates \curl \gnupg \lsb-release4. 添加…...

编程日记 2025/7/14 18:48:04

SpringMVC——第三章：获取请求数据

假设有这样一个请求：http://localhost:8080/springmvc/register?namezhangsan&password123&emailzhangsanpowernode.com 在SpringMVC中应该如何获取请求提交的数据呢？ 在SpringMVC中又应该如何获取请求头信息呢？ 在SpringMVC中又应…...

编程日记 2025/7/14 19:19:43

动静态库【Linux操作系统】

文章目录动静态库制作静态库如何把第三方库安装在Linux系统中，如何使用第3方库方案一：为什么我们之前使用gcc/g编译C/C标准库的时候不用加选项-l xxx呢？方案二：方案三： 为什么不同平台的库不一样呢？动态库…...

编程日记 2025/7/9 12:28:23

Day 4:牛客周赛Round 91

好久没写了，问题还蛮多的。听说这次是苯环哥哥出题 F题小苯的因子查询思路考虑求因子个数，用质因数分解；奇数因子只需要去掉质数为2的情况，用除法。这里有个比较妙的细节是，提前处理出数字x的最小质因数&#xff0…...

编程日记 2025/6/28 20:05:21

drawDB：打造高效数据库设计流程

drawDB：打造高效数据库设计流程 drawDB 简介资源链接核心功能详解1. 直观的实体关系图设计2. SQL 脚本生成3. SQL 导入功能4. 本地化存储与分享功能5. 自定义主题与外观安装和使用教程本地开发环境搭建构建生产版本Docker 部署基本使用方法应用场景和实际价值适用…...

编程日记 2025/7/10 16:39:34

【心海资源】子比主题新增注册与会员用户展示功能模块及实现方法

内容改写： 本次分享的是子比主题顶部展示注册用户与会员信息的功能模块及其实现方式。你可以通过两种方式启用该功能： 直接在后台进入“外观 → 小工具”启用该展示模块，操作简便；也可将提供的代码覆盖至子比主题目录中&#…...

编程日记 2025/6/29 7:49:24

gitblit安装教程，搭建一个属于自己的Git版本仓库

本章教程，主要记录如何在Windows服务器上利用gitblit搭建GIT私有化仓库。一、gitblit简介官网地址：https://www.gitblit.com/ Gitblit 是一个开源的纯 Java 技术栈，用于管理、查看和服务Git仓库。它主要设计为一款面向希望托管集中式仓库的小型工作组的工具。二、基础环…...

编程日记 2025/6/28 20:05:17

2023年第十四届蓝桥杯省赛B组Java题解【简洁易懂】

2023年第十四届蓝桥杯省赛B组Java题解题型概览与整体分析题目编号题目名称题型难度核心知识点通过率（预估）A阶乘求和结果填空★☆☆模运算、数学规律95%B幸运数字结果填空★★☆进制转换、数位和计算80%C数组分割编程题★★☆组合数学、奇偶性分析65…...

编程日记 2025/6/29 7:57:06