当前位置： 首页 > news >正文

Pytorch Dataset问题解决：数据集读取报错DatasetGenerationError或OSError

news 来源：原创 2025/9/19 1:24:52

问题描述

在huggingface上下载很大的数据集，用多个parquet文件的格式下载到本地。使用load_dataset加载的时候，进度条加载到一半会报错DatasetGenerationError: An error occurred while generating the dataset；如果加载为IterableDataset，则在读取到对应位置时报错OSError: Corrupt snappy compressed data.

解决思路

一开始以为是单条数据错误，想把这条数据用try catch来handle住，失败。后来意识到，load_dataset加载的时候，进度条的数据量是跳变的，说明加载机制是读取每个parquet文件，读取完成后把这个文件的条目数加在总数上。能卡在一个具体的点上，说明出问题的是某一个parquet文件。于是检查每个parquet文件的校验码，发现某个文件校验失败。重新下载后，数据集可以正常加载，无论是否streaming.

反思

由于校验流程比较麻烦耗时，平时下载数据集一般只简单看一下文件大小是否正确，如果每个文件的数据大小都正确，就直接开始做。这次的教训说明，当文件多了之后，校验还是很重要的。以后应该写一个自动校验的程序，来确保下载的数据来源正确。

相关文章：

Pytorch Dataset问题解决：数据集读取报错DatasetGenerationError或OSError

问题描述 在huggingface上下载很大的数据集，用多个parquet文件的格式下载到本地。使用load_dataset加载的时候，进度条加载到一半会报错DatasetGenerationError: An error occurred while generating the dataset；如果加载为IterableDataset&…...

编程日记 2025/9/19 1:24:52

学习OpenCV C++版

OpenCV C 1 数据载入、显示与保存1.1 概念1.2 Mat 类构造与赋值1.3 Mat 类的赋值1.4 Mat 类支持的运算1.5 图像的读取与显示1.6 视频加载与摄像头调用1.7 数据保存 参考：《OpenCV4快速入门》作者冯 振 郭延宁 吕跃勇 1 数据载入、显示与保存 1.1 概念 Mat 类 : Ma…...

编程日记 2025/9/19 1:21:01

特权FPGA之PS/2键盘解码

0 故事背景 见过这种接口的朋友们，大概都已经成家立业了吧。不过今天我们不讨论这种接口的历史，只讲讲这种接口的设计。（如果还没有成家的朋友也别生气，做自己想做的事情就对了！） 1 时序分析 数据帧格式如图…...

编程日记 2025/9/9 16:09:07

SpringBoot 接口限流Lua脚本接合Redis 服务熔断 自定义注解 接口保护

介绍 Spring Boot 接口限流是防止接口被频繁请求而导致服务器负载过重或服务崩溃的一种策略。通过限流，我们可以控制单位时间内允许的请求次数，确保系统的稳定性。限流可以帮助防止恶意请求、保护系统资源，并优化 API 的可用性，避…...

编程日记 2025/9/18 2:10:02

FPAG_BUFFER学习

在FPGA设计中，缓冲器（Buffer）是信号传输和管理的核心组件，用于处理输入/输出信号、时钟分配以及信号完整性。以下是FPGA中常见缓冲器的详细介绍，分类说明其功能、应用场景和设计注意事项： --- ### **1. 输…...

编程日记 2025/9/19 1:21:20

《认知觉醒》下篇·第六章第一节“清晰：一个观念，重构你的行动力” 总结

《认知觉醒》下篇第六章第一节“清晰：一个观念，重构你的行动力”的核心内容总结： 1. 清晰的力量：行动力的第一性原理 定义 清晰是对目标、路径和结果的明确认知，是破除拖延与内耗的核心前提。 模糊的代价： …...

编程日记 2025/9/19 1:21:21

idea手动创建resources文件夹

有时maven没有构建成功可能造成，resources文件夹不创建的现象 此时我们可以手动创建 手动创建...

编程日记 2025/9/19 1:23:06

Scala相关知识学习总结6

1、集合计算高级函数说明 - 过滤：遍历集合，提取满足特定条件的元素组成新集合。 - 转化/映射（map）：将集合里的每个元素应用到指定函数进行转换。 - 扁平化：文档未详细阐述其具体含义和操作。 - 扁平化映射&…...

编程日记 2025/9/19 1:22:11

IDEA 调用 Generate 生成 Getter/Setter 快捷键

快捷键不会用？ 快捷键：AltInsert 全选键：CtrlA IDEA 调用 Generate 生成 Getter/Setter 快捷键 - 爱吃西瓜的番茄酱 - 博客园...

编程日记 2025/9/19 1:23:09

【SpringCloud】从入门到精通（下）

网关与路由 什么是网关？顾明思议，网关就是网络的关口。数据在网络间传输，从一个网络传输到另一网络时就需要经过网关来做数据的路由和转发以及数据安全的校验。 现在前端不能请求各个微服务地址，只能去请求网关 网关可以做安全控…...

编程日记 2025/9/19 1:20:59

深入探索 C++23：特性测试与编译器支持

文章目录 一、C23 新特性概览（一）语言特性（二）标准库特性 二、特性测试程序三、主流编译器支持情况（一）GCC（二）Clang（三）MSVC 四、开发者建议（一&…...

编程日记 2025/9/15 10:35:26

Electron 应用太重？试试 PakePlus 轻装上阵

Electron 作为将 Web 技术带入桌面应用领域的先驱框架，让无数开发者能够使用熟悉的 HTML、CSS 和 JavaScript 构建跨平台应用。然而，随着应用规模的扩大，Electron 应用的性能问题逐渐显现——内存占用高、启动速度慢、安装包体积庞大&#xf…...

编程日记 2025/9/19 1:20:58

驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接

驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接 原因描述 项目中有使用到 SQL Server 数据库, 在启动项目时, 出现报错信息: 【驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version…...

编程日记 2025/9/19 1:23:09

Java 设计模式：原型模式详解

Java 设计模式：原型模式详解 原型模式（Prototype Pattern）是一种创建型设计模式，它通过复制现有对象来创建新对象，而无需依赖其具体类。这种模式特别适合创建复杂对象或需要频繁创建相似对象的场景。本文将详细介绍原…...

编程日记 2025/9/19 1:23:10

NLP高频面试题（三十七）——大模型训练和推理的显存估计

在训练和推理大型语言模型时，显存（GPU 内存）的需求是一个关键考虑因素。准确估计这些需求有助于选择合适的硬件配置，确保模型高效运行。 推理阶段的显存需求 在推理过程中，显存主要用于存储模型权重和中间激活值。模型权重的显存需求可以通过以下公式估算： 模型权重…...

编程日记 2025/9/13 3:56:27

PHP 阿里云oss 使用指南

1.介绍 把图片放到阿里云上的空间上，可以使用cdn加速。 可以在程序里直接调用 要使用阿里云 oss sdk ，请先到阿里云下载 或用 copmposer 安装 相关链接： 安装OSS PHP SDK_对象存储(OSS)-阿里云帮助中心 composer require aliyuncs/oss…...

编程日记 2025/9/16 13:12:14

leetcode_面试题 02.07. 链表相交_java

面试题 02.07. 链表相交https://leetcode.cn/problems/intersection-of-two-linked-lists-lcci/ 1、题目 给你两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点，返回 null 。 图示两个链表在节点 c…...

编程日记 2025/9/17 10:50:00

LeetCode 3375.使数组的值全部为 K 的最少操作次数：O(1)空间——排序+一次遍历

【LetMeFly】3375.使数组的值全部为 K 的最少操作次数：O(1)空间——排序一次遍历 力扣题目链接：https://leetcode.cn/problems/minimum-operations-to-make-array-values-equal-to-k/ 给你一个整数数组 nums 和一个整数 k 。 如果一个数组中所有 严格…...

编程日记 2025/9/18 14:22:32

紫光展锐5G SoC T8300：影像升级，「定格」美好世界

影像能力已成为当今衡量智能手机性能的重要标尺之一。随着消费者对手机摄影需求日益提升，手机厂商纷纷在影像硬件和算法上展开激烈竞争，力求为用户带来更加出色的拍摄体验。 紫光展锐专为全球主流用户打造的畅享影音和游戏体验的5G SoC——T8300&#x…...

编程日记 2025/9/9 6:07:52

java基础 关键字static

static static使用简介static结合类的生命周期1.加载2.链接(1) 验证（Verification）(2) 准备（Preparation）(3) 解析（Resolution） 3. 初始化4.使用5.卸载总结 staic作用总结静态变量静态代码块静态方法静态内…...

编程日记 2025/9/11 8:56:55

大数据学习（105）-大数据组件分析

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/9/18 19:37:34

Spark运行

一文读懂Spark：从核心概念到实战编程 在大数据处理领域，Spark凭借其高效的计算能力和灵活的架构脱颖而出。今天，就来和大家深入聊聊Spark，帮助初学者快速入门。Spark采用经典的master - slave结构。Driver如同master，…...

编程日记 2025/9/15 23:01:22

在macOS的docker中如何安装及运行ROS2

1、macOS环境及版本 2、docker for macos版本 3、拉取ROS2镜像 docker pull ros:iron 4、查看容器 docker images 5、启动 ROS2 容器 docker run -it --rm ros:iron -it ：以交互模式运行容器。 --rm ：退出时自动删除容器（测试时推荐&am…...

编程日记 2025/9/16 14:48:15

FFmpeg安装和使用

1. 安装与环境配置 Windows # 方法1：官网下载预编译二进制包 https://ffmpeg.org/download.html#build-windows 解压后添加bin目录到系统PATH# 方法2：通过Chocolatey安装 choco install ffmpegmacOS # 使用Homebrew安装 brew install ffmpegLinux # …...

编程日记 2025/9/10 5:21:53

基于多模态大模型的ATM全周期诊疗技术方案

基于多模态大模型的ATM全周期诊疗技术方案 1. 数据预处理模块 算法1：多模态数据融合伪代码 def multimodal_fusion(data_dict):# 输入：包含MRI、EEG、实验室指标的字典# 输出：对齐后的张量序列# 模态对齐aligned_data = temporal_alignment(data_dict,sampling_rate...

编程日记 2025/9/16 13:36:18

写时复制Copy-on-Write（COW）

简单理解写时复制 读的时候，直接访问原对象。 写的时候，对复制原对象，对副本进行写操作，最后将副本替换原对象。 写时复制多用于读多写少的场景，因为写操作是用悲观锁进行的，如果写的场景多，…...

编程日记 2025/9/11 8:48:21

S7-1200 PLC热电偶和热电阻模拟量模块

热电偶和热电阻模拟量模块 S7-1200 PLC有专用用于对温度进行采集的热电偶模块SM1231 TC和SM 1231RTD。热电偶模块有4AI和8AI两种，下面以SM1231 TC 4AI为例看一下接线图。 该模块一共有4个通道，每个通道有两个接线端子，比如0，0-。…...

编程日记 2025/9/11 12:40:42

ffmpeg函数简介（封装格式相关）

文章目录 🌟 前置说明：FFmpeg 中 AVFormatContext 是什么？🧩 1. avformat_alloc_context功能：场景： 🧩 2. avformat_open_input功能：说明：返回值： &#x1f9…...

编程日记 2025/9/10 10:52:15

操作数组的工具类

Arrays 它里面的每一个方法基本上都是static静态修饰的，如果想要调用里面的方法，不需要创建对象，直接用类名.就可以了 操作数组的工具类 方法： public static String toString（数组） 把数组拼接成…...

编程日记 2025/9/10 0:40:46

小刚说C语言刷题——第19讲 循环之continue和break

在循环中，当我们得到想要的答案时，这时我们可能要提前结束循环，这个时候我们就会用到break。而我们有时需要结束某一次循环时，我们可以用continue。 1.break语句 (1)在循环中想要提前终止循环，要用break。 (2)语法格…...

编程日记 2025/9/16 1:58:59

FairMOT复现过程中cython_bbox库问题

cython_bbox库就该这么安装_cython-bbox库就应该-CSDN博客...

编程日记 2025/9/10 6:11:03

记录学习的第二十四天

还是每日一题。 题解很巧&#xff0c;我根本想不到。 class Solution { public: int minOperations(vector<int>& nums, int k) { int count; int mnnums[0]; //接下来查找nums数组中最小值 for(int i1;i<nums.size();i) { if(nums[i]<mn) { mnnums[i]; } } …...

编程日记 2025/9/10 4:06:04

Kubernetes 入门篇之网络插件 calico 部署与安装

在运行kubeadm init 和 join 命令部署好master和node节点后&#xff0c;kubectl get nodes 看到节点都是NotReady状态&#xff0c;这是因为没有安装CNI网络插件。 kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master Not…...

编程日记 2025/9/16 11:43:03

HTTP 压力测试工具autocannon（AI）

简介 autocannon 是一款基于 Node.js 的高性能 HTTP 压力测试工具&#xff0c;适用于评估 Web 服务的并发处理能力和性能瓶颈。 一、工具特点 高性能‌&#xff1a;利用 Node.js 异步非阻塞机制模拟高并发请求‌。‌实时监控‌&#xff1a;测试过程中动态展示请求统计和性能…...

编程日记 2025/9/11 15:05:08

【面试】封装、继承、多态的具象示例 模板编程的理解与应用场景 链表适用的场景

文章目录 C面试&#xff1a;封装、继承、多态的具象示例1. 封装 (Encapsulation)2. 继承 (Inheritance)3. 多态 (Polymorphism)综合示例&#xff1a;封装、继承、多态 C模板编程的理解与应用场景我对模板编程的理解C中最常用的模板编程场景1. STL (标准模板库)2. 通用容器实现3…...

编程日记 2025/9/13 3:53:48

机器学习02——概要

一、简介 机器学习是一门在没有明确编程的情况下让计算机学习的科学。 监督学习是有目标的&#xff0c;输入数据对应明确的输出&#xff1b;无监督学习则是“探索”型的&#xff0c;模型的目标是从数据中发现潜在的模式或结构&#xff0c;而不需要预先知道标签。 二、机器学…...

编程日记 2025/9/10 1:09:09

常用的网络安全靶场、工具箱

转载&#xff1a;https://blog.csdn.net/zjzqxzhj/article/details/137945444 打CTF很好玩。可以试一下 1.CTF在线工具 1、CTF在线工具箱&#xff1a;http://ctf.ssleye.com/ 包含CTF比赛中常用的编码、加解密、算法。 2、CTF加解密工具箱&#xff1a;http://www.atoolbox.…...

编程日记 2025/9/13 20:59:02

excel中的VBA指令示例（一）

示例注释&#xff1a; Sub 宏1() sub是宏开头&#xff0c;宏1是宏的名称&#xff0c;自定义&#xff0c;在按钮中可指定用某个宏 后面是注释 Sheets("装配材料").Select ‘选择表 装配材料 Ce…...

编程日记 2025/9/18 19:05:20

神经网络 ｜ 基于脉冲耦合神经网络PCNN图像特征提取与匹配（附matlab代码）

内容未发表论文基于脉冲耦合神经网络（PCNN）的图像特征提取与匹配研究 摘要 本文提出一种基于脉冲耦合神经网络（Pulse-Coupled Neural Network, PCNN）的图像特征提取与匹配方法。通过模拟生物视觉皮层神经元的脉冲同步发放特性，PCNN能够有效捕捉图像纹理与边缘特征。实验表…...

编程日记 2025/9/15 19:13:38

Linux 内核中的 TCP 早期多路分解机制解析

一、引言 在现代高性能网络环境中，Linux 内核需要快速处理大量的 TCP 数据包，同时保持低延迟和高吞吐量。为了实现这一目标，Linux 内核引入了 早期多路分解（Early Demultiplexing） 机制。这种机制允许内核在数据包进入传输层之前，快速找到对应的套接字（socket）并关联数…...

编程日记 2025/9/13 1:14:29

Yalmip工具箱（3）——错误类型

在yalmip中&#xff0c;不可避免地我们会遇到求解出问题的情况&#xff0c;理解和处理错误信息是至关重要的环节。在这里我们查看yalmip的所有错误类型&#xff08;详细见 yalmiperror.m 函数&#xff09; 函数概述 yalmiperror函数的主要作用是根据YALMIP产生的错误代码&…...

编程日记 2025/9/13 20:34:35

【KWDB 创作者计划】_KWDB：开源引领数据库创新变革

在数字化浪潮汹涌澎湃的当下&#xff0c;数据已然成为驱动各行各业发展的核心要素。数据库作为数据管理的关键工具&#xff0c;其性能、功能以及开放性&#xff0c;对企业和社会的数字化进程起着举足轻重的作用。KWDB&#xff0c;作为数据库领域的一颗璀璨新星&#xff0c;正以…...

编程日记 2025/9/13 1:11:29

HarmonyOS学习 实验八：显式动画与属性动画的实现

鸿蒙系统动画开发实战&#xff1a;显式动画与属性动画的探索 引言 在鸿蒙系统的开发过程中&#xff0c;动画效果是提升用户体验的重要一环。通过巧妙运用动画&#xff0c;可以使应用界面更加生动、交互更加流畅。鸿蒙系统提供了丰富的动画开发能力&#xff0c;其中显式动画和…...

编程日记 2025/9/17 6:17:48

高校智慧能源系统解决方案：推动绿色校园建设的智能化实践

高校智慧能源系统解决方案&#xff1a;推动绿色校园建设的智能化实践 一、建设背景&#xff1a;政策驱动与绿色发展需求 为响应国家“碳达峰、碳中和”战略目标&#xff0c;教育部印发《绿色低碳发展国民教育体系建设实施方案》&#xff0c;明确提出需完善校园能源管理体系&a…...

编程日记 2025/9/13 7:23:29

win日志

以第一个为例子 打开后&#xff0c;右上角&#xff08;将所有事件另存为xx)然后一般写今天的日期&#xff0c;进行备份 然后选择下语言即可 日志备份时间的选择&#xff08;根据实际情况选择日志时间&#xff09; 点击右侧事件属性&#xff0c;然后xml视图即可 常见的安全事件…...

编程日记 2025/9/18 19:02:27

嵌入式开发之51单片机入门（一）与LED灯的故事

得而不惜就该死。 --小泽 继续傻冒开始&#xff0c;这次的傻冒之旅是关于嵌入式的51单片机开发&#xff0c;这个系列只讲程序开发逻辑&#xff0c;如需初始环境安装配置&#xff0c;建议移步B站江协科技大佬&#xff0c;本系列也是对大佬所讲内容的复刻&#xff0c;同时添加一…...

编程日记 2025/9/13 22:55:28

TCP 与 UDP

TCP 与 UDP 的区别&#xff08;重要&#xff09; 是否面向连接&#xff1a;UDP 在传送数据之前不需要先建立连接。而 TCP 提供面向连接的服务&#xff0c;在传送数据之前必须先建立连接&#xff0c;数据传送结束后要释放连接。是否是可靠传输&#xff1a;远地主机在收到 UDP 报…...

编程日记 2025/9/18 11:27:11

Linux:进程地址空间

在讲述本篇文章之前&#xff0c;我们先来看一段代码。 从上图输出可以看到&#xff0c;我们的子进程继承了父进程的全局变量val&#xff0c;当子进程中的val产生了修改时&#xff0c;父进程的val值并没有变化&#xff0c;但父子进程在打印val的地址时&#xff0c;会发现val的地…...

编程日记 2025/9/13 19:37:17

【Linux】Linux 操作系统 - 03 ,初步指令结尾 + shell 理解

文章目录 前言一、打包和压缩二、有关体系结构 (考)面试题 三、重要的热键四、shell 命令及运行原理初步理解五、本节命令总结总结 前言 本篇文章 , 笔者记录的笔记内容包含 : 基础指令 、重要热键 、shell 初步理解 、权限用户的部分问题 。 内容皆是重要知识点 , 需要认真理…...

编程日记 2025/9/18 13:09:19

华为数通不同级别的认证路径和要求是什么？

一、认证路径 HCIA&#xff1a;无需前置认证&#xff0c;通过一门考试&#xff08;代码H12-811&#xff09;即可拿证。 HCIP&#xff1a;建议先通过HCIA-Datacom&#xff0c;再选择子方向&#xff08;如高级路由、安全&#xff09;。 HCIE&#xff1a;最好有hcia/hcip的基础…...

编程日记 2025/9/18 4:29:33