当前位置：首页 > news >正文

数据集中valid的作用

news 来源：原创 2025/9/20 0:36:14

简单来说，valid（或 val）文件夹的存在是为了在模型训练过程中，定期、独立地评估模型的性能，以便进行模型调优、防止过拟合和选择最佳模型。它是机器学习工作流中至关重要的一环。

一般的数据集结构：

1. Train（训练集）

目的：这是模型“学习”所用的主要数据。模型通过反复查看这些图片和对应的标签，来调整其内部的权重和参数，学习如何从图片中识别出目标（比如，猫、狗、汽车等）。
类比：就像学生的教科书和课堂练习。学生通过反复学习和做书后习题来掌握知识点。

2. Valid / Val（验证集）

这是你问题的核心。它的作用非常关键：

目的1：实时评估训练效果：在训练过程中，每训练完一定的轮数（epoch），程序就会自动拿当前的模型去验证集上跑一遍，计算准确率、召回率、mAP等指标。这样你就能看到模型在“未见过的”数据上表现如何。
目的2：防止过拟合（Overfitting）：如果模型只在训练集上表现越来越好，而在验证集上表现开始变差，这就意味着模型可能“过拟合”了。它只是死记硬背了训练集中的噪声和细节，而没有学到通用的特征。验证集是发现过拟合的“警报器”。
目的3：超参数调优：你可以根据验证集的表现来调整模型的超参数（如学习率、批大小等），从而找到一组最优的参数配置。
目的4：选择最佳模型：训练通常会保存多个时间点的模型权重（best.pt, last.pt）。那个在验证集上表现最好的模型（best.pt）通常会被认为是最终的最佳模型。
类比：就像学校的月考/模拟考。它的目的不是打分排名，而是为了检查学生一段时间的学习效果，发现知识薄弱点，以便老师和学生及时调整接下来的教学和学习计划。题目是新的，但考试范围是学过的。

3. Test（测试集）

目的：这是对模型的最终考核。它只在整个训练过程完全结束后使用一次。你用挑选出来的最佳模型（基于验证集性能选出的）在测试集上运行，得到的性能指标（如mAP）才被认为是模型真正的、 unbiased（无偏）的泛化能力指标。
关键要求：测试集在训练和调参过程中必须完全被隔离，绝对不能以任何形式被模型“看到”或用于调整参数。否则，测试结果就会变得乐观而不真实。
类比：就像最终的高考。学生不能提前知道考题，考完也不能再回去复习了。这次考试的成绩决定了最终能上什么大学。

为什么需要三者分离？

想象一下如果只有训练集和测试集：
你训练模型后，直接去测试集上测试，发现成绩不好。于是你回去调整模型参数，再来测试集上看结果……如此反复，你的模型实际上已经在不知不觉中针对测试集进行了优化（“作弊”了）。这个模型在测试集上可能表现很好，但拿到真实世界中面对全新的数据时，性能可能会大幅下降。

验证集的存在就打破了这种循环，它提供了一个独立的、用于开发和调试模型的基准。

总结对比

数据集	英文	作用	类比
训练集	Training Set	用于模型学习，调整模型参数	教科书和课堂练习
验证集	Validation/Valid Set	用于模型开发，调超参、防过拟合、选模型	月考和模拟考
测试集	Test Set	用于最终评估，报告模型的真实泛化能力	最终高考

那我们如何开始训练呢？

第一步：组织数据目录

确保你的数据按照如下结构摆放。假设你的项目根目录是 yolov11_project/：

最佳实践：

使用相对路径而不是绝对路径，这样你的代码更容易移植。
train, val, test 文件夹下的 images 和 labels 中的文件必须一一对应（除了扩展名）。例如：
- train/images/0001.jpg -> train/labels/0001.txt
- valid/images/0002.jpg -> valid/labels/0002.txt

第二步：创建数据集配置文件

这是最重要的一步。你需要在项目的某个位置（例如在 yolov11_project/ 下）创建一个 .yaml 文件（例如 data/my_custom_dataset.yaml）。

文件内容如下：

# 数据集的路径（相对于启动训练命令的位置）
path: ../datasets/my_custom_dataset  # 数据集根目录
train: train/images  # 训练集路径，相对于 'path'
val: valid/images    # 验证集路径，相对于 'path'
test: test/images    # 【可选】测试集路径，相对于 'path'# 类别数量
nc: 3  # 替换为你的数据集中目标类别的数量（例如：人、车、交通灯则 nc=3）# 类别名称列表
names: 0: person    # 类别0的名称1: car       # 类别1的名称2: traffic_light # 类别2的名称# ... 根据你的nc数量继续添加

第三步：启动训练

在命令行中，进入你的YOLO代码目录（yolov11/），然后运行训练命令。

# 切换到YOLO代码目录
cd yolov11_project/yolov11# 开始训练
python train.py \--data ../data/my_custom_dataset.yaml \--weights yolov11s.pt \--epochs 100 \--img 640

训练过程中会发生什么：

程序会读取 train 文件夹的数据进行模型权重更新。
每个epoch结束后，程序会自动在 valid 文件夹的数据上验证性能，并计算mAP等指标。
训练日志和模型权重会保存在 runs/train/exp/ 目录（每次训练会新建一个 expN 文件夹）。
训练结束后，最佳模型会保存为 runs/train/exp/weights/best.pt。

第四步：进行最终测试（可选但强烈推荐）

训练完成后，你应该用从未参与过训练和调参的 test 集来评估最佳模型的真实性能。

python val.py \--data ../data/my_custom_dataset.yaml \--weights runs/train/exp/weights/best.pt \--task test # 明确指定任务为测试

--weights runs/train/exp/weights/best.pt: 指定你要测试的模型权重（上一步得到的最佳模型）。
--task test: 告诉程序使用数据集配置文件里 test 路径下的数据。如果不加这个参数，默认会使用 val 集。

运行后，程序会输出模型在测试集上的详细指标（mAP, precision, recall等），这才是对你模型泛化能力的最终评价。

总结

摆好数据：按标准结构放置 train, valid, test。
写配置文件：创建 .yaml 文件，正确指定路径和类别信息。
开始训练：使用 train.py 并通过 --data 参数引用你的配置文件。模型会在 train 上学习，在 valid 上验证。
最终测试：使用 val.py 并指定 --task test，在 test 集上评估 best.pt 模型。

遵循这个流程，你就能科学、正确地利用好数据集中的每一个部分。