YOLOv10-1.1部分代码阅读笔记-tuner.py

tuner.py

ultralytics\engine\tuner.py

目录

tuner.py

1.所需的库和模块

2.class Tuner: 

1.所需的库和模块

# Ultralytics YOLO 🚀, AGPL-3.0 license# 此模块提供用于对象检测、实例分割、图像分类、姿势估计和多对象跟踪的 Ultralytics YOLO 模型的超参数调整功能。
# 超参数调整是系统地搜索产生最佳模型性能的最佳超参数集的过程。这在 YOLO 等深度学习模型中尤为重要，因为超参数的微小变化可能会导致模型准确性和效率的显著差异。
# 示例：
# 在 COCO8 上，在 imgsz=640 和 epochs=30 处调整 YOLOv8n 的超参数，进行 300 次调整迭代。
# from ultralytics import YOLO# model = YOLO('yolov8n.pt')
# model.tune(data='coco8.yaml', epochs=10, iterations=300, optimizer='AdamW', plots=False, save=False, val=False)
"""
This module provides functionalities for hyperparameter tuning of the Ultralytics YOLO models for object detection,
instance segmentation, image classification, pose estimation, and multi-object tracking.Hyperparameter tuning is the process of systematically searching for the optimal set of hyperparameters
that yield the best model performance. This is particularly crucial in deep learning models like YOLO,
where small changes in hyperparameters can lead to significant differences in model accuracy and efficiency.Example:Tune hyperparameters for YOLOv8n on COCO8 at imgsz=640 and epochs=30 for 300 tuning iterations.```pythonfrom ultralytics import YOLOmodel = YOLO('yolov8n.pt')model.tune(data='coco8.yaml', epochs=10, iterations=300, optimizer='AdamW', plots=False, save=False, val=False)```
"""import random
import shutil
import subprocess
import timeimport numpy as np
import torchfrom ultralytics.cfg import get_cfg, get_save_dir
from ultralytics.utils import DEFAULT_CFG, LOGGER, callbacks, colorstr, remove_colorstr, yaml_print, yaml_save
from ultralytics.utils.plotting import plot_tune_results

2.class Tuner: 

# 这段代码定义了一个名为 Tuner 的类，用于自动调整超参数，以优化模型的性能。它通过遗传算法（如突变和选择）来探索超参数空间，并记录每次迭代的结果。
class Tuner:# 负责 YOLO 模型超参数调整的类。# 该类通过根据搜索空间对 YOLO 模型超参数进行变异并重新训练模型以评估其性能，在给定的迭代次数内演化 YOLO 模型超参数。# 方法：# _mutate(hyp: dict) -> dict： 在 `self.space` 中指定的界限内变异给定的超参数。# __call__()： 在多次迭代中执行超参数演化。"""Class responsible for hyperparameter tuning of YOLO models.The class evolves YOLO model hyperparameters over a given number of iterationsby mutating them according to the search space and retraining the model to evaluate their performance.Attributes:space (dict): Hyperparameter search space containing bounds and scaling factors for mutation.tune_dir (Path): Directory where evolution logs and results will be saved.tune_csv (Path): Path to the CSV file where evolution logs are saved.Methods:_mutate(hyp: dict) -> dict:Mutates the given hyperparameters within the bounds specified in `self.space`.__call__():Executes the hyperparameter evolution across multiple iterations.Example:Tune hyperparameters for YOLOv8n on COCO8 at imgsz=640 and epochs=30 for 300 tuning iterations.```pythonfrom ultralytics import YOLOmodel = YOLO('yolov8n.pt')model.tune(data='coco8.yaml', epochs=10, iterations=300, optimizer='AdamW', plots=False, save=False, val=False)```Tune with custom search space.```pythonfrom ultralytics import YOLOmodel = YOLO('yolov8n.pt')model.tune(space={key1: val1, key2: val2})  # custom search space dictionary```"""# 这段代码定义了 Tuner 类的初始化方法 __init__ ，用于设置超参数调优的基本配置和环境。# 这行代码定义了 Tuner 类的初始化方法 __init__ ，接受两个参数。# 1.args ：默认配置，类型可以是字典、 SimpleNamespace 或其他支持的配置格式。默认值为 DEFAULT_CFG ，可能是预定义的默认配置。# 2._callbacks ：回调函数，用于扩展功能，如记录日志或执行额外操作。默认值为 None 。def __init__(self, args=DEFAULT_CFG, _callbacks=None):# 使用配置初始化调谐器。"""Initialize the Tuner with configurations.Args:args (dict, optional): Configuration for hyperparameter evolution."""# 这段代码初始化了一个名为 self.space 的属性，用于定义超参数的搜索空间。它尝试从 args 中提取键为 "space" 的值，如果不存在，则使用默认的超参数范围。默认的超参数范围是一个字典，键是超参数名称，值是一个元组，包含最小值、最大值和可选的增益值。self.space = args.pop("space", None) or {  # key: (min, max, gain(optional))# 'optimizer': tune.choice(['SGD', 'Adam', 'AdamW', 'NAdam', 'RAdam', 'RMSProp']),# 定义了初始学习率 lr0 的范围，从 1e-5 到 1e-1 。这是优化器的初始学习率，通常用于控制模型训练的收敛速度。"lr0": (1e-5, 1e-1),  # initial learning rate (i.e. SGD=1E-2, Adam=1E-3)# 定义了最终学习率因子 lrf 的范围，从 0.0001 到 0.1 。这是 OneCycleLR 调度器中最终学习率的因子，用于调整学习率的衰减。"lrf": (0.0001, 0.1),  # final OneCycleLR learning rate (lr0 * lrf)# 定义了动量参数 momentum 的范围，从 0.7 到 0.98 ，并设置增益为 0.3 。动量参数用于加速梯度下降的收敛，减少震荡。"momentum": (0.7, 0.98, 0.3),  # SGD momentum/Adam beta1# 定义了权重衰减参数 weight_decay 的范围，从 0.0 到 0.001 。权重衰减用于正则化，防止模型过拟合。"weight_decay": (0.0, 0.001),  # optimizer weight decay 5e-4# 定义了预热阶段的轮数 warmup_epochs 的范围，从 0.0 到 5.0 。预热阶段用于逐渐增加学习率，避免初始阶段的梯度爆炸。"warmup_epochs": (0.0, 5.0),  # warmup epochs (fractions ok)# 定义了预热阶段的初始动量 warmup_momentum 的范围，从 0.0 到 0.95 。"warmup_momentum": (0.0, 0.95),  # warmup initial momentum# 定义了框损失权重 box 的范围，从 1.0 到 20.0 。框损失权重用于调整目标检测任务中框的损失。"box": (1.0, 20.0),  # box loss gain# 定义了分类损失权重 cls 的范围，从 0.2 到 4.0 。分类损失权重用于调整分类任务中的损失。"cls": (0.2, 4.0),  # cls loss gain (scale with pixels)# 定义了 分布焦点损失权重 dfl 的范围，从 0.4 到 6.0 。"dfl": (0.4, 6.0),  # dfl loss gain# 定义了 HSV 色调增强的范围，从 0.0 到 0.1 。HSV 色调增强用于数据增强，通过调整图像的色调来增加数据多样性。"hsv_h": (0.0, 0.1),  # image HSV-Hue augmentation (fraction)# 定义了 HSV 饱和度增强的范围，从 0.0 到 0.9 。"hsv_s": (0.0, 0.9),  # image HSV-Saturation augmentation (fraction)# 定义了 HSV 亮度增强的范围，从 0.0 到 0.9 。"hsv_v": (0.0, 0.9),  # image HSV-Value augmentation (fraction)# 定义了图像旋转角度的范围，从 0.0 到 45.0 度。"degrees": (0.0, 45.0),  # image rotation (+/- deg)# 定义了图像平移的范围，从 0.0 到 0.9 （以图像尺寸的分数表示）。"translate": (0.0, 0.9),  # image translation (+/- fraction)# 定义了图像缩放的范围，从 0.0 到 0.95 。"scale": (0.0, 0.95),  # image scale (+/- gain)# 定义了图像剪切角度的范围，从 0.0 到 10.0 度。"shear": (0.0, 10.0),  # image shear (+/- deg)# 定义了图像透视变换的范围，从 0.0 到 0.001 。"perspective": (0.0, 0.001),  # image perspective (+/- fraction), range 0-0.001# 定义了图像上下翻转的概率范围，从 0.0 到 1.0 。"flipud": (0.0, 1.0),  # image flip up-down (probability)# 定义了图像左右翻转的概率范围，从 0.0 到 1.0 。"fliplr": (0.0, 1.0),  # image flip left-right (probability)# 定义了图像通道顺序为 BGR 的概率范围，从 0.0 到 1.0 。"bgr": (0.0, 1.0),  # image channel bgr (probability)# 定义了 Mosaic 数据增强的概率范围，从 0.0 到 1.0 。"mosaic": (0.0, 1.0),  # image mixup (probability)# 定义了 Mixup 数据增强的概率范围，从 0.0 到 1.0 。"mixup": (0.0, 1.0),  # image mixup (probability)# 定义了 Copy-Paste 数据增强的概率范围，从 0.0 到 1.0 。"copy_paste": (0.0, 1.0),  # segment copy-paste (probability)}# 这段代码是 Tuner 类初始化方法的一部分，主要负责设置调优器的基本配置、保存路径和日志信息。# 这段代码调用 get_cfg 函数，将传入的 args 参数（可能是一个字典或其他配置格式）处理为一个统一的配置对象。# def get_cfg(cfg: Union[str, Path, Dict, SimpleNamespace] = DEFAULT_CFG_DICT, overrides: Dict = None):# -> 用于处理和返回一个配置对象。它支持从多种输入类型（如字符串、路径、字典或 SimpleNamespace ）加载配置，并允许用户通过覆盖（ overrides ）来修改默认配置。将最终的配置字典转换为 IterableSimpleNamespace 对象并返回。# -> return IterableSimpleNamespace(**cfg)self.args = get_cfg(overrides=args)# 调用 get_save_dir 函数，根 据配置对象 self.args 和指定的名称 "tune" ，生成一个 保存调优结果的目录路径 。该路径将用于存储调优过程中的中间结果和最终输出。# def get_save_dir(args, name=None): -> 根据训练、验证或预测的参数返回一个保存目录（ save_dir ）。返回生成的保存目录路径，确保返回值是一个 Path 对象。 -> return Path(save_dir)self.tune_dir = get_save_dir(self.args, name="tune")# 定义了 调优结果的保存路径 ，文件名为 "tune_results.csv" 。该文件将用于记录每次调优迭代的超参数和性能指标。self.tune_csv = self.tune_dir / "tune_results.csv"# 设置回调函数，如果传入了 _callbacks 参数，则直接使用该参数。 如果未传入 _callbacks ，则调用 callbacks.get_default_callbacks() 获取默认的回调函数。回调函数通常用于扩展功能，例如在调优过程中记录日志、保存中间结果或执行其他自定义操作。self.callbacks = _callbacks or callbacks.get_default_callbacks()# 定义了一个 日志前缀 self.prefix ，用于在日志输出中标识调优器的相关信息。 colorstr 函数的作用是为字符串添加颜色（为了在终端中更醒目地显示）。self.prefix = colorstr("Tuner: ")# 调用 callbacks.add_integration_callbacks 方法，将当前调优器实例 self 添加到回调函数中。这是为了在调优过程中调用与外部系统（如日志记录工具、监控系统等）集成的回调。callbacks.add_integration_callbacks(self)# 使用 LOGGER.info 记录初始化信息。LOGGER.info(f"{self.prefix}Initialized Tuner instance with 'tune_dir={self.tune_dir}'\n"    # {self.prefix}使用“tune_dir={self.tune_dir}。f"{self.prefix}💡 Learn about tuning at https://docs.ultralytics.com/guides/hyperparameter-tuning"    # {self.prefix}💡 初始化 Tuner 实例，了解有关调整的信息，请访问 https://docs.ultralytics.com/guides/hyperparameter-tuning。)# 这段代码的主要功能是完成 Tuner 类的初始化，配置处理：通过 get_cfg 函数将输入的配置参数标准化为统一的配置对象。保存路径设置：生成保存调优结果的目录和文件路径。回调函数初始化：设置回调函数，用于扩展调优器的功能。日志记录：记录调优器的初始化信息，并提供学习资源的链接。这种设计使得调优器的初始化过程清晰且灵活，同时为后续的调优操作提供了必要的配置和路径支持。# 这段代码定义了 Tuner 类的 _mutate 方法，用于生成新的超参数组合。该方法基于遗传算法的思想，通过选择、突变和约束操作来探索超参数空间。# 定义了 _mutate 方法，接受以下参数 ：# 1.parent ：选择父代的方式，可以是 "single" （单个父代）或 "weighted" （加权组合）。# 2.n ：考虑的父代数量，默认为 5。# 3.mutation ：突变概率，默认为 0.8。# 4.sigma ：突变的标准差，默认为 0.2。def _mutate(self, parent="single", n=5, mutation=0.8, sigma=0.2):# 根据 `self.space` 中指定的边界和缩放因子对超参数进行变异。"""Mutates the hyperparameters based on bounds and scaling factors specified in `self.space`.Args:parent (str): Parent selection method: 'single' or 'weighted'.n (int): Number of parents to consider.mutation (float): Probability of a parameter mutation in any given iteration.sigma (float): Standard deviation for Gaussian random number generator.Returns:(dict): A dictionary containing mutated hyperparameters."""# 检查是否已经存在保存调优结果的 CSV 文件（ self.tune_csv ）。如果存在，说明已经有历史调优结果，可以基于这些结果进行选择和突变。if self.tune_csv.exists():  # if CSV file exists: select best hyps and mutate# Select parent(s)# 从 CSV 文件中加载历史调优结果。 np.loadtxt 用于读取 CSV 文件，跳过第一行（通常是表头），并将数据加载为 NumPy 数组。x = np.loadtxt(self.tune_csv, ndmin=2, delimiter=",", skiprows=1)# 提取 第一列 作为 性能指标 （ fitness ），用于评估每组超参数的性能。fitness = x[:, 0]  # first column# 限制 考虑的历史结果数量 为 n 或实际结果数量的较小值。n = min(n, len(x))  # number of previous results to consider# 根据性能指标对历史结果进行排序，并选择性能最高的前 n 组超参数。x = x[np.argsort(-fitness)][:n]  # top n mutations# 计算权重，用于加权选择。权重基于性能指标的差异，确保权重之和大于零。w = x[:, 0] - x[:, 0].min() + 1e-6  # weights (sum > 0)# 如果选择方式为 "single" 或只有一组历史结果，则选择单个父代。if parent == "single" or len(x) == 1:# x = x[random.randint(0, n - 1)]  # random selection# random.choices(population, weights=None, cum_weights=None, k=1)# random.choices 是 Python 标准库 random 模块中的一个函数，它用于从给定的序列中随机选择元素，可以有放回地选择多次，也可以指定每个元素被选择的概率。# population ：一个序列，表示可供选择的元素集合。# weights ：（可选）一个与 population 中元素数量相同的序列，表示每个元素被选择的相对概率。# cum_weights ：（可选）一个与 population 中元素数量相同的序列，表示累积概率。这在创建加权随机选择时非常有用，其中每个元素的选择概率取决于前面所有元素的累积概率。# k ：（可选）一个整数，表示需要选择的元素数量。# 返回值 ：# 返回一个列表，包含从 population 中随机选择的 k 个元素。# 功能 ：# random.choices 函数允许你从 population 中选择多个元素，可以是有放回的选择。如果提供了 weights 或 cum_weights ，则选择会根据这些权重进行加权，使得某些元素有更高的概率被选中。# 注意事项 ：# 如果同时提供了 weights 和 cum_weights ， random.choices 将使用 weights 而忽略 cum_weights 。# k 的值可以大于 population 的长度，这意味着可能会选择重复的元素。# 如果没有提供 weights 或 cum_weights ，则所有元素被选择的概率相等。# 从历史结果中加权选择一个父代。权重基于性能指标的差异，性能越高的结果被选中的概率越大。x = x[random.choices(range(n), weights=w)[0]]  # weighted selection# 如果选择方式为 "weighted" ，则基于权重对多组父代进行加权组合。elif parent == "weighted":# 计算加权组合的父代。通过将每组父代的超参数乘以权重并求和，得到新的父代。x = (x * w.reshape(n, 1)).sum(0) / w.sum()  # weighted combination# Mutate# 初始化随机数生成器。r = np.random  # method# 设置随机数生成器的种子，基于当前时间戳。r.seed(int(time.time()))# 提取每个超参数的 增益值 （如果定义了增益）。增益用于控制突变的强度。g = np.array([v[2] if len(v) == 3 else 1.0 for k, v in self.space.items()])  # gains 0-1# 计算超参数的数量。ng = len(self.space)# 初始化一个全为 1 的数组，用于存储突变后的超参数变化。v = np.ones(ng)# 循环直到至少有一个超参数发生变化，避免生成重复的超参数组合。while all(v == 1):  # mutate until a change occurs (prevent duplicates)# 对父代的超参数进行突变。使用随机数生成器生成突变值。突变值基于正态分布，乘以增益和标准差。确保突变后的值在合理范围内（通过 clip 方法）。v = (g * (r.random(ng) < mutation) * r.randn(ng) * r.random() * sigma + 1).clip(0.3, 3.0)# 将突变后的超参数值存储到字典中。每个超参数值是父代值乘以突变因子。hyp = {k: float(x[i + 1] * v[i]) for i, k in enumerate(self.space.keys())}# 如果不存在历史调优结果，则直接使用默认配置作为初始超参数。else:# 从默认配置中提取超参数值。hyp = {k: getattr(self.args, k) for k in self.space.keys()}# Constrain to limits# 遍历超参数空间。for k, v in self.space.items():# 确保超参数值不低于最小值。hyp[k] = max(hyp[k], v[0])  # lower limit# 确保超参数值不高于最大值。hyp[k] = min(hyp[k], v[1])  # upper limit# 将超参数值四舍五入到小数点后 5 位。hyp[k] = round(hyp[k], 5)  # significant digits# 返回突变后的超参数字典。return hyp# _mutate 方法实现了基于遗传算法的超参数突变过程，选择父代：从历史调优结果中选择性能最高的父代，支持单个选择或加权组合。突变：对父代的超参数进行随机扰动，基于正态分布生成突变值，并控制突变强度。约束：确保突变后的超参数值在预定义的范围内。返回结果：返回突变后的超参数字典。这种方法结合了历史调优结果和随机性，能够在超参数空间中高效地探索新的组合，从而找到更优的超参数配置。# 这段代码定义了 Tuner 类的 __call__ 方法，用于执行超参数调优过程。它通过多次迭代，每次生成一组新的超参数，训练模型，并记录结果，最终选择性能最佳的超参数组合。# 定义了 __call__ 方法，允许 Tuner 实例像函数一样被调用。参数包括 ：# 1.model ：模型对象（可选）。# 2.iterations ：调优迭代次数，默认为 10。# 3.cleanup ：是否清理未选中的权重文件，以节省存储空间，默认为 True 。def __call__(self, model=None, iterations=10, cleanup=True):# 调用 Tuner 实例时执行超参数演化过程。# 此方法迭代迭代次数，在每次迭代中执行以下步骤：# 1. 加载现有超参数或初始化新超参数。# 2. 使用 `mutate` 方法变异超参数。# 3. 使用变异超参数训练 YOLO 模型。# 4. 将适应度得分和变异超参数记录到 CSV 文件中。# 注意：# 该方法利用 `self.tune_csv` Path 对象读取和记录超参数和适应度得分。确保在 Tuner 实例中正确设置此路径。"""Executes the hyperparameter evolution process when the Tuner instance is called.This method iterates through the number of iterations, performing the following steps in each iteration:1. Load the existing hyperparameters or initialize new ones.2. Mutate the hyperparameters using the `mutate` method.3. Train a YOLO model with the mutated hyperparameters.4. Log the fitness score and mutated hyperparameters to a CSV file.Args:model (Model): A pre-initialized YOLO model to be used for training.iterations (int): The number of generations to run the evolution for.cleanup (bool): Whether to delete iteration weights to reduce storage space used during tuning.Note:The method utilizes the `self.tune_csv` Path object to read and log hyperparameters and fitness scores.Ensure this path is set correctly in the Tuner instance."""# 记录调优开始的时间，用于后续计算总耗时。t0 = time.time()# 初始化变量，用于存储 最佳模型的保存路径 和 性能指标 。best_save_dir, best_metrics = None, None# 创建保存模型权重的目录（ self.tune_dir/weights ），确保目录存在。(self.tune_dir / "weights").mkdir(parents=True, exist_ok=True)# 开始调优迭代，循环次数由 iterations 参数决定。for i in range(iterations):# Mutate hyperparameters# 调用 _mutate 方法生成一组新的超参数。mutated_hyp = self._mutate()# 记录当前迭代的信息，包括迭代编号和使用的超参数。LOGGER.info(f"{self.prefix}Starting iteration {i + 1}/{iterations} with hyperparameters: {mutated_hyp}")    # {self.prefix} 使用超参数开始迭代 {i + 1}/{iterations}：{mutated_hyp} 。# 初始化一个空字典，用于 存储当前迭代的性能指标 。metrics = {}# 将默认配置和突变后的超参数合并为训练参数。train_args = {**vars(self.args), **mutated_hyp}# 根据训练参数生成保存当前迭代结果的目录。save_dir = get_save_dir(get_cfg(train_args))# 定义保存权重的路径。weights_dir = save_dir / "weights"# 开始一个 try 块，尝试执行训练过程。try:# Train YOLO model with mutated hyperparameters (run in subprocess to avoid dataloader hang)# 构造训练命令，包括模型训练的参数。cmd = ["yolo", "train", *(f"{k}={v}" for k, v in train_args.items())]# 通过子进程运行训练命令，避免因数据加载器阻塞主线程。 check=True 确保命令执行失败时抛出异常。# 这行代码使用了 Python 的 subprocess 模块来运行一个外部命令，并捕获其返回码（ returncode ）。# subprocess.run ：subprocess.run 是 Python 标准库 subprocess 模块中的一个函数，用于运行外部命令。它接受以下参数 ：# cmd ：要运行的命令，通常是一个字符串或字符串列表。如果是字符串列表，每个元素代表命令的一个参数。# check ：一个布尔值，指定是否在命令失败时抛出异常。如果 check=True ，当命令的返回码非零时，会抛出 subprocess.CalledProcessError 异常。# cmd 参数 ： cmd 是一个列表，表示要运行的命令及其参数。例如： cmd = ["yolo", "train", "lr0=0.01", "epochs=50"] 这表示运行 yolo train lr0=0.01 epochs=50 命令。# .returncode ： subprocess.run 返回一个 CompletedProcess 对象，其中包含以下属性。returncode 命令的返回码。返回码为 0 表示命令成功执行，非 0 表示失败。 stdout 和 stderr，标准输出和标准错误的内容（如果捕获了）。# 在这行代码中， .returncode 用于 获取命令的返回码 ，并将其赋值给 return_code 变量。# 这行代码的作用是。使用 subprocess.run 运行外部命令 cmd 。如果命令失败（返回码非 0），抛出异常。如果命令成功，获取返回码并将其存储到 return_code 变量中。这种用法非常适合在 Python 中运行外部工具或脚本，并根据返回码判断命令是否成功执行。return_code = subprocess.run(cmd, check=True).returncode# 确定检查点文件的路径，优先选择 best.pt ，如果不存在则选择 last.pt 。# 这行代码的作用是确定检查点文件（checkpoint file）的路径，通常用于加载模型训练过程中保存的最佳或最后一个权重文件。代码通过检查文件是否存在来动态选择文件路径。# weights_dir ： weights_dir 是一个路径对象（可能是 pathlib.Path 类型），表示保存模型权重的目录。例如： weights_dir = Path("/path/to/weights") 。# weights_dir / "best.pt" ：通过 weights_dir / "best.pt" 构造了一个路径对象，表示目录下名为 best.pt 的文件。 / 是 pathlib.Path 的路径拼接操作符。# .exists() ：调用 .exists() 方法检查 best.pt 文件是否存在。如果文件存在，返回 True ；否则返回 False 。# "best.pt" if (weights_dir / "best.pt").exists() else "last.pt" ：这是一个三元表达式，用于动态选择文件名。如果 best.pt 文件存在，则选择 "best.pt" 。 如果 best.pt 文件不存在，则选择 "last.pt" 。# 最终路径 ：最终， ckpt_file 是一个路径对象，表示最终选择的检查点文件路径。它可能是 ： weights_dir / "best.pt" （如果 best.pt 存在）， weights_dir / "last.pt" （如果 best.pt 不存在）。# 这行代码的作用是动态选择模型权重文件。优先选择 best.pt 文件（如果存在），因为它通常表示训练过程中性能最佳的模型权重。如果 best.pt 文件不存在，则退回到 last.pt 文件，它表示训练过程中的最后一个模型权重。这种设计确保了代码的灵活性和健壮性，能够在不同情况下正确加载模型权重。ckpt_file = weights_dir / ("best.pt" if (weights_dir / "best.pt").exists() else "last.pt")# 从检查点文件中加载训练指标。# torch.load ： torch.load 是 PyTorch 提供的函数，用于加载保存在文件中的对象（如模型权重、训练指标等）。它支持加载 .pt 或 .pth 格式的文件。 ckpt_file ：文件路径，表示要加载的检查点文件。它应该是一个字符串或 Path 对象。 torch.load 返回加载的对象。加载的内容取决于保存时的内容。例如，如果保存的是模型权重，返回值将是一个字典，键是模型参数的名称，值是对应的张量。# ckpt_file ：ckpt_file 是一个路径对象（可能是 pathlib.Path 或字符串），表示检查点文件的路径。例如： ckpt_file = Path("/path/to/weights/best.pt") 。# torch.load(ckpt_file) ：调用 torch.load 加载检查点文件的内容。假设文件中保存了多个对象（如模型权重、训练指标等），加载后返回一个字典或其他数据结构。# ["train_metrics"] ：从加载的内容中提取键为 "train_metrics" 的值。这假设检查点文件中保存了一个字典，且字典中包含键 "train_metrics" 。# train_metrics ：通常是一个字典，包含训练过程中记录的性能指标，例如：# {#     "fitness": 0.85,#     "loss": 0.12,#     "accuracy": 0.95,#     ...# }# 这行代码的作用是。使用 torch.load 加载检查点文件的内容。提取键为 "train_metrics" 的值，通常是一个包含训练指标的字典。这种设计使得代码能够快速加载和访问训练过程中记录的性能指标，方便后续分析和调优。metrics = torch.load(ckpt_file)["train_metrics"]# 确保训练过程成功完成。assert return_code == 0, "training failed"    # 训练失败。# 捕获训练过程中可能出现的异常。except Exception as e:# 记录训练失败的警告信息。LOGGER.warning(f"WARNING ❌️ training failure for hyperparameter tuning iteration {i + 1}\n{e}")    # 警告❌️超参数调整迭代 {i + 1}\n{e} 训练失败。# Save results and mutated_hyp to CSV# 从性能指标中提取 fitness 值，如果没有则默认为 0.0。fitness = metrics.get("fitness", 0.0)# 构造一行日志，包含当前迭代的 fitness 值和超参数。# 这行代码的作用是构造一个 日志行 （ log_row ），用于记录当前迭代的 性能指标 （ fitness ）和突变后的 超参数 （ mutated_hyp ）。这些数据将被写入日志文件或 CSV 文件中，便于后续分析和可视化。# [round(fitness, 5)] ：这部分代码将当前迭代的性能指标（ fitness ）四舍五入到小数点后 5 位，并将其作为列表的第一个元素。 fitness 是一个浮点数，表示当前超参数组合的性能（例如，模型的准确率或损失值）。# [mutated_hyp[k] for k in self.space.keys()] ：这部分代码是一个列表推导式，用于从突变后的超参数字典（ mutated_hyp ）中提取所有超参数的值，并按 self.space 中定义的顺序排列。# self.space.keys() ：获取超参数空间中所有超参数的键（名称）。# mutated_hyp[k] ：从突变后的超参数字典中提取每个超参数的值。# + 操作符 ： + 操作符用于将两个列表拼接在一起。因此， log_row 是一个列表，包含 四舍五入后的 fitness 值。 按顺序排列的突变后超参数值。# 这行代码的作用是构造一个日志行，包含以下内容。性能指标：当前迭代的 fitness 值，四舍五入到小数点后 5 位。超参数值：突变后的超参数值，按 self.space 中定义的顺序排列。这种设计使得每次迭代的结果可以被整齐地记录到文件中，便于后续分析和可视化超参数调优过程。log_row = [round(fitness, 5)] + [mutated_hyp[k] for k in self.space.keys()]# 如果 CSV 文件不存在，则构造表头。headers = "" if self.tune_csv.exists() else (",".join(["fitness"] + list(self.space.keys())) + "\n")# 将当前迭代的结果写入 CSV 文件。with open(self.tune_csv, "a") as f:f.write(headers + ",".join(map(str, log_row)) + "\n")# Get best results# 从 CSV 文件加载所有迭代的结果。x = np.loadtxt(self.tune_csv, ndmin=2, delimiter=",", skiprows=1)# 提取所有迭代的 fitness 值。fitness = x[:, 0]  # first column# 找到最佳 fitness 值对应的迭代索引。best_idx = fitness.argmax()# 判断当前迭代是否为最佳迭代。best_is_current = best_idx == i# 如果当前迭代是最佳迭代，则执行以下操作：if best_is_current:# 更新最佳保存路径和性能指标。best_save_dir = save_dirbest_metrics = {k: round(v, 5) for k, v in metrics.items()}# 将当前迭代的权重文件复制到调优目录，以便后续使用。for ckpt in weights_dir.glob("*.pt"):shutil.copy2(ckpt, self.tune_dir / "weights")# 如果当前迭代不是最佳迭代且启用了清理功能，则执行以下操作：elif cleanup:# 删除当前迭代的权重目录，以节省存储空间。shutil.rmtree(ckpt_file.parent)  # remove iteration weights/ dir to reduce storage space# Plot tune results# 绘制调优结果的图表，可视化超参数调优过程。# def plot_tune_results(csv_file="tune_results.csv"): -> 从一个 CSV 文件中读取数据，并生成两种类型的图表：一种是针对每个超参数的散点图，另一种是适应度随迭代次数变化的折线图。plot_tune_results(self.tune_csv)# Save and print tune results# 构造日志头信息，包含调优过程的总结信息。header = (f'{self.prefix}{i + 1}/{iterations} iterations complete ✅ ({time.time() - t0:.2f}s)\n'    # {self.prefix}{i + 1}/{iterations} 次迭代完成✅ ({time.time() - t0:.2f}s)。f'{self.prefix}Results saved to {colorstr("bold", self.tune_dir)}\n'    # {self.prefix}结果保存至 {colorstr("bold", self.tune_dir)}。f'{self.prefix}Best fitness={fitness[best_idx]} observed at iteration {best_idx + 1}\n'    # {self.prefix}在迭代 {best_idx + 1} 时观察到的最佳适应度 = {fitness[best_idx]}。f'{self.prefix}Best fitness metrics are {best_metrics}\n'    # {self.prefix}最佳适应度指标为 {best_metrics}。f'{self.prefix}Best fitness model is {best_save_dir}\n'    # {self.prefix}最佳适应度模型为 {best_save_dir}。f'{self.prefix}Best fitness hyperparameters are printed below.\n'    # {self.prefix}最佳适应度超参数打印如下。)# 记录调优过程的总结信息。LOGGER.info("\n" + header)# 提取最佳迭代的超参数值。data = {k: float(x[best_idx, i + 1]) for i, k in enumerate(self.space.keys())}# 将最佳超参数保存为 YAML 文件。# def yaml_save(file="data.yaml", data=None, header=""): -> 用于将数据以YAML格式保存到文件中。yaml_save(self.tune_dir / "best_hyperparameters.yaml",data=data,# def remove_colorstr(input_string): -> 用于从输入字符串中移除 ANSI 转义序列（通常用于控制终端颜色和格式）。使用 re.sub 方法将匹配到的 ANSI 转义序列替换为空字符串（即移除这些序列），并返回处理后的字符串。 -> return ansi_escape.sub("", input_string)header=remove_colorstr(header.replace(self.prefix, "# ")) + "\n",)# 打印最佳超参数。# def yaml_print(yaml_file: Union[str, Path, dict]) -> None: -> 用于加载并打印 YAML 文件或字典的内容。它支持从文件路径加载 YAML 文件，或者直接打印传入的字典内容。yaml_print(self.tune_dir / "best_hyperparameters.yaml")# __call__ 方法实现了完整的超参数调优流程。迭代调优：通过多次迭代，每次生成一组新的超参数并训练模型。结果记录：将每次迭代的结果保存到 CSV 文件中，便于后续分析。最佳结果选择：根据性能指标选择最佳的超参数组合，并保存相关结果。清理功能：删除非最佳迭代的权重文件，节省存储空间。可视化：绘制调优结果的图表，帮助用户直观地理解调优过程。这种设计使得超参数调优过程高效且自动化，能够快速找到最优的超参数组合，提升模型性能。
# Tuner 类实现了一个自动化的超参数调优框架，适用于优化机器学习模型的性能。它的主要特点包括，遗传算法：通过突变和选择机制探索超参数空间。灵活的配置：支持自定义超参数范围和突变参数。结果记录：将每次迭代的结果保存到 CSV 文件中，并绘制调优结果图表。最佳模型保存：保存最佳模型和超参数到文件中，便于后续使用。这种设计非常适合在大规模超参数搜索中找到最优配置，尤其是在复杂的机器学习任务中。