当前位置：首页 > news >正文

YOLO11改进-注意力-引入级联组注意力机制(Cascaded Group Attention, CGA）

news 来源：原创 2025/5/21 11:09:38

在 Vision Transformers 面临计算成本高、推理速度慢的背景下，级联组注意力（CGA）机制应运而生，它通过将输入特征拆分为不同部分输入各注意力头计算自注意力并级联输出，解决了多头自注意力中注意力头冗余导致的计算效率低下问题，减少了计算资源浪费，提高了注意力图的多样性，在不增加过多额外参数和延迟开销的同时提升了模型容量，进而提升了模型整体的计算效率和性能表现。

1. 遇到的问题

在 Vision Transformers（ViTs）中，多头自注意力机制（MHSA）虽然在提升模型性能方面表现出色，但存在一些问题：

计算资源消耗大：MHSA 计算注意力图的过程需要大量计算资源，其计算复杂度较高，影响模型的推理速度，尤其在实时性要求较高的应用场景中，这一问题更为突出。
注意力头冗余：许多注意力头倾向于学习相似的线性投影，导致不同头的注意力图之间存在较高的相似性，这意味着部分计算是冗余的，没有充分发挥每个注意力头的独特作用，造成了计算资源的浪费，同时也限制了模型进一步提升性能的潜力。

2. 解决的问题

提高计算效率：通过引入级联组注意力机制（Cascaded Group Attention, CGA），为每个注意力头提供输入特征的不同拆分，明确分解跨头的注意力计算，减少了冗余计算，从而提高了计算效率，使模型在相同的计算资源下能够处理更多的任务或在更短的时间内完成任务。
增强注意力多样性：CGA 机制使得每个注意力头关注输入特征的不同部分，从而提高了注意力图的多样性，使模型能够更好地捕捉输入数据中的不同特征模式，进而提升模型的表征能力和性能。
提升模型容量：采用级联操作，将前一个头的输出加到当前头的输入特征上，逐步细化特征表示，同时在不引入额外参数的情况下增加了网络深度，进一步提升了模型的容量，使模型能够学习到更复杂的特征表示，提高了模型在各种视觉任务上的准确性。

3. 级联组注意力(CGA)结构介绍

输入特征拆分：输入特征进入 CGA 模块后，被均匀拆分为个部分，每个部分作为一个注意力头的输入，这样每个头关注输入特征的不同部分，实现特征的并行处理，同时为提高注意力多样性奠定基础。
注意力头计算单元：每个注意力头包含三个线性投影层、、用于将输入特征映射到不同子空间，以及计算自注意力的单元。在计算过程中，通过注意力头之间的级联操作，前一个头的输出会累加到下一个头的输入上，实现特征的逐步细化。
输出拼接与投影层：所有注意力头的输出特征在经过级联计算后，通过拼接操作将它们合并为一个完整的特征图，然后经过线性投影层进行维度变换，使输出特征的维度与输入特征保持一致，以便于后续网络层对特征进行进一步处理。

4. YOLOv11与CGA的结合

级联组注意力机制（CGA）是为解决 Vision Transformers 中多头自注意力计算效率和注意力头冗余问题而提出的，它通过特征拆分输入、自注意力计算、级联操作和输出拼接投影等步骤，提高了注意力多样性，节省计算资源并增加网络深度，有效提升模型性能。

1. 本文将CGA与C2PSA相结合，使用CRA替换其中的FFN模块，构建C2PSA_CGA模块。

5. 级联组注意力(CGA)代码部分

YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve

5. 将CGA引入到YOLOv11中

第一: 将下面的核心代码复制到D:\model\yolov11\ultralytics\change_model路径下，如下图所示。

第二：在task.py中导入CGA包

第三：在task.py中的模型配置部分下面代码

第四：将模型配置文件复制到YOLOV11.YAMY文件中

第五：运行成功


from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorldif __name__=="__main__":# 使用自己的YOLOv8.yamy文件搭建模型并加载预训练权重训练模型model = YOLO(r"D:\model\yolov11\ultralytics\cfg\models\11\yolo11_CGA.yaml")\.load(r'D:\model\yolov11\yolo11n.pt')  # build from YAML and transfer weightsresults = model.train(data=r'D:\model\yolov11\ultralytics\cfg\datasets\VOC_my.yaml',epochs=300,imgsz=640,batch=64,# cache = False,# single_cls = False,  # 是否是单类别检测# workers = 0,# resume=r'D:/model/yolov8/runs/detect/train/weights/last.pt',# amp = True)