【YOLOv12改进trick】多尺度大核注意力机制MLKA模块引入YOLOv12，实现多尺度目标检测涨点，含创新点Python代码，方便发论文

🍋改进模块🍋：多尺度大核注意力机制（MLKA）
🍋解决问题🍋：MLKA模块结合多尺度、门控机制和空间注意力，显著增强卷积网络的模型表示能力。
🍋改进优势🍋：超分辨的MLKA模块对小目标和模糊目标涨点很明显
🍋适用场景🍋：小目标检测、模糊目标检测等
🍋思路来源🍋：CVPR2024《Multi-scale Attention Network for Single Image Super-Resolution》

目录

🔔🔔1.设计动机

🍉🍉2.多尺度大核注意力机制（MLKA）模块优势

👍多尺度特征捕获

👍避免块状伪影

👍计算效率高

👍增强模型表示能力

🏆🏆3.MLKA结构

🐸1.基于大核注意力（LKA）的分解

🐸2.多尺度机制

🐸3.门控聚合

 👍👍4.将MLKA引入YOLOv12的python代码修改

🍂修改处一

🍂修改处二

🍂修改处三

🍂修改处四

👍👍5.成功训练后的网络结构截图

整理不易，欢迎一键三连！！！送你们一条美丽的--分割线--

---

🔔🔔1.设计动机

        设计MLKA（Multi-scale Large Kernel Attention，多尺度大核注意力）模块的动机主要源于对现有图像超分辨率（SR）技术中注意力机制和卷积网络的局限性的分析，以及对提升模型性能和效率的需求。

• 提升卷积网络的长程依赖建模能力
  传统的卷积神经网络（CNN）在处理图像超分辨率任务时，由于感受野有限，难以有效捕捉长程依赖关系。虽然通过堆叠更多卷积层可以扩大感受野，但这种方法会导致训练成本过高和过拟合问题。因此，需要一种更高效的方式来扩展卷积网络的建模能力。

• 结合大核注意力机制的优势
  大核注意力（LKA）通过使用大尺寸的卷积核来捕捉长程依赖，但存在两个主要问题：一是计算复杂度较高；二是扩张卷积可能导致块状伪影（blocking artifacts）。MLKA模块的设计动机之一是改进LKA，使其更适合超分辨率任务。

• 多尺度特征的重要性
  图像超分辨率任务需要同时考虑局部细节和全局结构。然而，现有的注意力机制（如通道注意力、空间注意力等）大多只能在单一尺度上工作，无法同时捕捉多尺度信息。MLKA模块通过引入多尺度机制，能够同时处理局部和全局特征，从而更好地重建高分辨率图像。

• 提升卷积网络与Transformer的竞争力
  Transformer在图像超分辨率任务中表现出色，尤其是在长程依赖建模方面。然而，Transformer的计算复杂度较高，且对大规模图像处理效率较低。MLKA模块的设计旨在提升卷积网络的性能，使其在超分辨率任务中能够与Transformer相媲美，同时保持更高的效率。

• 长程依赖与局部细节的平衡
  现有的卷积网络和注意力机制难以同时捕捉长程依赖和局部细节。MLKA模块通过多尺度机制和大核注意力的结合，能够在不同尺度上生成注意力图，从而同时处理全局结构和局部纹理，解决了这一问题。

• 避免扩张卷积的块状伪影
  大核注意力中使用的扩张卷积可能导致块状伪影，这在图像超分辨率任务中是不可接受的。MLKA通过引入门控机制，动态校准注意力图，有效避免了这种伪影，从而提高了重建图像的质量。

• 提高模型的表示能力和效率
  传统的卷积网络和注意力机制在表示能力上存在局限性，尤其是在处理复杂图像时。MLKA模块通过改进大核注意力和引入多尺度机制，显著提升了模型的特征表示能力，同时通过合理的计算分解，保持了较高的效率。

• 提升卷积网络在低级视觉任务中的竞争力
  Transformer在图像超分辨率任务中表现出色，但计算复杂度较高。MLKA模块的设计旨在提升卷积网络的性能，使其在超分辨率任务中能够与Transformer相媲美，同时保持更高的效率和更低的计算成本。

🍉🍉2.多尺度大核注意力机制（MLKA）模块优势

👍多尺度特征捕获

        通过多尺度机制，MLKA能够在不同尺度上生成注意力图，从而同时捕捉到局部细节和全局依赖关系。这种多尺度的设计使得模型能够更好地处理图像中的各种纹理和结构信息，提高了超分辨率重建的精度。

👍避免块状伪影

        门控聚合机制有效地避免了扩张卷积可能引入的块状伪影问题。这种伪影在图像超分辨率任务中是不可接受的，因为它会严重影响重建图像的质量。通过动态校准注意力图，MLKA能够生成更平滑、更自然的特征表示，从而提高最终重建图像的视觉质量。

👍计算效率高

        尽管MLKA采用了多尺度和大核注意力的设计，但其计算复杂度相对较低。通过合理地分解卷积操作和控制特征分组的数量，MLKA能够在不显著增加计算负担的情况下，实现对长程依赖关系的有效建模。这使得MLKA在实际应用中具有较高的效率，尤其是在处理大规模图像数据时。

👍增强模型表示能力

        MLKA模块的引入显著提高了模型对图像特征的表示能力。它能够更好地捕捉到图像中的重要信息，同时忽略掉无关的噪声，从而为后续的超分辨率重建提供了更高质量的特征表示。这使得整个超分辨率网络能够更准确地重建出高分辨率图像的细节和纹理。

🏆🏆3.MLKA结构

 

🐸1.基于大核注意力（LKA）的分解

MLKA的核心是利用大核注意力（LKA）来建立特征之间的长程依赖关系。LKA通过将一个大尺寸的卷积核分解为三个部分来实现高效的计算：

• 深度可分离卷积：首先使用一个尺寸为 (2d−1)×(2d−1) 的深度可分离卷积 fDW​(⋅)。
• 深度可分离扩张卷积：接着使用一个尺寸为 ⌈dK​⌉×⌈dK​⌉ 的深度可分离扩张卷积 fDWD​(⋅)，扩张率（dilation rate）为 d。
• 逐点卷积：最后使用一个逐点卷积 fPW​(⋅) 来整合特征。整个LKA的计算过程可以表示为：

🐸2.多尺度机制

        为了在不同尺度上获取丰富的特征信息，MLKA引入了多尺度机制。具体来说，将输入特征 X∈RC×H×W 分成 n 组，每组的特征尺寸为 ⌊nC​⌋×H×W。对于第 i 组特征 Xi​，使用一组特定的LKA参数 {Ki​,di​} 来生成对应尺度的注意力图 LKAi​。

论文中采用了三组LKA参数：

1. {7,2}（对应3-5-1的卷积组合）
2. {21,3}（对应5-7-1的卷积组合）
3. {35,4}（对应7-9-1的卷积组合）

🐸3.门控聚合

        为了避免扩张卷积可能带来的块状伪影（blocking artifacts），MLKA引入了门控机制来动态校准生成的注意力图。对于第 i 组输入 Xi​，使用一个尺寸为 ai​×ai​ 的深度可分离卷积生成门控信号 Gi​，然后将 Gi​ 与 LKAi​ 进行逐元素相乘，得到最终的多尺度注意力图 MLKAi​，计算公式为：

        其中 ⊗ 表示逐元素相乘操作。

 👍👍4.将MLKA引入YOLOv12的python代码修改

🍂修改处一

在ultralytics/nn/modules/目录下添加MLKA.py，MLKA.py定义如下：

import torch
import torch.nn as nn
import torch.nn.functional as Fclass LayerNorm(nn.Module):r"""支持两种数据格式的LayerNorm：channels_last（默认）或channels_first。输入的维度顺序。channels_last对应形状为(batch_size, height, width, channels)的输入，而channels_first对应形状为(batch_size, channels, height, width)的输入。"""def __init__(self, normalized_shape, eps=1e-6, data_format="channels_last"):super().__init__()# 初始化参数，包括标准化参数weight和biasself.weight = nn.Parameter(torch.ones(normalized_shape))self.bias = nn.Parameter(torch.zeros(normalized_shape))self.eps = epsself.data_format = data_formatif self.data_format not in ["channels_last", "channels_first"]:raise NotImplementedError  # 如果格式无效，则抛出异常self.normalized_shape = (normalized_shape,)def forward(self, x):# 对于channels_last格式，使用F.layer_norm进行标准化if self.data_format == "channels_last":return F.layer_norm(x, self.normalized_shape, self.weight, self.bias, self.eps)# 对于channels_first格式，手动计算均值和方差进行标准化elif self.data_format == "channels_first":u = x.mean(1, keepdim=True)  # 计算均值s = (x - u).pow(2).mean(1, keepdim=True)  # 计算方差x = (x - u) / torch.sqrt(s + self.eps)  # 标准化x = self.weight[:, None, None] * x + self.bias[:, None, None]  # 加上可学习的权重和偏置return xclass MLKA_Ablation(nn.Module):def __init__(self, n_feats, k=2, squeeze_factor=15):super().__init__()i_feats = 2 * n_feats  # 输入特征维度是n_feats的两倍self.n_feats = n_featsself.i_feats = i_feats# 初始化归一化层self.norm = LayerNorm(n_feats, data_format='channels_first')# 用于缩放的可学习参数self.scale = nn.Parameter(torch.zeros((1, n_feats, 1, 1)), requires_grad=True)# 定义不同尺度的大核注意力（Large Kernel Attention）模块# LKA7: 使用7x7卷积，9x9卷积（膨胀为4），以及1x1卷积self.LKA7 = nn.Sequential(nn.Conv2d(n_feats // k, n_feats // k, 7, 1, 7 // 2, groups=n_feats // k),nn.Conv2d(n_feats // k, n_feats // k, 9, stride=1, padding=(9 // 2) * 4, groups=n_feats // k, dilation=4),nn.Conv2d(n_feats // k, n_feats // k, 1, 1, 0))# LKA5: 使用5x5卷积，7x7卷积（膨胀为3），以及1x1卷积self.LKA5 = nn.Sequential(nn.Conv2d(n_feats // k, n_feats // k, 5, 1, 5 // 2, groups=n_feats // k),nn.Conv2d(n_feats // k, n_feats // k, 7, stride=1, padding=(7 // 2) * 3, groups=n_feats // k, dilation=3),nn.Conv2d(n_feats // k, n_feats // k, 1, 1, 0))# 其它模块，未启用'''self.LKA3 = nn.Sequential(nn.Conv2d(n_feats//k, n_feats//k, 3, 1, 1, groups= n_feats//k),  nn.Conv2d(n_feats//k, n_feats//k, 5, stride=1, padding=(5//2)*2, groups=n_feats//k, dilation=2),nn.Conv2d(n_feats//k, n_feats//k, 1, 1, 0))'''# 定义其它卷积层（不同尺寸）self.X5 = nn.Conv2d(n_feats // k, n_feats // k, 5, 1, 5 // 2, groups=n_feats // k)self.X7 = nn.Conv2d(n_feats // k, n_feats // k, 7, 1, 7 // 2, groups=n_feats // k)# 用于将输入特征映射到更高维度的卷积层self.proj_first = nn.Sequential(nn.Conv2d(n_feats, i_feats, 1, 1, 0))# 用于最终输出映射回n_feats维度的卷积层self.proj_last = nn.Sequential(nn.Conv2d(n_feats, n_feats, 1, 1, 0))def forward(self, x, pre_attn=None, RAA=None):# 保留输入数据作为shortcut，进行跳跃连接shortcut = x.clone()# 对输入进行归一化x = self.norm(x)# 映射到更高维度x = self.proj_first(x)# 将特征图分成两部分（a和x）a, x = torch.chunk(x, 2, dim=1)# 将a进一步分成两部分（a_1和a_2）a_1, a_2 = torch.chunk(a, 2, dim=1)# 分别对a_1和a_2进行多尺度大核注意力操作，结合不同卷积结果a = torch.cat([self.LKA7(a_1) * self.X7(a_1), self.LKA5(a_2) * self.X5(a_2)], dim=1)# 最后一步将加权后的x和a做卷积变换，将多尺度信息融入到特征图中并进行跳跃连接x = self.proj_last(x * a) * self.scale + shortcutreturn x

🍂修改处二

        在 task.py文件中导入MLKA_Ablation类

        导入代码如下：

import thopimport torchimport torch.nn as nn#修改from ultralytics.nn.modules.MLKA import MLKA_Ablation#修改

🍂修改处三

在task.py中将MLKA_Ablation的使用添加修改到1075行左右位置，修改后代码如下：

     elif m in {StarsBlock, MLKA_Ablation}:args = [ch[f]]else:c2 = ch[f]

注意：使用YOLOv12进行训练，torch版本要在2.x及以上，否则会出现scaled_dot_product_attention模块导入不成功的问题

from torch.nn.functional import scaled_dot_product_attention as sdpa

🍂修改处四

        修改网络结构定义yolov12.yaml文件，在原来的模型结构基础上用MLKA_Ablation模块添加在骨干网络最后一层。注意要根据自己的数据集修改nc，即num_class。

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv12n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv,  [64, 3, 2]] # 0-P1/2- [-1, 1, Conv,  [128, 3, 2]] # 1-P2/4- [-1, 2, C3k2,  [256, False, 0.25]]- [-1, 1, Conv,  [256, 3, 2]] # 3-P3/8- [-1, 2, C3k2,  [512, False, 0.25]]- [-1, 1, Conv,  [512, 3, 2]] # 5-P4/16- [-1, 4, A2C2f, [512, True, 4]]- [-1, 1, Conv,  [1024, 3, 2]] # 7-P5/32- [-1, 4, A2C2f, [1024, True, 1]] # 8- [-1, 1, MLKA_Ablation, []] #9# YOLO12n head
head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 2, A2C2f, [512, False, -1]] # 11- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 2, A2C2f, [256, False, -1]] # 14- [-1, 1, Conv, [256, 3, 2]]- [[-1, 11], 1, Concat, [1]] # cat head P4- [-1, 2, A2C2f, [512, False, -1]] # 17- [-1, 1, Conv, [512, 3, 2]]- [[-1, 8], 1, Concat, [1]] # cat head P5- [-1, 2, C3k2, [1024, True]] # 20 (P5/32-large)- [[14, 17, 20], 1, Detect, [nc]] # Detect(P3, P4, P5)

👍👍5.成功训练后的网络结构截图

至此就可以愉快的炼丹了。希望大家都能成果多多，paper多多~~~

整理不易，欢迎一键三连！！！
送你们一条美丽的--分割线--

🌷🌷🍀🍀🌾🌾🍓🍓🍂🍂🙋🙋🐸🐸🙋🙋💖💖🍌🍌🔔🔔🍉🍉🍭🍭🍋🍋🍇🍇🏆🏆📸📸⛵⛵⭐⭐🍎🍎👍👍🌷🌷