当前位置：首页 > news >正文

【Block总结】DASI，多维特征融合

news 来源：原创 2025/5/11 2:51:08

论文信息

HCF-Net（Hierarchical Context Fusion Network）是一种新提出的深度学习模型，专门用于红外小目标检测。该论文于2024年3月16日发布，作者包括Shibiao Xu、ShuChen Zheng等，主要研究机构为北京邮电大学。该模型旨在提高红外图像中微小目标的识别和定位能力，尤其是在复杂背景下。

论文链接：https://arxiv.org/pdf/2403.10778
官方GitHub代码：https://github.com/zhengshuchen/HCFNet

在这里插入图片描述

创新点

HCF-Net的主要创新包括：

并行化补丁感知注意力（PPA）模块：通过多分支特征提取策略，捕获不同尺度和层次的特征信息，增强小目标的表示能力。
维度感知选择性融合（DASI）模块：实现自适应的通道选择和融合，优化特征信息的整合，提高模型的灵活性和准确性。
多膨胀通道细化器（MDCR）模块：通过多层深度可分离卷积捕捉不同感受野范围的空间特征，增强对小目标的定位能力。

这些模块的结合使得HCF-Net在处理红外小目标检测时，能够有效应对小目标丢失和背景复杂度高的问题。

方法

HCF-Net采用了一种升级版的U-Net架构，主要由三个关键模块组成：

PPA模块：
- 采用多分支特征提取策略，分别提取局部和全局特征。
- 通过注意力机制增强特征表示，确保在多次下采样过程中保留关键信息。
DASI模块：
- 通过自适应选择和融合高维与低维特征，增强小目标的显著性。
- 采用通道分割选择机制，根据目标的大小和特征自适应选择合适的特征进行融合。
MDCR模块：
- 引入多个深度可分离卷积层，捕捉不同感受野范围的空间特征。
- 通过通道分割和重组增强特征表示，提升小目标的辨识能力。

DASI模块解读

DASI（Dimension-Aware Selective Integration）模块是HCF-Net中的一个重要组成部分，旨在解决红外小目标检测中高维特征和低维特征融合的挑战。该模块通过自适应选择和融合不同维度的特征，增强了小目标的显著性，从而提高了检测性能。
在这里插入图片描述

主要功能

自适应特征选择：
- DASI模块通过对高维特征和低维特征进行对齐，确保在特征融合过程中保留关键信息。具体来说，模块首先通过卷积和插值操作将高维特征和低维特征与当前层特征进行对齐，以便于后续的融合。
通道划分机制：
- DASI将对齐后的特征沿通道维度均等划分为四个部分。这种划分使得模块能够根据目标的大小和特性自适应地选择合适的特征进行融合。每个部分的特征在融合时会根据其重要性进行加权，从而提高小目标的检测能力。
特征融合与输出：
- 在特征融合过程中，DASI模块使用sigmoid激活函数对每个部分的特征进行加权，生成选择性聚合的结果。最终，经过卷积、批量归一化和激活函数处理后，输出融合后的特征。

具体实现

特征对齐：
高维特征 $F_h \in \mathbb{R}^{H_h \times W_h \times C_h}$ 和低维特征 $F_l \in \mathbb{R}^{H_l \times W_l \times C_l}$ 首先通过卷积和插值操作与当前层特征 $F_u \in \mathbb{R}^{H \times W \times C}$ 对齐。
通道划分：
将对齐后的特征划分为四个部分：
$h_i)_{i=1}^4, (l_i)_{i=1}^4, (u_i)_{i=1}^4$
加权聚合：
通过sigmoid函数计算加权系数 $\alpha$ ，并根据该系数对高维和低维特征进行加权聚合：
$u_i' = \alpha l_i + (1 - \alpha) h_i$
输出特征：
最终输出特征 $F_u' \in \mathbb{R}^{H \times W \times C}$ 经过卷积和激活函数处理后生成：
$F_u^{\text{final}} = \delta(B(Conv(F_u')))$

DASI模块通过自适应特征选择和通道划分机制，增强了HCF-Net在红外小目标检测中的特征融合能力。其设计不仅提高了小目标的检测精度，还确保了在多次下采样过程中关键信息的保留，为红外图像处理提供了强有力的支持。

效果

HCF-Net在SIRST红外单帧图像数据集上的实验结果表明，该模型在红外小目标检测任务中表现优异，超越了其他传统和深度学习模型。具体而言，HCF-Net在小目标的识别和定位上具有显著的优势，能够有效减少小目标在复杂背景下的丢失率。

实验结果

数据集: HCF-Net在SIRST数据集上进行评估。
性能指标: HCF-Net在IoU（Intersection over Union）和nIoU（normalized IoU）上分别达到80.09%和78.31%，显著优于其他方法。
对比实验: 与传统方法和其他深度学习模型相比，HCF-Net在多个指标上均表现出色，验证了其设计的有效性和实用性。

总结

HCF-Net通过创新的模块设计和深度学习方法，显著提升了红外小目标检测的性能。其在处理小目标丢失和背景复杂度高的问题上展现了良好的能力，为未来的研究和应用提供了新的思路和方向。该模型的成功应用不仅推动了红外图像处理技术的发展，也为相关领域的实际应用提供了强有力的支持。

代码

import torch.nn.functional
import torch
import torch.nn as nn
import torch.nn.functional as Fclass Bag(nn.Module):def __init__(self):super(Bag, self).__init__()def forward(self, p, i, d):edge_att = torch.sigmoid(d)return edge_att * p + (1 - edge_att) * iclass conv_block(nn.Module):def __init__(self,in_features,out_features,kernel_size=(3, 3),stride=(1, 1),padding=(1, 1),dilation=(1, 1),norm_type='bn',activation=True,use_bias=True,groups = 1):super().__init__()self.conv = nn.Conv2d(in_channels=in_features,out_channels=out_features,kernel_size=kernel_size,stride=stride,padding=padding,dilation=dilation,bias=use_bias,groups = groups)self.norm_type = norm_typeself.act = activationif self.norm_type == 'gn':self.norm = nn.GroupNorm(32 if out_features >= 32 else out_features, out_features)if self.norm_type == 'bn':self.norm = nn.BatchNorm2d(out_features)if self.act:# self.relu = nn.GELU()self.relu = nn.ReLU(inplace=False)def forward(self, x):x = self.conv(x)if self.norm_type is not None:x = self.norm(x)if self.act:x = self.relu(x)return xclass DASI(nn.Module):def __init__(self, in_features, out_features) -> None:super().__init__()self.bag = Bag()self.tail_conv = nn.Sequential(conv_block(in_features=out_features,out_features=out_features,kernel_size=(1, 1),padding=(0, 0),norm_type=None,activation=False))self.conv = nn.Sequential(conv_block(in_features = out_features // 2,out_features = out_features // 4,kernel_size=(1, 1),padding=(0, 0),norm_type=None,activation=False))self.bns = nn.BatchNorm2d(out_features)self.skips = conv_block(in_features=in_features,out_features=out_features,kernel_size=(1, 1),padding=(0, 0),norm_type=None,activation=False)self.skips_2 = conv_block(in_features=in_features * 2,out_features=out_features,kernel_size=(1, 1),padding=(0, 0),norm_type=None,activation=False)self.skips_3 = nn.Conv2d(in_features//2, out_features,kernel_size=3, stride=2, dilation=2, padding=2)# self.skips_3 = nn.Conv2d(in_features//2, out_features,#                          kernel_size=3, stride=2, dilation=1, padding=1)self.relu = nn.ReLU()self.gelu = nn.GELU()def forward(self, x, x_low, x_high):if x_high != None:x_high = self.skips_3(x_high)x_high = torch.chunk(x_high, 4, dim=1)if x_low != None:x_low = self.skips_2(x_low)x_low = F.interpolate(x_low, size=[x.size(2), x.size(3)], mode='bilinear', align_corners=True)x_low = torch.chunk(x_low, 4, dim=1)x_skip = self.skips(x)x = self.skips(x)x = torch.chunk(x, 4, dim=1)if x_high == None:x0 = self.conv(torch.cat((x[0], x_low[0]), dim=1))x1 = self.conv(torch.cat((x[1], x_low[1]), dim=1))x2 = self.conv(torch.cat((x[2], x_low[2]), dim=1))x3 = self.conv(torch.cat((x[3], x_low[3]), dim=1))elif x_low == None:x0 = self.conv(torch.cat((x[0], x_high[0]), dim=1))x1 = self.conv(torch.cat((x[0], x_high[1]), dim=1))x2 = self.conv(torch.cat((x[0], x_high[2]), dim=1))x3 = self.conv(torch.cat((x[0], x_high[3]), dim=1))else:x0 = self.bag(x_low[0], x_high[0], x[0])x1 = self.bag(x_low[1], x_high[1], x[1])x2 = self.bag(x_low[2], x_high[2], x[2])x3 = self.bag(x_low[3], x_high[3], x[3])x = torch.cat((x0, x1, x2, x3), dim=1)x = self.tail_conv(x)x += x_skipx = self.bns(x)x = self.relu(x)return xif __name__ == "__main__":dim=512# 如果GPU可用，将模块移动到 GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 输入张量 (batch_size, channels,height, width)x = torch.randn(2,dim,40,40).to(device)x_low = torch.randn(2,dim*2,20,20).to(device)x_hight = torch.randn(2,dim//2,80,80).to(device)# 初始化 Sea_Attention 模块block = DASI(dim,dim) # kernel_size为height或者widthprint(block)block = block.to(device)# 前向传播output = block(x,x_low,x_hight)print("输入:", x.shape)print("输出:", output.shape)

输出结果：
在这里插入图片描述

论文信息

创新点

方法

DASI模块解读

主要功能

具体实现

效果

实验结果

总结

代码

相关文章：