当前位置：首页 > news >正文

【结肠息肉AI论文集】ASPS: Augmented Segment Anything Model for Polyp Segmentation

news 来源：原创 2025/9/15 7:23:35

摘要

息肉分割在结直肠癌诊断中起着关键作用。最近，Segment Anything Model（SAM）的出现为息肉分割带来了前所未有的潜力，其在大规模数据集上的强大预训练能力使其备受关注。然而，由于自然图像和内窥镜图像之间存在领域差异，SAM在息肉分割中面临两个限制。首先，其基于Transformer的结构优先考虑全局和低频信息，可能会忽略局部细节，从而引入偏差。其次，在应用于内窥镜图像时，其较差的分布外（OOD）性能导致预测结果不佳和置信度输出偏差。为解决这些挑战，我们提出了一种名为ASPS（Augmented SAM for Polyp Segmentation）的新方法，配备了两个模块：跨分支特征增强（CFA）和不确定性引导预测正则化（UPR）。CFA通过将可训练的CNN编码器分支与冻结的ViT编码器相结合，实现了特定领域的知识整合，同时增强了局部特征和高频细节。此外，UPR巧妙地利用SAM的IoU分数来减少训练过程中的不确定性，从而提高OOD性能和领域泛化能力。广泛的实验结果证明了所提方法在提高SAM息肉分割性能方面的有效性和实用性。我们的代码可在GitHub - HuiqianLi/ASPS获取。

引言

自动息肉分割是结直肠癌诊断中的关键工具，有助于实施有效的干预措施和及时的治疗策略。Polyp-PVT[5]和SSFormer[22]利用金字塔视觉变换器（Pyramid Vision Transformer）进行息肉分割；CFANet[35]通过跨层特征聚合网络整合边界信息；Endo-FM[23]捕捉时空依赖性以构建基础模型。然而，受限于模型规模，现有方法在特征表示和提取方面的能力仍显不足，难以充分捕捉息肉的形态和特征。此外，数据集规模有限可能限制了现有方法的多样性和泛化能力。最近，推出了Segment Anything Model[12]（SAM）。SAM在最大的分割数据集SA-1B上进行预训练，在各种下游任务中展现出卓越的分割能力。凭借其庞大的模型规模和数据规模，这一创新方法为息肉分割领域带来了新的视角，并且在表示和特征提取能力方面超越了现有方法。

然而，SAM在息肉分割任务中的表现并不令人满意[34]，这是由于训练数据和内窥镜图像之间存在领域差异。这导致了两个主要问题：首先，SAM未能充分捕捉息肉图像的独特特征，导致其学习到的表示存在偏差。其次，对于分布外（OOD）数据，它产生了错误的预测和不准确的置信度估计。此外，由于依赖提示，SAM在临床应用中的便利性受到了严重影响。尽管有几种方法对SAM进行了改进，例如MedSAM[15]，但这些方法要么依赖提示，要么直接对大型模型进行微调。SAMUS[14]有效地整合了CNN和ViT，但其设计相当复杂，特别适合处理小图像。因此，这些方法的有效性在一定程度上受到了限制。为了应对语义分割中的无监督领域自适应挑战，已经提出了多种方法。MIC[8]提出了一个掩码图像一致性模块，用于目标领域上下文学习；上下文感知领域自适应[26]通过交叉注意力改进上下文转移。然而，领域特定信息的整合和不确定性的减少仍未被探索。

为解决这些问题，我们从领域自适应的角度出发，提出了一种基于SAM的新方法，旨在增强特征提取能力和泛化能力，而不依赖于提示。我们提出了跨分支特征增强模块（CFA）和不确定性引导预测正则化模块（UPR）。CFA引入了一个额外的可训练卷积神经网络（CNN）编码器分支，作为冻结的视觉变换器（ViT）编码器的补充，以捕捉多尺度和多层次的特征。UPR调整归一化层以促进在内窥镜领域的适应，并利用提示以确保准确的置信度估计，从而提高SAM的OOD性能。

总之，我们的主要贡献如下：（1）我们构建了一种名为ASPS的新型基于SAM的模型，以增强息肉分割的特征学习能力和领域泛化能力，无需提示即可展现出强大的性能。（2）我们引入了跨分支特征增强模块（CFA），引入了一个额外的CNN编码器分支作为ViT编码器的补充。此外，我们提出了不确定性引导预测正则化模块（UPR），利用提示在训练期间减少不确定性并提高SAM的领域泛化能力。（3）在五个常见的息肉数据集上的广泛实验表明了我们方法的有效性和优越性。

图1：我们用于息肉分割的增强型Segment Anything模型（ASPS）的概述。跨分支特征增强模块（CFA）旨在学习多尺度特征和多层次表示。不确定性引导预测正则化模块（UPR）旨在最小化预测的不确定性，以提高模型的领域泛化能力。

方法

概述：我们提出的网络如图1所示。为解决SAM的领域退化问题，我们利用两个模块来增强其原始的特征提取能力和领域泛化能力。跨分支特征增强（CFA）模块将CNN编码器特征与全局ViT信息相结合，从而实现泛化的特征表示学习。这种整合通过将深层信息聚合到浅层，并从浅层引入位置信息，从而促进更精细的分割输出。同时，不确定性引导预测正则化（UPR）模块旨在最小化不确定性并在训练期间校准置信度。我们提出的网络遵循端到端训练，无需提示，联合优化两个模块以实现最佳性能。

2.1 跨分支特征增强模块（CFA）

尽管SAM在许多图像分割任务中取得了巨大成功，但在息肉分割任务中仍存在一些限制。主要原因之一是SAM的图像编码器无法从未见的内窥镜图像中有效提取足够的特征。为解决这一问题，CFA模块旨在学习多尺度特征和多层次表示，从而增强编码器的特征提取能力。

首先，为了实现自动分割，我们修改了SAM的架构，移除了其提示输入和提示编码器组件，同时保留了其图像编码器和掩码解码器部分。最近的研究[17]表明，ViT更专注于低频信号，而CNN更擅长处理高频信号。因此，我们引入了一个并行的基于CNN的分支，以弥补高频和局部特征的缺失。此外，我们通过提出一个额外的多头跨分支注意力块来增强SAM的掩码解码器，以促进从ViT编码器和CNN编码器提取的特征的整合。对于ViT分支的特征 Fv 和CNN的特征 Fc，跨分支注意力可以表示如下：

其中 Q=FvWQ，K=V=FcWK，d 是 Fv 每个头的通道数。考虑到CNN特征提供了更精确的位置信息，我们将SAM原始掩码解码器中的位置嵌入替换为CNN编码器的最终输出特征。此外，我们将跨分支注意力机制整合到掩码解码器的注意力块中，重复此过程两次，以确保从ViT和CNN编码器整合多尺度特征，如图2所示。

其次，为了获得更精确的分割结果，我们将编码器中的高级上下文和低级边界信息与SAM的解码器特征相结合，以增强输出信息。具体来说，我们将从ViT编码器的中间嵌入中获得的浅层局部特征、从图像嵌入中获得的最终全局特征以及CNN编码器的最终特征相结合，如图2所示。这种方法充分利用了每个编码器分支的丰富边缘信息、广泛的全局上下文信息和局部位置细节。因此，我们可以有效地整合来自ViT和CNN的多层次特征。

2.2 不确定性引导预测正则化模块（UPR）

为了增强SAM的泛化能力，我们提出了一种新的训练策略，涉及在编码器中选择性激活LayerNorm。我们还使用真实标签作为“提示”，通过校正置信度来进一步指导训练过程。

鉴于SAM在自然数据上进行训练，其在息肉图像上的性能可能会因领域转移而下降。如先前建议的[13]，通过调整归一化层是一种特别有效的领域转移技术。尽管引入LayerNorm[1]可能会减少训练时间，但它从根本上改变了输入数据的分布。当将SAM从自然图像转移到内窥镜图像时，数据分布和相应的特征空间分布都会发生变化。这些分布差异可能会引起内部协变量偏移，从而影响模型的性能。为了提高SAM在内窥镜领域的泛化能力，我们对编码器的归一化层进行微调。在这个过程中，模型有效地适应目标领域的数据分布，并减轻内部协变量偏移的影响。

具体来说，SAM的ViT编码器的LayerNorm分为（1）Transformer块归一化和（2）颈部层归一化，如图2（a）所示。鉴于颈部层的特征更接近编码器的输出特征，我们最终决定训练颈部层归一化，这相当于对预训练的ViT编码器的特征进行重新归一化。巧合的是，在这项工作[32]中，调整归一化层的直接技术可以惊人地获得与微调所有参数的稳健基线相当甚至更优的性能。

此外，先前的研究[16]表明，具有较低不确定性的预测往往表现出更好的分布外（OOD）性能，这对于领域适应也是有益的。SAM生成一个IoU分数输出，这本质上可以表示不确定性（或相反，置信度）。然而，在预测过程中，SAM可能会对未见数据产生高置信度的错误预测，这是不希望的。为缓解这一问题，我们努力在训练期间减少模型的不确定性（即增加置信度）。受[4]的启发，我们使用真实标签作为提示来指导模型的学习。首先，我们将SAM的IoU分数表示为图像级置信度 ci。然后，我们使用式（2）计算像素级置信度 cp，以细化每个像素的不确定性，其中 Up∈RB×1×H×W。

术语 Up 表示像素不确定性，定义为 Up=1−σ(∣P∣)。 这里，σ 表示 Sigmoid 函数，而 P 表示输出预测。最终置信度计算为图像级置信度和像素级置信度的和，表示为 c=21(ci+cp)。这种置信度由伯努利分布决定，是否使用真实标签作为提示。换句话说，如果置信度足够低，我们认为模型需要一个具体的答案提示来学习正确的掩码预测。因此，答案被用作提示，否则则不需要。提示的权重由置信度 c 决定，表示如下：

然而，通过最小化损失函数，模型会倾向于使 c=0，从而使 P′ 始终等于真实标签（GT）。这意味着模型实际上并没有真正学习。因此，引入了置信度损失来监督 c，当 c→0 时，置信度损失会增加，置信度损失定义如下：

Lc=−log(c). （4）

最终损失函数是分割损失 Ls 和置信度损失 Lc 的和，如式（5）所示。这里，λ 表示一个超参数。具体来说，使用的分割损失是交叉熵损失（CE loss）、Dice损失和均方误差损失（MSE loss）的组合，表示为 Ls=Lce+0.5⋅Ldice+Lmse。

L=Ls+λLc. （5）

摘要

引言

方法

2.1 跨分支特征增强模块（CFA）

2.2 不确定性引导预测正则化模块（UPR）

相关文章：