通过规范化模型自训练增强医学图像分割中的无监督域自适应|文献速递-深度学习医疗AI最新文献

Title

题目

Enhancing source-free domain adaptation in Medical Image Segmentationvia regulated model self-training

通过规范化模型自训练增强医学图像分割中的无监督域自适应

01

文献速递介绍

深度卷积神经网络对训练数据分布（源域）和测试数据分布（目标域）之间的偏移极为敏感（庄等人，2020）。为解决这一问题，人们提出了大量域自适应方法，这些方法试图将源域和目标域的特征空间对齐到一个共同的潜在嵌入空间，以便在源域上学习的模型能够很好地适应目标域（苏尔卡，2017）。考虑到医学领域标注数据稀缺，众多研究致力于无监督域自适应（UDA）设定，旨在不产生目标域标注成本的情况下追求令人满意的自适应性能（加宁和伦皮茨基，2015；陈等人，2019；王等人，2019）。随着对无监督域自适应研究的推进，当代研究频繁指出无监督域自适应在处理严重域偏移时存在局限性（如跨不同成像模态），并提出了无监督域自适应（SFDA）设定（陈等人，2021；徐等人，2022；李等人，2022；胡等人，2022；沈等人，2022）。在无监督域自适应设定下，研究人员将未标注的目标样本输入到在源域训练好的模型中，并将生成的预测结果作为伪标签，以引导模型针对目标域进行自我适应。在此基础上，人们提出了各种去噪策略，通过进行不确定性估计（陈等人，2021）、自适应阈值设定（徐等人，2022）、熵最小化（VS等人，2022）等方法，来消除因域偏移导致的伪标签中易出错的区域。大多数情况下，当遇到较小的域差异（如由不同成像设备供应商导致的偏移）时，上述方法能产生令人满意的自适应性能。因为从原始源模型输出估计的初始伪标签可以达到较高的准确率（例如，在跨供应商分割视盘和视杯的任务中，骰子系数（Dice）约为80% （王等人，2019；陈等人，2021）），通过去噪策略进一步优化这些伪标签，能为模型训练提供更可靠的监督。 然而，当涉及到更具挑战性的场景，比如在两种完全不同的成像模态之间进行自适应时，源自伪标签的监督会因严重的域差异而急剧恶化。以将心脏分割模型从CT图像适配到MR图像为例，初始伪标签包含大量误报预测，导致骰子系数（Dice）的准确率约为20% （陈等人，2019）。即使当代去噪策略能够去除伪标签中所有误导性的指导信息，剩余的指导信息可能也不足以在目标域上产生理想的自适应性能。由于多模态数据在临床诊断流程中普遍使用（庄和沈，2016），人们迫切需要一种具有广泛适用性的无监督域自适应模型，即不仅适用于不同供应商（如西门子、飞利浦）之间较小的域偏移，也适用于不同成像模态（如CT、MR）之间严重的域偏移。 为实现这一目标，我们深入研究源模型中已获取的知识，并探究无监督域自适应过程中一个重要但尚未充分探索的问题，即源模型参数的哪一部分捕获了源域和目标域通用的先验知识，而哪一部分利用了源域独特的、对目标域可迁移性或兼容性较差的特征。先前优化伪标签的无监督域自适应方法一直忽视了这个问题（见图1）。它们简单地将源模型视为自我训练的理想起点，并在后续优化中完全覆盖其所有参数（甚至包括域不变参数）。然而，正如最近的研究（昆杜等人，2021；赵等人，2020；李等人，2020a）所指出的，集中于共同共享表示（如形状先验）的域不变参数与域变化无关，因此通常具有较高的可迁移性，可用于未来的自适应。保持这些参数的良好功能非常有价值，尤其是在遇到显著域差异时，保护它们不被不可靠的指导信息污染。这样，当源自当前伪标签的监督不足时，我们可以依赖早期获取的先验知识来支持模型进行令人满意的自我适应。对于专注于给定域独特特征的域特定参数，现有的特征嵌入已针对源域特征进行了定制，因此应该主动将其更新为目标特定的特征嵌入。 在本文中，我们提出了一种规范化模型自训练（RMST）方法，以应对无监督域自适应的广泛应用场景，即在较小的域偏移（跨供应商）和严重的域偏移（跨模态）情况下都能表现良好。首先，我们分析了源模型每个参数的可迁移性，并将源模型参数分为高可迁移参数（如获取了域不变先验知识的参数）和低可迁移参数（如学习了域特定特征的参数）。对于每类参数，我们采用定制策略来调控其自训练过程，以充分利用从源域早期获取的知识。对于域不变参数，我们限制其自训练过程中的大幅更新，以保护域共享知识在伪标签质量较差时不被污染。通过这种方式，域不变知识可以保持在可用状态，持续助力目标域自适应。同时，对于域特定参数，我们主动将其嵌入从源特定更新为目标特定。我们进行选择性特征白化，以引导模型专注于获取主要的目标特定特征，从而提高模型效率。在自训练结束时，模型将具备令人满意地处理目标域数据的能力。 我们在多个域自适应场景下全面评估了我们的框架，包括涉及三维跨模态心脏分割任务的严重域偏移场景，以及涉及二维跨供应商眼底分割任务的较小域偏移场景。在这两种场景下，我们的方法都大幅优于其他对比方法。我们的主要贡献总结如下： - 我们提出根据参数级别的可迁移性来规范模型自训练，以增强模型在具有严重域偏移的挑战性域自适应场景中的能力。 - 对于域不变参数，我们限制其大幅更新，以复用源模型中现有的域不变先验知识，并使其持续助力目标域自适应。  - 对于域特定参数，我们主动将其特征嵌入从源特定更新为目标特定，尤其是主要的特征嵌入。  - 我们在较小和严重域偏移场景下都验证了我们的方法，并且我们的方法相比其他竞争方法表现更优。

Abatract

摘要

Source-free domain adaptation (SFDA) has drawn increasing attention lately in the medical field. It aims toadapt a model well trained on source domain to target domains without accessing source domain data norrequiring target domain labels, to enable privacy-protecting and annotation-efficient domain adaptation. MostSFDA approaches initialize the target model with source model weights, and guide model self-training withthe pseudo-labels generated from the source model. However, when source and target domains have hugediscrepancies (e.g., different modalities), the obtained pseudo-labels would be of poor quality. Different fromprior works that overcome it by refining pseudo-labels to better quality, in this work, we try to explore itfrom the perspective of knowledge transfer. We recycle the beneficial domain-invariant prior knowledge inthe source model, and refresh its domain-specific knowledge from source-specific to target-specific, to help themodel satisfyingly tackle target domains even when facing severe domain shifts. To achieve it, we proposeda regulated model self-training framework. For high-transferable domain-invariant parameters, we constraintheir update magnitude from large changes, to secure the domain-shared priors from going stray and letit continuously facilitate target domain adaptation. For the low-transferable domain-specific parameters, weactively update them to let the domain-specific embedding become target-specific. Regulating them together,the model would develop better capability for target data even under severe domain shifts. Importantly,the proposed approach could seamlessly collaborate with existing pseudo-label refinement approaches tobring more performance gains. We have extensively validated our framework under significant domainshifts in 3D cross-modality cardiac segmentation, and under minor domain shifts in 2D cross-vendor fundussegmentation, respectively. Our approach consistently outperformed the competing methods and achievedsuperior performance

无监督域自适应（SFDA）最近在医学领域受到了越来越多的关注。它旨在使在源域上训练良好的模型适应目标域，且无需访问源域数据，也不需要目标域的标签，从而实现保护隐私且标注高效的域自适应。大多数无监督域自适应方法使用源模型的权重来初始化目标模型，并利用源模型生成的伪标签来引导模型进行自训练。 然而，当源域和目标域存在巨大差异时（例如，不同的成像模态），所得到的伪标签质量会很差。与之前通过优化伪标签以提高其质量来解决该问题的研究不同，在这项工作中，我们尝试从知识迁移的角度来探索这一问题。我们回收源模型中有益的域不变先验知识，并将其特定于源域的知识更新为特定于目标域的知识，以便即使在面临严重的域偏移时，模型也能令人满意地处理目标域。 为了实现这一目标，我们提出了一个规范化模型自训练框架。对于具有高迁移性的域不变参数，我们限制它们的更新幅度，避免出现大幅变化，以确保域共享的先验知识不会偏离正轨，并让它持续助力目标域的自适应。对于低迁移性的域特定参数，我们主动更新它们，使域特定的嵌入变为目标特定的嵌入。通过共同调控这些参数，即使在严重的域偏移情况下，模型也能对目标数据形成更强的处理能力。 重要的是，所提出的方法可以与现有的伪标签优化方法无缝协作，带来更多的性能提升。我们分别在三维跨模态心脏分割的显著域偏移场景以及二维跨厂商眼底分割的微小域偏移场景下，对我们的框架进行了广泛验证。我们的方法始终优于其他竞争方法，并取得了卓越的性能。

Method

方法

In the problem setting of source-free domain adaptation, we aregiven a model 𝐌𝑠* that is previously trained by a set of samples ofthe source domain 𝑠 = {(𝑥 𝑖 𝑠 , 𝑦𝑖 𝑠 )}𝑁 𝑖=1 𝑠 and a set of unlabeled targetdomain data 𝑡 = {𝑥 𝑖 𝑡 } 𝑁 𝑖=1 𝑡 . Different from previous unsupervised domainadaptation settings, the source domain dataset 𝑠 is not available touse due to data transmission regulations and safety concerns. The goalis to exploit the source-trained model 𝐌𝑠 and unlabeled target dataset{𝑥 𝑖 𝑡 } 𝑁 𝑖=1 𝑡 , to obtain a model 𝐌𝑡 that could satisfyingly deal with targetdomain data.

Fig. 2 illustrates our regulated model self-training approach. As astarter, we measure the parameter-level transferability of the sourcetrained model to identify the high-transferable domain-invariant parameters and the low-transferable domain-specific parameters. Then,we regulate the update magnitude of domain-invariant parameters fromlarge changes, to sustain the domain-shared prior knowledge and makeit continually facilitate the target domain. Meanwhile, we discoverthe domain-specific embeddings that are highly responsive to domainchanges and actively update them to become target-specific, to help themodel tackle target domain data.

在无监督域自适应的问题设定中，我们有一个模型(\mathbf{M}^s)，该模型先前是由源域(\mathcal{D}s = {(\mathbf{x}i^s, \mathbf{y}i^s)}{i = 1}^{N_s})的一组样本训练得到的，同时还有一组未标注的目标域数据(\mathcal{D}t = {\mathbf{x}i^t}{i = 1}^{N_t})。与以往的无监督域自适应设定不同，由于数据传输规定和安全方面的考虑，源域数据集(\mathcal{D}_s)无法使用。我们的目标是利用在源域上训练好的模型(\mathbf{M}^s)以及未标注的目标域数据集({\mathbf{x}i^t}{i = 1}^{N_t})，得到一个能够令人满意地处理目标域数据的模型(\mathbf{M}^*t)。 图2展示了我们的规范化模型自训练方法。首先，我们对在源域训练好的模型进行参数级可迁移性评估，以识别出高可迁移的域不变参数和低可迁移的域特定参数。然后，我们限制域不变参数的更新幅度，避免其出现大幅变化，从而维持域共享的先验知识，并使其能持续助力目标域的自适应。同时，我们找出对域变化高度敏感的域特定嵌入，并主动将它们更新为目标特定的嵌入，以帮助模型处理目标域的数据。

Conclusion

结论

We presented a regulated model self-training framework to supportsource-free domain adaptation under both minor and major domain discrepancies. Rather than wildly overriding all source-trained model parameters, we proposed to investigate their parameter-wise transferability and present customized training strategies for the high-transferabledomain-invariant parameters and low-transferable domain-specific parameters, to finely regulate model self-training for satisfying targetdomain adaptation. Since the domain-invariant parameters are enriched with domain-shared prior knowledge, we regulate their updatemagnitude from large changes to secure these representations andlet them further benefit the adaptation on the target domain. In themeantime, we actively refresh the embedding of domain-specific parameters from source-specific to target-specific. We perform selectivefeature whitening to regulate them focusing on acquiring the principaltarget-specific features for improved adaptation performance. We haveextensively evaluated our approach in the scenarios when encounteringminor domain shifts (e.g., cross vendors) and severe domain shifts(e.g., cross modalities). Our approach consistently outperformed othercomparison methods and showed superior segmentation performanceon target domains.

我们提出了一个规范化模型自训练框架，以支持在较小和较大的域差异情况下进行无监督域自适应。我们没有盲目地覆盖所有在源域上训练的模型参数，而是建议研究这些参数在参数层面的可迁移性，并针对高可迁移的域不变参数和低可迁移的域特定参数提出定制化的训练策略，从而精细地规范模型的自训练过程，以实现令人满意的目标域自适应。 由于域不变参数蕴含着丰富的域共享先验知识，我们限制它们的更新幅度，避免出现大幅变化，以确保这些表征得以保留，并让它们进一步助力目标域的自适应。同时，我们主动将域特定参数的嵌入从源特定更新为目标特定。我们进行选择性的特征白化处理，引导这些参数专注于获取主要的目标特定特征，从而提高自适应性能。 我们在遇到较小域偏移（例如，跨不同厂商）和严重域偏移（例如，跨不同模态）的场景中对我们的方法进行了广泛评估。我们的方法始终优于其他对比方法，并且在目标域上展现出了卓越的分割性能。

Figure

图

Fig. 1. Illustration of our main idea. (a) The model self-training in previous source-freedomain adaptation approaches allows any parameter updates instructed by pseudolabels. When poor-quality pseudo-labels occur due to large domain shifts, unconstrainedmodel self-training will make the target model easily misguided and contaminated,leading to unsatisfactory adaptation performance on target data. (b) To address it, weproposed to regulate model self-training. We constrain the domain-invariant parametersfrom large updates to secure the beneficial domain-shared prior knowledge from beingmisguided by inferior pseudo-labels. By doing so, even when confronting severe domaindiscrepancies, the domain-invariant embedding transferred from the source model 𝐌𝑠 tothe target model 𝐌𝑡 would be maintained at a well-functional stage. In the meantime,we actively update the domain-specific embedding to refresh it from source-specific totarget-specific. Regulating them together, the model would gain better competence fordiverse domain adaptation scenarios, including those having huge domain shifts (e.g.,across different imaging modalities).

图1. 主要思路说明。（a）以往无监督域自适应方法中的模型自训练允许由伪标签引导的任何参数更新。当由于较大的域偏移导致伪标签质量较差时，无约束的模型自训练会使目标模型容易受到误导和污染，从而导致在目标数据上的自适应性能不佳。（b）为解决该问题，我们提议对模型自训练进行调控。我们限制域不变参数的大幅更新，以确保有益的域共享先验知识不会被劣质伪标签误导。这样一来，即使面对严重的域差异，从源模型$\mathbf{M}^_s$迁移到目标模型$\mathbf{M}^_t$的域不变嵌入也能保持在良好的功能状态。同时，我们主动更新域特定嵌入，将其从源特定更新为目标特定。通过对二者共同调控，模型将在包括存在巨大域偏移（如跨不同成像模态）等各种域自适应场景中获得更强的适应能力。

Fig. 2. Overview of our source-free domain adaptation framework. We proposed to regulate model self-training at a finer level according to the parameter-wise transferabilityfrom source to target domain. (a) In Step 1, we analyzed the transferability of each source model parameter by observing how the predicted outputs react to small perturbationsin that parameter, when taking target domain images as inputs. Small prediction differences would indicate this parameter remains stable and converged when dealing withtarget data, suggesting it is high-transferable and domain-invariant, i.e., the domain-invariant parameters. While large prediction differences would indicate this parameter is highlyresponsive to the potential gradient updates and requires further optimization to reach convergence, suggesting it is low transferable for the target domain and optimal specificallyto the source domain, i.e., the domain-specific parameters. (b) In Step 2, we regulated model self-training according to each parameter’s transferability to make the best use of theexisting weights in the source model. We constrain the domain-invariant parameters from large updates via 𝑑𝑖𝑝 to protect the domain-shared prior knowledge from going stray andmake it continuously facilitate target domain adaptation. Meanwhile, we identify the domain-specific embeddings that are highly sensitive to domain changes and actively updatethem from being source-specific to target-specific via 𝑑𝑠𝑝. As a result, our model would satisfyingly tackle a broad range of domain adaptation scenarios, even the challengingcross-modality adaptation cases.

图2. 我们的无监督域自适应框架概述。我们提议根据从源域到目标域的参数级可迁移性，在更精细的层面上规范模型的自训练过程。（a）在步骤1中，当以目标域图像作为输入时，我们通过观察预测输出对每个源模型参数的微小扰动的反应来分析其可迁移性。较小的预测差异表明，在处理目标数据时，该参数保持稳定且已收敛，这意味着它具有高可迁移性且是域不变的，即域不变参数。而较大的预测差异则表明，该参数对潜在的梯度更新高度敏感，并且需要进一步优化才能达到收敛状态，这意味着它对目标域的可迁移性较低，且是专门针对源域优化的，即域特定参数。（b）在步骤2中，我们根据每个参数的可迁移性来规范模型的自训练，以便充分利用源模型中现有的权重。我们通过(L{dip})限制域不变参数的大幅更新，以保护域共享的先验知识不偏离正轨，并使其持续助力目标域的自适应。同时，我们识别出对域变化高度敏感的域特定嵌入，并通过(L{dsp})主动将它们从源特定更新为目标特定。因此，我们的模型能够令人满意地处理广泛的域自适应场景，甚至是具有挑战性的跨模态自适应情况。

Fig. 3. Visual comparisons for 3D cross-modality cardiac segmentation. Here we highlighted different structures in different colors.

图3. 三维跨模态心脏分割的可视化对比。在此，我们用不同颜色突出显示了不同的结构。

Fig. 4. Visual comparison for 2D cross-vendor fundus segmentation, where we highlighted optic disc in green and optic cup in pink.

图4：二维跨厂商眼底分割的可视化对比，我们用绿色突出显示了视盘，用粉色突出显示了视杯。

Fig. 5. The variance matrix of feature covariance in layer 1(The white color denotesthose in the high-variance group)

图5：第一层特征协方差的方差矩阵（白色表示属于高方差组的部分）

Table

表

Table 1Performance comparison under major domain shifts on the task of 3D cross-modality cardiac segmentation evaluated by dice. Here, we take MR as the source domain and CT asthe target domain. The best SFDA results are marked in bold.

表1：在三维跨模态心脏分割任务中，基于骰子系数（Dice）评估的严重域偏移情况下的性能比较。在此，我们以磁共振成像（MR）作为源域，计算机断层扫描（CT）作为目标域。最佳的无监督域自适应（SFDA）结果以粗体标出。

Table 2Performance comparison under major domain shifts on the task of 3D cross-modality cardiac segmentation evaluated by ASSD. Here, we take MR as the source domain and CTas the target domain. The best SFDA results are marked in bold

表2：在三维跨模态心脏分割任务中，依据平均对称表面距离（ASSD）进行评估的、在较大域偏移情况下的性能对比。在此，我们把磁共振成像（MR）当作源域，把计算机断层扫描（CT）当作目标域。表现最佳的无监督域自适应（SFDA）结果以粗体标注。

Table 3Performance comparison under major domain shifts on the task of 3D cross-modality cardiac segmentation evaluated by dice. Here, we take CT as the source domain and MR asthe target domain. The best SFDA results are marked in bold

表3：在三维跨模态心脏分割任务中，基于骰子系数（Dice）评估的严重域偏移情况下的性能比较。在此，我们将计算机断层扫描（CT）作为源域，将磁共振成像（MR）作为目标域。最佳的无监督域自适应（SFDA）结果以粗体标出。

Table 4Performance comparison under major domain shifts on the task of 3D cross-modality cardiac segmentation evaluated by ASSD. Here, we take CT as the source domain and MRas the target domain. The best SFDA results are marked in bold.

表4：在三维跨模态心脏分割任务中，基于平均对称表面距离（ASSD）评估的严重域偏移情况下的性能比较。在此，我们将计算机断层扫描（CT）作为源域，将磁共振成像（MR）作为目标域。最佳的无监督域自适应（SFDA）结果以粗体标出。

Table 5Performance comparison under major domain shifts on the task of 3D cross-modality abdominal multi-organ segmentation evaluated by Dice and ASSD. Here, we take MR as thesource domain and CT as the target domain. The best SFDA results are marked in bold.

表5：在三维跨模态腹部多器官分割任务中，基于骰子系数（Dice）和平均对称表面距离（ASSD）来评估的在较大域偏移情况下的性能对比。在此处，我们将磁共振成像（MR）作为源域，将计算机断层扫描（CT）作为目标域。最佳的无监督域自适应（SFDA）结果以粗体标出。

Table 6Performance comparison under major domain shifts on the task of 3D cross-modality abdominal multi-organ segmentation evaluated by Dice and ASSD. Here, we take CT as thesource domain and MR as the target domain. The best SFDA results are marked in bold

表6：在三维跨模态腹部多器官分割任务中，基于骰子系数（Dice）和平均对称表面距离（ASSD）评估的严重域偏移情况下的性能比较。在此，我们将计算机断层扫描（CT）作为源域，将磁共振成像（MR）作为目标域。最佳的无监督域自适应（SFDA）结果以粗体标出。

Table 7Performance comparison under minor domain shifts on the task of 2D cross-vendor fundus segmentation(mean ± standard deviation). We evaluated the performance of optic disc(OD) and optic cup (OC) by Dice. Here, we have marked the best SFDA results in bold

表7：在二维跨厂商眼底分割任务中，较小域偏移情况下的性能比较（均值±标准差）。我们通过骰子系数（Dice）评估了视盘（OD）和视杯（OC）的分割性能。在此，我们将最佳的无监督域自适应（SFDA）结果用粗体标出。

Table 8Performance comparison before and after applying our proposed RMST approach for the existing pseudo-label basedmethods. We have highlighted the Dice improvements in blue.

表8：在应用我们提出的规范化模型自训练（RMST）方法前后，基于现有伪标签方法的性能比较。我们用蓝色突出显示了骰子系数（Dice）的提升情况。

Table 9Hyperparameter analysis of 𝑙0 , 𝑘, and 𝑏𝑖𝑛𝑠 number

表9：$l_0$、$k$和$bins$数量的超参数分析

Table 10Performance comparison with ours and EWC under major domain shifts on the task of 3D cross-modality cardiac segmentation evaluated by dice. The best results are marked inbold

表10：在三维跨模态心脏分割任务中，基于骰子系数（Dice）评估的严重域偏移情况下，我们的方法与弹性权重巩固（EWC）方法的性能比较。最佳结果以粗体标出。