当前位置：首页 > news >正文

TGRS 2024 | 基于光谱相关的高光谱图像超分辨率融合网络

news 来源：原创 2025/9/14 14:07:17

10.1109/TGRS.2024.3423422

研究背景及以往方法存在的问题

高光谱图像超分辨率（HSI-SR）旨在通过融合低空间分辨率 HSI 与高空间分辨率 MSI，提升 HSI 的空间分辨率。现有方法在模态差异处理、波段相关性利用、细节保留等方面存在不足，具体问题如下：

1. 模态差异导致特征丢失

HSI 与 MSI 的本质差异：HSI 具有高光谱分辨率但空间分辨率低，MSI 则相反，两者在空间分辨率（如 20m vs. 4m）和光谱波段数（如 200+ vs. 3-10）上存在显著差异（图 1 (a)）。

跨模态融合挑战：传统方法（如贝叶斯模型、矩阵分解）难以有效建模 HSI 与 MSI 的模态差异，尤其在跨传感器场景下（如不同卫星数据源），模态差异加剧，导致空间细节或光谱信息丢失。例如，基于矩阵分解的方法将 3D 数据展开为 2D，破坏数据结构，无法保留光谱 - 空间耦合特征。

2. 波段相关性利用不足导致光谱失真

HSI 波段的内在关联：HSI 相邻波段（如 450nm 与 460nm）的光谱反射率具有强相似性（图 1 (b)），但传统卷积操作（如 2D 卷积）独立处理每个波段，忽略波段间的依赖关系。

光谱特征混淆：普通卷积未捕捉波段间的连续性和规律性，导致重建图像的光谱曲线失真。例如，植被的 “红边” 特征（红光与近红外波段的反射率差异）可能被破坏，影响地物分类精度（表 I 中传统方法 SAM 值较高）。

3. 全局与局部信息整合不足导致细节丢失

空间细节保留缺陷：现有方法要么聚焦全局空间关系（如低秩模型），要么仅关注局部高频信息（如浅层卷积），难以同时保留复杂边界和纹理细节（图 1 (c)）。

边缘与纹理模糊：例如，SFIM、GSA 等方法在融合结果中出现块状效应或边缘模糊，而深度学习方法（如 uSDN）虽提升空间分辨率，但因缺乏局部细节感知，导致建筑物边缘、植被纹理等细节丢失（实验部分误差图对比）。

4. 深度学习方法的局限性

复杂网络与跨模态挑战：现有深度学习方法（如 3D CNN、自编码器）依赖复杂架构，且未显式建模 HSI 的光谱相关性和 MSI 的空间细节，导致跨模态融合时特征失衡。

无监督学习的不足：无监督方法（如 DIP 变体）虽无需训练数据，但缺乏对物理模型（如光谱混合模型）的约束，生成的丰度矩阵和光谱矩阵物理意义不明确，光谱失真问题仍显著（如 MIAE 方法的 SAM 值较高）。

5. 传统模型依赖手工先验，泛化性差

手工先验的局限性：基于贝叶斯、张量分解的方法依赖稀疏性、低秩等手工设计的先验，难以适应复杂场景（如城市高异质性区域），且计算成本高（如 CSTF、GLPHS 方法在真实数据中表现不佳）。

显著的模态差异导致特征丢失（图 1 (a)）：

高光谱图像（HSI）与多光谱图像（MSI）在空间和光谱分辨率上存在巨大差异（如图中 OHS - 1 和 GF - 2 传感器获取的图像所示）。这种模态差异使得特征在融合过程中易丢失。尽管有研究提出跨尺度非局部注意力模块尝试解决模态差异，但建模不充分限制了方法对复杂模态变化的适应能力，尤其在跨传感器场景中，模态差异被放大，融合问题的复杂性更为突出。

波段相关性利用不足导致光谱失真（图 1 (b)）：

图 1 (b) 展示了高光谱图像中相邻波段具有高度相似的依赖关系，但常规卷积操作往往忽略这种光谱相关性，进而加剧光谱特征的混淆。虽然有研究构建了光谱退化引导的分组卷积，但该方法在波段组内独立工作，未能充分考虑网络组件间的整体一致性，导致光谱失真问题仍存在。

全局与局部信息整合不足导致细节遗漏（图 1 (c)）：

仅专注于全局空间关系或局部高频信息会严重影响融合结果的质量。如图 1 (c) 所示，HSI 与 MSI 在特征细节上的差异，使得融合图像中某些区域的边缘出现模糊，这正是全局和局部信息未充分整合导致精细细节遗漏的体现。

所提出的融合框架SCFN如图2所示，它由两个具有编码器-解码器结构的图像重建网络组成。HSI重建网络的解码器权重富含与MSI重建网络共享的光谱特征。MSI重建网络的编码部分能够提取丰富的纹理结构和精细细节特征，将这些特征与解码器共享的光谱信息相结合。这种权重共享机制允许将HSI重建网络中提取的丰富光谱特征的知识转移到MSI重建网络。该网络能够更好地综合光谱和空间信息，从而得到更准确和详细的重建结果。所提出的DSCM提高了带间相关性的利用率，特别是旨在减轻频谱失真。设计的GAB可以强调边缘细节的清晰度，同时保持整体一致性和上下文信息。

A. Band correlation capture guided by DSCM

LR HSI重建网络的编码器由两个1×1卷积层和提出的DSCM组成。由于大量HSI频带中包含复杂和冗余的信息，以及相邻频带之间的频谱依赖性。所提出的DSCM结合了光谱带之间的内在相关性，以提取光谱域特征并减轻光谱失真。编码器提取的特征用于通过解码器重建频谱信息，解码器由五个1´1卷积层组成。所提出的DSCM由群卷积组成，并采用密集连接沿信道维度连接所获得的特征图。使用群卷积不仅可以减少网络的参数量，还可以防止过拟合并实现类似的正则化效果[65]。此外，它可以利用HSI相邻光谱带之间的相关性来避免正常卷积引起的光谱混淆[66]。这种相关性充分利用了每组中相似频带之间的互补关系和共享特征。这些频带之间的光谱互补性使得相邻频带中的信息能够相互补充，从而保持了整体光谱特征的完整性。结合密集连接，每层生成的特征图可以连接起来重用。设计的DSCM通过带内相关性显著有助于捕获LR HSI的空间光谱特征，并有效地减轻光谱失真。

组卷积形式的特征提取不仅减少了参数量，而且充分利用了相邻谱带之间的相关性来减轻谱失真。在本文中，'g'的值设置为4，如图3所示。

B. GAB for Fine Detail Preservation

MSI重建网络的架构由编码器、解码器和下采样结构组成。编码器用于重建空间特征，解码器权重从HSI分支共享中导出，以学习频谱信息。通过方程（3）中的退化函数SRF对目标图像的光谱域进行降采样，以获得重建的HR MSI。设计的GAB构成MSI重建网络的编码器，用于提取图像的全局上下文信息和边缘细节。GAB首先由4个具有跳跃连接的全连接层组成，以在捕获全局结构的同时降低输入图像的维度。为了生成纹理细节清晰、视觉愉悦的图像，该模块引入了空间注意力机制。边缘细节作为图像中重要的结构特征起着至关重要的作用，对物体识别和理解至关重要。基于全连接层获得的全局上下文结构特征，进行最大池化和平均池化，以生成捕获不同信息的特征图。然后，通过与更大的感受野卷积进行特征融合。最后，通过将sigmoid操作生成的权重叠加回输入特征图中，增强了精细的局部细节。空间注意力的计算公式为：Ms（I）=s（Conv（[AvgPool（I）；MaxPool（I）]）（5），s表示sigmoid函数，Conv（）表示7´7卷积运算，[AvgPool（I）；MaxPool（I）]是通过池化生成的特征图。MSI解码器还由五个1´1卷积组成，因为MSI解码器的权重来自共享的HSI分支网络。此外，解码器旨在恢复频谱域中的特征，这两个网络的中间特征表示需要有一些相似性。具体表现为Ah和Am在光谱维度上是一致的。C.损失函数和训练策略

C.损失函数和训练策略

为了在跨传感器场景中获得更令人满意的融合结果，并采用无监督训练策略，我们分别为两个不同的图像重建网络设计了损失函数。许多先前的SR重建任务使用L2损失作为损失函数，但它对微小差异不够敏感[33]。L1损失是图像重建网络的更好选择[68]。通过计算输入图像LR HSI H、HR MSI M和重建网络生成的两幅图像的损失来最小化损失，从而学习和训练网络。LR HSI重建网络的损失包括L1损失和光谱角映射器（SAM）损失。L1损失在指导图像重建中起着重要作用。它引导模型减少重建图像和真实图像之间的绝对差异，从而有助于生成高质量的结果。

SAM损失进一步加强了对光谱维度的约束，确保重建图像在光谱特征方面与真实数据更加一致和准确。HR MSI重建网络主要用于提取空间维度上的丰富特征信息，并在网络中输出目标图像X。因此，网络的重建损失主要包括L1损失、SAM损失和多尺度结构相似性（MS-SSIM）损失。尽管会出现亮度变化和颜色偏差，但MS-SSIM损失对高频信息（如图像边缘和细节）很敏感。L1损失函数在保持亮度和颜色不变以弥补缺点方面做得更好。SAM损失可以使重建的图像具有较小的光谱失真。

实验验证

在 Indian Pines、Salinas、Pavia University 等数据集上，SCFN 的 PSNR、SSIM、SAM 等指标均优于现有方法（如 SFIM、CNMF、uSDN），尤其在光谱保真度（SAM 值降低 30%-50%）和空间细节（SSIM 接近 0.99）上表现突出，证明了 DSCM 和 GAB 模块的有效性（见表 I-III 及 ablation 实验）。真实数据实验（OHS 与 GF-2 卫星数据）进一步验证了方法的实用性，重建图像边缘更锐利，植被、建筑物等地物细节更清晰（图 12）。

消融实验

进行消融实验以验证所提出框架中每个组件的功效，包括DSCM、GAB和关节损失函数。帕维亚大学被选中进行消融实验，因为它有更复杂的场景和边界细节。表四显示了消融实验的详细结果。在消融实验中，我们逐一替换了所提出框架的组件。表IV（a）显示了用四个卷积层替换DSCM后的结果，表IV（b）表明GAB被四个完全连接的层替换，表四（c）使用L1损耗替换联合损耗函数。所提出的DSCM对于捕获光谱带之间的相关性、有效提取光谱域特征和减轻光谱失真非常重要。设计的GAB擅长保留图像的全局上下文信息，并强调感知边缘细节的能力。联合损失不仅为无监督学习提供了一种有效的训练策略，而且被证明有利于解决跨传感器图像融合问题。当这些组件耦合在一起时，融合超分辨率重建的性能显著提高。

相关文章：