当前位置：首页 > news >正文

【LLIE专题】基于Retinex理论的transformer暗光增强

news 来源：原创 2025/7/29 3:02:19

在这里插入图片描述

Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement（2023，ICCV）

专题介绍
一、研究背景
二、Retinexformer方法
- 1. 通用Retinex理论
- 2. 作者建立的Retinex理论
- 3. ORF(one stage Retinex-based Framework)
- 4. 网络结构
三、实验结果
- 1. 定量实验
- 2. 定性实验
四、总结
五、个人思考

本文将对 Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement，这篇暗光增强算法进行讲解。参考资料如下：

[1] Retinexformer 文章

[2] Retinexformer 代码

专题介绍

在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE

一、研究背景

Retinex理论是一种经典的图像增强理论，它将图像分解为反射分量和光照分量。通过分别对这两个分量进行处理，可以有效地改善图像的视觉效果。Retinex理论在低光照图像增强中得到了广泛应用，但传统的Retinex方法存在一些问题，如计算复杂度高、对噪声敏感等。因此，如何结合Transformer架构和Retinex理论的优势，设计一种高效的低光照图像增强方法，是本文研究的重点。

二、Retinexformer方法

在这里插入图片描述
作者首先基于通用Retinex理论提出了自己优化的Retinex理论，基于该理论提出了一个亮度引导的Unet类型的Transformer网络结构用于图像增强。上图为整个模型的结构示意图。

1. 通用Retinex理论

$\mathbf{I}=\mathbf{R} \odot \mathbf{L}$
其中 $\in \mathbb{R}^{H \times W \times 3}$ 为低照度图像， $\in \mathbb{R}^{H \times W \times 3}$ 为反射率图像， $\in \mathbb{R}^{H \times W \times 1}$ 为光照入射图。该理论假设在图像处理过程中，图像的结构和语义信息保持不变。然而，实际情况是，在低光照条件下进行拍摄时，通常需要使用高ISO和长曝光时间，这会导致图像中出现噪声和伪影。此外，在使用模型对低光照图像进行增强时，也可能会出现噪声和伪影的放大、图像过曝或欠曝以及色彩失真等问题。

2. 作者建立的Retinex理论

作者引入了干扰项，建立了更完善的理论。
$\begin{align} \mathbf{I}&= (\mathbf{R}+\hat{\mathbf{R}}) \odot (\mathbf{L}+\hat{\mathbf{L}}) \\ &= \mathbf{R} \odot \mathbf{L} + \mathbf{R} \odot \hat{\mathbf{L}} + \hat{\mathbf{R}} \odot (\mathbf{L}+\hat{\mathbf{L}}) \end{align}$
其中 $\hat{\mathbf{R}} \in \mathbb{R}^{H \times W \times 3}, \hat{\mathbf{L}} \in \mathbb{R}^{H \times W \times 1}$ ，分别代表反射率图和光照入射图的误差分量，为了简化上述公式，作者设置了一个点亮系数 $\bar{\mathbf{L}}$ ，令 $\bar{\mathbf{L}} \odot \mathbf{L} = \mathbf{1}$ ，将 $\bar{\mathbf{L}}$ 和上述公式相乘可以得到以下公式。 $\mathbf{I} \odot \bar{\mathbf{L}} = \mathbf{R} + \mathbf{R} \odot (\hat{\mathbf{L}} \odot \bar{\mathbf{L}}) + (\hat{\mathbf{R}} \odot (\mathbf{L} + \hat{\mathbf{L}})) \odot \bar{\mathbf{L}}$ 。简化上述公式可得， $\mathbf{I}_{lu} = \mathbf{I} \odot \bar{\mathbf{L}} = \mathbf{R} + \mathbf{C}$ ，其中 $\mathbf{I}_{lu} \in H \times W \times 3$ 为亮度提升后的图像， $C$ 为亮度提高后的总偏差（包括放大的噪声，伪影，颜色失真）。

3. ORF(one stage Retinex-based Framework)

作者通过所建立的retinex理论，建立了ORF，首先提升图像亮度，之后以亮度 $\mathbf{I}_{lu}$ 以及亮度特征 $\mathbf{F}_{lu}$ 为参考，通过修复器 $\mathcal{R}$ 修复总偏差 $C$ ，总体描述为下列公式：

$(\mathbf{I}_{lu}, \mathbf{F}_{lu}) = \mathcal{E}(\mathbf{I}, \mathbf{L}_p), \quad \mathbf{I}_{en} = \mathcal{R}(\mathbf{I}_{lu}, \mathbf{F}_{lu})$
其中 $\mathcal{E}$ 为亮度预测器，目的是提高图像亮度； $\mathbf{L}_p \in H \times W \times 1$ 是 $\mathbf{I}$ 的亮度先验图，通过 $\mathbf{L}_p = \mathrm{mean}_c(\mathbf{I})$ 计算， $\mathrm{mean}_c$ 是在通道维度取平均； $\mathcal{R}$ 是复原修复器，作者设计了基于transformer的unet网络结构用于修复总偏差 $C$ ，最终得到增强后的结果 $\mathbf{I}_{en}$ 。

4. 网络结构

网络结构其实非常简单，作者首先采用了卷积作为 $\mathcal{E}$ 亮度预测器，并且保留亮度特征作为后续的 $\mathcal{R}$ （复原修复器）的引导输入。而 $\mathcal{R}$ （复原修复器），采用了Unet类型网络结构，做了三次下采样，提取多尺度特征，并且每一层Unet结构中加入了Transformer网络结构用于提取全局特征，而Transformer结构中又采用了 $\mathcal{E}$ 亮度预测器输出的亮度特征作为引导（IGAB模块）。同时为了降低计算复杂度，Transformer是在通道维度上做的注意力计算。

总体来看，这篇文章的方案就是基于Retinex理论设计一个网络结构，首先基于卷积网络粗略估计出增强后的图像，然后基于这个粗略增强的图像，用Unet类型的网络结构（结合transformer结构）进行进一步的增强，得到最后结果。

三、实验结果

1. 定量实验

在这里插入图片描述
如上表所示，作者在多个数据集上和多种方案做了定量对比实验，红色是最优效果，蓝色是次优效果，可以看出Retinexformer在多个数据集上均取得了最优或者次优效果。

2. 定性实验