当前位置：首页 > news >正文

【LUT技术专题】针对降噪优化的通道感知轻量级LUT算法：DnLUT

news 来源：原创 2025/6/8 19:48:21

在这里插入图片描述

DnLUT：Ultra-Efficient Color Image Denoising via Channel-Aware Lookup（2025 CVPR）

专题介绍
一、研究背景
二、DnLUT方法
- 2.1 Pairwise Channel Mixer
- 2.2 Rotation Non-overlapping Kernel（L型卷积）
三、实验结果
四、总结

本文将从头开始对DnLUT: Ultra-Efficient Color Image Denoising via Channel-Aware Lookup，这篇主攻降噪的通道感知轻量级LUT算法进行讲解。参考资料如下：
[1]. DnLUT论文地址
[2]. DnLUT代码地址

专题介绍

Look-Up Table（查找表，LUT）是一种数据结构（也可以理解为字典），通过输入的key来查找到对应的value。其优势在于无需计算过程，不依赖于GPU、NPU等特殊硬件，本质就是一种内存换算力的思想。LUT在图像处理中是比较常见的操作，如Gamma映射，3D CLUT等。

近些年，LUT技术已被用于深度学习领域，由SR-LUT启发性地提出了模型训练+LUT推理的新范式。
本专题旨在跟进和解读LUT技术的发展趋势，为读者分享最全最新的LUT方法，欢迎一起探讨交流。

系列文章如下：
【1】SR-LUT
【2】Mu-LUT
【3】SP-LUT
【4】RC-LUT
【5】EC-LUT
【6】SPF-LUT

一、研究背景

DnLUT想要解决的问题是高效的图像去噪，前面讲了一系列的LUT文章，我们可以知道LUT提升感受野就会使得LUT尺寸变大，且为了尽可能减小查询的维度，我们还需要分离通道和空间，通常是将他们分开查询，也就是说对比CNN网络，只有depthwise conv以及pointwise conv，而不能使用正常的卷积，这很大程度上影响了模型的效果。本文作者鉴于此提出了他的解决方案，包含设计的PCM模块和L型卷积，这两个细节会在后面讲到，论文中使用到的评价指标是CPSNR（color PSNR，通过计算每个通道的MSE值，并结合通道之间的协方差来评估图像质量，CPSNR可以更好的评估图像降噪的效果，噪声是包含色噪声的）。总的来说，本文做出了以下4点贡献：

1）对比CVPR2024 sota文章SPF-LUT在图像去噪任务上的CPSNR指标提升明显。

2）功耗和存储资源消耗小，对比DNN的方法，在手机上只有DNN0.1%的功耗，减小1000倍，存储量只需要500kb。

3）文章设计的PCM模块可以有效提升以往基于LUT方法降低色噪声的能力，普遍提升1dB以上。

4）文章设计的L型卷积，对比其他文章用最小的存储量得到了同样的感受野范围。

下图很形象的体现了我们上面提到的4点贡献，对比SPFLUT明显效果提升，存储量通过圈的大小可知是比较小的，而PCM模块可有效提升每个LUT的能力，最后L型卷积帮助DnLUT在几乎同等加入PCM模块的SPFLUT上存储量更小。
在这里插入图片描述

接着我们还是先讲清楚为何现有的LUT方法用于降噪是有明显局限性的，主要是两点：

通道深度的处理：有三个点导致现有的方法不好处理。
- 不做通道间的交互：这在初期的LUT方法（SRLUT，MULUT，RCLUT）中频繁被使用，每个通道单独做处理，最后再合并起来，显然这在降噪任务上不合适。
- 只做通道上的交互：比如SPFLUT，没有空间交互的情况下CPSNR指标会受到影响。
- 做完全的通道空间交互：使得存储量太大，LUT是空间换计算的方法，完全的交互需要大量的资源来进行。以一个感受野为2x2，输入通道为3的卷积来说，即使进行4bit的间隔量化也需要TB级别的LUT来存储所有的可能性。

作者借助两个图表生动地阐述了上述三种不恰当的处理方式。左侧图表对比了不同LUT方法在未使用PCM模块与使用PCM模块时的效果差异。从图中可以清晰地看出，未添加PCM模块的方法在处理色噪声时效果不佳，存在明显的残留噪声；而一旦引入PCM模块，处理效果显著提升，色噪声得到了更彻底的消除（读者可以通过放大图片进行更细致的对比观察）。右侧图表则展示了在不同RF（感受野）和Depth（深度）条件下，LUT的尺寸变化情况，进一步说明了相关参数对LUT规模的影响。

多个4DLUT堆叠的存储开销问题：这个问题反复被提到，存储量最好小于设备的L1 cache，这样才可以快速查找，一般是500kb。前面已经提到了LUT的维度越大，尺寸会越大，4D LUT的存储量相比较3DLUT就要大16倍，以往的一些方法是采用串并联4D LUT来提升感受野，因此这个过程会带来大量的LUT尺寸，作者指出SRLUT、MULUT使用的4D LUT会在非中心的区域引入更多的查找位置，这样带来了额外的消耗，DnLUT使用L型的卷积核，就可以减小这部分损失，使用3D LUT达到同样大小的感受野，自然就减小了开销，如下图所示。

在这里插入图片描述
从图中可以观察到，SRLUT的卷积核在旋转后，对中心点采样4次，对4邻域点采样2次，对8邻域点采样1次。相比之下，DnLUT的卷积核仅对中心点以外的每个点采样1次。MuLUT则是将这三种类型的卷积核并联组合，因此也继承了这一特性：中心点以外的点被多次采样。这种重复采样导致了不必要的计算开销增加。

二、DnLUT方法

DnLUT总体流程还是遵循我们一直讲的，训练、转换、测试，而它的网络结构如下图所示：

在这里插入图片描述

有以下3个重点：
1）输入首先会送入到PCM模块中进行空间通道的交互，PCM模块包含3个4DLUT，每个4DLUT会查询2个通道和2个空间位置，详情可以看下面的PCM模块讲解。
2）接着与SRLUT等方法一致，只进行空间的交互，因此这里进行了channel-flatten，使用多个L型的3DLUT来提升感受野，使用concat算子进行多尺度的特征融合（3->1 fusion），最后经过一个L Conv-4，送入新的PCM中，当然送入前需要做channel unfold，将通道调整至原有的位置上，而不是在Batch维度上，最后经过一个L conv-5结束。
3）分析可知，整个结构是比较简洁的，这里可以顺带分析存储大小，2个PCM模块包含6个4D LUT，5个L-conv包含5个3D LUT，1个fusion包含1个3D LUT，总共6个4D和6个3DLUT，根据前文给出的公式可得17 * 17 * 17 * 17 * 6B + 17 * 17 * 17 * 6B=518kb。

2.1 Pairwise Channel Mixer

接下来详细讲解PCM模块和L型卷积核。下图展示了3类不同模块的交互过程。
在这里插入图片描述
图中可以发现发展为图（c）的模式是必然的，是一种折中的方式，既不会维度太大，又可以满足通道和空间的交互性。下面是PCM的计算公式：

$\begin{aligned} \left(V_{R}, V_{G}, V_{B}\right)=\operatorname{Cat} & \left(L U T_{R G}\left[I_{0,0, R}\right]\left[I_{0,1, R}\right]\left[I_{0,0, G}\right]\left[I_{0,1, G}\right],\right. \\ & L U T_{G B}\left[I_{0,0, G}\right]\left[I_{0,1, G}\right]\left[I_{0,0, B}\right]\left[I_{0,1, B}\right], \\ & \left.L U T_{B R}\left[I_{0,0, B}\right]\left[I_{0,1, B}\right]\left[I_{0,0, R}\right]\left[I_{0,1, R}\right]\right), \end{aligned}$

可以看到与图像中展示的是一致的，3个不同的4DLUT形式，第1个加数是RG的中心位置和右边的位置，第2个是GB的对应空间位置，第3个是BR的，最后将他们concat起来组成了新的3通道图像，完成了通道和空间的交互，同时这个模块可以并行，即可以方便应用时的加速。
从图像中可以看到，这三种不同的4D-LUT形式与描述一致。具体来说：
第一个4D-LUT的加数对应于红色（R）和绿色通道（G）的中心位置以及右侧位置。
第二个4D-LUT的加数对应于绿色（G）和蓝色通道（B）的空间位置。
第三个4D-LUT的加数对应于蓝色（B）和红色通道（R）的空间位置。
最终，将这三个4D-LUT的结果进行拼接（concatenate），从而生成新的三通道图像。这一过程不仅实现了通道之间的交互，还完成了空间维度的融合。此外，该模块支持并行处理，能够有效加速应用时的计算效率。

作者还给出了一个伪代码的实现来讲解。
在这里插入图片描述
可以看到：
1）外层循环总共有4层，分别是旋转、高度、宽度以及通道，这跟自集成策略下的正常卷积是一致的。
2）内部计算时，首先找到4个点p1-p4，这是我们完成查找的索引值，这跟我们前面讲到的也是一致的，RG、GB以及BR，拿到邻域和相邻通道的4个点，由于这4个点是8bit的，前面讲到存储他们需要做量化，因此这里也需要对索引进行量化并对LUT表进行插值查找得到对应的值，最后将这个结果写回结果矩阵O中。
3）将4次旋转的结果加到一起，除以4，这样范围可以重新归一化回来，完成处理。

2.2 Rotation Non-overlapping Kernel（L型卷积）

如下图所示。

图中可以看到：
1）左图（b）展示了DnLUT的L型卷积，显然他的感受野范围是3个点，对比（a）SRLUT是4个点。
2）右图展示了实际推理时会使用到的自集成策略，通过搭配旋转和L型卷积核，可以与旋转后的SRLUT一样，覆盖3x3的窗口，只不过访问次数相比较SRLUT来说会少4次，那因为多余的4次会存在overlap，因此也带来了额外的存储压力。

三、实验结果

定量的Gaussian color image denoise实验结果显示：DnLUT在LUT方法中效果是最好的。

在这里插入图片描述

针对于real-world color image denoise定量实验结果也是一样的，逊于DNN，但是在LUT中是最好的，一些传统方法做不过DnLUT，显示了深度学习的优势。

在这里插入图片描述

定性的实验结果显示，结论是一致的，逊于DNN，但是在LUT中是最好的。

在这里插入图片描述

资源消耗实验上，LUT-based方法中比较突出，性价比之选，对比传统方法来说，用一点点存储量做到了更快的计算时间和能量消耗，对比DNN来说，资源消耗的优势巨大。

在这里插入图片描述

接下来作者进行了消融实验：
1）通道和空间交互的实验：

在这里插入图片描述

这里可以看到作者这种设计，channel、spatial以及channel-spatial共有的方式效果是最好的，3-1fusion代表着channel级别的，普通的L卷积代表着spatial级别的，PCM模块则是channel-spatial级别的，比较明确直观的结论。

2）对比了L型和S型卷积核的效果和消耗，S型指2x2：

在这里插入图片描述

可以看到L型相比较S型来说，效果上略有劣势，但是LUT size上劣势明显，增大了快一倍，得不偿失。

四、总结

DnLUT相当于把LUT方法的效果和性能做了进一步的优化，设计时也尽可能考虑了硬件的cache大小，完成一些简单的降噪任务。
效果上对比DNN还是差强人意，目前看起来LUT系列的方法都不能完成比较困难的任务，同时需要搭配合适的查表单元，适合在一些具有查表硬件单元的简单任务如JPEG去压缩、降噪等上面做一些部署。

代码部分将会单起一篇进行解读。（未完待续）

感谢阅读，欢迎留言或私信，一起探讨和交流。

【LUT技术专题】针对降噪优化的通道感知轻量级LUT算法：DnLUT

DnLUT：Ultra-Efficient Color Image Denoising via Channel-Aware Lookup（2025 CVPR） 专题介绍一、研究背景二、DnLUT方法2.1 Pairwise Channel Mixer2.2 Rotation Non-overlapping Kernel（L型卷积） 三、实验结果四、总…...

编程日记 2025/6/1 16:11:23

支持同步观看的媒体服务器GhostHub

简介什么是 GhostHub ？ GhostHub 是一个基于滑动界面的媒体服务器，旨在实现实时同步、聊天和隧道分享。它允许用户快速共享和浏览媒体内容，无需复杂的配置或帐户。主要特点零配置: 即开即用，无需安装或创建帐户。滑动浏览: 提…...

编程日记 2025/5/28 16:29:36

告别 pip：使用 uv 加速你的 Python 包管理

使用 uv：更快的 Python 包管理工具随着 Python 生态的演进，包管理工具也在不断升级迭代。uv 是 Astral（同样维护 ruff 的团队）推出的下一代 Python 包与项目管理器，主打单一可执行文件、极致性能，可在多数场景下取代 pip、pip-tools、pipx 与 virtualenv 等传统工具，…...

编程日记 2025/5/23 19:32:17

使用glsl 来做视频矫正

描述、优点使用glsl来代替opencv的undistort 和鱼眼矫正，并且最后使用opencv的LUT给glsl 来使用，来达到加速的目的，并且做到和opencv 一模一样的效果，达到实时视频的加速矫正。优点: 没有cuda，也可以做到实时视频矫正，包含各类板子和amd的cpu，intel核显矫正的基本作…...

编程日记 2025/5/24 1:33:48

【VSCode】快捷键合集（持续更新~）

一、基础编辑操作注释/取消注释 Ctrl /：快速注释或取消注释当前行或选中行。ctrlshift/：块注释代码格式化 • Shift Alt F：格式化整个文档，统一代码风格。行操作 • Alt ↑/↓：向上/向下移动当前行。 • Shi…...

编程日记 2025/6/1 16:04:00

MATLAB学习笔记（七）:MATLAB建模城市的雨季防洪排污的问题

使用 MATLAB 对城市雨季防洪排污问题进行建模与仿真，需要结合数学模型、工程经验和 MATLAB 的数值计算、数据可视化及优化工具。以下是详细的步骤指南，包含实际案例和代码示例： 一、问题分析与建模框架 1. 问题拆解 • 核心目标： …...

编程日记 2025/5/27 5:41:07

由浮点数x的位级表示求其整型值

由浮点数x的位级表示，得到浮点数的十进制表示，在超过32位整型数的表示范围时，返回0X80000000；在32位整型数的表示范围内时，返回强制转化为整型的值。舍入时采用向0舍入。程序代码 typedef unsigned long int float_…...

编程日记 2025/5/28 8:19:22

【Qt】Qt常见控件的相关知识点

1.close退出槽函数 2.设置快捷键，QMenu 。适用&字母就能设置快捷键，运行qt程序，最后就可以按Alt对应的字母进行快捷操作。 3.QMenuBar内存泄露问题如果ui已经自动生成了menubar，我们再次生成一个新的菜单栏，而…...

编程日记 2025/5/24 15:54:23

数据结构*优先级队列(堆)

什么是优先级队列(堆) 优先级队列一般通过堆（Heap）这种数据结构来实现，堆是一种特殊的完全二叉树，其每个节点都满足堆的性质。如下图所示就是一个堆： 堆的存储方式由于堆是一棵完全二叉树，所以也满足二…...

编程日记 2025/5/27 8:01:01

Windows本地化部署Dify完整指南

编程日记 2025/5/26 18:30:18

全局异常处理：如何优雅地统一管理业务异常

在软件开发中，异常处理是保证系统健壮性的重要环节。一个良好的异常处理机制不仅能提高代码的可维护性，还能为使用者提供清晰的错误反馈。本文将介绍如何通过全局异常处理和业务异常统一处理来编写更加优雅的代码。一、传统异常处理的痛点 1.1 典型问…...

编程日记 2025/6/4 5:08:45

AI517 AI本地部署 docker微调（失败）

本地部署AI 计划使用OLLAMA进行本地部署修改DNS 访问github 刷新缓存配置环境变量 OLLAMA安装成功部署成功计划使用docker进行微调下载安装docker 虚拟化已开启开启上面这些准备下载ubuntu docker ragflow dify 用git去泡...

编程日记 2025/5/28 16:11:08

C++（初阶）（十八）——AVL树

AVL树 AVL树概念实现AVL树的结点插入插入方法平衡因子更新更新停止条件旋转右单旋左单旋左右双旋右左双旋遍历AVL平衡检测完整代码概念 1，AVL树是最先发明的⾃平衡⼆叉查找树，AVL树是⼀颗⾼度平衡搜索⼆叉树， 通过控制高度差去控制平衡。…...

编程日记 2025/5/23 22:16:49

2022河南CCPC（前四题）

签到题目 #include <bits/stdc.h> using namespace std; #define int long long #define PII pair<int,int> #define fi first #define se second #define endl \n #define IOS ios::sync_with_stdio(0),cin.tie(0),cout.tie(0);void solve() {int n;cin>>…...

编程日记 2025/5/26 11:57:05

【滑动窗口】LeetCode 1658题解 | 将 x 减到 0 的最小操作数

将 x 减到 0 的最小操作数一、题目链接二、题目三、题目解析四、算法原理五、编写代码六、时空复杂度一、题目链接将 x 减到 0 的最小操作数二、题目三、题目解析以示例1为例： 四、算法原理像"题目解析"中正面删除并修改数组元素的操作太困难&…...

编程日记 2025/5/27 5:26:54

电机试验平台：创新科技推动电动机研究发展

电机试验平台是电机制造和研发过程中不可或缺的重要设备，其功能涵盖了电机性能测试、电机寿命测试、电机质量评估等多个方面。随着科技的不断发展和电机应用领域的日益扩大，对电机试验平台的要求也越来越高。本文将从现代化电机试验平台的设计与应用两个…...

编程日记 2025/5/24 19:39:15

linux-软件的安装与部署、web应用部署到阿里云

一、软件安装方式概述 CentOS安装软件的方式主要包括： - 源码安装 - rpm安装（二进制安装） - yum安装（在线安装） 1.源码安装： 源码包是指C等语言所开发的源代码文件的一个压缩包，通常压缩为.…...

编程日记 2025/6/1 17:43:12

Qt Widgets模块功能详细说明，基本控件：QLabel（一）

一、基本控件（Widgets） Qt 提供了丰富的基本控件，如按钮、标签、文本框、复选框、单选按钮、列表框、组合框、菜单、工具栏等。 1、QLabel 1.1、概述 (用途、继承关系) QLabel 是 Qt 框架中用于显示文本、图像或动画的控件，属…...

编程日记 2025/6/3 18:07:01

Ubuntu 安装 squid

1. 安装Squid及工具 Debian/Ubuntu sudo apt update sudo apt install squid apache2-utils CentOS/RHEL sudo yum install squid httpd-tools 2. 创建用户名密码文件创建密码文件（首次使用 -c 参数，后续添加用户省略） sudo htpasswd…...

编程日记 2025/5/29 11:59:53

中药药效成分群的合成生物学研究进展-文献精读130

Advances in synthetic biology for producing potent pharmaceutical ingredients of traditional Chinese medicine 中药药效成分群的合成生物学研究进展摘要中药是中华民族的文化瑰宝，也是我国在新药创制领域的重要驱动力。许多中药材来源于稀缺物种&#xf…...

编程日记 2025/5/29 19:04:48

芯片生态链深度解析（三）：芯片设计篇——数字文明的造物主战争

【开篇：设计——数字文明的“造物主战场”】当英伟达的H100芯片以576TB/s显存带宽重构AI算力边界，当阿里平头哥倚天710以RISC-V架构实现性能对标ARM的突破，这场围绕芯片设计的全球竞赛早已超越技术本身，成为算法、架构与生态标准…...

编程日记 2025/6/1 5:24:14

Echart地图数据源获取

DataV.GeoAtlas地理小工具系列选择需要的区域地图，选中后输出即可：地图钻取代码 <!DOCTYPE html> <html lang="en"> <head><meta charset="UTF-8"><title>map</title><style>html, body, #map{margin: 0;…...

编程日记 2025/6/1 9:54:42

【C++ - 仿mudou库one thread one loop式高并发服务器实现】

文章目录项目介绍项目模块和服务器主要设计模式项目主要流程前置知识1.bind函数2.定时器任务TimerTask和时间轮思想TimerWheel3.正则表达式4.通用型容器Any类服务器设计模式1）单Reactor单线程模式2）单Reactor多线程模式3）多Reactor多线程模…...

编程日记 2025/5/28 18:00:42

本地缓存更新方案探索

文章目录本地缓存更新方案探索1 背景2 方案探索2.1 初始化2.2 实时更新2.2.1 长轮询2.2.1.1 client2.2.2.2 server 本地缓存更新方案探索 1 背景大家在工作中是否遇到过某些业务数据需要频繁使用，但是数据量不大的情况，一般就是几十条甚至几百条这种…...

编程日记 2025/5/29 19:02:20

Java—异常体系

Java的异常体系是Java语言中用于处理程序运行过程中可能出现的错误的机制。通过异常处理，程序可以在遇到问题时自动反馈，从而避免程序崩溃。Java异常体系中包含两大类：错误(Error)和异常(Exception)。一、错误（Error&#xff09…...

编程日记 2025/5/27 7:44:17

深度学习（第3章——亚像素卷积和可形变卷积）

前言： 本章介绍了计算机识别超分领域和目标检测领域中常常使用的两种卷积变体，亚像素卷积（Subpixel Convolution）和可形变卷积（Deformable Convolution），并给出对应pytorch的使用。亚像素卷积…...

编程日记 2025/5/26 7:42:07

5.15 学习日志

1.SST（总平方和）、SSR（回归平方和）、SSE（残差平方和）之间的关系。在使用线性回归模型时，经常提到的统计量MSE（Mean Squared Error、均方误差）：是 SSE 的平均…...

编程日记 2025/5/26 9:54:08

重排序模型解读：gte-multilingual-reranker-base 首个GTE系列重排模型诞生

模型介绍 gte-multilingual-reranker-base 模型是 GTE 模型系列中的第一个 reranker 模型，由阿里巴巴团队开发。模型特征： Model Size: 306MMax Input Tokens: 8192 benchmark 关键属性： 高性能：与类似大小的 reranker 模型…...

编程日记 2025/5/29 13:12:15

计算机发展的历程

计算机系统的概述一, 计算机系统的定义计算机系统的概念计算机系统硬件软件硬件的概念计算机的实体, 如主机, 外设等计算机系统的物理基础决定了计算机系统的天花板瓶颈软件的概念由具有各类特殊功能的程序组成决定了把硬件的性能发挥到什么程度软件的分类…...

编程日记 2025/6/2 11:18:46

【通用智能体】Search Tools：Open Deep Research 项目实战指南

Open Deep Research 项目实战指南一、项目运行方式（一）运行环境要求（二）运行方式（三）传统本地运行（四）Docker 容器运行二、操作步骤（一）使用搜索功能&#…...

编程日记 2025/6/3 1:34:56

nodejs 文件的复制

在 Node.js 中，文件复制操作可以通过多种方式实现，具体取决于文件大小、性能需求以及是否需要保留文件元数据（如权限、时间戳等）。以下是几种常见的文件复制方法及其示例代码： 1. 使用 fs.copyFile（简单高…...

编程日记 2025/5/25 9:59:36

GO语言学习（三）

GO语言学习（三） GO语言的独特接口可以实现内容和面向对象组织的更加方便，我们从这里来详细的讲解接口，让大家感受一下interface的魅力 interface定义首先接口是一组方法签名的组合，我们通过接口来实现定义对象的一…...

编程日记 2025/5/27 8:08:28

高频面试题（含笔试高频算法整理）基本总结回顾61

干货分享，感谢您的阅读！ （暂存篇---后续会删除，完整版和持续更新见高频面试题基本总结回顾（含笔试高频算法整理）） 备注：引用请标注出处，同时存在的问题请在相关博客留言…...

编程日记 2025/6/3 10:21:30

C++:C++内存管理

C 内存分区 C 内存分为 5 个主要区域： 栈 (Stack)：存储局部变量、函数参数和返回地址。由编译器自动分配和释放，效率高但空间有限。堆 (Heap)：动态分配的内存区域，需手动管理（new/delete 或 malloc/free…...

编程日记 2025/5/26 7:44:16

目标跟踪相关综述文章

文章年份会议/引用量IFObject tracking:A survery20067618Object Tracking Methods:A Review2019554Multiple object tracking: A literature review20201294Deep learning for multiple object tracking: a survey2019145Deep Learning for Visual Tracking:A Comprehensive S…...

编程日记 2025/5/28 7:39:39

DnLUT：Ultra-Efficient Color Image Denoising via Channel-Aware Lookup（2025 CVPR）

专题介绍

一、研究背景

二、DnLUT方法

2.1 Pairwise Channel Mixer

2.2 Rotation Non-overlapping Kernel（L型卷积）

三、实验结果

四、总结

相关文章：