当前位置：首页 > news >正文

使用 PyTorch 构建 UNet 图像去噪模型：从数据加载到模型训练的完整流程

news 来源：原创 2025/8/24 8:18:03

图像去噪是计算机视觉中的一个基础问题，在医学图像、遥感、夜间视觉等领域有广泛应用。本文将手把手带你用 PyTorch 构建一个 UNet 架构的图像去噪模型，包括数据预处理、网络搭建、PSNR 评估与模型保存的完整流程。

本项目已支持将数据增强版本保存为独立图像对，用于数据集扩充或训练可视化。

项目结构

1. 数据集加载与预处理

我们构建了一个 DenoisingDataset 类，用于加载 noisy-clean 图像对，并转换为 PyTorch Tensor：

# --- 数据集定义 ---
class DenoisingDataset(Dataset):def __init__(self, noisy_dir, clean_dir, transform=None):self.noisy_paths = sorted([os.path.join(noisy_dir, f) for f in os.listdir(noisy_dir)])self.clean_paths = sorted([os.path.join(clean_dir, f) for f in os.listdir(clean_dir)])self.transform = transform if transform else transforms.ToTensor()def __len__(self):return len(self.noisy_paths)def __getitem__(self, idx):noisy_img = Image.open(self.noisy_paths[idx]).convert("RGB")clean_img = Image.open(self.clean_paths[idx]).convert("RGB")return self.transform(noisy_img), self.transform(clean_img)

可在此基础上扩展数据增强（如随机裁剪、翻转、旋转等），提升模型泛化能力。

2. UNet 去噪模型结构

相比简单 CNN，我们采用了经典的 UNet 网络，具有强大的上下文信息融合能力，特别适合图像恢复任务。

结构亮点：

编码器-解码器结构
三层下采样 + 三层上采样
每一层都使用跳跃连接融合细节信息

class UNetDenoiser(nn.Module):def __init__(self):super(UNetDenoiser, self).__init__()# Encoderself.enc1 = self.conv_block(3, 64)self.enc2 = self.conv_block(64, 128)self.enc3 = self.conv_block(128, 256)self.pool = nn.MaxPool2d(2)# Bottleneckself.bottleneck = self.conv_block(256, 512)# Decoderself.up3 = nn.ConvTranspose2d(512, 256, kernel_size=2, stride=2)self.dec3 = self.conv_block(512, 256)self.up2 = nn.ConvTranspose2d(256, 128, kernel_size=2, stride=2)self.dec2 = self.conv_block(256, 128)self.up1 = nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2)self.dec1 = self.conv_block(128, 64)# Outputself.final = nn.Conv2d(64, 3, kernel_size=1)def conv_block(self, in_channels, out_channels):return nn.Sequential(nn.Conv2d(in_channels, out_channels, 3, padding=1), nn.ReLU(inplace=True),nn.Conv2d(out_channels, out_channels, 3, padding=1), nn.ReLU(inplace=True))def forward(self, x):# Encodere1 = self.enc1(x)            # [B, 64, H, W]e2 = self.enc2(self.pool(e1))  # [B, 128, H/2, W/2]e3 = self.enc3(self.pool(e2))  # [B, 256, H/4, W/4]# Bottleneckb = self.bottleneck(self.pool(e3))  # [B, 512, H/8, W/8]# Decoderd3 = self.up3(b)           # [B, 256, H/4, W/4]d3 = self.dec3(torch.cat([d3, e3], dim=1))d2 = self.up2(d3)          # [B, 128, H/2, W/2]d2 = self.dec2(torch.cat([d2, e2], dim=1))d1 = self.up1(d2)          # [B, 64, H, W]d1 = self.dec1(torch.cat([d1, e1], dim=1))return self.final(d1)

输出为与输入同尺寸的 RGB 图像。

3. 评估指标：PSNR

我们使用图像恢复领域常用的 峰值信噪比（PSNR） 衡量输出图像质量：

# --- PSNR 计算函数 ---
def calculate_psnr(img1, img2):mse = torch.mean((img1 - img2) ** 2)if mse == 0:return float("inf")return 20 * torch.log10(1.0 / torch.sqrt(mse))

PSNR 越高代表还原质量越好，一般能达到 30dB 以上的去噪模型就较为可用了。

4. 模型训练主流程

训练使用 MSELoss 作为重建损失，优化器为 Adam，默认训练 50 个 epoch：

# --- 主训练过程 ---
def train_denoiser():noisy_dir = "dataset/noisy"clean_dir = "dataset/clean"batch_size = 1num_epochs = 50lr = 0.0005device = torch.device("cuda" if torch.cuda.is_available() else "cpu")dataset = DenoisingDataset(noisy_dir, clean_dir, transform=transforms.ToTensor())dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)# model = SimpleDenoiser().to(device)# 替换为 UNetmodel = UNetDenoiser().to(device)criterion = nn.MSELoss()optimizer = optim.Adam(model.parameters(), lr=lr)for epoch in range(num_epochs):model.train()total_loss = 0.0total_psnr = 0.0for noisy, clean in dataloader:noisy, clean = noisy.to(device), clean.to(device)denoised = model(noisy)loss = criterion(denoised, clean)optimizer.zero_grad()loss.backward()optimizer.step()total_loss += loss.item()total_psnr += calculate_psnr(denoised, clean).item()avg_loss = total_loss / len(dataloader)avg_psnr = total_psnr / len(dataloader)print(f"Epoch [{epoch+1}/{num_epochs}] - Loss: {avg_loss:.4f}, PSNR: {avg_psnr:.2f} dB")# 保存模型os.makedirs("weights", exist_ok=True)torch.save(model.state_dict(), "weights/denoiser.pth")print("模型已保存为 weights/denoiser.pth")

训练完成后，模型将保存到 weights/denoiser.pth，后续可用于推理、部署、导出为 ONNX 等操作。

5. 训练效果

6. 未来可扩展方向

你可以基于这个项目进一步扩展：

加入 RandomCrop 和 ColorJitter 等数据增强
替换为 SwinIR、Uformer 等更强的图像恢复模型
迁移至 TensorRT / ONNX for deployment
训练灰度图（单通道）或医学图像（DICOM）

结语

通过本文，我们从零实现了一个 完整的图像去噪深度学习系统，涵盖数据读取、模型搭建、训练与保存，适合作为图像恢复任务的起点项目。

如果你有更小的数据集，推荐加入数据增强；如果你追求精度，建议使用 Uformer 或 Transformer-based 模型。

使用 PyTorch 构建 UNet 图像去噪模型：从数据加载到模型训练的完整流程

图像去噪是计算机视觉中的一个基础问题，在医学图像、遥感、夜间视觉等领域有广泛应用。本文将手把手带你用 PyTorch 构建一个 UNet 架构的图像去噪模型，包括数据预处理、网络搭建、PSNR 评估与模型保存的完整流程。本项目已支持将数据增强版本保存为独立…...

编程日记 2025/8/24 8:18:03

从信号处理角度理解图像处理的滤波函数

目录 1、预备知识 1.1 什么是LTI系统？ 1.1.1 首先来看什么是线性系统，前提我们要了解什么是齐次性和叠加性。...

编程日记 2025/8/17 18:34:45

集合框架--List集合详解

List集合 List 接口直接继承 Collection 接口，它定义为可以存储重复元素的集合，并且元素按照插入顺序有序排列，且可以通过索引访问指定位置的元素。常见的实现有：ArrayList、LinkedList。 Arraylist:有序、可重复、有索引 Linke…...

编程日记 2025/8/24 8:17:22

需求分析---软件架构师武器库中的天眼系统

在软件架构中，需求分析决定了系统的核心设计方向。然而，现实中的需求往往存在以下问题： 需求被二次加工：产品经理或业务方可能直接提供“解决方案”（如“我们需要一个聊天功能”），而非原始需…...

编程日记 2025/8/24 8:17:23

Spring Cloud Gateway 的执行链路详解

Spring Cloud Gateway 的执行链路详解 🎯 核心目标明确 Spring Cloud Gateway 的请求处理全过程（从接收到请求 → 到转发 → 到返回响应），方便你在合适的生命周期节点插入你的逻辑。 🧱 核心执行链路图（执…...

编程日记 2025/8/19 11:50:30

Python----机器学习（基于PyTorch框架的逻辑回归）

逻辑回归是一种广泛使用的统计学习方法，主要用于处理二分类问题。它基于线性回归模型，通过Sigmoid函数将输出映射到[0, 1]范围内，表示实例属于正类别的概率。尽管逻辑回归适用于二分类任务，但在多分类问题中常使用Softmax函数&…...

编程日记 2025/8/20 17:15:02

工业数据治理范式革新：时序数据库 TDengine虚拟表技术解析

小T导读：在工业数字化过程中，数据如何从设备采集顺利“爬坡”到上层应用，一直是个难题。传统“单列模型”虽贴合设备协议，却让上层分析举步维艰。TDengine 用一种更聪明的方法打通了这条数据通路：不强求建模、不手动转…...

编程日记 2025/8/24 8:17:25

Linux的应用领域，Linux的介绍，VirtualBox和Ubuntu的安装，VMware的安装和打开虚拟机CentOS

目录 Linux的应用领域 Linux的介绍 Linux的介绍 Linux发行版 Unix和Linux的渊源虚拟机和Linux的安装 VirtualBox和Ubuntu的安装安装VirtualBox 安装Ubuntu 下载Ubuntu操作系统的镜像文件创建虚拟机虚拟机设置启动虚拟机，安装Ubuntu系统 Ubuntu基…...

编程日记 2025/8/16 20:43:27

import java.util.*; import java.util.stream.Collectors;public class DeduplicateStreamExample {static class ArchiveItem {// 字段定义与Getter/Setter省略（需根据实际补充）private String mATNR;private String lIFNR;private String suppSpecMod…...

编程日记 2025/8/24 8:18:02

GDAL：地理数据的万能瑞士军刀

目录 1. 什么是GDAL？2. 为什么需要GDAL？3. GDAL的主要功能3.1. 数据转换3.2. 数据裁剪和处理3.3. 读取和写入多种格式 4. 实际应用场景4.1 环境监测4.2 城市规划4.3 导航系统 5. 技术原理简单解释6. 如何使用GDAL？6.1 简单命令示例 7. 学习建…...

编程日记 2025/8/23 19:32:58

每日文献（十三）——Part two

今天从第三章节：“实现细节”开始介绍。目录三、实现细节四、实验五、总结贡献六、致谢三、实现细节我们在多尺度图像上训练和测试区域建议和目标检测网络。这是在KITTI目标检测基准[13]上基于CNN的目标检测的趋势。例如，在[16]中&#xff…...

编程日记 2025/8/22 9:52:21

ArrayList 和 LinkedList 区别

ArrayList 和 LinkedList 是 Java 集合框架中两种常用的列表实现，它们在底层数据结构、性能特点和适用场景上有显著的区别。以下是它们的详细对比以及 ArrayList 的扩容机制。 1. ArrayList 和 LinkedList 的底层区别 (1) 底层数据结构 ArrayList： 基于…...

编程日记 2025/8/22 16:01:35

【iOS】UITableView性能优化

UITableView性能优化前言优化从何入手优化的本质 CPU层级优化1. Cell的复用2. 尽量少定义Cell，善于使用hidden控制显示视图3. 提前计算并缓存高度UITableView的代理方法执行顺序Cell高度缓存高度数组 4. 异步绘制5. 滑动时按需加载6. 使用异步加载图片，…...

编程日记 2025/8/24 2:01:22

通过检索增强生成（RAG）和重排序提升大语言模型（LLM）的准确性

探索大语言模型（LLM）结合有效信息检索机制的优势。实现重排序方法，并将其整合到您自己的LLM流程中。想象一下，一个大语言模型（LLM）不仅能提供相关答案，还能根据您的具体需求进行精细筛选、优先…...

编程日记 2025/8/17 20:08:30

IDEA202403常用快捷键【持续更新】

文章目录一、全局搜索二、美化格式三、替换四、Git提交五、代码移动六、调试运行在使用IDEA进行程序开发，快捷键会让这个过程更加酸爽，下面记录各种快捷键的功能。一、全局搜索快捷键功能说明Shift Shift全局搜索Ctrl N搜索Java类二、美化格式 …...

编程日记 2025/8/21 0:31:51

硬件元件三极管：从基础到进阶的电子探秘

一、基础理论 1. PN结（二极管） PN 结是采用不同的掺杂工艺，将 P 型半导体与 N 型半导体紧密接触而形成的一个界面区域。也就是我们常说的二极管。（P型带正电、N型带负电，电流由P流向N） 形成过程&#xff1…...

编程日记 2025/8/23 11:23:46

4. k8s核心概念 pod deployment service

以下是 Kubernetes 的核心概念详解，涵盖 Pod、Service、Deployment 和 Node，以及它们之间的关系和实际应用场景： 1. Pod 定义与作用 • 最小部署单元：Pod 是 Kubernetes 中可创建和管理的最小计算单元，包含一个或多个…...

编程日记 2025/8/20 9:00:37

12.第二阶段x64游戏实战-远程调试

免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！ 本次游戏没法给内容参考于：微尘网络安全上一个内容：11.第二阶段x64游戏实战-框架代码细节优化本次写的内容是关于调试、排错相关的…...

编程日记 2025/8/23 10:54:07

自然语言处理的进化：BERT模型深度剖析

自然语言处理（NLP）领域近年来取得了跨越式的发展，尤其是随着深度学习技术的应用，不少新兴模型应运而生。其中，BERT（Bidirectional Encoder Representations from Transformers）作为一种革命性的…...

编程日记 2025/8/24 8:18:02

鸿蒙学习笔记（5）-HTTP请求数据

一、Http请求数据 http模块是鸿蒙内置的一个模块，提供了网络请求的能力。不需要再写比较原始的AJAS代码。 ps:在项目中如果要访问网络资源，不管是图片文件还是网络请求，必须给项目开放权限。 （1）网络连接方式 HTTP数…...

编程日记 2025/8/23 13:25:53

Golang 的 GMP 协程模型详解

Golang 的 GMP 协程模型详解 Golang 的并发模型基于 GMP（Goroutine-M-Processor） 机制，是其高并发能力的核心支撑。以下从原理、机制、优势、缺点和设计理念展开分析： 一、GMP 的组成与运作原理 Goroutine（G&#xff…...

编程日记 2025/8/20 17:56:43

ReportLab 导出 PDF（页面布局）

ReportLab 导出 PDF（文档创建） ReportLab 导出 PDF（页面布局） ReportLab 导出 PDF（图文表格) PLATYPUS - 页面布局和排版 1. 设计目标2. 开始3. Flowables3.1. Flowable.draw()3.2. Flowable.drawOn(canvas,x,y)3.3. F…...

编程日记 2025/8/17 20:44:24

Ubuntu 安装与配置 Docker

Ubuntu 安装与配置 Docker Docker 是一个开源的容器化平台，允许开发者将应用程序及其依赖项打包在一个轻量级、可移植的容器中。它可以帮助开发者和运维人员快速构建、部署和管理应用程序，提升开发和运维效率。本文将介绍如何在 Ubuntu 系统上安装和配置…...

编程日记 2025/8/20 13:02:16

【数据结构与算法】LeetCode每日一题

此题跟27.移除数组中的指定值类似，都是移除且双指针玩法，只不过判断条件发生了变化...

编程日记 2025/8/23 5:03:53

【HDFS入门】数据存储原理全解，从分块到复制的完整流程剖析

目录 1 HDFS架构概览 2 文件分块机制 2.1 为什么需要分块？ 2.2 块大小配置 3 数据写入流程 4 数据复制机制 4.1 副本放置策略 4.2 复制流程 5 数据读取流程 6 一致性模型 7 容错机制 7.1 数据节点故障处理 7.2 校验和验证 8 总结在大数据时代&#x…...

编程日记 2025/8/21 12:15:26

力扣热题100——普通数组（不普通）

普通数组但一点不普通！ 最大子数组和合并区间轮转数组除自身以外数组的乘积缺失的第一个正数最大子数组和这道题是非常经典的适用动态规划解决题目，但同时这里给出两种解法动态规划、分治法那么动态规划方法大家可以在我的另外一篇博客总结中看到&am…...

编程日记 2025/8/22 13:27:30

Ubuntu中snap

通过Snap可以安装众多的软件包。需要注意的是，snap是一种全新的软件包管理方式，它类似一个容器拥有一个应用程序所有的文件和库，各个应用程序之间完全独立。所以使用snap包的好处就是它解决了应用程序之间的依赖问题，使应用程序之…...

编程日记 2025/8/20 22:14:21

uniapp（Vue）开发微信小程序之保存图片到本地

一、保存图片到本地（要拿到图片的 src）： 查看隐私条约是否加上相册（仅写入）权限： 微信公众平台 -》左下角头像 -》账号设置 -》用户隐私保护指引 -》去完善 -》相册（仅写入）权限 …...

编程日记 2025/8/19 9:27:27

TailwindCss快速上手

什么是Tailwind Css? 一个实用优先的 CSS 框架，可以直接在标记中组合以构建任何设计。开始使用Tailwind Css 如何安装下面是使用vite构建工具的方法 ①安装 Tailwind CSS: tailwindcss通过tailwindcss/vitenpm安装。 npm install tailwindcss tailwindcss…...

编程日记 2025/8/20 10:29:18

Gladinet CentreStack Triofox 远程RCE漏洞(CVE-2025-30406)

免责声明本文档所述漏洞详情及复现方法仅限用于合法授权的安全研究和学术教育用途。任何个人或组织不得利用本文内容从事未经许可的渗透测试、网络攻击或其他违法行为。使用者应确保其行为符合相关法律法规，并取得目标系统的明确授权。对于因不当使用本文信息而造成的任何直…...

编程日记 2025/8/19 18:14:06

ASP.NET WEB 手动推送 URL 到百度站长工具实例

下面是一个完整的 ASP.NET Web 应用程序示例，演示如何手动推送 URL 到百度站长工具。 1. 创建推送页面 (PushToBaidu.aspx) <%@ Page Language="C#" AutoEventWireup="true" CodeBehind="PushToBaidu.aspx.cs" Inherits="BaiduPushEx…...

编程日记 2025/8/22 4:14:25

【Ragflow】18.更好的推理框架：vLLM的docker部署方式

概述看到不少人说“Ollama就图一乐，生产环境还得用vLLM”。本文决定使用docker对vLLM进行部署，并解决模型配置中，IP地址的硬编码问题。 Ollama与vLLM风评比较查询相关资料，Ollama与vLLM主要特点及对比情况如下[1]: Ollama：轻量级本地大模型部署工具，面向个人用户…...

编程日记 2025/8/22 7:56:36

智能 GitHub Copilot 副驾驶® 更新升级！

智能 GitHub Copilot 副驾驶迎来重大升级！现在，所有 VS Code 用户都能体验支持 Multi-Context Protocol（MCP）的全新 Agent Mode。此外，微软还推出了智能 GitHub Copilot 副驾驶 Pro 订阅计划，提供更强大的…...

编程日记 2025/8/19 12:52:16

什么是高防服务器

高防服务器是具备高强度防御能力、专门应对网络攻击(如DDoS、 CC攻击)的服务器类型，通过流量清洗、多层防护等技术保障业务稳定运行。具备高强度防御能力和智能攻击识别技术，可保障业务在极端网络环境下稳定运行。其核心特点及技术原理如下&#xff1a…...

编程日记 2025/8/21 11:09:33

纷析云开源财务软件：企业财务数字化转型的灵活解决方案

纷析云是一家专注于开源财务软件研发的公司，自2018年成立以来，始终以“开源开放”为核心理念，致力于通过技术创新助力企业实现财务管理的数字化与智能化转型。其开源财务软件凭借高扩展性、灵活部署和全面的功能模块，成为众多企业…...

编程日记 2025/8/21 12:34:13

open webui 介绍是一个可扩展、功能丰富且用户友好的本地部署 AI 平台，支持完全离线运行。

AI MCP 系列 AgentGPT-01-入门介绍 Browser-use 是连接你的AI代理与浏览器的最简单方式 AI MCP(大模型上下文)-01-入门介绍 AI MCP(大模型上下文)-02-awesome-mcp-servers 精选的 MCP 服务器 AI MCP(大模型上下文)-03-open webui 介绍是一个可扩展、功能丰富且用户友好的…...

编程日记 2025/8/21 4:37:19

Spring缓存抽象机制

一、核心架构图解 #mermaid-svg-pUShmqsPanYTNVBI {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-pUShmqsPanYTNVBI .error-icon{fill:#552222;}#mermaid-svg-pUShmqsPanYTNVBI .error-text{fill:#552222;stroke:#5…...

编程日记 2025/8/20 5:17:41

[Jenkins]pnpm install ‘pnpm‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。

这个错误提示再次说明：你的系统（CMD 或 Jenkins 环境）找不到 pnpm 命令的位置。虽然你可能已经用 npm install -g pnpm 安装过，但系统不知道它装在哪里，也就无法执行 pnpm 命令。 ✅ 快速解决方法：直接用完…...

编程日记 2025/8/22 6:52:03

如何用AI辅助数据分析及工具推荐

以下是针对数据分析的 AI辅助工具推荐，结合国内外主流工具的功能特点、优劣势及适用场景分析，并标注是否为国内软件及付费情况： 一、国内工具推荐 1. WPS AI 特点：集成于WPS Office套件，支持智能数据分析、自动生成可…...

编程日记 2025/8/23 14:15:48

使用KeilAssistant代替keil的UI界面

目录一、keil Assistant的优势和缺点二、使用方法 （1）配置keil的路径 （2）导入并使用工程 （3）默认使用keil自带的ARM编译器而非GUN工具链一、keil Assistant的优势和缺点在日常学…...

编程日记 2025/8/23 4:28:31

spark-SQL数据加载和保存

数据加载与保存通用方式： 通过 spark.read.load 和 df.write.save 实现数据加载与保存。可利用 format 指定数据格式，如 csv 、 jdbc 等； option 用于设置特定参数，像 jdbc 格式下的数据库连接信息； load 和 save 则…...

编程日记 2025/8/20 20:39:02

strings.Replace 使用详解

目录 1. 官方包 2. 支持版本 3. 官方说明 4. 作用 5. 实现原理 6. 推荐使用场景和不推荐使用场景推荐场景不推荐场景 7. 使用场景示例示例1：官方示例示例2：模板变量替换示例3：敏感信息脱敏（隐藏手机号中间四位&a…...

编程日记 2025/8/20 9:29:29

K8S微服务部署及模拟故障观测

概述本文介绍了如何在 Kubernetes (K8S) 集群中部署微服务，并模拟常见的故障场景（如 Pod 故障、节点故障、网络故障）以测试系统的容错能力。通过本实验，了解 Kubernetes 的自动恢复机制以及如何通过监控和日志分析快速定位和解决…...

编程日记 2025/8/17 21:05:57

3.k8s是如何工作的

Kubernetes 是一个复杂的分布式系统，其核心设计理念是声明式管理和自动化控制。以下是 Kubernetes 的工作机制详解，从用户提交应用到容器运行的全流程： 1. 核心架构：控制平面（Control Plane）与工作节点&…...

编程日记 2025/8/20 23:15:18

打通任督二脉 - Device Plugin 让 k8s “看见” GPU

打通任督二脉 - Device Plugin 让 k8s “看见” GPU 上一篇咱们聊了为啥要把 GPU 这个“计算猛兽”拉进 Kubernetes (k8s) 这个“智能调度中心”。目标很美好：提高效率、简化管理、弹性伸缩。但现实是，k8s 天生并不认识 GPU 这位“新朋友”。就像你的电脑操作系统，默认只认…...

编程日记 2025/8/21 12:58:20

锚定“体验驱动”，锐捷EDN让园区网络“以人为本”

作者 | 曾响铃文 | 响铃说传统的网络升级路径，一如巴别塔的建造思路一般——工程师们按技术蓝图逐层堆砌，却常与地面用户的实际需求渐行渐远，从而带来了诸多体验痛点，如手工配置效率低下、关键业务用网无法保障、网络架构趋于…...

编程日记 2025/8/17 20:51:19

Flutter的自动化测试 python flutter编程

Flutter应用开发入门指南第一步：创建Flutter应用创建一个默认的Flutter应用后，将以下代码复制到 lib/main.dart 中： import package:flutter/material.dart;//运行Flutter应用,创建了一个自己实现的Widget对象 void main() > runApp(…...

编程日记 2025/8/21 15:30:58