当前位置：首页 > news >正文

深度学习04 数据增强、调整学习率

news 来源：原创 2025/9/20 14:10:36

数据增强

常用的数据增强方法

调整学习率

学习率

调整学习率

调整学习率的方法

有序调整

等间隔调整

多间隔调整

指数衰减

余弦退火

自适应调整

自定义调整

数据增强

数据增强是通过对训练数据进行各种变换（如旋转、翻转、裁剪等），生成新的训练样本，从而增加数据的多样性。它的主要目的是：

提高模型的泛化能力。
防止过拟合。
在数据量不足的情况下，有效扩展数据集。

常用的数据增强方法

随机翻转（Random Flip）
水平翻转：RandomHorizontalFlip 垂直翻转：RandomVerticalFlip
随机旋转（Random Rotation）：
随机旋转一定角度，例如 RandomRotation(30) 表示在 [-30°, 30°] 范围内随机旋转。
随机裁剪（Random Crop）：
随机裁剪图像的一部分，例如 RandomResizedCrop(256) 表示随机裁剪并调整大小为 256x256。
颜色变换（Color Jitter）：
随机调整亮度、对比度、饱和度和色调，例如 ColorJitter(brightness=0.4, contrast=0.4, saturation=0.4, hue=0.1)。
高斯噪声（Gaussian Noise）：
为图像添加随机噪声。
归一化（Normalization）：
将图像像素值归一化到特定范围，例如 Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])。

例如：定义训练集和验证集的图像的数据增强模型

data_transforms = {'train':   transforms.Compose([  # transforms.Compose用于将多个图像预处理操作整合在一起transforms.Resize([300,300]),   # 使图像变换大小transforms.RandomRotation(45),   # 随机旋转，-42到45度之间随机选transforms.CenterCrop(256),    # 从中心开始裁剪[256.256]transforms.RandomHorizontalFlip(p=0.5),  # 随机水平旋转，随机概率为0.5transforms.RandomVerticalFlip(p=0.5),  # 随机垂直旋转，随机概率0.5transforms.ColorJitter(brightness=0.2,contrast=0.1,saturation=0.1,hue=0.1),   # 随机改变图像参数，参数分别表示 亮度、对比度、饱和度、色温transforms.RandomGrayscale(p=0.1),  # 概率转换成灰度率，3通道就是R=G=Btransforms.ToTensor(),   # 将PIL图像或NumPy ndarray转换为tensor类型，并将像素值的范围从[0, 255]缩放到[0.0, 1.0]，默认把通道维度放在前面transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])  # 给定均值和标准差对图像进行标准化，前者为均值，后者为标准差，三个值表示三通道图像]),'valid':  # 验证集transforms.Compose([   # 整合图像处理的操作transforms.Resize([256,256]),   # 缩放图像尺寸transforms.ToTensor(),   # 转换为torch类型transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])    # 标准化])
}

嵌套定义好的数据增强模型

training_data=food_dataset(file_path=r'./train.txt',transform=data_transform['train'])
test_data=food_dataset(file_path=r'./test.txt',transform=data_transform['valid'])

调整学习率

学习率

定义

学习率是优化算法（如 SGD、Adam）中的一个超参数，控制模型参数的更新步长。
作用
- 如果学习率太大，可能导致参数更新过快，无法收敛甚至发散。
- 如果学习率太小，训练速度会变慢，可能陷入局部最优。
重要性：合适的学习率是模型训练成功的关键。

调整学习率

学习率调整（Learning Rate Scheduling） 是优化模型训练的关键技术之一。深度学习中的学习率决定了模型参数在每次更新时的步长大小，合适的学习率可以加速收敛并提高模型的性能。常用的学习率有0.1、0.01以及0.001等，学习率越大则权重更新越快。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好的收敛到最优解。

目的

调整学习率的目的是为了能够更好地优化模型，避免训练过程中出现的一些问题，如梯度爆炸或梯度消失、训练过程陷入局部极小值等

调整学习率的方法

不同方法调整学习率所对应的横轴epoch值与纵轴学习率的关系如图

PyTorch 提供了多种学习率调度器，位于 torch.optim.lr_scheduler 模块中。

有序调整

等间隔调整

多间隔调整

指数衰减

余弦退火

自适应调整

自定义调整

深度学习04 数据增强、调整学习率

目录数据增强常用的数据增强方法调整学习率学习率调整学习率调整学习率的方法有序调整等间隔调整多间隔调整指数衰减余弦退火自适应调整自定义调整数据增强数据增强是通过对训练数据进行各种变换（如旋转、翻转、裁剪等）&am…...

编程日记 2025/9/20 14:10:36

卷积神经网络之AlexNet经典神经网络，实现手写数字0~9识别

深度学习中较为常见的神经网络模型AlexNet，AlexNet 是一个采用 GPU 训练的深层 CNN，本质是种 LeNet 变体。由特征提取层的5个卷积层两个下采样层和分类器中的三个全连接层构成。先看原理： AlexNet网络特点采用 ReLU 激活函数，…...

编程日记 2025/9/20 12:33:18

建筑兔零基础自学python记录22|实战人脸识别项目——视频人脸识别（下）11

这次我们继续解读代码，我们主要来看下面两个部分； 至于人脸识别成功的要点我们在最后总结~ 具体代码学习： #定义人脸名称 def name():#预学习照片存放位置path M:/python/workspace/PythonProject/face/imagePaths[os.path.join(path,f) f…...

编程日记 2025/9/20 7:32:18

全球化趋势下中资企业出海投资及合规运营实战分享

企业全球化布局需构建“战略-架构-合规-运营”四位一体体系，通过灵活的投资架构、精准的税务规划、本土化运营和ESG融合，实现风险可控的海外扩张。核心策略包括： 供应链多节点布局（至少3个国家备份产能）；融…...

编程日记 2025/9/14 21:35:51

2025-2-19 leetcode刷题情况（二叉树）

一、226.翻转二叉树 1.题目描述给你一棵二叉树的根节点root，翻转这棵二叉树，并返回其根节点 2.代码 3.思路递归遍历（DFS）交换每个节点的左 / 右子节点，即可生成二叉树的镜像。递归解析： 终止条件&a…...

编程日记 2025/9/20 10:43:07

Linux常见命令

文件和目录操作命令 cd：用于切换目录。例如，cd /home/user 可进入 /home/user 目录；cd.. 可返回上一级目录。ls：用于列出目录内容。ls 直接列出当前目录下的文件和文件夹；ls -l 以详细列表形式显示；ls -a 显…...

编程日记 2025/9/9 21:19:38

C++ 一篇读懂“值传递”和“地址传递”

让我们通过一个简单的、形象的比喻来帮助你理解“值传递”和“地址传递”是如何影响实参的。 1. 值传递想象你有一个 **信封**（代表变量），里面放着一张纸条（代表数据）。你决定把这个信封寄给一个朋友，让他…...

编程日记 2025/9/18 15:50:53

我用AI做数据分析之数据清洗

我用AI做数据分析之数据清洗 AI与数据分析的融合效果怎样？ 这里描述自己在使用AI进行数据分析（数据清洗）过程中的几个小故事： 1. 变量名的翻译有一个项目是某医生自己收集的数据，变量名使用的是中文，分…...

编程日记 2025/9/20 14:09:43

韩国哈希散列算法DHA-256

韩国哈希散列算法DHA-256 DHA-256是在2005年11月由NIST举行的Hash研讨会(Cryptographic Hash Workshop)上提出的。DHA-256压缩函数将长度为512比特的分组，压缩成长度为256比特的串，总共迭代64步，扩展的消息字在步函数中使用了两次。 DHA-25…...

编程日记 2025/9/16 8:12:38

【愚公系列】《Python网络爬虫从入门到精通》022-Splash的爬虫应用

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度…...

编程日记 2025/9/20 7:31:05

Golang深度学习

前言在2009年，Google公司发布了一种新的编程语言，名为Go（或称为Golang），旨在提高编程效率、简化并发编程，并提供强大的标准库支持。Go语言的设计者们希望通过Go语言能够解决软件开发中的一些长期存在的问…...

编程日记 2025/9/18 15:44:03

React（8）

封装评论列表的Item组件实现父传子以及子组件调用父组件方法 import { useEffect, useState } from "react"; import "./index.css"; import _ from "lodash"; import classNames from "classnames"; import axios from "axio…...

编程日记 2025/9/19 19:40:33

自制AirTag，支持安卓/鸿蒙/PC/Home Assistant，无需拥有iPhone

苹果的AirTag很贵，虽然某强北有平价代替品，但是仍需要苹果设备才能绑定，才能查看位置。不支持安卓/鸿蒙/PC，也不支持集成到Home Assistant中。 AirTag 的原理每个AirTag都会发送一个蓝牙信号，其可以被临近的苹果设备…...

编程日记 2025/9/20 14:09:43

docker修改镜像默认存储路径（基于页面迁移）

文章目录 1、停止服务2、拷贝镜像3、docker界面设置路径4、重新启动服务5、重启电脑 1、停止服务桌面底部右键打开任务管理器停止docker服务 2、拷贝镜像从原目录拷贝到新的目录下，新的目录自己定，如果没有权限，需要先对原文件添加权限…...

编程日记 2025/9/20 14:09:23

10. 软件设计架构-经典架构问题

文章目录前言一、高并发场景下的系统崩溃1. 问题描述2. 解决方案：3. 案例分析：电商秒杀系统二、单体架构到微服务的拆分陷阱1. 问题描述2. 解决方案：3. 案例分析：在线教育平台拆分三、分布式系统中的数据一致性难题1. 问题描述…...

编程日记 2025/9/20 14:09:23

Qt学习（五）自定义对话框，多窗口开发---添加设计师类， MDI多窗口开发

一对话框实现功能：打开文件，选择目录，保存文件，选择颜色，选择字体，输入信息， 消息提示框 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow>QT_BEGIN_NAMESPACE na…...

编程日记 2025/9/11 12:20:36

【部署优化篇三】《DeepSeek边缘计算实战：把目标检测模型塞进树莓派，让AI在巴掌大的设备上“开天眼“》

“谁说只有超级计算机才能跑AI？今天咱们就要在树莓派上玩转DeepSeek目标检测，让这个巴掌大的小盒子变成会‘看’世界的智能终端！” 本文手把手教你从零开始，把最潮的目标检测模型塞进树莓派。全程高能预警，建议准备好你的树莓派4B/5和散热风扇，咱们这就开启边缘计算的魔法…...

编程日记 2025/9/15 10:08:17

深入浅出CSS复合选择器：掌控元素关系与层级选择

目录前言一、子代选择器（Descendant Selector） 1. 什么是子代选择器？ 2. 基本语法 3. 示例 4. 注意事项二、直接子元素选择器（Child Selector） 1. 什么是直接子元素选择器？ 2. 基本语法 3. 示例…...

编程日记 2025/9/15 14:09:05

LLM 推理中推理-时间计算技巧

25年2月来自香港科技大学广州分校的论文“Bag of Tricks for Inference-time Computation of LLM Reasoning”。随着大语言模型 (LLM) 的进步，解决复杂的推理任务越来越受到关注。推理-时间计算方法（例如 Best-of-N、波束搜索等）特别有价值…...

编程日记 2025/9/19 6:49:11

【模板】图论最短路 (Floyd+SPFA+Dijkstra)

FloydSPFADijkstra 温故而知新，这三种算法都是求最短路问题常用的算法（特别是Dijkstra) 1.Floyd （多源最短路） 基于动态规划思想，时间复杂度为 O ( N 3 ) O(N^3) O(N3) 较高。注意点： 初始化距离为INF…...

编程日记 2025/9/16 8:11:12

vite-vue-ts使用arco-design-vue定制主题的后动态变更主题思路

定制主题的后动态变更主题思路安装依赖与主题定制动态变更主题过程尝试修改主题色（结果失败）尝试修改主题色（结果成功，但是hover的主题色没有变，未覆盖10个梯度的色值）根据主题色实现10个梯度颜色实现10个…...

编程日记 2025/9/16 9:08:57

递归爬取网页测试

我们正在做基于大模型的数据分析平台。当前需要测试ezdata的递归爬取功能，爬取到第几层测试网址 https://blog.csdn.net/m0_68177611/article/details/144936089...

编程日记 2025/9/7 22:55:34

【论文学习】RVS-FDSC：一种基于四方向条带卷积的视网膜血管分割方法以增强特征提取

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！ 文章目录前言论文论文内容RSC模块MSPF2 模块RPDA模块实验效果总结互动致谢参考往期回顾前言…...

编程日记 2025/9/9 21:13:18

交友项目-交友软件简介

一、项目背景在线社交是互联网时代的产物，已成为互联网用户的基础需求之一。移动互联网自2003年起快速发展，促使在线社交逐渐从PC端转移至移动端。移动社交最初以熟人社交为主，以维系熟人关系、共享资源信息的形式存在。随着人们交友需求的…...

编程日记 2025/9/18 15:18:59

新手向：SpringBoot后端查询到数据，前端404？（附联调时各传参方式注解总结-带你一文搞定联调参数）

前言： 在 Spring Boot 项目开发中，后端小伙伴可能经常遇到这样诡异的场景： 后台日志显示查询到了数据，但前端却一脸懵逼地告诉你 404 Not Found？接口明明写好了，Postman 直接访问却提示找不到&#xff1f…...

编程日记 2025/9/13 22:09:40

Elasticsearch7.6.2 安装过程

一. 安装JDK1.8 （1）创建安装目录 mkdir /usr/local/java/ （2）解压至安装目录 tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/java/ （3）设置环境变量 vim /etc/profile 在末尾添加 export JA…...

编程日记 2025/9/19 5:50:48

汇能感知的光谱相机/模块产品有哪些？

CM020A 分辨率：1600H1200V 光谱范围：350~950nm 光谱分辨率：1nm 接口：USB2.0 帧率：16001200 (6帧) 输出格式：Raw 8bit FOV：D73.5H58.8V44.1 相机尺寸：505055mm VM02S10 分辨率…...

编程日记 2025/9/13 2:03:15

【机器学习】K折交叉验证（K-Fold Cross-Validation）

文章目录 K折交叉验证步骤详解一. 核心目标二. 具体步骤与操作三. 关键变体与场景适配3.1 分层K折交叉验证3.2 时间序列K折交叉验证3.3 留一法（LOO）3.4 重复K折交叉验证四. 实践注意事项五. Python代码示例六. 总结 K折交叉验证步骤详解一. 核心目标 …...

编程日记 2025/9/19 21:28:02

【核心算法篇十九】《 DeepSeek因果推断：双重差分模型如何破解政策评估的「时空难题」》

一、当AB实验不可行时，我们该相信什么？（因果推断困局解析）假设某城市推出「夜间地铁免费」政策，市长想知道这个政策是否真的提升了夜间经济。这时候你会发现： 1️⃣ 无法克隆城市：不能同时存在一个「实施政策」和「不实施政策」的平行宇宙 2️⃣ 数据混杂严重：疫情反…...

编程日记 2025/9/16 3:24:30

使用vue3框架vue-next-admin导出列表数据

在 Vue3 中实现 Excel 导出功能可以通过以下步骤完成，这里使用 xlsx 库来实现前端 Excel 导出： 1. 安装依赖 npm install xlsx file-saver # 或 yarn add xlsx file-saver2. 实现代码示例需要在当前页引入 import * as XLSX from "xlsx";注…...

编程日记 2025/9/15 17:30:51

机器学习（1）安装Pytorch

1.安装命令 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 2.安装过程Log： Looking in indexes: https://download.pytorch.org/whl/cu118 Co…...

编程日记 2025/9/15 16:23:28

讯方·智汇云校华为官方授权培训机构

1.官方授权讯方智汇云校是华为领先级授权培训机构（华为授权培训合作伙伴（HALP）体系，分为认证、优选、领先三个等级，领先级是HALP最高级），代表着华为对培训合作伙伴在专业能力、师资队伍、合作…...

编程日记 2025/9/19 12:38:18

彻底理解零拷贝技术，zero-copy

计算机处理的任务大体可以分为两类：CPU密集型与IO密集型。当前流行的互联网应用更多的属于IO密集型，传统的IO标准接口都是基于数据拷贝的，这篇文章我们主要关注该怎样从数据拷贝的角度来优化IO性能，让你的程序在IO性能方面赶超P8。…...

编程日记 2025/9/12 9:58:25

使用 MySQL 从 JSON 字符串提取数据

使用 MySQL 从 JSON 字符串提取数据在现代数据库管理中，JSON 格式因其灵活性而广泛使用。然而，当数据存储在 JSON 中时，我们经常需要将其转换为更易于处理的格式。本篇文章将通过一个具体的 SQL 查询示例，展示如何从存储在 MySQ…...

编程日记 2025/9/20 8:01:58

矛盾（WEB）

##解题思路打开靶场就是一段自相矛盾的代码，既要num是数字类型，又要判断为1 这种情况我们会想到弱类型的编程语言，插件查看过后，php就是弱类型的语言，此处并非是严格相等，只是因此可以根据弱类型编程语言…...

编程日记 2025/9/16 5:50:25

优先队列（典型算法思想）—— OJ例题算法解析思路

目录一、1046. 最后一块石头的重量 - 力扣（LeetCode） 算法代码： 代码思路使用优先队列（大根堆） 将所有石头放入堆中模拟碰撞过程返回最后的重量代码解析时间复杂度示例输入输出二、703. 数据流…...

编程日记 2025/9/20 4:48:34

IGBT的损耗性分析

铝合金外壳设计器地址：嘉立创铝合金外壳/壳体/盒型-让您的产品更出彩 IGBT和MOS的损耗谁大: 电子元器件常见失效模式: 电子元器件的失效模式多种多样，以下是一些常见的失效模式及其原因：开路：原因：内部连接断开、焊点断裂、导线断裂等。影响：电流无法通过，电路中断。…...

编程日记 2025/9/20 0:41:09

TypeScript跟js,es6这些的区别

TypeScript 一、TypeScript 是什么想象 JavaScript 是一个自由奔放的艺术家，它在创作（编写代码）时不受太多约束，非常灵活，但有时也容易犯错且难以调试。而 TypeScript 就像是给这位艺术家配备了一套精确的工具和规范…...

编程日记 2025/9/19 12:32:22

单例模式代码示例

饿汉式：在类加载时就创建单例实例，线程安全。代码如下： public class Singleton {// 私有静态实例private static final Singleton instance new Singleton();// 私有构造函数private Singleton() {}// 公共访问方法public static Singleto…...

编程日记 2025/9/17 16:22:30

掌握 ElasticSearch的 _source 过滤

掌握 ElasticSearch的 _source 过滤 1. 引言2. _source 元数据基础2.1 什么是 _source 字段？2.2 _source 的基本用法 3. 禁用 _source3.1 如何禁用 _source 字段3.2 禁用 _source 的利弊3.3 最佳实践建议 4. _source 数据源过滤4.1 为什么需要数据源过滤&#xff1f…...

编程日记 2025/9/14 20:39:20

车载音频配置（二）

目录 OEM 自定义的车载音频上下文动态音频区配置向前兼容性 Android 14 车载音频配置在 Android 14 中，AAOS 引入了 OEM 插件服务，使你可以更主动地管理由车载音频服务监督的音频行为。随着新的插件服务的引入，车载音频配置文件中添加了以下更改： • OEM 自定义的车…...

编程日记 2025/9/19 22:23:15

开目3DCAPP系列：三维制造成本分析与估算软件3DDFC

开目3DDFC 是一款基于 MBD 模型和工艺知识库的专业三维制造成本分析与估算软件，在不依赖详细工艺路线的情况下，根据零件几何信息和精度信息一键式完成零件成本的分析与估算，为面向成本的设计优化提供参考指引，也为企业对外产品报价…...

编程日记 2025/9/15 18:28:12

化学品安全数据表（MSDS）的全面解析与实用指南

SDS（安全数据表），也称为MSDS（材料安全数据表），是用于详细说明化学品的理化特性（如pH值、闪点、易燃性、反应活性等）及其对使用者健康（如致癌、致畸等）潜在危害…...

编程日记 2025/9/13 15:01:38

赛前启航 | Azure 应用开发实战指南：开启创意的无限可能

在 AI 时代，如何高效构建、优化和部署你的应用？如何充分利用微软 Azure 的强大能力，让开发更敏捷，性能更卓越？2 月 21 日 14:00-16:00，微软 AI 开发者挑战赛赛前指导第二场直播，带你全方位掌握 …...

编程日记 2025/9/17 16:37:39

Visual Studio Code的下载安装与汉化

1.下载安装 Visual Studio Code的下载安装十分简单，在本电脑的应用商店直接下载安装----注意这是社区版-----一般社区版就足够用了---另外注意更改安装地址 2.下载插件重启后就是中文版本了...

编程日记 2025/9/7 20:00:30

home assistant ddns动态域名解析插件

home assistant ddns动态域名解析插件使用方法在HACS中搜索 ddns安装(hacs目前还没有合并我的提交，目前不可用)，或者 clone https://github.com/weiangongsi/ddns.git, 将 custom_components/ddns目录拷贝至 Home Assistant 配置目录的 custom_compon…...

编程日记 2025/9/14 22:34:21

金融交易算法单介绍

0.背景股票交易时，常见的订单类型有基础订单和条件订单。基础订单市价单限价单碎股单等等条件订单止损市价单止损限价单触及市价单（止盈）触及限价单（止盈）跟踪止损市价单跟踪止损限价单等等除了基础订单和…...

编程日记 2025/9/7 20:00:26

LabVIEW利用CANopen的Batch SDO写入

本示例展示了如何通过CANopen协议向设备写入Batch SDO（批量服务数据对象）。Batch SDO允许用户在一次操作中配置多个参数，适用于设备的批量配置和参数设置。此方法能够简化多个参数的写入过程，提高设备管理效率。主要步骤&#xf…...

编程日记 2025/9/19 2:55:39

正式页面开发-登录注册页面

整体路由设计： 登录和注册的切换是切换组件或者是切换内容（v-if和 v-else)，因为点击两个之间路径是没有变化的。也就是登录和注册共用同一个路由。登录是独立的一级路由。登录之后进到首页，有三个大模块：文章分类&…...

编程日记 2025/9/18 9:32:02

vLLM专题（二）：安装-CPU

vLLM 是一个 Python 库，支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明： Intel/AMD x86 vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。注意此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 v…...

编程日记 2025/9/13 18:04:46

数据增强

常用的数据增强方法

调整学习率

学习率

调整学习率

调整学习率的方法

有序调整

等间隔调整

多间隔调整

指数衰减

余弦退火

自适应调整

自定义调整

相关文章：