当前位置：首页 > news >正文

学习率（Learning Rate）

news 来源：原创 2025/9/5 19:58:38

学习率（Learning Rate）是深度学习中最关键的超参数之一，它控制模型在每次参数更新时的“步长大小”。简单来说：它决定了模型从错误中学习的“速度”。

直观比喻

想象你在山顶蒙眼下山（找最低点）：

学习率大 → 你大步往下跳（可能错过最低点，甚至越跳越高）
学习率小 → 你小步试探（下山很稳，但速度极慢）
学习率合适 → 你能快速且稳定地到达山脚（最优解）

实际例子：房价预测

假设我们用线性回归模型 y = w*x + b 预测房价：

初始参数：权重 w=0，偏置 b=0
输入数据：房子面积 x=100㎡，真实价格 y_true=500万
当前预测：y_pred = 0*100 + 0 = 0（完全错误！）
计算损失：Loss = (y_true - y_pred)² = (500-0)² = 250000

参数更新过程（梯度下降）：

# 假设计算得到梯度: ∂Loss/∂w = -100, ∂Loss/∂b = -500
learning_rate = 0.001  # 关键在这里！# 参数更新公式: 新参数 = 旧参数 - 学习率 × 梯度
w_new = 0 - 0.001 * (-100) = 0.1
b_new = 0 - 0.001 * (-500) = 0.5

学习率=0.001时：下次预测 y_pred = 0.1*100 + 0.5 = 10.5万（仍低估，但比之前好）
若学习率=0.1：w_new=10, b_new=50 → y_pred=1050万（严重高估，震荡发散）

不同学习率的效果

学习率大小	训练行为	实际表现
太大（如0.1）	参数剧烈震荡	模型无法收敛，甚至爆炸
合适（如0.001）	稳定下降	最终找到较好解
太小（如1e-6）	每次更新几乎不动	训练极慢，可能卡在局部最优点

如何选择学习率？

常用初始值：
- CNN/Transformer：3e-4 ~ 1e-5
- 简单模型：0.01 ~ 0.001
动态调整：
- 使用学习率调度器（如 ReduceLROnPlateau）
- 预热（Warmup）策略

实验方法：

# PyTorch示例
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

可视化理解

下图展示了不同学习率下损失函数的变化：

高学习率 → 震荡发散: /\/\/\/\ 
合适学习率 → 平滑下降: \_______
低学习率 → 缓慢下降: \--------

（实际训练中可通过TensorBoard/WandB等工具观察曲线）

学习率（Learning Rate）

学习率（Learning Rate）是深度学习中最关键的超参数之一，它控制模型在每次参数更新时的“步长大小”。简单来说：它决定了模型从错误中学习的“速度”。直观比喻想象你在山顶蒙眼下山（找最低点）&#xff1…...

编程日记 2025/9/5 19:58:38

李宏毅NLP-3-语音识别part2-LAS

语音识别part2——LAS Listen Listen主要功能是提取内容信息，去除说话人差异和噪声。编码器（Encoder）结构，输入是声学特征，经过 Encoder 处理后，输出为高级表示，这些高级表示可用于后续语音识别…...

编程日记 2025/9/6 14:20:13

游戏引擎学习第222天

回顾昨天的过场动画工作我们正在制作一个游戏，目标是通过直播的方式完成整个游戏的开发。在昨天的工作中，我享受了制作过场动画的过程，所以今天我决定继续制作多个层次的过场动画。昨天我们已经开始了多层次过场动画的基本制作&#xff0…...

编程日记 2025/9/2 13:17:00

双系统win11 + ubuntu，如何完全卸载ubuntu系统?

双系统win11 ubuntu，如何完全卸载ubuntu? 注意事项操作前确保有 Windows 安装介质（USB），以防需要修复对 EFI 分区的操作要格外小心如果使用 BitLocker，可能需要先暂停保护如果遇到问题，可以使用 Windows…...

编程日记 2025/8/30 5:35:32

【T2I】Region-Aware Text-to-Image Generation via Hard Binding and Soft Refinement

code： https://github.com/NJU-PCALab/RAG-Diffusion Abstract 区域提示，或组成生成，能够实现细粒度的空间控制，在实际应用中越来越受到关注。然而，以前的方法要么引入了额外的可训练模块，因此只适用于特定…...

编程日记 2025/9/1 8:59:58

HarmonyOS：Map Kit简介

一、概述 Map Kit（地图服务） 为开发者提供强大而便捷的地图能力，助力全球开发者实现个性化显示地图、位置搜索和路径规划等功能，轻松完成地图构建工作。您可以轻松地在HarmonyOS应用/元服务中集成地图相关的功能，全方位…...

编程日记 2025/9/3 8:37:21

【从零实现高并发内存池】- 项目介绍、原理及内存池详解

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/9/5 20:56:54

CSS margin（外边距）学习笔记

CSS 中的 margin 属性用于定义元素周围的空白区域，它是一个非常重要的布局工具，可以帮助我们控制元素之间的间距，从而实现更美观和易用的页面布局。以下是对 margin 属性的详细学习笔记。一、margin 的基本概念 margin 是元素周围的透明区…...

编程日记 2025/9/4 3:57:34

【数据集】中国各省低空经济及无人机相关数据集（1996-2025年2月）

低空经济泛指3000米高空以下的飞行经济活动，以民用客运飞行器和无人驾驶航空器为主。低空经济产业是先进飞行器出行（AAM）在城市低空运行的一种变革性和颠覆性的复合新产业，主要以垂直起降型飞机（VTOL）与无人…...

编程日记 2025/9/3 21:39:21

C++动态分配内存知识点！

个人主页：PingdiGuo_guo 收录专栏：C干货专栏大家好呀，又是分享干货的时间，今天我们来学习一下动态分配内存。文章目录 1.动态分配内存的思想 2.动态分配内存的概念 2.1内存分配函数 2.2动态内存的申请和释放 2.3内存碎片问…...

编程日记 2025/9/4 18:42:34

哈喽打车小程序分析

声明本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 逆向过程这一次遇到这种风控感觉挺有…...

编程日记 2025/9/5 12:56:14

泛型的二三事

泛型（Generics）是Java语言的一个重要特性，它允许在定义类、接口和方法时使用类型参数（Type Parameters），从而实现类型安全的代码重用。泛型在Java 5中被引入，极大地增强了代码的灵活性和安全性。…...

编程日记 2025/9/6 10:02:21

云计算：数字浪潮中的第三次文明跃迁——从虚拟化到智能协同的范式革命

一、浪潮的序曲：从机械革命到数字原子的觉醒 20世纪中叶，当晶体管的发明点燃信息革命的火种时，人类社会的第三次浪潮已悄然萌芽。托夫勒预言的“信息将成为新的权力核心”，在21世纪初以云计算的形态具象化。这场浪潮的起点&#…...

编程日记 2025/8/31 0:35:37

redis哨兵机制和集群有什么区别：

主从： 包括一个master节点和多个slave节点： master节点负责数据的读写，slave节点负责数据的读取，master节点收到数据变更，会同步到slave节点去实现数据的同步。通过这样一个架构可以去实现redis的一个读写分离。提升…...

编程日记 2025/9/4 16:05:10

java基础2

构造器： 构造器与类同名； 每个类可以有一个以上的构造器； 构造器可以有0个，1个或多个参数； 构造器没有返回值； 构造器总是伴着new一起调用方法重载： 方法名字一样，参数不一样…...

编程日记 2025/9/6 7:50:37

1009 说反话 #include <cstdio>int main() {char sen[80][80];int num0;while(scanf("%s",sen[num])!EOF){num;}for (int i num-1; i > 0; --i) {printf("%s ",sen[i]);}printf("%s\n",sen[0]);return 0; }字符串连接 #include <io…...

编程日记 2025/9/6 1:22:27

JavaScript:BOM编程

今天我要介绍的是JS中有关于BOM编程的知识点内容：BOM编程； 介绍：BOM全名（Browser Object Model（浏览器对象模型））。是浏览器提供的与浏览器窗口交互的接口，其核心对象是 window。与…...

编程日记 2025/9/4 16:09:10

用户自定义函数（UDF）开发与应用（二）

五、UDF 在不同平台的应用 5.1 数据库中的 UDF 应用（如 MySQL、PostgreSQL） 在数据库领域，UDF 为开发者提供了强大的扩展能力，使得数据库可以完成一些原本内置函数无法实现的复杂操作。以 MySQL 为例，假设我们有一…...

编程日记 2025/9/2 14:53:08

C++——继承、权限对继承的影响

目录继承基本概念编程示例 1.基类（父类）Person 代码特点说明权限对类的影响编辑编程示例 1. 公有继承 (public inheritance) 2. 保护继承 (protected inheritance) 3. 私有继承 (private inheritance) 重要规则实际应用继承基本概…...

编程日记 2025/9/3 18:54:07

Tkinter样式与主题定制

在创建图形用户界面（GUI）应用时，除了功能的实现外，界面的外观和用户体验也非常重要。Tkinter提供了多种方式来定制控件的样式，使应用程序界面更加美观和易用。在这一章中，我们将介绍如何使用Tkinter的样式和…...

编程日记 2025/9/4 7:33:49

CSS 背景属性学习笔记

CSS 背景属性用于定义 HTML 元素的背景效果，包括背景颜色、背景图像、图像平铺方式、图像定位以及图像是否固定等。以下是关于 CSS 背景属性的详细学习笔记。一、背景颜色（background-color） background-color 属性用于定义元素的背景颜色…...

编程日记 2025/9/5 8:20:22

信息安全管理与评估2023广东省样题答案截图视频

2023年广东省职业院校技能大赛高职组 “信息安全管理与评估”赛项任务书一、赛项时间 9:00-13:30，共计4小时30分，含赛题发放、收卷时间。二、赛项内容本次大赛，各位选手需要完成三个阶段的任务，其中第一个阶段需要…...

编程日记 2025/9/2 10:57:13

ubuntu学习day1

linux常用命令 1. 用户相关 1.1 切换用户 su root #切换到root用户 su user #切换到普通用户sudo能赋予普通用户管理者权限，一般不要直接使用root用户进行操作。 1.2 添加用户 useradd 用户名 useradd user1 #添加了用户名为user1的用户但在ubuntu中想要创建普…...

编程日记 2025/9/2 5:20:21

ubuntu22.04-VMware Workstation移动后无法连接网络

1.VMware 中查看NAT模式 2.查看宿主机VMnet8的IP地址虚拟机里设置成192.168.20.160 ， 255.255.255.0, 192.168.20.2 在ubuntu系统中设置如下： 至此可以连上了。...

编程日记 2025/8/30 10:35:24

如何评估大模型的性能？有哪些常用的评估指标？

评估大模型（如大语言模型 LLM）的性能是一个多维度的问题，常常需要结合多个指标从不同角度来考察模型的能力。以下是常见的评估方法和指标：一、通用评估维度任务性能（Task Performance）衡量模型在特定任务上的表现，如问答、翻译、总结等。语言能力（Linguistic Capa…...

编程日记 2025/8/30 13:26:12

Linux驱动开发-网络设备驱动

Linux驱动开发-网络设备驱动一，网络设备总体结构1.1 总体架构1.2 NAPI数据处理机制二，RMII和MDIO2.1 RMII接口2.2 MDIO接口三，MAC和PHY模块3.1 MAC模块3.2 PHY模块四，网络模型4.1 网络的OSI和TCP/IP分层模型4.1.1 传输层&…...

编程日记 2025/9/3 1:25:08

CTF web入门之文件包含

web78: include函数执行file引入的文件，如果执行不成功，就高亮显示当前页面的源码。方法一：filter伪协议 file关键字的get参数传递，php://是一种协议名称，php://filter/是一种访问本地文件的协议，/readc…...

编程日记 2025/9/1 11:54:14

error: failed to run custom build command for `yeslogic-fontconfig-sys v6.0.0`

rust使用plotters时遇到编译错误。一、错误 error: failed to run custom build command for yeslogic-fontconfig-sys v6.0.0 二、解决方法我用的是opensuse，使用下面命令可以解决问题。 sudo zypper in fontconfig-devel...

编程日记 2025/8/21 21:36:05

低资源需求的大模型训练项目---调研0.5B大语言模型

一、主流0.5B大语言模型及性能对比 1. Qwen系列（阿里） • Qwen2.5-0.5B：阿里2024年9月开源的通义千问系列最小尺寸模型，支持32K上下文长度和8K生成长度。在中文场景下表现优异，指令跟踪、JSON结构化输出能力突出&…...

编程日记 2025/9/3 3:29:42

信息安全管理与评估广东省2023省赛正式赛题

任务1：网络平台搭建(60分) 题号网络需求 1 根据网络拓扑图所示，按照IP地址参数表，对DCFW的名称、各接口IP地址进行配置。（10分） 2 根据网络拓扑图所示，按照IP地址参数表，对DCRS的名称进…...

编程日记 2025/9/5 15:26:56

LeetCode.225. 用队列实现栈

用队列实现栈题目解题思路1. push2. pop3. empty CodeQueue.hQueue.cStack.c 题目 225. 用队列实现栈请你仅使用两个队列实现一个后入先出（LIFO）的栈，并支持普通栈的全部四种操作（push、top、pop 和 empty）。实现…...

编程日记 2025/9/4 21:36:30

CTF--bp

一、原题： （1）提示：弱密码top1000？z????? （2）原网页： 二、步骤： 1.先打开BP，随便输入一个密码： 2.打开BP，发现password&#…...

编程日记 2025/9/4 0:58:12

01_背包问题

package org.josh; import java.util.*; public class Main { public static void main(String[] args) { Scanner scanner new Scanner(System.in); int n scanner.nextInt(); // 物品数量 long w scanner.nextLong(); // 背包容量，使用long防止溢出 int[] v …...

编程日记 2025/9/1 4:24:41

ps 人像学习

视频： 一ps快捷键 1.1 创建图层 ctrlj 1.2 放大缩小图片的大小按住alt 滚轮 1.3 移动图片空格左键 1.4 撤回 ctrlz 二精修的第一步是去除斑点，瑕疵， 2.1 污点修复画笔工具新建一个图层，点击污点修复工具进行修复…...

编程日记 2025/8/29 17:47:23

【AI论文】MM-IFEngine：迈向多模态指令遵循

摘要：指令遵循（IF）能力衡量多模态大语言模型（MLLM）准确理解用户告诉他们的内容以及他们是否做得正确的能力。现有的多模态指令训练数据很少，基准测试简单，指令原子化，对于要求精确输…...

编程日记 2025/9/2 12:13:42

【C++初学】课后作业汇总复习（五）单目运算符重载

本题主要考察-构造函数的定义和操作符重载、友元函数等根据后缀和程序样例输出，完成分数类和相关函数的定义， 输入： -6 12 8 -16 输出： 1/2 1/1 -1/2 / -1/2 - -1/2 0/1 输入： 3 7 2 6 输出： 1/…...

编程日记 2025/9/5 23:52:55

Python基础语法速通（自用笔记）

目录 # 输出直接print就行了 # 次方，除法，取整 # 定义变量直接写就可以，不用写类型 # 基础的while不用写（）和{}，直接用冒号即可，缩进对齐 # 这里的for循环直接用in就可以,意思是从...中一个…...

编程日记 2025/9/5 20:01:45

Nginx基础讲解

Nginx基础讲解 Nginx 是一款高性能的 HTTP 服务器和反向代理服务器，广泛用于负载均衡、静态资源托管、SSL 终端等场景。以下是对 Nginx 的详细讲解： 1. Nginx 核心概念事件驱动架构：基于异步非阻塞模型，高效处理高并发连接…...

编程日记 2025/9/6 7:32:33

K8S+Prometheus+Consul+alertWebhook实现全链路服务自动发现与监控、告警配置实战

系列文章目录 k8s服务注册到consul prometheus监控标签文章目录系列文章目录前言一、环境二、Prometheus部署1.下载2.部署3.验证三、kube-prometheus添加自定义监控项1.准备yaml文件2.创建新的secret并应用到prometheus3.将yaml文件应用到集群4.重启prometheus-k8s pod5.访…...

编程日记 2025/9/5 22:54:45

组件安全工程化革命：从防御体系构建到安全基因重塑

文章目录总起：数字世界的钢铁长城分论： 一、组件生态的"七宗罪"与安全基因重组二、百万级流量下的安全工程化实战三、性能与安全的共生进化论四、安全工程化全链路解决方案总束：安全基因驱动的未来图景五、时代思考…...

编程日记 2025/9/3 22:01:24

(PC+WAP)大气滚屏网站模板电气电力设备网站源码下载

源码介绍 (PCWAP)大气滚屏网站模板电气电力设备网站源码下载。PbootCMS内核开发的网站模板，该模板适用于滚屏网站模板、电气电力设备网站源码等企业，当然其他行业也可以做，只需要把文字图片换成其他行业的即可；PCWAP&#xff0c…...

编程日记 2025/8/29 3:14:18

发送加密信息的简单实现【Java】

（修改期） 一、代码的引用处 public static SecretKeys generateKeys() throws NoSuchAlgorithmException {: 定义一个公共静态方法，用于生成 AES 和 HMAC 密钥对。 public static String encrypt(String plaintext, SecretKey aesKey, S…...

编程日记 2025/9/1 23:47:52

阿里云域名解析

一、打开域名控制台 PC端浏览器打开阿里云域名控制台：域名控制台，点击"域名解析"。二、添加解析设置选择需要解析的域名，点击"解析设置"。点击"添加记录"。添加@和www即可。...

编程日记 2025/8/17 20:38:57

DNS域名解析服务（正向反向主从）

DNS 1.分散式管理： Hosts文件一改百度就不会访问了 Ip地址域名 121．226.246.3 www.jd.com 2.我们会搭建一台域名解析服务器全世界得域名全靠这台服务器进行解析中央集权制域名是由多个部分组成的 www.baidu.com .baidu .com是域…...

编程日记 2025/8/31 14:56:32

ROS2---std_msgs基础消息包

std_msgs 是ROS 2（Robot Operating System 2）里的基础消息包，它定义了一系列简单却常用的消息类型，为不同节点间的通信提供了基础的数据格式。 1. 消息包概述 std_msgs 包包含了多种基础消息类型，这些类型用于表示常…...

编程日记 2025/9/5 3:55:20

python基础：数据类型转换、运算符(算术运算符、比较运算符、逻辑运算符、三元运算符、位运算符)

目录一、类型转换隐式类型转换/自动转换： 显示类型转换/强制转换： 二、运算符算数运算符： - * / 比较运算符逻辑/布尔运算符赋值运算符： 三元运算符位运算符 [二进制] 运算符优先级一、类型转换 python变量的类…...

编程日记 2025/8/30 10:18:15

[特殊字符] 终端效率提升指南：zsh + tmux

在日常开发中，一个舒适、高效的终端环境能显著提升工作效率。本文将介绍如何通过配置 oh-my-zsh 和 tmux 打造一个功能强大、便捷实用的终端工具集。无论你是 Linux 新手，还是资深开发者，都能从中获得实用的提升技巧。 🌀 一、终…...

编程日记 2025/8/23 5:04:57

【Linux篇】深入理解文件系统：从基础概念到 ext2 文件系统的应用与解析

文件系统的魔法：让计算机理解并存储你的数据一. 文件系统1.1 块1.2 分区1.3 inode(索引节点) 二. ext2文件系统2.1 认识文件系统2.2 Block Group (块组)2.2.1 Block Group 的基本概念2.2.2 Block Group 的作用 2.3 块组内部结构2.3.1 超级块（Super Bloc…...

编程日记 2025/9/3 9:26:52

MarkDown 输出表格的方法

MarkDown用来输出表格很简单，比Word手搓表格简单多了，而且方便修改。 MarkDown代码： |A|B|C|D| |:-|-:|:-:|-| |1|b|c|d| |2|b|c|d| |3|b|c|d| |4|b|c|d| |5|b|c|d|显示效果： ABCD1bcd2bcd3bcd4bcd5bcd A列强制左对齐&#xf…...

编程日记 2025/9/6 0:27:43

DOM解析XML：Java程序员的“乐高积木式“数据搭建

各位代码建筑师们！今天我们要玩一个把XML变成内存乐高城堡的游戏——DOM解析！和SAX那种"边看监控边破案"的刺激不同，DOM就像把整个乐高说明书一次性倒进大脑，然后慢慢拼装（内存：你不要过来啊&…...

编程日记 2025/8/30 13:26:15

直观比喻

实际例子：房价预测

不同学习率的效果

如何选择学习率？

可视化理解

相关文章：