当前位置：首页 > news >正文

AdamW 是 Adam 优化算法的改进版本； warmup_steps：学习率热身的步数

news 来源：原创 2025/9/13 0:51:00

AdamW 是 Adam 优化算法的改进版本

- AdamW 是 Adam 优化算法的改进版本
- - 1. `optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)`
  - 2. `num_epochs = 11`
  - 3. `total_steps = len(dataloader) * num_epochs`
- warmup_steps：学习率热身的步数，学习率会从一个较小的值逐渐增加到初始学习率![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/8e05fc4dd0d742c7bfd5eb593c35ab2a.png)
- - 4. `scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=total_steps)`

在这里插入图片描述

1. `optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)`

这行代码的作用是创建一个优化器对象，该对象会在模型训练期间更新模型的参数。

torch.optim.AdamW：这是 PyTorch 提供的一个优化器类，它实现了 AdamW 优化算法。AdamW 是 Adam 优化算法的改进版本，主要改进在于加入了权重衰减（weight decay）机制，能够有效防止模型过拟合。
model.parameters()：这是传入优化器的参数，它包含了模型中所有需要训练的参数。优化器会在训练时更新这些参数，从而让模型的性能得到提升。
lr=2e-4

AdamW 是 Adam 优化算法的改进版本； warmup_steps：学习率热身的步数

AdamW 是 Adam 优化算法的改进版本目录 AdamW 是 Adam 优化算法的改进版本1. `optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)`2. `num_epochs = 11`3. `total_steps = len(dataloader) * num_epochs`warmup_steps：学习率热身的步数，学习率会从一个较小的值逐…...

编程日记 2025/9/13 0:51:00

Java从入门到“放弃”（精通）之旅——运算符③

🌟Java从入门到“放弃”（精通）之旅🚀：运算符深度解析引言：运算符的本质与价值作为Java语言的核心组成部分，运算符是构建程序逻辑的基础元素。它们不仅仅是简单的数学符号，更是程…...

编程日记 2025/9/11 11:15:11

关于微服务负载均衡的详细说明，涵盖主流框架/解决方案的对比、核心功能、配置示例及总结表格

以下是关于微服务负载均衡的详细说明，涵盖主流框架/解决方案的对比、核心功能、配置示例及总结表格： 1. 负载均衡的核心概念负载均衡在微服务中用于将请求分发到多个服务实例，以实现： 高可用性：避免单点故障。性…...

编程日记 2025/9/12 4:19:25

【AI提示词】API开发专家

提示说明 API开发专家专注于设计和实现高效、稳定、安全的应用程序接口（API）。他们通过深入理解业务需求和用户场景，为用户提供定制化的API解决方案。提示词 # 角色 API开发专家## 注意 1. 专家设计应考虑API开发过程中的技术细节和用户需…...

编程日记 2025/9/7 19:12:38

Node.js中http模块详解

Node.js 中 http 模块全部 API 详解 Node.js 的 http 模块提供了创建 HTTP 服务器和客户端的功能。以下是 http 模块的所有 API 详解： 1. 创建 HTTP 服务器 const http require(http);// 1. 基本服务器 const server http.createServer((req, res) > {res.w…...

编程日记 2025/9/8 21:06:11

uniapp中，使用plus.io实现安卓端写入文件

这段代码是要删除的，留在这里避免以后用到。在我写流式语音接收与播放的时候，写到这里无法继续了，因为播放时总是出错，无法播放，因为audioContext.play()不支持但是，我写的这些，用于写入文件是…...

编程日记 2025/9/7 22:57:17

Linux xorg-server 解析（二）- 如何调试 xorg-server

一：概述 Xorg-server简称Xorg，它是Linux窗口系统的核心组件，它是用户态应用程序，但它的调试方法和普通用户态应用程序有所不同，因为Xorg是系统的核心组件，负责图形显示和输入设备的管理，所以在单台机器上调试Xorg可能会面临一些困难和限制，如果在同一台机器上调试它，可…...

编程日记 2025/9/11 17:35:02

CFS 调度器两种调度类型普通调度和组调度

在 Linux 的 CFS（Completely Fair Scheduler） 调度器中，确实存在两种调度类型：普通调度和组调度。这两种调度类型分别适用于不同的场景，并通过三个关键维度（权重、抢占优先级、最大配额）来影响…...

编程日记 2025/9/11 21:05:13

「逻辑推理」AtCoder AT_abc401_d D - Logical Filling

前言这次的 D 题出得很好，不仅融合了数学逻辑推理的知识，还有很多细节值得反复思考。虽然通过人数远高于 E，但是通过率甚至不到 60%，可见这些细节正是出题人的侧重点。题目大意给定一个长度为 N N N 的字符串 S S S&#…...

编程日记 2025/9/9 16:02:02

PyTorch 深度学习实战（36）：混合精度训练与梯度缩放

在上一篇文章中，我们探讨了图生成模型与分子设计。本文将深入介绍混合精度训练（Mixed Precision Training）和梯度缩放（Gradient Scaling）技术，这些技术可以显著加速模型训练并减少显存占用，同时…...

编程日记 2025/9/11 20:52:54

【Flink运行时架构】组件构成

在Flink的运行架构中，有两大比较重要的组件：作业管理器（JobManager）和任务管理器（TaskManager）。 Flink的作业提交与任务处理时的系统如下图所示。其中，客户端并不是处理系统的一部分&#xff…...

编程日记 2025/9/9 14:41:08

simpy仿真

一共5个顾客，2个服务台 import simpy import randomdef customer(env, name, service_time_mean):arrival_time env.nowprint(f{arrival_time}: {name} 到达服务台，开始排队)with server.request() as req:yield reqwait_time env.now - arrival_time…...

编程日记 2025/9/10 4:42:09

Docker 安装MySQL

一键启动 docker run -d \--name mysql \-p 3306:3306 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD1234 \-v /usr/local/mysql/data:/var/lib/mysql \-v /usr/local/mysql/conf:/etc/mysql/conf.d \--restart always --name mysql \mysql 检查是否启动 docker ps 本地连接测…...

编程日记 2025/9/10 1:26:28

【消息队列kafka_中间件】三、Kafka 打造极致高效的消息处理系统

在当今数字化时代，数据量呈爆炸式增长，实时数据处理的需求变得愈发迫切。Kafka 作为一款高性能、分布式的消息队列系统，在众多企业级应用中得到了广泛应用。然而，要充分发挥 Kafka 的潜力，实现极致高效的消息处理&…...

编程日记 2025/9/12 15:58:26

conda如何安装和运行jupyter

在Conda环境中安装和运行Jupyter Notebook是一项常见且实用的任务，特别是在数据科学和机器学习项目中。以下是使用Conda安装和运行Jupyter Notebook的步骤： 安装Jupyter Notebook 首先，确保你的Conda是最新的。打开终端或Anaconda Prompt&a…...

编程日记 2025/8/29 1:14:56

防爆平板：石油化工厂智慧转型的“中枢神经”

易燃易爆气体、高温高压环境、复杂设备集群，这些特性使得传统电子设备难以直接融入生产流程。而防爆平板的出现，不仅打破了这一技术壁垒，更通过智能化、模块化设计，逐步成为连接人、设备与数据的“中枢神经”，推动石油…...

编程日记 2025/9/8 7:51:16

遨游科普：三防平板可以实现哪些功能？

在现代工业与户外作业场景中，电子设备不仅要面对极端环境的考验，更要承担起高效协同生产的重任。三防平板作为“危、急、特”场景移动终端的代表性产品，其核心价值早已超越传统消费级设备的范畴，成为连接智慧生产与安全管理的重要…...

编程日记 2025/9/8 15:03:52

互联网三高-数据库高并发之分库分表

1 数据库概述 1.1 数据库本身的瓶颈 ① 连接数 MySQL默认最大连接数为100，允许的最大连接数为16384 ② 单表海量数据查询性能单表最好500w左右，最大警戒线800w ③ 单数据库并发压力问题 MySQL QPS：1500左右/秒 ④ 系统磁盘IO、CPU瓶颈 1.2 数…...

编程日记 2025/9/9 1:05:38

Python----机器学习（基于贝叶斯的鸢尾花分类）

贝叶斯方法是一种统计推断的方法，它利用贝叶斯定理来更新我们对事件概率的信念。这种方法在机器学习和数据分析中得到广泛应用，特别是在分类和概率估计问题上。一、数据集介绍这是分类方法文献中最早使用的数据集之一，广泛用于统计和机器…...

编程日记 2025/9/11 4:51:30

问题｜对于初学者来说，esp32和stm32哪个比较适合？

对于初学者选择ESP32还是STM32入门嵌入式开发，需综合考虑学习目标、兴趣方向及未来职业规划。以下是两者的对比分析及建议： 1. 适合初学者的关键因素 ESP32的优势内置无线通信：集成Wi-Fi和蓝牙功能，无需额外模块即可开发物联网…...

编程日记 2025/9/8 0:15:32

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow...

Spark异常：Kryo serialization failed: Buffer overflow. 1、问题描述 SparkSQL任务报错如下： org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: xxx. To avoid this, increase spark.kryoseri…...

编程日记 2025/9/10 15:45:34

webpack vite

1、webpack webpack打包工具（重点在于配置和使用，原理并不高优。只在开发环境应用，不在线上环境运行），压缩整合代码，让网页加载更快。前端代码为什么要进行构建和打包？ 体积更好&#x…...

编程日记 2025/9/2 17:17:25

论文笔记——KIMI-VL：具有增强推理能力的有效开源视觉语言模型

KIMI-VL：具有增强推理能力的有效开源视觉语言模型原文地址：https://arxiv.org/pdf/2504.07491v1 开源地址：https://github.com/MoonshotAI/Kimi-VL 目录简介架构概述训练方法主要功能性能基准通过长链思考增强推理应用结论简介视觉…...

编程日记 2025/9/11 20:17:31

大模型蒸馏-小模型超进化

👏作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家📕系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理、AI应用🔥如果感觉…...

编程日记 2025/9/11 1:14:01

辅助记忆数字和唱名的小工具【仅PC端】

通过网盘分享的文件：random_music_note.exe 链接: https://pan.baidu.com/s/1Akc2gPzAcyhEfPHlbOYLXw?pwd4fua 提取码: 4fua –来自百度网盘超级会员v7的分享...

编程日记 2025/8/17 20:49:09

Android 知识沉淀

注解 1.枚举类型传参优化 enum WeekDay{SUNDAY, MONDAY}public static void setDay(WeekDay day){}我们已知，枚举类型是一个对象，对象占用的空间较大，有 12 个对象头对象的数据部分8 字节对齐，所以这里可以利用注解优化&#xff…...

编程日记 2025/9/5 10:05:38

KiActivateWaiterQueue函数和Queue-＞Header.WaitListHead队列等待列表的关系

第一部分： if (Thread->ApcState.KernelApcPending && (Thread->SpecialApcDisable 0) && (Thread->WaitIrql < APC_LEVEL)) { } else { // // Insert wait block in ob…...

编程日记 2025/9/10 16:29:53

代码学习总结（一）

代码学习总结（一） 这个系列的博客是记录下自己学习代码的历程，有来自平台上的，有来自笔试题回忆的，主要基于 C 语言，包括题目内容，代码实现，思路，并会注明题目难度&…...

编程日记 2025/9/11 18:01:22

设计模式 --- 策略模式

策略模式（Strategy Pattern）是一种行为型设计模式，用于动态切换算法或策略，使得算法可以独立于客户端变化。它通过封装算法策略并使其可互换，提升了系统的灵活性和扩展性，尤其适用于需要多种…...

编程日记 2025/9/11 14:38:28

c++进阶之----智能指针

1.概念在 C 中，智能指针是一种特殊的指针类型，它封装了裸指针（raw pointer）的行为，并通过 RAII（Resource Acquisition Is Initialization，资源获取即初始化）机制自动管理动态分配的…...

编程日记 2025/9/10 16:27:21

08-JVM 面试题-mk

1.JVM 的各部分组成知道JVM 的好处：知道java 运行机制，排查问题的能力增加，比如内存泄漏、CPU飙高 JVM 是什么：Java Virtual Machine缩写，Java程序的运行环境（java二进制字节码的运行环境）好处：一次编写，到处运行自动内存管理，垃圾回收机制从图中可以看出 JVM …...

编程日记 2025/9/11 8:02:24

MTK7628基于原厂的mtk-openwrt-sdk-20160324-8f8e4f1e.tar.bz2 源代码包，配置成单网口模式的方法

一、配置. 在SDK工程下，运行make kernel_menuconfig，如下图所示： Ralink Module --->选上“One Port Only”，如下图所示： 如果P0网口实现WAN口，就配置成W/LLLL,否则就配置成LLLL/W. 二、修改网口的原代…...

编程日记 2025/9/4 5:56:10

青少年编程与数学 02-016 Python数据结构与算法 15课题、字符串匹配

青少年编程与数学 02-016 Python数据结构与算法 15课题、字符串匹配一、字符串匹配问题的基本概念（一）定义（二）术语二、暴力匹配算法（Naive String Matching）（一）算法逻辑&#xf…...

编程日记 2025/9/9 10:34:11

基础层数据从kafka读取写入hbase的优化方案

背景: 上游kafka的topic只有一个分区,所以spark在消费的时候,无论设置的executor数有多少,最终只有一个executor在执行,如果不指定executor num的话,默认是开启两个executor,有一个executor的资源是浪费的,例如下面显示的情况,其实只有一个executor是active的状态. 在消费的时…...

编程日记 2025/9/8 21:36:50

thingsboard3.9.1编译问题处理

问题1： [ERROR] Failed to execute goal org.thingsboard:gradle-maven-plugin:1.0.12:invoke (default) on project http: Execution default of goal org.thingsboard:gradle-maven-plugin:1.0.12:invoke failed: Plugin org.thingsboard:gradle-maven-plugin:1.…...

编程日记 2025/9/8 1:28:43

Adobe Photoshop 2025 Mac中文 Ps图像编辑

Adobe Photoshop 2025 Mac中文 Ps图像编辑一、介绍 Adobe Photoshop 2025 Mac版集成了多种强大的图像编辑、处理和创作功能。①强化了Adobe Sensei AI的应用，通过智能抠图、自动修复、图像生成等功能，用户能够快速而精确地编辑图像。②3D编辑和动画功…...

编程日记 2025/9/10 18:12:13

什么是VLA

视觉-语言-动作（VLA）技术综述：迈向具身智能的未来 1. 引言随着人工智能从单一模态感知迈向多模态交互，视觉-语言-动作（Vision-Language-Action, VLA） 技术逐渐成为连接感知、推理与物理行动的核心桥梁。V…...

编程日记 2025/9/12 10:52:37

数据结构：C语言版严蔚敏和解析介绍，附pdf

《数据结构：C语言版（第2版）》严蔚敏李冬梅吴伟民.pdf 《数据结构：C语言版》严蔚敏，李冬梅.pdf 《数据结构C语言第2版习题解析与实验指导》李冬梅.pdf 「《数据结构：C语言版（第2版 ）》…...

编程日记 2025/9/8 12:23:22

C++线段树详解与实现技巧

📚 C++线段树详解与实现技巧线段树（Segment Tree）是一种高效处理区间查询和区间更新的数据结构，时间复杂度为 O(log n)。本文结合代码实例，详解其核心原理与实现细节。 🌳 线段树结构特点完全二叉树：使用数组存储，父子节点关系通过下标计算。区间划分：每个节…...

编程日记 2025/9/7 6:32:20

202527 | RabbitMQ-基础 | 队列 | Direct + Fanout + Topic 交换机 | 消息转换器

RabbitMQ RabbitMQ 架构与核心概念详解一、整体架构图 #mermaid-svg-UTlKmvHL7RNWK6vu {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-UTlKmvHL7RNWK6vu .error-icon{fill:#552222;}#mermaid-svg-UTlKmvHL7RNWK6v…...

编程日记 2025/9/10 6:42:28

【学习笔记】服务器上使用 nbconvert 将 Jupyter Notebook 转换为 PDF

1. 环境准备：安装必要工具在服务器终端运行以下命令，确保依赖已安装： (1) 安装 nbconvert 和 pandoc pip install nbconvert pandoc (2) 安装 LaTeX（推荐 TeX Live） # Ubuntu/Debian sudo apt-get update sudo a…...

编程日记 2025/9/10 14:20:42

List、Set集合通过Stream流求和

目录一、泛型为Integer、Long、Double、BigDecimal求和二、泛型为实体类对单个属性求和对多个属性分别分组求和并返回聚合后的对象多字段乘积求和（基本数据类型） 多字段乘积求和（BigDecimal） 对对象中的多个字段求和…...

编程日记 2025/9/9 16:39:31

微软VSCode 能否击败 Cursor 和 Windsurf？

微软是否能利用平台优势和许可限制来阻止竞争对手？ AI 代码编辑器之战加剧蓬勃发展的 AI 代码编辑领域竞争日益激烈，这个最具变革性和盈利性的新技术领域正在适应相互间的竞争。Visual Studio Code 目前是最主导的代码编辑器。 “根据 Stack Overflow 调查，Visual Studi…...

编程日记 2025/9/5 21:22:01

VSCode会击败Cursor和Windsurf吗？

VSCode 会击败 Cursor 和 Windsurf 吗？微软能不能靠自己的地盘优势和规则限制打压对手？答案是"能"，但他们真的会这么干吗？ Cursor & Windsurf vs VSCode Copilot 大PKAI编程工具大战越来越激烈现在最火最赚钱的AI…...

编程日记 2025/9/10 3:35:09

机器学习（4）—— K近邻算法

文章目录 1. K近邻算法（K-Nearest Neighbors, KNN）原理1.1. K近邻算法是什么算法？1.2. 核心思想 2. K近邻算法的步骤2.1. 选择K值2.2. 计算距离2.3. 选择最近邻：2.4. 做出预测： 3. K值的选择4. 数据标准化5. 优缺点6. …...

编程日记 2025/9/3 22:49:47

深入解读 React 纯组件(PureComponent)

什么是纯组件？ React 的纯组件(PureComponent)是 React.Component 的一个变体，它通过浅比较(shallow comparison)props 和 state 来自动实现 shouldComponentUpdate() 方法，从而优化性能。核心特点 1. 自动浅比较： PureCompon…...

编程日记 2025/9/11 7:17:00

常见MQ及类MQ对比：Redis Stream、Redis Pub/Sub、RocketMQ、Kafka 和 RabbitMQ

常见MQ及类MQ对比基于Grok调研 Redis Stream、Redis Pub/Sub、RocketMQ、Kafka 和 RabbitMQ 关键点： Redis Pub/Sub 适合简单实时消息，但不持久化，消息可能丢失。Redis Stream 提供持久化，适合需要消息历史的场景，但…...

编程日记 2025/9/7 6:36:42

202528 | RabbitMQ-高级 | 消息可靠性 | 业务幂等性 | 延迟消息

消息可靠性 RabbitMQ发送者可靠性一、发送者重连机制 #mermaid-svg-gqr6Yr5UNZX87ZDU {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-gqr6Yr5UNZX87ZDU .error-icon{fill:#552222;}#mermaid-svg-gqr6Yr5UNZX87ZD…...

编程日记 2025/9/6 18:38:01

Java EE期末总结（第六章）

一、IoC 1、Bean装配流程 IOC装配流程在代码中的对应就体现在Service这个注解依赖注入在代码中体现在 ，比如 Resource UserService userService 二、AOP 简化流程，为程序员简便操作 tmd编不下去了我自己看视频都没理解md不弄了； 给两个…...

编程日记 2025/9/10 1:26:29

ASP.NET Core 性能优化：内存缓存

文章目录前言一、什么是缓存二、内存缓存三、使用内存缓存1）注册内存缓存服务2）注入与基本使用3）高级用法GetOrCreate（避免缓存穿透）异步方法：GetOrCreateAsync（避免缓存穿透）两种过…...

编程日记 2025/9/1 6:42:13

AdamW 是 Adam 优化算法的改进版本

目录

1. optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)

相关文章：

1. `optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)`