PyTorch实现权重衰退：从零实现与简洁实现
一、权重衰退原理
权重衰退（L2正则化）通过向损失函数添加权重的L2范数惩罚项，防止模型过拟合。其损失函数形式为：
二、从零开始实现
1.1 导入库与数据生成
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l# 超参数设置
train_samples, test_samples, inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((inputs, 1)) * 0.01, 0.05# 生成合成数据
train_data = d2l.synthetic_data(true_w, true_b, train_samples)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, test_samples)
test_iter = d2l.load_array(test_data, batch_size)1.2 模型参数初始化
def init_params():w = torch.normal(0, 1, size=(inputs, 1), requires_grad=True)b = torch.zeros(1, requires_grad=True)return [w, b]1.3 定义L2正则化
def l2_penalty(w):return torch.sum(w**2) / 21.4 训练函数
def train(l):w, b = init_params()net = lambda x: d2l.linreg(x, w, b)loss = d2l.squared_lossepochs, lr = 100, 0.03animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',xlim=[5, epochs], legend=['train', 'test'])for epoch in range(epochs):for X, y in train_iter:l_ = loss(net(X), y) + l * l2_penalty(w)l_.sum().backward()d2l.sgd([w, b], lr, batch_size)if (epoch + 1) % 5 == 0:animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print(f"w的L2范数: {torch.norm(w).item():.5f}")1.5 训练结果
不使用权重衰退（λ=0）
train(l=0)输出结果：
w的L2范数: 13.72006
使用权重衰退（λ=3）
train(lambd=3)输出结果：
w的L2范数: 0.0426
2. PyTorch简洁实现
2.1 定义模型与训练
def train_concise(lambd):net = nn.Sequential(nn.Linear(inputs, 1))for param in net.parameters():param.data.normal_()loss = nn.MSELoss()optimizer = torch.optim.SGD([{"params": net[0].weight, "weight_decay": lambd},{"params": net[0].bias}], lr=0.03)animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',xlim=[5, 100], legend=['train', 'test'])for epoch in range(100):for X, y in train_iter:optimizer.zero_grad()l = loss(net(X), y)l.backward()optimizer.step()if (epoch + 1) % 5 == 0:animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),d2l.evaluate_loss(net, test_iter, loss)))print(f"w的L2范数: {torch.norm(net[0].weight).item():.4f}")2.2 训练结果
不使用权重衰退（λ=0）
train_concise(0)输出结果：
w的L2范数: 14.3265
使用权重衰退（λ=3）
train_concise(3)输出结果：
w的L2范数: 0.0528
关键点解析
-
L2正则化：通过向损失函数添加权重的平方和项（
λ * ||w||^2），限制权重的大小，防止过拟合。 -
参数对比：
-
无正则化时，权重范数较大（13.72），模型可能过拟合。
-
加入正则化后，权重范数显著降低（0.04），模型更稳定。
-
-
损失曲线：正则化后测试损失与训练损失更接近，表明泛化能力提升。
常见错误解决
在简洁实现中，若出现 TypeError: 'function' object is not iterable，请检查：
-
evaluate_loss的参数是否正确传递数据迭代器（如train_iter而非train）。 -
确保数据加载器已正确定义。
通过本文，读者可以掌握权重衰退的核心思想，并学会在PyTorch中实现正则化方法。完整代码已通过测试，可直接运行。
相关文章：
PyTorch实现权重衰退：从零实现与简洁实现
一、权重衰退原理 权重衰退（L2正则化）通过向损失函数添加权重的L2范数惩罚项，防止模型过拟合。其损失函数形式为： 二、从零开始实现 1.1 导入库与数据生成 %matplotlib inline import torch from torch import nn from d2l imp…...
Webflux声明式http客户端：Spring6原生HttpExchange实现，彻底摒弃feign
🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...
函数用法； 字符串切片操作)
python的strip()函数用法； 字符串切片操作
python的strip()函数用法 目录 python的strip()函数用法代码整体功能概述代码详细解释1. `answer["output_text"]`2. `.strip()`3. `final_answer = ...`字符串切片操作：answer[start_index + len("Helpful Answer:"):].strip()整体功能概述代码详细解释1…...
多模态大语言模型arxiv论文略读（二十一）
EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning ➡️ 论文标题：EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning ➡️ 论文作者：Yi Chen, Yuying Ge, Yixiao Ge, Mi…...
MCP学习资料
Anthropic 官方：https://modelcontextprotocol.io/introduction 中文站：https://mcpcn.com/docs/examples/...
《Training Language Models to Self-Correct via Reinforcement Learning》全文翻译
《Training Language Models to Self-Correct via Reinforcement Learning》 通过强化学习训练语言模型实现自我修正 Aviral Kumar ∗ , 1 { }^{\\*, 1} ∗,1, Vincent Zhuang ∗ , 1 { }^{\\*, 1} ∗,1, Rishabh Agarwal ∗ , 1 { }^{\\*}, 1 ∗,1, Yi Su ∗ , 1 { }^…...
Rust 之五 所有权、.. 和 _ 语法、引用和切片、Vec＜T＞、HashMap＜K, V＞
概述 Rust 的基本语法对于从事底层 C/C 开发的人来说多少有些难以理解，虽然官方有详细的文档来介绍，不过内容是相当的多，看起来也费劲。本文通过将每个知识点简化为 一个 DEMO 每种特性各用一句话描述的形式来简化学习过程，提高学…...
如何运行Vue 3 + Tauri + Rust 前端项目
Vue 3 Tauri Rust 前端项目运行需要安装以下工具和依赖： 1. 基本开发工具 Node.js (建议 LTS 版本) - 用于运行前端构建工具 包含 npm 或 yarn 包管理器下载地址 Rust 工具链 - Tauri 基于 Rust 构建 通过 rustup 安装安装命令: curl --proto https --tlsv1.2 -…...
Nature图形复现—Origin绘制顶刊水准的多组柱状图
多组柱状图（也称分组柱状图或簇状柱状图）是一种数据可视化图形，用于同时展示多个组别在不同子类别下的数据对比。其核心特点是通过并列的柱子将不同组别的数据排列在同一子类别下，便于直观比较。 本期教程以2022年发表于Nature的文…...
空格键会提交表单吗？HTML与JavaScript中的行为解析
在网页开发中，理解用户交互细节对于提供流畅的用户体验至关重要。一个常见的问题是：空格键是否会触发表单提交？本文将通过一个简单的示例解释这一行为，并探讨如何使用HTML和JavaScript来定制这种交互。 示例概览 考虑以下HTML代…...
详解@JsonFormat和@DateTimeFormat注解：处理日期格式化的利器
在Java开发中，尤其是Spring和Spring Boot项目中，日期时间类型（如Date、LocalDateTime等）的格式化问题经常困扰开发者。例如，前端传递的日期字符串如何转换为后端对象？后端返回的日期对象如何按指定格式序列化？这时候，@JsonFormat和@DateTimeFormat两个注解可以轻松解决…...
python-各种文件（txt,xls,csv,sql,二进制文件）读写操作、文件类型转换、数据分析代码讲解
1.文件txt读写标准用法 1.1写入文件 要读取文件，首先得使用 open() 函数打开文件。 file open(file_path, moder, encodingNone) file_path：文件的路径，可以是绝对路径或者相对路径。mode：文件打开模式，r 代表以…...
Python（16）Python文件操作终极指南：安全读写与高效处理实践
目录 背景介绍一、文件操作基础架构1. 文件打开模式详解 二、文件读取全攻略1. 基础读取方法2. 大文件处理方案3. 定位与截断 三、文件写入进阶技巧1. 基础写入操作2. 缓冲控制与实时写入 四、with上下文原理剖析1. 上下文管理协议2. 多文件同时操作 五、综合实战案例1. 加密文…...
Maven相关名词及相关配置
1、相关名词 1 Project： 任何你想build的事物，maven都可以认为他们是工程，这些工程被定义为工程对象模型(POM:Project Object Model)一个工程可以依赖其他的工程，一个工程也可以有多个子工程构成。 2 POM： 就是xml文件…...
【自动化测试】如何获取cookie，跳过登录的简单操作
前言 🌟🌟本期讲解关于自动化测试函数相关知识介绍~~~ 🌈感兴趣的小伙伴看一看小编主页：GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 🎆那么废话…...
登录校验：保障系统安全访问的关键技术解析
摘要：本文围绕Tlias智能学习辅助系统的登录校验功能展开，深入剖析了实现登录校验的必要性，介绍了会话技术和统一拦截技术等关键实现思路，并对Cookie、Session和令牌技术三种会话跟踪方案进行了详细对比，旨在为系统的安…...
数据库案例1--视图和索引
以下是一个关于数据库视图和索引的高级使用教程，结合实际案例进行讲解。我们将使用一个电商系统的数据库作为示例，展示如何创建和优化视图，以及如何通过索引提高查询性能。 案例背景 假设我们有一个电商系统，包含以下表…...
load_summarize_chain ,load_qa_chain 是什么
load_summarize_chain ,load_qa_chain 是什么 目录 load_summarize_chain ,load_qa_chain 是什么`load_summarize_chain``load_qa_chain`其他构建链的方式SequentialChain, TransformChainload_summarize_chain 和 load_qa_chain 都是 LangChain 库中的实用工具函数，用于快速构…...
SQL2API 核心理念：如何重构数据服务交付范式
在企业数据治理的漫长链条中，"数据服务交付" 始终是决定数据价值转化效率的关键一环。传统数据接口开发需经历需求沟通、SQL 编写、后端编码、接口测试、权限配置等多个环节，平均开发周期长达 7-10 天，且技术门槛高，导致…...
Proteus 仿真51单片机-串口收发小窥
51单片机 51单片机是一种经典的8位微控制器，广泛应用于各种嵌入式系统开发中。它具有结构简单、可靠性高、价格低廉等特点，深受工程师和电子爱好者的喜爱。 51单片机的核心是一个8位的CPU，能够执行多种指令，完成数据处理和逻辑运…...
信号与系统期中复习（第一章）
1、连续信号叠加的周期 2、离散信号的周期判定 离散信号只有当周期为整数的时候，才是周期信号 3、信号的时间变换 4、取样性质相关计算 5、系统的描述 6、线性系统的性质 7、信号的时间变换 8、基本概念 判断时不变系统的方法： 若f（t&#…...
bash的特性-常用的通配符
在Linux或Unix系统中，Bash作为最常用的命令行解释器之一，提供了多种通配符（wildcards）来帮助用户更高效地进行文件操作。这些通配符可以用来匹配多个文件名或路径名，极大地简化了批量处理任务。本文将详细介绍Bash中常…...
Android12 自定义系统服务
在Android中可以通过两种方式创建系统服务： 由SystemServer启动的系统服务，使用SystemServer线程资源，适合轻量级的服务，比如各种XMS服务；占用独立进程，在系统启动时，由init进程拉起，比如SurfaceFlinger；本文采用的是第一种方式。 自定义AssistantManagerService 参…...
安防监控视频管理平台EasyCVR助力建筑工地施工4G/5G远程视频监管方案
一、项目背景 随着城市建设的快速发展，房地产建筑工地的数量、规模与施工复杂性都在增加，高空作业、机械操作频繁，人员流动大，交叉作业多，安全风险剧增。施工企业和政府管理部门在施工现场管理上都面临难题。政府部门…...
如何针对游戏、金融行业定制CC攻击防护规则？
针对游戏和金融行业的高并发、实时交互及高价值特性，CC攻击防护需结合业务场景定制规则。以下是分行业的定制化防护方案： 一、游戏行业CC攻击防护规则 1. 核心防护目标 保障低延迟（毫秒级响应）防止作弊工具伪造…...
【redis】初识redis
初识redis Redis 是一种基于键值对（key-value） 的 NoSQL 的数据库，它与很多键值数据库不同， Redis 中的值可以是 string（字符串） 、hash（哈希）、list（链表）、…...
MJ PDF汉化版：功能强大，阅读无忧
在数字化时代，PDF 文件已成为我们日常生活和工作中不可或缺的一部分。无论是学习资料、工作报告还是电子书，PDF 格式因其兼容性和稳定性而被广泛使用。然而，对于许多中文用户来说，使用英文界面的 PDF 阅读器可能会带来不便。 今天…...
线代第二章矩阵第二课：矩阵的加法、减法、数乘
一、矩阵的加法、减法 加法 减法 二、矩阵的数乘 规律： （1）K(AB)KAKB （2）(KL)AKALA （3）k(LA)(kL)AL(kA) （4）1*A A ; (-1)*A -A 观看笔记来源： 《线性代数…...
Python实例题：Python自动获取海量IP工具
目录 Python实例题 题目 实现思路 代码实现 代码解释 get_proxy_list 函数： check_proxy_validity 函数： save_valid_ips 函数： 主程序： 运行思路 注意事项 Python实例题 题目 Python自动获取海量IP工具 实现思路 …...
Vue el-from的el-form-item v-for循环表单如何校验rules（一）
实际业务需求场景： 新增或编辑页面（基础信息表单，一个数据列表的表单），数据列表里面的表单数是动态添加的。数据可新增、可删除，在表单保存前，常常需要做表单必填项的校验，校验通过以…...
AI 边缘计算盒子：开启智能物联新时代
一、什么是 AI 边缘计算盒子 AI 边缘计算盒子是一种集成了高性能芯片、AI 算法和数据处理能力的硬件设备。它部署在数据源的边缘侧，如工厂、商场、交通路口等，能够在本地进行数据采集、预处理、分析和决策，而无需将所有数据上传到云端。这种…...
【AGI】MCP生态的“飞轮效应”
【AGI】MCP生态的“飞轮效应” （一）打通AI代理外部交互的“最后一公里”1. AI代理的核心挑战：可靠的外部服务交互2. MCP的解决方案：结构化交互协议3. 案例对比：Figma设计修改任务4. 行业影响：从实验性技术到…...
【无标题】win7和win11双系统共存
一、背景： .本人自有戴尔E6440型老款笔记本电脑一台。500g固态硬盘，12g内存，硬盘共分了两个分区。由于本人想实现Win11系统和win七双系统共存，和可以分别加载，今晚上折腾了几个小时终于搞定了！现把经验总结…...
国内开源医疗模型研究报告
引言 随着人工智能技术的快速发展，医疗AI领域正经历前所未有的变革。开源医疗模型作为这一领域的核心技术基础设施，不仅推动了医疗智能化进程，也为医疗工作者提供了强大的辅助工具。本报告将深入探讨国内优秀的开源医疗模型，分析…...
【工具变量】1907年大清邮政舆图数据集（高清图+PDF）
大清邮政舆图是清朝时期为邮政管理而制作的一部详细地图，主要用于邮政线路的规划与管理。该舆图不仅标示了全国各地的邮政线路，还包括了各地的地理位置、行政区划和重要的交通枢纽。大清邮政舆图在中国历史上具有重要的地理和邮政历史价值，是…...
leetcode 121. Best Time to Buy and Sell Stock
题目描述 本题属于动态规划类问题。 dp数组的含义 dp[i][0]表示从第0天到第i天为止，处于持有股票的状态下，账户里的最大金额。 dp[i][1]表示从第0天到第i天为止，处于不持有股票的状态下，账户里的最大金额。 按照这个定义dp[n-…...
UWB定位技术面临的主要挑战
UWB定位技术面临的主要挑战（品铂科技视角） 一、复杂工业场景下的信号稳定性挑战 品铂科技QM35825芯片虽通过4天线射频架构和接收分集技术将金属密集环境下的多径误差降低至传统方案的1/8，但在多层混凝土厂房或动态金属设备场景…...
获取 arm-none-eabi-ld 默认使用的链接脚本
使用如下命令 ./arm-none-eabi-ld --verbose > "arm-none-eabi-ld-default.ld"将输出重定向到一个 .ld 文件中。得到的文件内容如下 GNU ld (Arm GNU Toolchain 14.2.Rel1 (Build arm-14.52)) 2.43.1.20241119Supported emulations:armelf using internal linke…...
无人机设备遥控器之多控一机技术篇
无人设备遥控器的多控一机技术，是指通过多个遥控器或控制端协同实现对同一台无人设备的精准控制。该技术融合了通信技术、信号处理与协同控制算法，其核心在于多源信号的融合处理与动态控制权分配。 一、技术原理 多源信号融合 通过接收多个遥控器发送的…...
python自动化浏览器标签页的切换
#获取全部标签页的句柄返回句柄的列表 handleswebdriver.window_handles#获取全部标签页的句柄返回句柄的列表 print(len(handles)) 切换标签页 handleswebdriver.window_handles webdriver.switch_to.window(handles[index])#切换到第几个标签页就写几 关闭标签页 关闭标…...
)
一个异步架构设计：批量消费RabbitMQ，批量写入Elasticsearch(golang实现)
在数仓团队，异步任务设计非常常见，主要原因就是数据量太大，不适合做成同步，在自动驾驶这个业务上，数据大到什么程度呢，单模块每天标签的上报数量就能达到5000W，如果算上车端挖掘、云端挖掘、标注…...
加固笔记本：无人机领域智能作业的可靠算力中枢
在无人机技术快速发展的今天，行业应用场景日益复杂化——从高空电力巡检到极地环境监测，从军事侦察到农业植保，无人机的智能化作业对计算设备的稳定性、环境适应性和数据处理能力提出了更高要求。鲁成伟业深耕工业计算领域十余年，…...
非参数 Spearman 相关在多组学分析中的力量及AI拓展
在大数据生物学时代，多组学分析为理解复杂的生物系统提供了前所未有的洞察力。然而，解读这些数据集内部错综复杂的关系需要强大且通用的分析工具。其中，非参数 Spearman 相关性作为一种揭示隐藏关联的有力方法脱颖而出。 AI拓展 多组学数据…...
大模型面经 | 请你介绍一下ReAct（Reasoning and Acting）？
大家好，我是皮先生！！ 今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。 往期回顾： 大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一） 大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二） 大模型面经 | 春招、秋招算法…...
如何高效使用 Text to SQL 提升数据分析效率？四个关键应用场景解析
数据分析师和业务人员常常面临这样的困境：有大量数据等待分析，但 SQL 编写却成为效率瓶颈。即使对于经验丰富的数据分析师来说，编写复杂 SQL 查询也需要耗费大量时间；而对于不具备 SQL 专业知识的业务人员，数据分析则更…...
Python对ppt进行文本替换、插入图片、生成表格
目录 1. 安装pptx2. 文本替换和插入图片3. 生成表格 1. 安装pptx pip install python-pptx2. 文本替换和插入图片 文本通过占位符例如{{$xxx}}进行标记，然后进行替换；图片通过ppt中的图形和图片中的占位符进行标记ppt如下 具体实现 from pptx import …...
OpenResty与Nginx的功能对比分析
OpenResty 和 Nginx 都是高性能的 Web 服务器和反向代理服务器，但它们在设计目标和功能上有显著区别。以下是它们的主要差异： 1. 核心定位 Nginx 是一个轻量级、高性能的 HTTP 服务器和反向代理，专注于静态内容服务、负载均衡和 HTTP 请求处…...
React 在组件间共享状态
在组件间共享状态 有时候，你希望两个组件的状态始终同步更改。要实现这一点，可以将相关 state 从这两个组件上移除，并把 state 放到它们的公共父级，再通过 props 将 state 传递给这两个组件。这被称为“状态提升”，这…...
1.Framer Motion 中 motion/react 和 motion/react-client 的用法和区别
背景知识：服务器端渲染 (SSR) 和客户端渲染 (CSR) 在理解这两个模块的区别之前，我们需要了解 React 应用的两种主要渲染方式： 服务器端渲染 (SSR): React 组件在服务器上被渲染成 HTML 字符串，然后发送给浏览器。浏览器接收到的…...
在 Redis 中存储对象类型的数据时，选择hash还是string?
在 Redis 中存储对象类型的数据时，选择 String（存储 JSON）还是其他数据结构（如 Hash），需根据业务场景、性能需求和数据操作模式综合权衡。以下是详细分析： 1. 使用 String 类型存储 JSON 适用场景 整体读写为主：频繁存取整个对象，如用户信息、配置信息。跨语言兼容性…...