当前位置：首页 > news >正文

过拟合、归一化、正则化、鞍点

news 来源：原创 2025/9/6 2:17:11

过拟合

过拟合的本质原因往往是因为模型具备方差很大的权重参数。

定义一个有4个特征的输入 $X$ ，特征向量为 $[x_1,x_2,x_3,x_4]$ ,定义一个模型，其只有4个参数，表示为 $[w_1,w_2,w_3,w_4]$ 。当模型过拟合时，这四个权重参数的方差会很大，可以假设为 $[w_1=0,w_2=1,w_3=12,w_4=2]$ 。当 $X$ 经过这个模型后，产生输出 $x_1*0+x_2*1+x_3*12+x_4*2$ ，由输出可知，这个模型过分地强调了特征 $x_3$ 的影响，从而导致模型的输出结果由 $x_3$ 主导，因为其对应的权重参数 $w_3$ 很大。这样会使得模型的容错很小，即泛化很差，只要特征 $x_3$ 稍有波动，模型的输出结果就会产生很大地变化。这就是过拟合的本质现象。

归一化

归一化是从特征本身出发，解决过拟合现象。

同样考虑输入 $X=[x_1=1,x_2=3,x_3=16,x_4=1]$ ,模型参数 $W=[w_1,w_2,w_3,w_4]$ 。在进行梯度下降时，模型输出 $Y$ 对模型参数的梯度分别为， $\frac{\partial Y}{\partial w_1}=x_1=1,\frac{\partial Y}{\partial w_2}=x_2=3,\frac{\partial Y}{\partial w_3}=x_3=16,\frac{\partial Y}{\partial w_4}=x_4=1$ ，很容易发现， $x_3$ 对应的权重参数 $w_3$ 的梯度最大，在梯度更新时，输出 $Y$ 偏向于沿 $w_3$ 方向更新，从而导致模型收敛后， $w_3$ 与其它参数的差异较大，进而发生过拟合。同时整个梯度方向大幅度偏向 $w_3$ 方向，使得梯度下降的路线成“之”字形，到达收敛点的迭代次数会变多。

这种现象是由于 $X$ 的特征方差过大，特征之间的分布差异过大。为了解决这种现象，就需要将 $X$ 的特征分布转化成方差为1，均值为0的分布，减小特征分布差异。

当被归一化处理后的 $X$ 作为模型输入时，每个权重参数的梯度相差不大，使得每个权重参数的更新步幅基本一致，当模型收敛后，权重参数的方差就会很小。

正则化

为了防止模型权重参数的方差过大，从而引起过拟合。正则化是从权重参数出发，解决过拟合现象。

不管模型有多复杂，输入的每个特征值在模型中都会与特定的权重参数相乘或相加，这就使得每个权重参数在前向传播或反向传播时，只与输入的部分特征值有关。如果权重参数分布差异大，就会导致对输入的每个特征产生不平衡的注意力倾斜，最终的输出结果就会由权值较大的参数主导，那些权值较小的参数就将变得毫无作用，因为有无它们都对输出结果产生不了影响。正则化就是要消除这种差异性，使得所有权重参数都同样重要(也会存在差异，只是这种差异被转化到了一个很小的量纲中了，被削弱了)，且尽可能小。

常用的L2正则化会使得每个权重参数趋近于0，使得输入的所有特征值都显得同样重要，这时如果输入中存在异常的特征值（值很大），由于其对应的权重参数都很小，接近于0，它也不会对模型的输出造成太大的影响。

另外，L2正则化能够减小数据分布不同带来的影响。假设存在数据集A和B，A和B的分布不同。当模型在A数据集上训练好后，模型的权重参数将匹配A的特征分布。如果不用正则化进行训练，模型在B数据集上的表现会很差，这是因为权重参数的分布已经匹配上了A的特征分布，如果模型接受一个与A分布差异太大的B,就会使得模型输出结果产生很大的偏差。如果使用了L2正则化，每个权重参数都很小，就会使得这种偏差不那么大，从而提高泛化能力

鞍点

鞍点（Saddle point）在微分方程中，沿着某一方向是稳定的，另一条方向是不稳定的奇点，叫做鞍点。在泛函中，既不是极大值点也不是极小值点的临界点，叫做鞍点。在矩阵中，一个数在所在行中是最大值，在所在列中是最小值，则被称为鞍点。在物理上要广泛一些，指在一个方向是极大值，另一个方向是极小值的点。

模型越复杂(参数量越多)，鞍点就越多，训练时收敛在鞍点的可能性就越大。因为鞍点既不是局部最优点，更不是全局最优点，所以越复杂的模型达到最优点的速度越慢，因为它们很大可能被困于鞍点。

过拟合、归一化、正则化、鞍点

过拟合过拟合的本质原因往往是因为模型具备方差很大的权重参数。定义一个有4个特征的输入，特征向量为,定义一个模型，其只有4个参数，表示为。当模型过拟合时，这四个权重参数的方差会很大，可以假设为。当经过这个模型后…...

编程日记 2025/9/6 2:17:11

关于多agent多consumer架构设想

多个agent接入设备每个agent对接同一个消费队列，非竞争设置，通过判断consumer中的参数如果是发给自己的，则下发，如果不是，则快速跳过。每个消费者接收消息时通过Header中值判断是来着哪个agent服务器的，发…...

编程日记 2025/9/6 2:11:07

国内互联网大厂推出的分布式数据库的详细对比，涵盖架构、性能、适用场景、核心技术等维度

以下是国内互联网大厂推出的分布式数据库的详细对比，涵盖架构、性能、适用场景、核心技术等维度： 一、主流分布式数据库列表大厂数据库名称类型适用场景发布时间腾讯云TDSQL分布式HTAP金融、电商、游戏、政企2010年阿里云OceanBase分布式HTAP银行核…...

编程日记 2025/9/6 2:13:01

【深度学习】自定义实现DataSet和DataLoader

dataset数据集作用： 存储数据集的信息获取数据集长度 __len__获取数据集某特定条目的内容 __getitem__ dataloader 数据加载器作用： 从数据集中随机加载数据, 并拼接为一个 batch实现迭代器, 可以使用时, 迭代获取数据内容代码实现：…...

编程日记 2025/9/6 2:16:27

spark简介和核心编程

简介 1. Spark-SQL概述：Spark SQL是Spark处理结构化数据的模块，前身是Shark。Shark基于Hive开发，提升了SQL-on-Hadoop的性能，但对Hive的过度依赖制约了Spark发展。SparkSQL抛弃Shark代码，汲取其优点后重新开发&#x…...

编程日记 2025/8/29 17:47:24

47、Spring Boot 详细讲义（四）

六. Spring Boot 与数据库目录 JDBC 集成 Spring Data JPA MyBatis 集成事务管理 1、JDBC 集成 1.1 JDBC简介 1.1.1 定义和作用 JDBC（Java Database Connectivity）是Java中用于与关系型数据库进行交互的API。它为Java程序提供了一个标准的、统一的接口…...

编程日记 2025/9/2 21:22:48

Dify - 整合Ollama + Xinference私有化部署Dify平台（01）

文章目录总体方案服务器在Ubuntu 20.04上安装Docker更新软件包索引安装一些必要的软件包，以便apt能够通过HTTPS使用仓库：添加Docker的官方GPG密钥设置稳定的仓库再次更新软件包索引从新添加的仓库中安装Docker CE验证Docker是否安装成功（可选…...

编程日记 2025/8/22 6:23:43

【RocketMQ】关于RocketMQ配置好了jdk环境变量却一直报需要配置环境变量的问题

正如上图所示，我明明已经配置好了环境变量，也显示配置好了，jdk与我的rocketmq的版本也是适配的，可每次启动namesrv和broker却一直显示要去配置环境变量，其实很简单，配置环境变量时特殊符号会影响路径查找&a…...

编程日记 2025/8/17 20:55:54

【信息系统项目管理师】高分论文：论信息系统项目的范围管理（投资信息化全流程管理项目）

更多内容请见：备考信息系统项目管理师-专栏介绍和目录文章目录 1、规划范围管理2、收集需求3、定义范围4、创建wbs5、确认范围6、控制范围2018年2月，我有幸参加了 XX省自贸区财政投资信息化全流程管理项目的假设，作为项目发起单位，省自贸办经过审时度势，及时响应国家自贸…...

编程日记 2025/8/17 19:58:48

Jmeter创建使用变量——能够递增递减的计数器

Jmeter创建使用变量——能够递增递减的计数器如下图所示，创建一个取值需限定为0 2 4这三个值内的变量。 Increment：每次迭代后递增的值，给计数器增加的值 Maximum value：计数器的最大值，如果超过最大值&#xff0…...

编程日记 2025/9/4 16:05:19

数据分析不只是跑个SQL！

数据分析不只是跑个SQL！ 数据分析五大闭环，你做到哪一步了？闭环一：认识现状闭环二：原因分析闭环三：优化表现闭环四：预测走势闭环五：主动解读数据数据思维：WHY-WHAT-HOW模…...

编程日记 2025/8/17 18:56:38

批量将文件夹名称、文件夹路径提取到 Excel 清单

在日常工作中，管理大量文件夹和文件路径可能变得十分繁琐。无论是在进行文件整理、备份还是数据分析时，提取文件夹的名称与路径信息，能够帮助你更高效地管理文件。本文将为您提供如何快速提取文件夹名称与路径，并将这些信息整理到…...

编程日记 2025/8/17 18:56:41

Git 基本使用

一、Git简介简单的内容追踪系统；是一个快速、可扩展的分布式版本控制系统，拥有异常丰富的命令集提供高级操作和对内部的完全访问。二、Git安装详情看本人此文章。三、Git 命令（基础版） 把 Git 分为上层封装命令&#xff08…...

编程日记 2025/9/1 19:17:42

LLM - Dify 平台介绍

文章目录引言官网核心功能架构图典型应用场景在线平台引言 Dify 是一款开源的 LLM（大语言模型）应用开发平台，旨在帮助开发者快速构建、部署和管理基于大语言模型的智能化应用。官网 https://dify.ai/zh https://github.com/langgenius/…...

编程日记 2025/8/17 21:35:15

linux编译adbd工具使用

在使用linux时，通常是没有现成的adbd文件使用的，这就需要我们进行文件的编译了，编译可以分为三步进行，在编译前我们需要下载对应的源码使用,我们可以从 https://launchpad.net/android-tools地址处下载需要的android-tools源码使用…...

编程日记 2025/8/17 19:47:18

安全人员如何对漏洞进行定级？

CVSS 标准 CVSS 介绍 CVSS，即通用漏洞评分系统（Common Vulnerability Scoring System），是一个用于评估计算机系统漏洞严重程度的行业标准。 CVSS为安全专业人员、漏洞管理团队和系统管理员提供了一种标准化的方法来评估和比较不…...

编程日记 2025/8/17 20:22:22

【ROS2】行为树 BehaviorTree（四）：组合使用子树

1、大树调用子树如下图，左边为大树主干： 1）如果门没有关，直接通过； 2）如果门关闭了，执行开门动作，然后通过右边为子树，主要任务是开门 1）尝试直接开门； 2）尝试开锁开门，最多尝试5次； 3）最后尝试砸门！ XML如何描述大树主干调佣子树：使用关键字 SubTree 来…...

编程日记 2025/9/2 19:29:43

第十六届蓝桥杯Java b组（试题C:电池分组）

问题描述： 输入格式： 输出格式： 样例输入： 2 3 1 2 3 4 1 2 3 4 样例输出: YES NO 说明/提示评测用例规模与约定对于 30% 的评测用例，1≤T≤10，2≤N≤100，1≤Ai≤10^3。对于 100…...

编程日记 2025/8/17 18:56:42

HarmonyOS：使用Refresh组件实现页面下拉刷新

一、前言可以进行页面下拉操作并显示刷新动效的容器组件。说明该组件从API Version 8开始支持。后续版本如有新增内容，则采用上角标单独标记该内容的起始版本。该组件从API Version 12开始支持与垂直滚动的Swiper和Web的联动。当Swiper设置loop属性为true时&…...

编程日记 2025/8/17 21:08:19

Python----机器学习（基于PyTorch的垃圾邮件逻辑回归）

Logistic Regression（逻辑回归）是一种用于处理二分类问题的统计学习方法。它基于线性回归模型，通过Sigmoid函数将输出映射到[0, 1]范围内，表示概率。逻辑回归常被用于预测某个实例属于正类别的概率。一、数据集介绍本例使用了…...

编程日记 2025/9/4 16:05:18

Spark-SQL

概念 Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 Spark-SQL 特点： 1，易整合，无缝的整合了 SQL 查询和 Spark 编程。 2，统一的数据访问，使用相同的方式连接不同的数据源。 3&#xf…...

编程日记 2025/8/23 1:42:22

spark-sql核心

在大数据处理领域，Apache Spark已成为极为重要的分布式计算框架，而Spark SQL作为其重要组件，极大地拓展了Spark的能力边界，为结构化数据处理提供了高效、便捷的解决方案。一、Spark SQL架构剖析 Spark SQL的架构设计精妙&#…...

编程日记 2025/9/3 1:23:25

TypeScript 进阶指南 - 使用泛型与keyof约束参数

🌷 古之立大事者，不惟有超世之才，亦必有坚忍不拔之志 🎐 个人CSND主页——Micro麦可乐的博客 🐥《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程，入门到实战 🌺《RabbitMQ》…...

编程日记 2025/8/17 21:13:07

labview的VI密码破解程序

上图即为密码破解原理，若需源代码可联系我...

编程日记 2025/8/19 11:50:05

AI技术前沿：蓝耘元生代智算云快速入门教程详解，与其他云人工智能大模型深度对比

文章目录一、前言二、蓝耘元生代智算云基础概念2.1 什么是智算云2.2 蓝耘元生代智算云的特点三、蓝耘元生代智算云使用前准备3.1 注册与登录3.2 了解计费方式3.3 熟悉控制台界面四、在蓝耘元生代智算云上运行第一个任务4.1 创建计算资源4.2 上传代码和数据4.3 安装依赖库4.4…...

编程日记 2025/8/17 21:00:40

Spring MVC 请求处理流程详解

步骤1：用户发起请求所有请求首先被 DispatcherServlet（前端控制器）拦截，它是整个流程的入口。 DispatcherServlet 继承自 HttpServlet，通过 web.xml 或 WebApplicationInitializer 配置映射路径（如 /&…...

编程日记 2025/8/24 5:51:07

金融行业 AI 报告自动化：Word+PPT 双引擎生成方案

—从数据到决策，10倍效率提升的智能金融解决方案一、金融行业报告制作的四大核心痛点 1. 人工制作成本高传统流程耗时： 分析师撰写Word报告：8-12小时/份设计师制作PPT：4-6小时/份团队协作修改：反复沟通&#xff0c…...

编程日记 2025/8/17 18:57:03

01_JDBC

文章目录一、概述1.1、什么是JDBC1.2、JDBC原理二、JDBC入门2.1、准备工作2.1.1、建库建表2.1.2、新建项目 2.2、建立连接2.2.1、准备四大参数2.2.2、加载驱动2.2.3、准备SQL语句2.2.4、建立连接2.2.5、常见问题 2.3、获取发送SQL的对象2.4、执行SQL语句2.5、处理结果2.6、释…...

编程日记 2025/9/2 22:04:06

三层架构与分层解耦：深入理解IOC与DI设计模式

目录一、软件架构演进与三层架构概述 1.1 从单体架构到分层架构 1.2 经典三层架构详解 1.3 三层架构的优势二、分层解耦的核心思想 2.1 耦合与解耦的基本概念 2.2 分层解耦的实现手段 2.3 分层解耦的实践原则三、控制反转（IOC）深度解析 3.1…...

编程日记 2025/9/5 23:29:58

[react]Next.js之自适应布局和高清屏幕适配解决方案

序言阅读前首先了解即将要用到的两个包的作用 1.postcss-pxtorem 自动将 CSS 中的 px 单位转换为 rem 单位按照设计稿尺寸直接写 px 值，由插件自动计算 rem 值 2.amfe-flexible 动态设置根元素的 font-size（即 1rem 的值）根据设备屏幕宽度和…...

编程日记 2025/8/29 17:21:03

TensorFlow深度学习实战——基于语言模型的动态词嵌入技术

TensorFlow深度学习实战——基于语言模型的动态词嵌入技术 0. 前言1. 基于语言模型的词嵌入1.1 ELMo 与 ULMFiT1.2 GPT1.3 BERT 2. 使用 BERT 作为特征提取器相关链接 0. 前言基于语言模型的词嵌入技术，通过利用上下文信息来生成动态的词向量，大大提升…...

编程日记 2025/8/17 19:00:47

欧拉服务器操作系统部署deekseep（Ollama+DeekSeep+open WebUI）

一、解压并安装 Ollama # 1. 解压文件（默认会得到一个二进制文件） tar -xzvf ollama-linux-amd64.tgz# 2. 将二进制文件安装到系统路径 sudo mv ollama /usr/local/bin/ sudo chmod x /usr/local/bin/ollama# 3. 验证安装 ollama --version链接…...

编程日记 2025/9/3 8:20:14

cocosCreator安卓隐私弹窗（链接版）

每次新上游戏都要重新弄这个隐私弹窗，记录一下下次直接抄。一、创建Activity 1 用androidStudio 打开项目并切换到Android视角。 2 右键项目new一个空的Activity 3 修改Activity的名字并完成如下图二、增加依赖文件 1 增加全局颜色定义文件：项目根目录 / res/values/ …...

编程日记 2025/8/21 17:58:55

统计销量前十的订单

传入参数： 传入begin和end两个时间返回参数返回nameList和numberList两个String类型的列表 controller层 GetMapping("/top10")public Result<SalesTop10ReportVO> top10(DateTimeFormat(pattern "yyyy-MM-dd") LocalDate begin,Dat…...

编程日记 2025/8/17 18:56:52

【Python爬虫】简单案例介绍2

本文继续接着我的上一篇博客【Python爬虫】简单案例介绍1-CSDN博客目录跨页 3.2 环境准备跨页当对单个页面的结构有了清晰的认识并成功提取数据后，接下来就需要考虑页面之间的跨页问题。此时我们便迎来了下一个关键任务：如何实现跨页爬取&#xf…...

编程日记 2025/8/17 20:57:51

适合单片机裸机环境的运行的软件定时器框架

如下这篇文档介绍了一个适用于裸机环境的软件定时器模块，其核心功能和实现如下： 模块功能：该模块通过硬件定时器中断实现时基累加，适合用于裸机程序的调度处理。它使用硬件定时中断（如1ms一次）来增加hw_ti…...

编程日记 2025/8/21 9:22:49

【ComfyUI】蓝耘元生代 | ComfyUI深度解析：高性能AI绘画工作流实践

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈人工智能与大模型应用 ⌋ ⌋ ⌋ 人工智能（AI）通过算法模拟人类智能，利用机器学习、深度学习等技术驱动医疗、金融等领域的智能化。大模型是千亿参数的深度神经网络（如ChatGPT&…...

编程日记 2025/9/2 14:30:13

js的es6模块中暴露的使用方法简介

在 JavaScript 的 ES6 模块系统中，一个模块文件只能有一个 export default。export default 用于导出一个默认值，这个默认值在导入时可以使用任意名称。示例： 导出默认值： // myModule.jsexport default function greet() {con…...

编程日记 2025/9/2 15:25:42

基于Android的旅游自助APP(源码+lw+部署文档+讲解)，源码可白嫖!

摘要旅游自助APP设计的目的是为用户提供对景点信息和路线攻略、周边美食等方面的平台。与PC端应用程序相比，旅游自助的设计主要面向于旅行者，旨在为用户提供一个旅游自助。用户可以通过APP及时景点信息，并对景点进行购票或收藏等。相反&am…...

编程日记 2025/8/17 19:02:11

SQL（7）：合并字段，使用UNION，首先应使用SELECT进行检索，再使用UMION进行拼接

核心功能：合并查询结果想象一下，你有两个不同的名单，你想把它们合并成一个大名单。UNION 和 UNION ALL 都是 SQL 里用来干这个“合并名单”的活儿的。它们可以把两个（或更多）SELECT 查询语句的结果合并到一起&#x…...

编程日记 2025/9/3 12:55:16

Spring MVC 全栈指南：RESTful 架构、核心注解与 JSON 实战解析

目录 RESTful API 设计规范Spring MVC 核心注解解析静态资源处理策略JSON 数据交互全解高频问题与最佳实践一、RESTful API 设计规范 1.1 核心原则原则说明示例 URI资源为中心URI 使用名词（复数形式）/users ✔️ /getUser ❌HTTP 方法语义化GET&…...

编程日记 2025/9/3 0:02:09

【第43节】实验分析windows异常分发原理

目录前言一、异常处理大致流程图二、实验一：分析 KiTrap03 三、实验二：分析CommonDispatchException 四、代码探究：分析 KiDispatchException 函数五、代码探究：伪代码分析用户层KiUserExceptionDispatcher 前言在Wind…...

编程日记 2025/8/22 19:32:22

自动化测试概念篇

文章目录目录1. 自动化1.1 自动化概念1.1.1 回归测试 1.2 自动化分类1.3 自动化测试金字塔 2. web自动化测试2.1 驱动2.1.1 安装驱动管理2.1.2 selenium库 3. Selenium3.1 一个简单的web自动化示例3.2 selenium驱动浏览器的工作原理目录自动化web自动化测试Selenium 1. 自…...

编程日记 2025/8/17 20:31:15

「数据可视化 D3系列」之开篇：开启数据可视化之旅

一、系列介绍欢迎来到《快速学习D3.js》系列！在这个系列中，我们将一起从零开始掌握D3.js（Data-Driven Documents），一个强大的JavaScript库，用于创建动态、交互式的数据可视化。无论你是前端开发者、数据…...

编程日记 2025/8/27 0:49:04

编译构建 WSO2 产品时的一些注意事项

编译构建 WSO2 产品时的一些注意事项 1、JDK 版本2、maven 版本3、npm 和 node 版本4、编译命令示例 1、JDK 版本对于 WSO2 ESB、WSO2 EI 老产品，可以直接使用 JDK 1.8对于 WSO2 APIM、WSO2 IS、WSO2 MI 等产品的新版本，需要 JDK 11 以上特别注意&…...

编程日记 2025/8/17 19:01:53

字符串与相应函数（下）

字符串处理函数分类求字符串长度：strlen长度不受限制的字符串函数：strcpy,strcat,strcmp长度受限制的字符串函数:strncpy,strncat,strncmp字符串查找：strstr字符串切割：strtok错误信息报告：strerror字符操作&#xf…...

编程日记 2025/8/17 18:56:53

驾驭 Linux 云: JavaWeb 项目安全部署

目录 1. 引言 2. Linux 基础指令 2.1 ls 展示目录/文件 2.2 pwd 查看所在路径 2.3 mkdir 创建文件夹 2.4 cd 切换路径 2.5 touch 创建文件 2.6 rm 删除文件 2.6 rm -r/rf 删除文件夹 2.7 rz/sz 上传/下载文件 2.7.1 rz 上传文件 2.7.2 sz 下载文件 2.8 mv 移动文件…...

编程日记 2025/9/4 16:05:26

【MySQL数据库】InnoDB存储引擎：逻辑存储结构、内存架构、磁盘架构

逻辑存储结构一个数据库是由一张张表组成的，而表中是由一个个段构成的，一个段是由区构成的，区空间是由页构成的，页是行构成的。 ①表空间：.ibd文件，一个mysql实例可以对应多个表空间，用于存储…...

编程日记 2025/8/17 18:56:49

HJ16 购物单

https://www.nowcoder.com/exam/oj/ta?tpId37 HJ16 购物单描述王强决定把年终奖用于购物，他把想买的物品分为两类：主件与附件。主件可以没有附件，至多有 2个附件。附件不再有从属于自己的附件。如果要买归类为附件的物品，必…...

编程日记 2025/8/30 3:00:20

SLAM文献之DM-VIO: Delayed Marginalization Visual-Inertial Odometry

1. 算法概述 DM-VIO (Delayed Marginalization Visual-Inertial Odometry) 是一种基于延迟边缘化的视觉-惯性里程计算法，它结合了视觉和惯性测量单元(IMU)的数据进行位姿估计。该算法是VINS-Mono的改进版本，主要创新点在于采用了一种延迟边缘化策略&…...

编程日记 2025/8/26 21:23:47

过拟合

归一化

正则化

鞍点

相关文章：