【漫话机器学习系列】043.提前停止训练（Early Stopping）
提前停止训练（Early Stopping）
提前停止（Early Stopping） 是一种在训练机器学习模型（尤其是深度学习模型）时常用的正则化技术，用于防止过拟合并提升模型的泛化能力。它通过监控验证集的性能，在性能不再提高或开始下降时终止训练，从而选择性能最佳的模型。
工作原理
提前停止的基本思想是：
- 在每个训练轮次（epoch）后，评估模型在验证集上的性能（通常使用损失函数值或评价指标，如准确率）。
- 如果验证集性能在多个轮次内未改善，则停止训练并恢复到性能最佳的模型状态。
实现步骤
-
分割数据集： 将训练数据分为训练集和验证集，训练集用于优化模型参数，验证集用于监控模型的泛化性能。
-
设定监控指标： 选择一个监控指标（如验证损失、验证准确率等），作为衡量模型性能的标准。
-
设定耐心值（Patience）： 耐心值是指允许验证集性能在指定轮次内未改善的次数。如果超过耐心值还未见性能提升，则停止训练。
-
保存最佳模型： 在训练过程中，记录验证集性能最优的模型状态，停止训练后使用该状态作为最终模型。
优点
- 防止过拟合：通过终止训练，避免模型过度拟合训练数据。
- 提高泛化能力：选择验证集上性能最优的模型，提升模型对未见数据的表现。
- 节省训练时间：减少不必要的迭代，节约计算资源。
- 动态调整：适应数据集的不同复杂度，不需要预设固定的训练轮次。
缺点
- 需要验证集：需要分出一部分数据作为验证集，可能导致训练数据减少。
- 过早停止的风险：模型可能在某些训练阶段出现短暂波动，提前停止可能会错过更好的优化结果。
- 适合深度学习模型：对于小规模模型或简单问题，提前停止的效果可能不明显。
实现方式
1. 使用 TensorFlow/Keras 实现
import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.callbacks import EarlyStopping# 示例数据集
X_train = np.random.rand(1000, 20) # 1000个样本，每个样本20个特征
y_train = np.random.randint(2, size=(1000, 1)) # 1000个样本的二分类标签
X_val = np.random.rand(200, 20) # 200个样本，每个样本20个特征
y_val = np.random.randint(2, size=(200, 1)) # 200个样本的二分类标签model = Sequential([Dense(64, activation='relu', input_shape=(X_train.shape[1],)),Dense(1, activation='sigmoid')
])# 定义 EarlyStopping 回调，监控验证集损失，如果连续5个epoch没有改善则停止训练，并恢复最佳权重
early_stopping = EarlyStopping(monitor='val_loss', # 监控的指标patience=5, # 在验证集性能不提升的轮数后停止restore_best_weights=True # 恢复验证集性能最优的模型
)# 编译模型
model.compile(optimizer='adam', loss='mse', metrics=['accuracy'])# 训练模型，使用早停机制
model.fit(X_train, y_train,validation_data=(X_val, y_val),epochs=100,callbacks=[early_stopping]
)
运行结果
Epoch 1/100
32/32 [==============================] - 1s 8ms/step - loss: 0.2522 - accuracy: 0.5210 - val_loss: 0.2504 - val_accuracy: 0.5350
Epoch 2/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2491 - accuracy: 0.5320 - val_loss: 0.2502 - val_accuracy: 0.5300
Epoch 3/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2484 - accuracy: 0.5320 - val_loss: 0.2507 - val_accuracy: 0.4950
Epoch 4/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2468 - accuracy: 0.5260 - val_loss: 0.2521 - val_accuracy: 0.4950
Epoch 5/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2456 - accuracy: 0.5560 - val_loss: 0.2524 - val_accuracy: 0.5150
Epoch 6/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2452 - accuracy: 0.5450 - val_loss: 0.2540 - val_accuracy: 0.5000
Epoch 7/100
32/32 [==============================] - 0s 2ms/step - loss: 0.2457 - accuracy: 0.5500 - val_loss: 0.2529 - val_accuracy: 0.4750
2. 使用 PyTorch 实现
import torch
import torch.nn as nnclass EarlyStopping:def __init__(self, patience=5, delta=0, path='checkpoint.pt'):self.patience = patienceself.delta = deltaself.best_loss = Noneself.counter = 0self.early_stop = Falseself.path = pathdef __call__(self, val_loss, model):if self.best_loss is None or val_loss < self.best_loss - self.delta:self.best_loss = val_lossself.counter = 0torch.save(model.state_dict(), self.path)else:self.counter += 1if self.counter >= self.patience:self.early_stop = True# 定义示例数据集
X_train = torch.randn(1000, 20) # 1000个样本，每个样本20个特征
y_train = torch.randint(0, 2, (1000, 1)) # 1000个样本的二分类标签
X_val = torch.randn(200, 20) # 200个样本，每个样本20个特征
y_val = torch.randint(0, 2, (200, 1)) # 200个样本的二分类标签# 定义模型
model = nn.Sequential(nn.Linear(20, 64),nn.ReLU(),nn.Linear(64, 1),nn.Sigmoid()
)# 定义训练和验证函数
def train():passdef validate():return torch.tensor(0.5) # 示例验证损失# 使用示例
early_stopping = EarlyStopping(patience=5)for epoch in range(100):train() # 训练过程val_loss = validate() # 验证损失early_stopping(val_loss, model)if early_stopping.early_stop:model.load_state_dict(torch.load('checkpoint.pt'))break
总结
提前停止训练是机器学习和深度学习中的一种简单高效的正则化方法，能够显著提升模型的泛化能力，同时减少训练时间。结合耐心值（patience）、监控指标以及最佳模型保存机制，可以灵活地应用到各种场景中。
相关文章：
【漫话机器学习系列】043.提前停止训练（Early Stopping）
提前停止训练（Early Stopping） 提前停止（Early Stopping） 是一种在训练机器学习模型（尤其是深度学习模型）时常用的正则化技术，用于防止过拟合并提升模型的泛化能力。它通过监控验证集的性能&am…...
Linux(上）：基本知识篇
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、Linux初识1 Linux简介2 Linux学习环境配置（1）安装Linux（2）FinalShell远程连接Linux服务器二、Linux基础命令1 Linux目录结构，根目录 /2 Linux命令基础（1）什么是命令、命令行？（2）…...
Python爬虫与1688图片搜索API接口：深度解析与显著收益
在电子商务的浩瀚海洋中，数据是驱动业务决策的核心引擎。阿里巴巴旗下的1688平台，作为全球领先的B2B在线市场，不仅汇聚了海量的商品信息，还提供了丰富的API接口，为开发者提供了强大的数据获取工具。本文将深入探讨1688…...
生物医学信号处理--随机信号通过线性时不变系统
本章主要讨论 (1)输出、输入间自相关函数和功率谱的关系以及两者间的互相关函数和互谱，把它们和系统的冲激响应与频率特性联系起来。这些是用于随机问题的基本关系，将分别讨论连续时间和离散时间两种情况。 (2)初步介绍一些线性系统在处理随机信号时的应用。但是，应该指出，…...
《HeadFirst设计模式》笔记（上）
设计模式的目录： 1 设计模式介绍 要不断去学习如何利用其它开发人员的智慧与经验。学习前人的正统思想。 我们认为《Head First》的读者是一位学习者。 一些Head First的学习原则： 使其可视化将文字放在相关图形内部或附近，而不是放在底部…...
Ubuntu更改内核
需求背景： 由于软件需要在较低版本或者指定版本才可以运行 版本： 配置文件： vi /etc/default/grub 启动界面： 可运行版本： 解决方案： 方案1、更改启动顺序 sudo vi /etc/default/grub 方案2、调整启动顺…...
广告公司咋找客户？怎么获取目标企业的采购部联系方式
在广告行业，获取目标企业采购部的联系方式是开展业务、拓展客户的关键一步。分享一些实用的方法，希望能帮到正在为获取联系方式而发愁的广告行业的朋友们。 一、利用官方网站和社交媒体平台 1. 官网 大多数企业的官方网站都会提供一些联系方式…...
个人在技术领导力方面的自我反思与提升
大家好！我是 [数擎 AI]，一位热爱探索新技术的前端开发者，在这里分享前端和 Web3D、AI 技术的干货与实战经验。如果你对技术有热情，欢迎关注我的文章，我们一起成长、进步！ 开发领域：前端开发 | A…...
鸿蒙面试 2025-01-11
ArkTs 和TS的关系？ ArkTS（方舟开发语言）与 TypeScript（TS）存在紧密联系，同时也有显著区别： 联系 语法基础：ArkTS 在语法层面大量借鉴了 TypeScript ，TypeScript 里诸如…...
Vim的使用方法
Vim的使用方法 来自Linux 日常操作与基础知识 | archlinux 简明指南 终端编辑器 vim 的使用 我们需要掌握一个能在终端中进行文本编辑的软件，这里介绍 vim。 创建并编辑名为 hello.txt 的文件： vim hello.txt此时可以看到进入了一个空的界面…...
什么是卷积网络中的平移不变性？平移shft在数据增强中的意义
今天来介绍一下数据增强中的平移shft操作和卷积网络中的平移不变性。 1、什么是平移 Shift 平移是指在数据增强（data augmentation）过程中，通过对输入图像或目标进行位置偏移（平移），让目标在图像中呈现出…...
方法与==的区别)
Java基础：equals()方法与==的区别
1、超类Object的equals()底层原理： 在Object超类中已经提供了equals()方法，源码如下： public boolean equals(Object obj) { return (this obj); } 所有的对象都拥有标识（内存地址）和状态（数据&a…...
备战蓝桥杯 队列和queue详解
目录 队列的概念 队列的静态实现 总代码 stl的queue 队列算法题 1.队列模板题 2.机器翻译 3.海港 双端队列 队列的概念 和栈一样，队列也是一种访问受限的线性表，它只能在表头位置删除，在表尾位置插入，队列是先进先出&…...
《分布式光纤测温：解锁楼宇安全的 “高精度密码”》
在楼宇建筑中，因其内部空间庞大，各类电器设施众多，如何以一种既高效又稳定，兼具低成本与高覆盖特性的方式，为那些关键线路节点开展温度监测，是目前在安全监测领域一项重点研究项目，而无锡布里渊…...
每日一题（一）：识别字符串中的字符是否唯一
目录 一、前言 二、题目 三、题目分析 （一）明确需求 （二）分析思路 四、将思路转变为一个程序 C代码 C代码 注释： 五、总结 一、前言 作为博主在本系列文章中的第一篇文章，博主先对本系列做一个简单的介绍…...
【翻译】2025年华数杯国际赛数学建模题目+翻译pdf自取
保存至本地网盘 链接：https://pan.quark.cn/s/f82a1fa7ed87 提取码：6UUw 2025年“华数杯”国际大学生数学建模竞赛比赛时间于2025年1月11日（周六）06:00开始，至1月15日（周三）09:00结束ÿ…...
如何稳定使用 O1 / O1 Pro，让“降智”现象不再困扰？
近期，不少朋友在使用 O1 或 O1 Pro 模型时，都会碰到“降智”或“忽高忽低”的智力波动，比如无法识图、无法生成图片、甚至回答准确度也不稳定。面对这些问题，你是不是也感到头疼呢？ 为了找到更可靠的解决办法…...
【Linux】4.Linux常见指令以及权限理解（2）
文章目录 3. Linux指令3.1 ls指令和rm指令补充3.2 man指令（重要）3.3cp指令（重要）输出重定向3.3.1ubuntu20.04如何安装tree 3.4 mv指令（重要）mv指令更改文件名mv指令更改目录名 如何看待指令指令的重命名3.5…...
神州数码交换机和路由器命令总结
神州数码交换机和路由器命令总结 一、神州数码交换机命令总结 1. 交换机恢复出厂设置及其基本配置. 1) //进入特权模式 2) del startup.cfg 2. Telnet方式管理交换机. 1) //进入全局配置模式 2) enable password 0 [密码] 3) Line 0 4 4) Password 0 [密码] 5) Login 3. 交换机…...
echarts: 双柱柱状图同时两侧双y轴问题
问： 现在又有一个问题：echarts双柱柱状图，同时左侧的y轴有刻度，右侧的y轴也有刻度，双y轴，y轴每一个刻度都对应虚线，这时候会有一个问题，左侧的y轴的虚线和右侧y轴的虚线没对应&…...
计算机网络八股文学习笔记
文章目录 计算机网络基础网络分层模型OSI七层模型TCP/IP四层模型 HTTP从输入URL到页面展示到底发生了什么?(非常重要)HTTP状态码HTTP Header中常见的字段有哪些?HTTP和HTTPS有什么区别?(重要)HTTP/1.0和HTTP/1.1有什么区别?HTTP/1.1和HTTP/2.0有什么区别?HTTP/2.0和HTTP/3…...
java中json字符串键值获取
<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.83</version> </dependency>使用fastjson依赖 JSONObject jsonObject JSON.parseObject(s); 这个jsonObject本质就是一个map&…...
MySQL的安装
MySQL典型的关系型数据库（RDBMS）：oracle、MySQL、SqlServer MySQL的版本 5.5~5.7、8.0 MySQL的安装和配置 下载地址： https://downloads.mysql.com/archives/community/ 安装包 (x86, 64-bit), MSI Installer 执行下一步即…...
Open FPV VTX开源之第一次出图
Open FPV VTX开源之第一次出图 1. 源由2. 连线2.1 飞控2.2 调试 3. serial3.1 启动log - uboot3.2 登录版本 - linux3.3 获取有线IP 4. ssh - linux5. PixelPilot出图6. 总结7. 参考资料8. 补充 - 8812AU网卡 1. 源由 在《Open FPV VTX开源之硬件规格及组成》章节中࿰…...
R语言在森林生态研究中的魔法：结构、功能与稳定性分析——发现数据背后的生态故事！
森林生态系统结构、功能与稳定性分析与可视化研究具有多方面的重要意义，具体如下： 一、理论意义 ●深化生态学理论 通过研究森林生态系统的结构、功能与稳定性，可以深化对生态系统基本理论的理解。例如，生物多样性与生态系统稳定性…...
qt QLabel QPushButton 控件重写paintEvent后 控件消失
qt 继承自PushButton控件的类 重写paintEvent后 控件消失 解决办法，在paintevent结尾加上这条语句：QPushButton::paintEvent(event); void MyButton::paintEvent(QPaintEvent *event) {QPushButton::paintEvent(event); } 这里QPushButton不能写成Q…...
安全基础-互联网技术基础
互联网技术基础 概述：计算机网络、网络协议、HTTP协议、前端与后端技术、Web服务器、数据库以及浏览器等 目录 互联网技术基础前言一、计算机网络定义二、网络协议和协议分层1.OSI七层模型2.TCP/IP四层模型 三、HTTP协议1、HTTP协议的特点2、HTTP请求3、HTTP响应4、…...
【Rust自学】11.9. 单元测试
喜欢的话别忘了点赞、收藏加关注哦（加关注即可阅读全文），对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω･) 11.9.1. 测试的分类 Rust把测试分为两类，一个是单元测试，一个是集成…...
了解Node.js
Node.js是一个基于V8引擎的JavaScript运行时环境，它允许JavaScript代码在服务器端运行，从而实现后端开发。Node.js的出现，使得前端开发人员可以利用他们已经掌握的JavaScript技能，扩展技能树并成为全栈开发人员。本文将深入浅出地…...
二十三种设计模式-原型模式
原型模式（Prototype Pattern）是一种创建型设计模式，它通过拷贝现有的实例来创建新的实例，而不是通过新建实例。这种方式可以避免复杂的构造过程，同时还能保持对象的创建和使用分离，提高系统的灵活性和扩展性…...
蓝桥与力扣刷题（66 加一）
题目： 给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。 最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。 你可以假设除了整数 0 之外，这个整数不会以零开头。 示例 1： 输入…...
Markdown 分级标题
Markdown 分级标题 1. 前言2. 语法详解2.1 SeText风格2.2 Atx风格 3. 使用场景及实例4. 小结5. 其他风格5. 其他文章快来试试吧🎈 Markdown 分级标题 👈点击这里也可查看 1. 前言 关于 Markdown 的分级标题，官方给出了如下定义： …...
回归预测 | MATLAB基于RF-Adaboost多输入单输出回归预测
回归预测 | MATLAB基于RF-Adaboost多输入单输出回归预测 目录 回归预测 | MATLAB基于RF-Adaboost多输入单输出回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 回归预测 | MATLAB基于RF-Adaboost多输入单输出回归预测。 1.Matlab实现RF-Adaboost随机森林集成学习…...
字符串相关类之可变字符序列：StringBuffer、StringBuilder
前言： 小编最近找了份兼职，时间比较紧张 但不影响继续日更一篇，我们继续一起进步吧！！！ 我们一直都是以这样的形式，让新手小白轻松理解复杂晦涩的概念， 把Java代码拆解的清清楚楚&a…...
git提交
基本流程：新建分支 → 分支上开发(写代码) → 提交 → 合并到主分支 拉取最新代码因为当前在 master 分支下，你必须拉取最新代码，保证当前代码与线上同步（最新），执行以下命令：bashgit pull orig…...
ceph osd df 输出详解
ceph osd df 命令用于显示 Ceph 集群中各个 OSD（对象存储守护进程）的详细信息。以下是输出中各列的含义： ID：OSD 的唯一标识符。 CLASS：OSD 所属的设备类别，例如 SSD、HDD 等。 WEIGHT：OSD 的…...
Unity3D实现自定义河流路径或泥石流路径
系列文章目录 untiy工具 文章目录 系列文章目录👉前言👉一、效果如下👉二、编辑效果如下👉三、简单使用Tool👉四、实现水流从上到下流下来的效果👉壁纸分享👉总结👉前言 此工具是一个插件,插件很好用,可以根据地形编辑河流的走向以及宽度,也可以发挥想象编辑…...
【数据结构】双向链表
目录 1. 双向链表 1.1特性 1.2双向链表相关操作 1.3 双向循环链表 1. 双向链表 1.1特性 逻辑结构：线性结构 存储结构：链式存储 操作：增删改查 typedef int datatype; typedef struct node {datatype data; //数据域struct node …...
android进入fastboot
安装windows驱动。android进入fastboot模式后，需要Windows驱动来跟adb通信，所以需要预先安装Windows usb驱动，否则进入fastboot模式后，无法使用adb连接手机。 下载网址：https://developer.android.com/studio/run/win-…...
verilogHDL仿真详解
前言 Verilog HDL中提供了丰富的系统任务和系统函数，用于对仿真环境、文件操作、时间控制等进行操作。（后续会进行补充） 正文 一、verilogHDL仿真详解 timescale 1ns/1ps //时间单位为1ns，精度为1ps， //编译…...
见微知著：Tripo 开创 3D 生成新时代
关于 VAST VAST 成⽴于 2023 年 3 ⽉，是⼀家致⼒于通⽤ 3D 大模型研发的 AI 公司，公司⽬标是通过打造⼤众级别的 3D 内容创作⼯具，建⽴ 3D 的 UGC 内容平台，让基于 3D 的空间成为⽤户体验、内容表达、提升新质⽣产⼒的关键要素。 2024 年初，VAST 推出数⼗亿参数级别的 3…...
【AI自动化渗透】大模型支持的自动化渗透测试，看蚂蚁和浙大的
参考文章: https://mp.weixin.qq.com/s/WTaO54zRxtNMHaiI1tfdGw 最近，美国西北大学，浙江大学，蚂蚁集团的一些专家学者联手发表了一篇论文，介绍了一个PentestAgent的方案，实现了渗透测试自动化。 01 技术方案 图的字…...
React 中事件机制详细介绍：概念与执行流程如何更好的理解
React 的事件机制是一个非常重要的概念，它涉及到 React 如何处理用户的交互事件。React 的事件系统与传统的 DOM 事件系统有所不同，它在底层使用了事件委托和合成事件（Synthetic Events）来优化性能。下面，我们将从 Rea…...
时序数据库InfluxDB—介绍与性能测试
目录 一、简述 二、主要特点 三、基本概念 1、主要概念 2、保留策略 3、连续查询 4、存储引擎—TSM Tree 5、存储目录 四、基本操作 1、Java-API操作 五、项目中的应用 六、单节点的硬件配置 七、性能测试 1、测试环境 2、测试程序 3、写入测试 4、查询测试 一…...
解决idea中无法拖动tab标签页的问题
1、按 Ctrl Alt S 打开设置，找到路径 File | Settings | Appearance & Behavior | Appearance 2、去掉勾选 Drag-and-drop with Alt pressed only 即可...
ffplay 命令行 从视频第N帧开始读取 ffmpeg 命令行 提取第N帧图片
ffmpeg中没有直接的命令读取第N帧 但是可以通过 t N/framerate 来获取到具体第N帧的时间 然后用 -ss t进行跳转。 比如帧率（frame rate）为24fps的视频G:/1/1.mp4文件从第1000帧开始进行播放，先计算出时间为 t 41.66666 ffplay -i G:/1/1.…...
)
【web靶场】之upload-labs专项训练(基于BUUCTF平台)
前言 该靶场，是通过平台BUUCTF在线评测中的靶场进行的，基于linux搭建的 当然若是想要该靶场，可以采用github上的醒目，点击后面文字即可访问c0ny1/upload-labs: 一个想帮你总结所有类型的上传漏洞的靶场 或者本人分享在网盘中&a…...
)
HTML5 Audio(音频)
HTML5 Audio(音频) HTML5 的 <audio> 元素是一个重要的革新，它为网页开发者提供了一种简单的方式来嵌入音频内容。在这篇文章中，我们将探讨 HTML5 <audio> 元素的特性、用法、浏览器兼容性，以及如何通过 JavaScript 和 CSS 对其进行控制和定制。 1. HTML5 <…...
go语言学习
字典（映射）类型 （Map） 以键值对为元素去存储元素 Map的特点： 键不能重复。 键必须是（int,bool,float,string,array）这些可以哈希的 （如果自定义类型想要作为键，需要自…...
解决 Perspective-3-Point (P3P) 问题函数solveP3P()的使用)
OpenCV相机标定与3D重建(53)解决 Perspective-3-Point (P3P) 问题函数solveP3P()的使用
操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 根据 3 个 3D-2D 点对应关系找到物体的姿态。 cv::solveP3P 是 OpenCV 中的一个函数，用于解决 Perspective-3-Point (P3P) 问题。该问…...