当前位置：首页 > news >正文

梯度下降方法

news 来源：原创 2025/5/8 19:51:58

2.5 梯度下降方法介绍

学习目标

掌握梯度下降法的推导过程
知道全梯度下降算法的原理
知道随机梯度下降算法的原理
知道随机平均梯度下降算法的原理
知道小批量梯度下降算法的原理

上一节中给大家介绍了最基本的梯度下降法实现流程，本节我们将进一步介绍梯度下降法的详细过算法推导过程和常见的梯度下降算法。

1 详解梯度下降算法

1.1梯度下降的相关概念复习

在详细了解梯度下降的算法之前，我们先复习相关的一些概念。

步长(Learning rate)：
- 步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用前面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。
特征(feature)：
- 指的是样本中输入部分，比如2个单特征的样本 $x^{(0)},y^{(0)}),(x^{(1)},y^{(1)})$ ,则第一个样本特征为 $x^{(0)}$ ，第一个样本输出为 $y^{(0)}$ 。
假设函数(hypothesis function)：
- 在监督学习中，为了拟合输入样本，而使用的假设函数，记为 $hθ(x)h_\theta (x)$ 。比如对于单个特征的m个样本 $x^{(i)},y^{(i)})(i=1,2,...m)$ ,可以采用拟合函数如下： $hθ(x)=θ0+θ1xh_\theta (x)=\theta _0+\theta _1x$ 。
损失函数(loss function)：
- 为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。
- 在线性回归中，损失函数通常为样本输出和假设函数的差取平方。比如对于m个样本 $x_i,y_i)(i=1,2,...m)$ ，采用线性回归，损失函数为：

在这里插入图片描述

其中 $x_i$ 表示第i个样本特征， $y_i$ 表示第i个样本对应的输出， $hθ(xi)h_\theta (x_i)$ 为假设函数。

1.2 梯度下降法的推导流程

1) 先决条件：确认优化模型的假设函数和损失函数。

比如对于线性回归，假设函数表示为 $hθ(x1,x2,...,xn)=θ0+θ1x1+...+θnxnh_\theta (x_1,x_2,...,x_n)=\theta _0+\theta _1x_1+...+\theta _nx_n$ , 其中 $θi(i=0,1,2...n)\theta _i (i = 0,1,2... n)$ 为模型参数， $x_i (i = 0,1,2... n)$ 为每个样本的n个特征值。这个表示可以简化，我们增加一个特征 $x_0=1$ ，这样

在这里插入图片描述

同样是线性回归，对应于上面的假设函数，损失函数为：

在这里插入图片描述

2) 算法相关参数初始化,

主要是初始化 $θ0,θ1...,θn\theta _0,\theta _1...,\theta _n$ ,算法终止距离ε以及步长 $α\alpha$ 。在没有任何先验知识的时候，我喜欢将所有的 $θ\theta$ 初始化为0，将步长初始化为1。在调优的时候再优化。

3) 算法过程：

3.1) 确定当前位置的损失函数的梯度，对于 $θi\theta _i$ ,其梯度表达式如下：

在这里插入图片描述

3.2) 用步长乘以损失函数的梯度，得到当前位置下降的距离，即

在这里插入图片描述

对应于前面登山例子中的某一步。

3.3) 确定是否所有的 $θi\theta _i$ ,梯度下降的距离都小于ε，如果小于ε则算法终止，当前所有的 $θi(i=0,1,...n)\theta _i(i=0,1,...n)$ 即为最终结果。否则进入步骤4.

4)更新所有的 $θ\theta$ ，对于 $θi\theta _i$ ，其更新表达式如下。更新完毕后继续转入步骤1.

在这里插入图片描述

下面用线性回归的例子来具体描述梯度下降。假设我们的样本是:

在这里插入图片描述

损失函数如前面先决条件所述：

在这里插入图片描述

则在算法过程步骤1中对于 $θi\theta _i$ 的偏导数计算如下：

在这里插入图片描述

由于样本中没有 $x_0$ 上式中令所有的 $x_0^j$ 为1.

步骤4中 $θi\theta _i$ 的更新表达式如下：

在这里插入图片描述

从这个例子可以看出当前点的梯度方向是由所有的样本决定的，加 $1m\frac{1}{m}$ 是为了好理解。由于步长也为常数，他们的乘积也为常数，所以这里 $α\alpha$ ¨NBSP; $1m\frac{1}{m}$ 可以用一个常数表示。

在下面一节中，咱们会详细讲到梯度下降法的变种，他们主要的区别就是对样本的采用方法不同。这里我们采用的是用所有样本。

2 梯度下降法大家族

首先，我们来看一下，常见的梯度下降算法有：

全梯度下降算法(Full gradient descent),
随机梯度下降算法(Stochastic gradient descent),
小批量梯度下降算法(Mini-batch gradient descent),
随机平均梯度下降算法(Stochastic average gradient descent)

它们都是为了正确地调节权重向量，通过为每个权重计算一个梯度，从而更新权值，使目标函数尽可能最小化。其差别在于样本的使用方式不同。

2.1 全梯度下降算法(FG)

批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。

计算训练集所有样本误差，对其求和再取平均值作为目标函数。

权重向量沿其梯度相反的方向移动，从而使当前目标函数减少得最多。

其是在整个训练数据集上计算损失函数关于参数 $θ\theta$ 的梯度：

在这里插入图片描述

由于我们有m个样本，这里求梯度的时候就用了所有m个样本的梯度数据。

注意：

因为在执行每次更新时，我们需要在整个数据集上计算所有的梯度，所以批梯度下降法的速度会很慢，同时，批梯度下降法无法处理超出内存容量限制的数据集。
批梯度下降法同样也不能在线更新模型，即在运行的过程中，不能增加新的样本。

2.2 随机梯度下降算法(SG)

由于FG每迭代更新一次权重都需要计算所有样本误差，而实际问题中经常有上亿的训练样本，故效率偏低，且容易陷入局部最优解，因此提出了随机梯度下降算法。

其每轮计算的目标函数不再是全体样本误差，而仅是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值。

此过程简单，高效，通常可以较好地避免更新迭代收敛到局部最优解。其迭代形式为

在这里插入图片描述

但是由于，SG每次只使用一个样本迭代，若遇上噪声则容易陷入局部最优解。

2.3 小批量梯度下降算法(mini-batch)

小批量梯度下降算法是FG和SG的折中方案,在一定程度上兼顾了以上两种方法的优点。

每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FG迭代更新权重。

被抽出的小样本集所含样本点的个数称为batch_size，通常设置为2的幂次方，更有利于GPU加速处理。

特别的，若batch_size=1，则变成了SG；若batch_size=n，则变成了FG.其迭代形式为

在这里插入图片描述

上式中，也就是我们从m个样本中，选择x个样本进行迭代(1<x<m),

2.4 随机平均梯度下降算法(SAG)

在SG方法中，虽然避开了运算成本大的问题，但对于大数据训练而言，SG效果常不尽如人意，因为每一轮梯度更新都完全与上一轮的数据和梯度无关。

随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数。

如此，每一轮更新仅需计算一个样本的梯度，计算成本等同于SG，但收敛速度快得多。

其迭代形式为：

$θi=θi−αn(hθ(x0(j),x1(j),...xn(j))−yj)xi(j)\theta _i=\theta _i-\frac{\alpha }{n}(h_\theta (x^{(j)}_0,x^{(j)}_1,...x^{(j)}_n)-y_j)x_i^{(j)}$

我们知道sgd是当前权重减去步长乘以梯度，得到新的权重。sag中的a，就是平均的意思，具体说，就是在第k步迭代的时候，我考虑的这一步和前面n-1个梯度的平均值，当前权重减去步长乘以最近n个梯度的平均值。
n是自己设置的，当n=1的时候，就是普通的sgd。
这个想法非常的简单，在随机中又增加了确定性，类似于mini-batch sgd的作用，但不同的是，sag又没有去计算更多的样本，只是利用了之前计算出来的梯度，所以每次迭代的计算成本远小于mini-batch sgd，和sgd相当。效果而言，sag相对于sgd，收敛速度快了很多。这一点下面的论文中有具体的描述和证明。
SAG论文链接：https://arxiv.org/pdf/1309.2388.pdf

拓展阅读：
- 梯度下降法算法比较和进一步优化

3 小结

全梯度下降算法(FG)【知道】
- 在进行计算的时候,计算所有样本的误差平均值,作为我的目标函数
随机梯度下降算法(SG)【知道】
- 每次只选择一个样本进行考核
小批量梯度下降算法(mini-batch)【知道】
- 选择一部分样本进行考核
随机平均梯度下降算法(SAG)【知道】
- 会给每个样本都维持一个平均值,后期计算的时候,参考这个平均值

梯度下降方法

2.5 梯度下降方法介绍学习目标掌握梯度下降法的推导过程知道全梯度下降算法的原理知道随机梯度下降算法的原理知道随机平均梯度下降算法的原理知道小批量梯度下降算法的原理上一节中给大家介绍了最基本的梯度下降法实现流程，本节我们将进一步介绍梯度下降法的详细…...

编程日记 2025/5/8 19:51:58

javascript

引入方式 JavaScript 程序不能独立运行，它需要被嵌入 HTML 中，然后浏览器才能执行 JavaScript 代码。通过 script 标签将 JavaScript 代码引入到 HTML 中，有两种方式： 内部方式通过 script 标签包裹 JavaScript 代码 <!DO…...

编程日记 2025/5/5 23:38:55

大语言模型训练所需的最低显存，联邦大语言模型训练的传输优化技术

联邦大语言模型训练的传输优化技术目录联邦大语言模型训练的传输优化技术大语言模型训练所需的最低显存大语言模型训练所需的最低显存基于模型微调、压缩和分布式并行处理的方法，介绍了相关开源模型及技术应用核心创新点多维度优化策略：综合运用基于模型微调、模型压缩和…...

编程日记 2025/5/7 2:02:38

二叉树的二叉链表和三叉链表

在二叉树的数据结构中，通常有两种链表存储方式：二叉链表和三叉链表。这里，我们先澄清一下概念，通常我们讨论的是二叉链表，它用于存储二叉树的节点。而“三叉链表”这个术语在二叉树的上下文中不常见，可能是…...

编程日记 2025/5/6 0:11:41

api开发如何在代码中使用京东商品详情接口的参数？

选择编程语言和相关工具以 Python 为例，你可以使用requests库来发送 HTTP 请求获取接口数据。如果是 Java，可以使用OkHttp等库。 Python 示例假设你已经安装了requests库，以下是一个简单的代码示例来获取和使用京东商品详情接口参数&#…...

编程日记 2025/5/8 19:17:58

Quartz如何实现分布式调度

系列文章目录任务调度管理——Quartz入门 Quartz如何实现分布式控制系列文章目录一、持久化二、分布式调度1. 表信息2. 调度器的竞争3. 触发器的分配三、总结我们都说Quartz是个分布式调度框架，那么在分布式环境上，如何使得各个服务器上的定时任务…...

编程日记 2025/5/7 17:08:47

JUC--线程池

线程池七、线程池7.1线程池的概述7.2线程池的构建与参数ThreadPoolExecutor 的构造方法核心参数线程池的工作原理 Executors构造方法newFixedThreadPoolnewCachedThreadPoolnewSingleThreadExecutornewScheduledThreadPool(int corePoolSize) 为什么不推荐使用内置线程池&…...

编程日记 2025/4/28 21:23:20

以柔资讯-D-Security终端文件保护系统 logFileName 任意文件读取漏洞复现

0x01 产品简介 D-Security终端文件保护系统是一套专注于企业文件管理效率与安全的解决方案，统对文件进行全文加密，而非仅在文件表头或特定部分进行加密，从而大大提高了文件的安全性，降低了被破解的风险。D-Security终端文件保护系统是被政府和国安局等情报单位唯一认定的安…...

编程日记 2025/5/4 6:48:19

【JavaScript】Set，Map，Weakmap

以下来源：九剑科技。 weakmap WeakMap是 ES6 中新增的一种集合类型，叫做“弱映射”，由于他的键引用的对象是弱引用，键所指向的对象可以被垃圾回收，可以防止内存泄露。 map ①Map是键值对的集合，键值不限…...

编程日记 2025/5/5 17:38:13

idea小操作

idea 所边定位到你目前阅读的代码 AltF1 或者选择定位图标...

编程日记 2025/5/6 6:20:27

[tesseract]Deserialize header failed: FIRC.lstmf

tesseract5.0训练时候会提示 [INFO]cd /d D:\program\tesseract-ocr-lstm-train\data [INFO]D:\program\tesseract-ocr-lstm-train\Tesseract-OCR\tesseract.exe xiangjiao.tif xiangjiao -l eng --psm 7 lstm.train [INFO]Page 1 [INFO]Page 2 [INFO]Deserialize header fail…...

编程日记 2025/5/6 17:53:53

深度学习知识点：RNN

文章目录 1.简单介绍2.网络结构3.应对梯度消失 1.简单介绍循环神经网络（RNN，Recurrent Neural Network）是一类用于处理序列数据的神经网络。与传统网络相比，变化不是特别大，不如CNN的变化那么大。为什么要有循环神经…...

编程日记 2025/5/3 17:32:05

【数据可视化-11】全国大学数据可视化分析

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...

编程日记 2025/5/3 7:42:47

CSS：背景样式、盒子模型与文本样式

背景样式背景样式用于设置网页元素的背景，包括颜色、图片等。背景颜色使用 background-color 属性设置背景颜色，支持多种格式（颜色英文、十六进制、RGB等）。 div {background-color: lightblue; }格式示例十六进制#ff5733R…...

编程日记 2025/5/5 19:46:14

学英语学压测：02jmeter组件-测试计划和线程组ramp-up参数的作用

📢📢📢：先看关键单词，再看英文，最后看中文总结，再回头看一遍英文原文，效果更佳！！ 关键词 Functional Testing功能测试[ˈfʌŋkʃənəl ˈtɛstɪŋ]Sample样…...

编程日记 2025/5/4 14:48:31

环动科技平均售价波动下滑：大客户依赖明显，应收账款周转率骤降

《港湾商业观察》施子夫 2024年12月18日，浙江环动机器人关节科技股份有限公司（以下简称，环动科技）的上市审核状态变更为“已问询”，公司在11月25日科创板IPO获上交所受理，独家保荐机构为广发证券。此次环…...

编程日记 2025/5/4 22:13:48

数据结构：LinkedList与链表—无头双向链表（二）

目录一、什么是LinkedList？ 二、LinkedList的模拟实现 1、display()方法 2、addFirst(int data)方法 3、addLast(int data)方法 4、addIndex(int index,int data)方法 5、contains(int key)方法 6、remove(int key)方法 7、removeAllKey(int key)方法 8、…...

编程日记 2025/5/8 19:46:05

『SQLite』解释执行（Explain）

摘要：本节主要讲解SQL的解释执行：Explain。在 sqlite 语句之前，可以使用 “EXPLAIN” 关键字或 “EXPLAIN QUERY PLAN” 短语，用于描述表查询的细节。基本语法 EXPLAIN 语法： EXPLAIN [SQLite Query]EXPLAIN QUER…...

编程日记 2025/5/5 11:41:56

计算机网络之---物理层的基本概念

物理层简介物理层（Physical Layer） 是 OSI（开放系统互联）模型中的第 1 层，它主要负责数据在物理媒介上的传输，确保原始比特（0 和 1）的传输不受干扰地从一个设备传送到另一个设备。…...

编程日记 2025/5/3 6:23:09

Elasticsearch：优化的标量量化 - 更好的二进制量化

作者：来自 Elastic Benjamin Trent 在这里，我们解释了 Elasticsearch 中的优化标量量化以及如何使用它来改进更好的二进制量化 (Better Binary Quantization - BBQ)。我们的全新改进版二进制量化 (Better Binary Quantization - BBQ) 索引现在变得更强大…...

编程日记 2025/5/3 9:19:14

KBQA前沿技术

文章目录 KBQA面临的挑战基于模板的方法基于语义解析的方法基于深度学习的传统问答基于深度学习的端到端问答模型KBQA面临的挑战目前还存在两个很大的困难阻碍着KBQA系统被广泛应用。一个困难是现有的自然语言理解技术在处理自然语言的歧义性和复杂性方面还显得比较薄弱。例如…...

编程日记 2025/5/1 9:53:10

patchwork++地面分割学习笔记

参考资料：古月居 - ROS机器人知识分享社区 https://zhuanlan.zhihu.com/p/644297447 patchwork算法一共包含四部分内容：提出了以下四个部分：RNR、RVPF、A-GLE 和 TGR。 1）基于 3D LiDAR 反射模型的反射噪声消除 (RNR)&#xff…...

编程日记 2025/5/4 18:01:09

OSPF浅析

一、预习： 1、介绍： 是一种基于接口的典型的链路状态路由协议，协议号89，把大型网络分隔为多个较小、可管理的单元：Area，管理距离110；OSPF基于IP，使用了LSAck包来保证包数据的可靠性&…...

编程日记 2025/5/6 5:15:30

批量写入数据到数据库，卡顿怎么解决

在批量写入数据到数据库时，遇到卡顿或性能瓶颈是比较常见的问题。以下是一些可能的解决方案和优化策略，帮助你提高批量写入的性能： ### 1. **批量大小优化** - **调整批量大小**：尝试调整批量写入的数据量，找到一个平衡点。过大或过小的批量大小都可能影响性能。通常，批…...

编程日记 2025/5/6 8:37:47

Residency 与 Internship 的区别及用法解析

Residency 与 Internship 的区别及用法解析在英文中，“residency” 和 “internship” 都与职业培训相关，但它们的使用场景和具体含义存在显著差异。本文将详细解析这两个词的区别，以及它们在不同语境下的应用。 Residency 的定义及使用场景…...

编程日记 2025/5/6 20:05:16

【数据结构-堆】力扣2530. 执行 K 次操作后的最大分数

给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。你的起始分数为 0 。在一步操作中： 选出一个满足 0 < i < nums.length 的下标 i ， 将你的分数增加 nums[i] ，并且将 nums[i] 替换为 ceil(nums[i] / 3) 。返回在恰好…...

编程日记 2025/4/29 9:04:38

基于生成式对抗网络（GAN）的前沿研究与应用

引言人工智能（AI）领域在过去几年中经历了快速的发展，尤其是深度学习的兴起带来了许多变革。其中，生成式对抗网络（Generative Adversarial Network, GAN）因其强大的生成能力成为了研究热点。自2014年Ian G…...

编程日记 2025/5/6 17:13:12

stm32 移植RTL8201F（正点原子例程为例）

最近在工作中需要使用RTL8201F，在网上找了很多帖子，没有找到合适的，自己翻资料移植了一个。模板工程使用的是正点原子的f407探索版的例程，原子使用的是LAN8720,需要把他的驱动修改成为我们自己用的RTL8201F。 1.将PHY_TYPE改成我…...

编程日记 2025/5/6 13:12:14

QT-TCP-server

为了实现高性能的TCP通讯，以下是一个基于Qt的示例，展示如何利用多个线程、非阻塞I/O、数据分块和自定义协议进行优化。该示例以TCP服务器和客户端的形式展示，能够承受高负载并实现快速数据传输。高性能TCP Server示例 #include <QTcpSe…...

编程日记 2025/5/5 23:41:08

第 24 章网络请求与远程资源

第 24 章网络请求与远程资源 24.1 XMLHttpRequest 对象所有现代浏览器都通过 XMLHttpRequest 构造函数原生支持 XHR 对象： let xhr new XMLHttpRequest()24.1.1 使用 XHR 使用 XHR 对象首先要调用 open()方法，这个方法接收 3 个参数：请…...

编程日记 2025/5/5 15:51:30

k8s dashboard离线部署步骤

确定k8s版本，以1.23为例。部署metrics-server服务，最好用v0.5.2。用v0.6.0，可能会报以下错误： nodekubemaster:~/Desktop/metric$ kubectl top nodes Error from server (ServiceUnavailable): the server is currently unabl…...

编程日记 2025/5/8 14:46:16

热备份路由HSRP及配置案例

✍作者：柒烨带你飞 💪格言：生活的情况越艰难，我越感到自己更坚强；我这个人走得很慢，但我从不后退。 📜系列专栏：网路安全入门系列目录一，HSRP的相关概念二，…...

编程日记 2025/5/4 23:03:17

【文本分类】bert二分类

import os import torch from torch.utils.data import DataLoader, Dataset from transformers import BertTokenizer, BertForSequenceClassification, AdamW from sklearn.metrics import accuracy_score, classification_report from tqdm import tqdm# 自定义数据集 class…...

编程日记 2025/5/5 2:44:38

2.5 梯度下降方法介绍

学习目标

1 详解梯度下降算法

1.1梯度下降的相关概念复习

1.2 梯度下降法的推导流程

2 梯度下降法大家族

2.1 全梯度下降算法(FG)

2.2 随机梯度下降算法(SG)

2.3 小批量梯度下降算法(mini-batch)

2.4 随机平均梯度下降算法(SAG)

3 小结

相关文章：