当前位置：首页 > news >正文

梯度下降，共轭梯度，牛顿法，拟牛顿法的收敛速度对比

news 来源：原创 2025/8/15 10:23:28

一、收敛速度理论对比

方法	收敛速度（一般非线性函数）	收敛速度（二次凸函数）	局部收敛性（接近极小点时）	收敛阶
梯度下降（GD）	线性收敛（Linear）	线性收敛（依赖强凸性）	线性收敛	$O(\alpha^k)$ ， $0<\alpha<1$
共轭梯度（CG）	超线性收敛（Superlinear）	有限步收敛（n 步精确解）	超线性收敛（若保持共轭性）	超线性
牛顿法	局部二次收敛（Quadratic）	二次收敛（1-2 步可达解）	二次收敛	$O(\\|\mathbf{x}_k - \mathbf{x}^*\\|^2)$
拟牛顿法（如 BFGS）	超线性收敛（Superlinear）	超线性收敛（接近牛顿法速度）	超线性收敛（接近二次收敛）	超线性（接近二次）

二、核心特性与收敛机制

1. 梯度下降（GD）

原理：沿负梯度方向迭代，步长$\eta$控制更新幅度。
收敛速度：
- 线性收敛：在强凸函数（满足 $mI \leqslant \nabla^2 f \leqslant MI$ 下，收敛速度为 $O\left(\frac{1}{k}\right)$ （当使用精确线搜索）或指数级$O(\alpha^k)$（固定步长）。
- 慢的原因：仅利用一阶导数，忽略曲率信息，易在狭长山谷型函数中震荡或 zig-zag 收敛。
优势：计算简单，内存需求低（仅需梯度），适合大规模问题。
劣势：收敛速度慢，依赖步长调整，对非凸函数易陷入局部极小。

2. 共轭梯度（CG）

原理：针对二次型函数设计，通过构造共轭方向（关于 Hessian 矩阵正交），理论上在n维空间中n步精确收敛。
收敛速度：
- 二次函数：严格n步收敛（有限步算法），无需线搜索。
- 非二次函数：通过迭代更新共轭方向，表现为超线性收敛（收敛速度快于线性，但慢于二次）。
优势：无需存储 Hessian 矩阵（仅需梯度和历史方向），内存效率高于牛顿法，优于梯度下降。
劣势：依赖函数光滑性，对强非线性函数收敛速度下降，需定期重置方向（如 Fletcher-Reeves 重置）。

3. 牛顿法

原理：利用二阶导数（Hessian 矩阵H），通过求解 $H\mathbf{d} = -\nabla f$ 得到搜索方向 $\mathbf{d}$ ，实现 “二阶近似”。
收敛速度：
- 局部二次收敛：若初始点足够接近极小点且H正定，误差满足 $\|\mathbf{x}_{k+1} - \mathbf{x}^*\| = O(\|\mathbf{x}_k - \mathbf{x}^*\|^2)$ ，即误差呈平方级下降，迭代次数极少（如 10-20 步可达高精度）。
- 全局收敛性：若无合适阻尼（如线搜索或信赖域），可能发散（Hessian 非正定或初始点远离极小点）。
优势：理论上最快的局部收敛速度，适合高精度需求的中小规模问题。
劣势：每次迭代需计算 $O(n^3)$ 的 Hessian 求逆（或分解），内存和计算量巨大，不适合大规模问题 $n>10^3$ 时难以应用）。

4. 拟牛顿法（如 BFGS、L-BFGS）

原理：通过迭代更新矩阵 $B_k \approx H$ （或其逆），避免显式计算 Hessian，降低计算成本。
收敛速度：
- 超线性收敛：在满足强 Wolfe 线搜索条件下，对一般非线性函数收敛速度为超线性（如 BFGS 的收敛阶为 $O(k^{-q})$ ， $q>1$ ，接近牛顿法的局部收敛速度，但略慢于二次收敛。
- 改进版（如 L-BFGS）：通过限制内存（仅存储最近m次迭代信息），将内存复杂度从 $O(n^2)$ 降至 $O(nm)$ ，适合大规模问题（n可达 $10^5$ ）。
优势：平衡了收敛速度和计算成本，是实际应用中最常用的高阶优化方法之一。
劣势：依赖初始矩阵 $B_0$ （通常设为单位矩阵），对强非凸函数可能收敛到鞍点。

三、实际应用场景对比

场景	梯度下降（GD）	共轭梯度（CG）	牛顿法	拟牛顿法（BFGS/L-BFGS）
问题规模	大规模（ $n>10^4$ ）	中等规模（ $n<10^4$ ）	小规模（ $n<10^3$ )）	中等 - 大规模（ $n<10^5$ ）
函数类型	非凸、低光滑性	凸函数、二次型	凸函数、光滑	凸 / 非凸、中等光滑性
收敛速度需求	低精度、快速初值迭代	二次型问题首选	高精度、局部极小	平衡速度与计算成本
内存限制	极低（仅梯度）	低（仅梯度和方向）	高（存储 Hessian）	中（BFGS 需 $O(n^2)$ ，L-BFGS 需 $O(nm)$
典型应用	深度学习（SGD 变种）	稀疏线性系统求解	科学计算、优化测试函数	机器学习（逻辑回归、SVM）

四、关键结论

收敛速度排序（从快到慢）：
- 局部收敛：牛顿法（二次收敛）> 拟牛顿法（超线性，接近二次）> 共轭梯度（超线性）> 梯度下降（线性）。
- 全局收敛（非二次函数）：拟牛顿法 ≈ 共轭梯度 > 牛顿法（需良好初始点）> 梯度下降。
理论与实践的平衡：
- 牛顿法的二次收敛性仅在局部且 Hessian 正定时成立，实际中可能因 Hessian 计算成本高或非正定而受限。
- 拟牛顿法（如 BFGS）通过近似 Hessian，在保持超线性收敛的同时大幅降低计算量，是多数优化问题的首选。
- 梯度下降虽慢，但凭借简单性和可扩展性，仍是大规模数据（如深度学习）的基石，常通过加速技巧（如动量、Adam）提升收敛速度。
函数特性的影响：
- 对于二次型函数，共轭梯度是最优选择（n步精确解），牛顿法仅需 1-2 步迭代。
- 对于强非线性、非凸函数，拟牛顿法和梯度下降更稳健，牛顿法可能因 Hessian 非正定而失效。

梯度下降，共轭梯度，牛顿法，拟牛顿法的收敛速度对比

一、收敛速度理论对比方法收敛速度（一般非线性函数）收敛速度（二次凸函数）局部收敛性（接近极小点时）收敛阶梯度下降（GD）线性收敛（Linear）线性收敛&#xff0…...

编程日记 2025/8/15 10:23:28

深入浅出目标检测：从入门到YOLOv3，揭开计算机视觉的“火眼金睛”

目录揭开目标检测的神秘面纱什么是目标检测？为什么它如此重要？定义：图像分类、目标检测、目标跟踪、实例分割的区别与联系应用场景讲解目标检测的输出：边界框 (Bounding Box) 和类别 (Class)目标检测在AI领域的地位和发展趋势&…...

编程日记 2025/8/2 18:19:24

Odoo：免费开源的轧制品行业管理软件

Odoo免费开源的轧制品行业管理软件能够帮助建材、电线电缆、金属、造纸包装以及纺织品行业提高韧性和盈利能力，构筑美好未来。文 ｜ 开源智造（OSCG）Odoo金牌服务提高供应链韧性，赋能可持续发展如今，金属…...

编程日记 2025/8/15 10:22:32

51单片机实验六：通用型1602液晶操作方法

目录一、实验环境与实验器材二、实验内容及实验步骤 1. 目标：用C语言编程，实现在1602液晶的第一行显示“I LOVE MCU!”，在第二行显示WWW.TXMCU.COM。 2.目标：用C语言编程，实现第一行从右侧移入“Hello everyone!”…...

编程日记 2025/8/15 10:21:57

原型模式详解及c++代码实现(以自动驾驶感知场景为例)

模式定义原型模式（Prototype Pattern）是一种创建型设计模式，通过克隆已有对象来创建新对象，避免重复执行昂贵的初始化操作。该模式特别适用于需要高效创建相似对象的场景，是自动驾驶感知系统中处理大量重复数据结构的…...

编程日记 2025/8/14 16:37:48

datasheet数据手册-阅读方法

DataSheet Datasheet（数据手册）：电子元器件或者芯片的数据手册，一般由厂家编写，格式一般为PDF，内容为电子分立元器件或者芯片的各项参数，电性参数，物理参数，甚至制造材料…...

编程日记 2025/8/15 10:18:59

C言雅韵集：野指针

嘿，各位技术潮人！好久不见甚是想念。生活就像一场奇妙冒险，而编程就是那把超酷的万能钥匙。此刻，阳光洒在键盘上，灵感在指尖跳跃，让我们抛开一切束缚，给平淡日子加点料，注入满满的pa…...

编程日记 2025/8/7 23:34:13

2 celery环境搭建

1. 安装 Celery 及依赖 1.1 安装 Celery 使用 pip 安装 Celery（推荐 Python 3.7 环境）： pip install celery1.2 选择并安装 Broker Celery 需要一个消息中间件（Broker）来传递任务。以下是两种常用 Broker 的安装方…...

编程日记 2025/8/15 10:17:11

alertManager部署安装、告警规则配置详解及告警消息推送

java接受告警请求RestController RequestMapping("/alert") Slf4j public class TestApi {private static final DateTimeFormatter FORMATTER DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");RequestMappingpublic void sendTemplate(HttpServl…...

编程日记 2025/8/15 10:17:10

day45——非递减数列（LeetCode-665）

题目描述给你一个长度为 n 的整数数组 nums ，请你判断在最多改变 1 个元素的情况下，该数组能否变成一个非递减数列。我们是这样定义一个非递减数列的： 对于数组中任意的 i (0 < i < n-2)，总满足 nums[i] < nums[i …...

编程日记 2025/8/15 10:23:27

LeetCode19.删除链表的倒数第N个节点

题目给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。请用一次扫描实现示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5]示例 2： 输入：head [1], n 1 输出&#xff…...

编程日记 2025/8/15 10:19:00

Kafka系列之：计算kafka集群topic占的存储大小

Kafka系列之：计算kafka集群topic占的存储大小 topic存储数据格式统计topic存储大小定时统计topic存储大小topic存储数据格式单位是字节大小 size_bytes{directory="/data/datum/kafka/optics-all" } 782336计算topic存储大小脚本逻辑是：计算指定目录或文件的大小…...

编程日记 2025/8/11 19:16:17

Logisim数字逻辑实训——计数器设计与应用

4位递增计数器六进制计数器十进制计数器六十进制计数器二十四进制计数器计时器...

编程日记 2025/8/15 10:19:58

安卓手机如何改ip地址教程

对于安卓手机用户而言，ip修改用在电商、跨境电商、游戏搬砖、社交软件这些需要开多个账号的项目。因为多个设备或账号又不能在同一ip网络下，所以修改手机的IP地址防检测成为一个必要的操作。以下是在安卓手机上更改IP地址的多种方法及详细步骤&#xff0…...

编程日记 2025/8/2 18:18:47

论文阅读--Orient Anything

通过渲染3D模型来学习不同方向下物体的外观，并从单张和自由视角的图像中估计物体方向 1. 数据生成：基于 3D 渲染构建大规模方向标注数据集 - 数据来源： 使用 Objaverse 数据库中的高质量 3D 模型，进行筛选和预处理。 - 筛选规范…...

编程日记 2025/8/10 4:23:07

ASP.NET MVC 实现增删改查（CRUD）操作的完整示例

提供一个完整的 ASP.NET MVC 实现增删改查（CRUD）操作的示例。该示例使用 SQL Server 数据库，以一个简单的 Product 实体为例。步骤 1：创建 ASP.NET MVC 项目首先，在 Visual Studio 中创建一个新的 ASP.NET MVC 项目…...

编程日记 2025/8/9 15:53:59

ASP.NET常见安全漏洞及修复方式

Microsoft IIS 版本信息泄露查看网页返回的 Header 信息，默认会包含 IIS，ASP.NET 版本信息： 隐藏 Server 标头编辑 web.config 文件，在 system.webServer 节点中配置 requestFiltering 来移除Server标头： <sec…...

编程日记 2025/8/12 15:41:16

文件系统的npu和内核的npu有什么区别

我在编译rk3588的内核和文件系统时候，发现都编译到rknpu这个文件，那么文件系统的npu和内核的npu有什么根本的区别吗？ 我可以理解为，文件系统下是应用程序，内核下是驱动程序。功能定位内核中的 NPU 源码核心功能&am…...

编程日记 2025/8/6 6:31:38

RUI桌面TV版最新版免费下载-安卓电视版使用教程

在智能电视的使用中，拥有一款好用的桌面应用能极大提升体验，RUI桌面TV版就是这样一款实用的工具。下面为大家带来它的免费下载及安卓电视版使用教程。一、下载步骤首先确保你的安卓电视已连接网络。打开电视自带的应用商店，在搜索栏输入“…...

编程日记 2025/8/13 1:34:20

android的配置检查查看安卓设备配置

Android系统属性配置与内存管理指南在Android开发过程中，了解系统属性配置和内存管理机制对应用性能优化至关重要。本文将介绍如何通过adb命令查询和修改系统属性，以及如何合理管理应用内存。一、adb命令查询当前堆内存信息 1. 查询所有配置 adb s…...

编程日记 2025/8/11 13:34:13

RHCE的简单配置

一：配置qq第三方客户端验证 1.安装第三方邮件客户端软件 2.mail程序登录验证qq账号 3.在qq客户端程序（如浏览器中进入邮箱登录QQ邮箱->设置->账户）中通过设置开启imap/smtp服务提供第三方程序账号的授权码 4.因为需要 QQ 邮箱的 S…...

编程日记 2025/8/6 18:13:48

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（7）：（1）ながら一边。。一边（2）。。。し。。。し。。又……又……

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（7）：（1）ながら一边。。一边 （2）。。。し。。。し。。又……又…… 1、前言（1）情况说明（2）工程师…...

编程日记 2025/8/15 2:00:30

【图像梯度处理，图像边缘检测】图像处理（OpenCv）-part6

13 图像梯度处理 13.1 图像梯度边缘提取是图像处理中的一个重要任务，其目的是检测图像中灰度值发生显著变化的区域，这些区域通常对应于图像中的物体边界、纹理变化或深度变化等。边缘提取的原理可以分为以下几个关键步骤： 1. 边缘的定义和…...

编程日记 2025/8/9 18:15:12

一本通 2063：【例1.4】牛吃牧草 1005：地球人口承载力估计

Topic： Ideas： 为什么把这两道题放在一起呢？就是因为这两道题很类似，都是很简单的数学题，只要你会列出数学等式，你就学会这道题了！ 下面把计算过程展示给大家 Code： //2025/04/18…...

编程日记 2025/8/15 1:17:31

下载HBuilder X，使用uniapp编写微信小程序

到官网下载HBuilder X 地址：HBuilderX-高效极客技巧下载完成后解压打开解压后的文件夹找到HBuilderX.exe 打开显示更多，发送到桌面快捷方式到桌面上启动HBuilderX.exe启动应用在工具点击插件安装选择安装Vue3编译器点击新建创建Vue3项目编写项目…...

编程日记 2025/8/14 1:33:22

4.18---缓存相关问题（操作原子性，击穿，穿透，雪崩，redis优势）

为什么要用redis做一层缓存，相比直接查mysql有什么优势？ 首先介绍Mysql自带缓存机制的问题： MySQL 的缓存机制存在一些限制和问题,它自身带的缓存功能Query Cache只能缓存完全相同的查询语句，对于稍有不同的查询语句&#xff0c…...

编程日记 2025/8/8 0:18:47

前端：uniapp中uni.pageScrollTo方法与元素的overflow-y:auto之间的关联

在uniapp中，uni.pageScrollTo方法与元素的overflow-y:auto属性之间存在以下关联和差异： 一、功能定位差异 ‌uni.pageScrollTo‌ 属于‌页面级滚动控制‌，作用于整个页面容器‌34。要求页面内容高度必须超过屏幕高度，且由根元素下…...

编程日记 2025/8/15 1:25:02

获取不到AndroidManifest中的meta-data

现象描述最近在项目中接入穿山甲广告的sdk，快速实现了核心功能验证。接下来就准备规范代码正式使用，却掉了一个坑，略做记录。穿山甲sdk提供了一个appid的参数，不同渠道包是不同的，所以将其配入了gradle的productFl…...

编程日记 2025/8/14 14:49:42

Python学习之Matplotlib

Python学习之Matplotlib Matplotlib是一个Python的2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形.通过Matplotlib,开发者可以仅需要几行代码,便可以生成饼图,直方图,功率谱,条形图,错误图,散点图等 1.1 图形的基本构成一个完整的图,包括figure,a…...

编程日记 2025/8/2 18:18:10

Motion Tracks：少样本模仿学习中人-机器人之间迁移的统一表征

25年1月来自Cornell和Stanford的论文“MOTION TRACKS: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning”。教会机器人自主完成日常任务仍然是一项挑战。模仿学习 (IL) 是一种强大的方法，它通过演示向机器人灌输技能&#xff…...

编程日记 2025/8/14 4:26:50

【Spring Boot】MyBatis入门：连接Mysql数据库、测试单元、连接的常见错误

MyBatis入门 1.什么是MyBatis？2.准备工作2.1.创建项目2.2.MySQL数据准备2.3.创建对应的实体类 3.写配置文件和获取数据3.1写配置文件3.2 持久层代码 4.单元测试5.连接数据库时常见的错误5.1 url 配置错误5.2 MySQL账号密码错误5.3 找不到数据库5.4 表错误5.3 云服务…...

编程日记 2025/8/13 13:28:59

【AI插件开发】Notepad++ AI插件开发实践：支持配置界面

一、引用此前的系列文章已基本完成了Notepad的AI插件的功能开发，但是此前使用的配置为JSON配置文件，不支持界面配置。本章在此基础上集成支持配置界面，这样不需要手工修改配置文件，直接在界面上操作，方便快捷。注…...

编程日记 2025/8/15 4:31:07

《Spring Boot 测试框架指南：@SpringBootTest与Mockito的最佳实践》

大家好呀！👋 今天我要和大家聊聊Spring Boot测试的那些事儿。作为一名Java开发者，写代码很重要，但写测试同样重要！💯 想象一下，你建了一座漂亮的房子🏠，但如果没有质量检…...

编程日记 2025/8/11 13:16:40

《数据结构初阶》【时间复杂度 + 空间复杂度】

《数据结构初阶》【时间复杂度空间复杂度】前言：-----------------------------------------1. 什么是数据结构？2. 什么是算法？ -----------------------------------------算法的时间复杂度和空间复杂度1. 为什么要引入时间复杂度和空间复…...

编程日记 2025/8/14 0:23:35

【深度学习—李宏毅教程笔记】Self-attention

目录一、Self-attention 的引入 1、多样化的输入形式 2、典型的下游任务下游任务 3、传统“全连接窗口”方法的局限 4、Self‑Attention 的引入二、Self-attention 的架构 1、Self-attention层的框图表示 2、Self-attention 层的矩阵运算过程三、Multi-head Self…...

编程日记 2025/8/8 17:20:40

PHP腾讯云人脸核身获取Access Token

参考腾讯云官方文档： 人脸核身获取 Access Token_腾讯云 public function getAccessToken(){$data [appId > , //WBappid,https://cloud.tencent.com/document/product/1007/49634secret > ,grant_type > client_credential, //授权类型version > 1…...

编程日记 2025/8/14 16:39:10

pytorch基本操作2

torch.clamp 主要用于对张量中的元素进行截断（clamping），将其限制在一个指定的区间范围内。函数定义 torch.clamp(input, minNone, maxNone) → Tensor 参数说明 input 类型：Tensor 需要进行截断操作的输入张…...

编程日记 2025/8/10 11:24:32

Linux服务器配置Anaconda环境、Pytorch库（图文并茂的教程）

引言：为了方便后续新进组的师弟/师妹使用课题组的服务器，特此编文（ps：我导从教至今四年，还未招师妹） ✅ NLP 研 2 选手的学习笔记笔者简介：Wang Linyong，NPU，2023级&a…...

编程日记 2025/8/12 20:55:43

idea 许可证过期

今天打开IDEA写代码突然提示：Your idea evaluation has expired. Your session will be limited to 30 minutes 评估已过期，您的会话将限制为 30 分钟。也就是说可以使用，但30min就会自动关闭 1 下载 ide-eval-resetter-2.1.6.zip https…...

编程日记 2025/8/12 15:29:11

Git常用命令分类汇总

Git常用命令分类汇总一、基础操作初始化仓库git init添加文件到暂存区git add file_name # 添加单个文件 git add . # 添加所有修改提交更改git commit -m "提交描述"查看仓库状态git status二、分支管理创建/切换分支git branch branch_name …...

编程日记 2025/8/12 3:05:01

归并排序：数据排序的高效之道

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/8/4 10:08:30

分布式训练（记录）

为什么要分布式训练？ 单机训练有物理上限： 显存不够（大模型根本放不下） 单机计算慢（数据量一多就耗时太长） 多卡并行性不高分布式训练的常见方式 Data Parallel（数据并行） 每个G…...

编程日记 2025/8/8 21:34:33

vue3中使用拖拽组件vuedragable@next

vue3中使用拖拽组件vuedragablenext 官网传送门下载 npm install vuedraggablenext基本使用 <script setup> import draggable from vuedraggable import { ref } from vue const list ref([{ id:1,name:第一个 },{ id:2,name:第二个 },{ id:3,name:第三个 }, ]) <…...

编程日记 2025/8/15 5:46:56

Oracle、MySQL、PostgreSQL三大数据库对比分析

Oracle、MySQL、PostgreSQL 三大数据库的对比分析，结合 Java SpringBoot 项目开发的实际场景，重点说明分库分表、主从复制的实现难度及案例。一、数据库核心对比 1. 核心区别与适用场景维度OracleMySQLPostgreSQL定位企业级商业数据库轻量级开源数据…...

编程日记 2025/8/13 15:28:26

java八股之并发编程

1.java线程和操作系统线程之间的区别？ 现在java线程本质上是操作系统线程，java中采用的是一对一的线程模型（一个用户线程对应一个内核进程） 2.什么是进程和线程？ 1.进程是操作系统一次执行，资源分配和调度的…...

编程日记 2025/8/14 8:33:31

Qt 入门 5 之其他窗口部件

Qt 入门 5 之其他窗口部件本文介绍的窗口部件直接或间接继承自 QWidget 类详细介绍其他部件的功能与使用方法 1. QFrame 类 QFrame类是带有边框的部件的基类。它的子类包括最常用的标签部件QLabel另外还有 QLCDNumber、QSplitter,QStackedWidget,QToolBox 和 QAbstractScrol…...

编程日记 2025/8/13 19:59:14

Linux系统之----冯诺依曼结构

1.简要描述冯诺依曼体系结构是现代计算机的基本设计思想，其核心理念是将计算机的硬件和软件统一为一个整体，通过存储程序的方式实现计算。冯诺依曼体系结构的核心思想是通过存储程序实现自动计算，其五大部件协同工作，奠定了现代…...

编程日记 2025/8/12 4:38:51

C++11新特性

目录引入 C11新特性统一的初始化列表一切皆可{}初始化 std::initializer_list 统一的声明 auto decltype nullptr 范围for STL新增容器 STL新增容器接口左值引用和右值引用左值和右值左值引用和右值引用右值引用的优势(移动语义) 右值引用的使用场景 …...

编程日记 2025/8/11 13:31:17