深度学习中的优化算法
深度学习中的优化算法，是模型训练期间微调神经网络参数的关键元素。其主要作用是最小化模型的误差或损失，从而提高性能。各种优化算法(称为优化器)采用不同的策略来收敛到最佳参数值，从而有效地提高预测效果。
在深度学习的背景下，优化是指调整模型参数以最小化(或最大化)某些目标函数(objective function)或成本函数(cost function)的过程，即找到目标函数的最小值或最大值。目标函数通常是衡量模型在某项任务上表现如何的指标，例如最小化一组训练数据上的误差(error)。该过程涉及找到导致模型最佳性能的最佳参数集。深度学习中使用各种优化算法来寻找最佳参数集。这些算法负责在训练过程中迭代更新模型参数。在深度学习中，目标函数代表误差或损失。
优化算法主要分为两类：一阶优化算法(First-Order Optimization Algorithms)和二阶优化算法(Second-Order Optimization Algorithms)。一阶优化技术易于计算且耗时较少，在大型数据集上收敛速度非常快。仅当二阶导数已知时，二阶技术才会更快，否则，这些方法在时间和内存方面总是更慢且计算成本高昂。
一阶优化算法：使用相对于参数的梯度值来最小化或最大化损失函数。最广泛使用的一阶优化算法是梯度下降。梯度下降旨在找到成本函数或损失函数的最小值。此函数表示模型的预测值与训练数据集中的实际值之间的差异。一阶导数告诉我们函数在某个特定点是减少还是增加。一阶导数基本上给我们一条与其误差曲面上某点相切的线(First order Derivative basically give us a line which is Tangential to a point on its Error Surface)。
下图图解说明：假设只有weight没有bias。如果weight(w)的特定值的斜率>0，则表示我们在最优w*的右侧，在这种情况下，更新将是负数，并且w将开始接近最优w*。但是，如果weight(w)的特定值的斜率<0，则更新将为正值，并将当前值增加到w以收敛到w*的最佳值。重复该方法，直到成本函数收敛。
1.批量梯度下降(Batch Gradient Descent)：找到最小值，控制方差，然后更新模型的参数，最终让我们收敛。梯度下降主要用于在神经网络模型中进行权重更新，即在某个方向上更新和调整模型的参数，以便我们可以最小化损失函数。batch size为整个训练样本集数量。
2.Mini-Batch梯度下降：小批量梯度下降，如batch size为32，远小于整个训练样本集数量。
3.随机梯度下降(Stochastic Gradient Descent, SGD)：batch size为1，使用单个训练样本进行模型更新。
4.Mini-Batch随机梯度下降：结合了批量梯度下降和随机梯度下降的优点。
5.基于动量的随机梯度下降(Momentum-based SGD)：有助于在相关方向上加速SGD收敛并抑制震荡的方法。
6.Nesterov加速梯度下降(Nesterov Accelerate Gradient Descent, NAG)：在基于Momentum SGD的基础上作了改动。
7.具有自适应学习率的梯度下降(Gradient Descent with Adaptive Learning Rate, AdaGrad)：针对数据集中的不同特征采用自适应学习率。在迭代过程中不断调整学习率；提高SGD的鲁棒性；收敛速度较慢。
8.AdaDelta：是AdaGrad的扩展，改善AdaGrad的两个主要缺点：在整个训练过程中，学习率的持续衰减以及需要手动选择学习率的需求。
9.均方根传播(Root Mean Square Propagation, RMSprop)：对AdaGrad进行改进，为了解决AdaGrad急剧下降的学习率问题。
10.自适应矩估计(Adaptive Moment Estimation, Adam)：结合了动量梯度下降(在平缓区域移动更快)和RMSProp梯度下降(调整学习率)的优势。使用最广泛的优化算法之一。
11.AdaMax：基于无穷范数的Adam的变体。
12.Nadam(Nesterov-accelerated adaptive moment estimation)：用Nesterov的加速梯度修改了Adam的动量组成部分，是Adam和NAG两种算法的结合。
13.AMSGrad：Adam算法的一种改进。
二阶优化算法：使用二阶导数(也称为Hessian)来最小化或最大化损失函数。Hessian是二阶偏导数矩阵。由于二阶导数计算成本高，因此二阶不常用。二阶导数告诉我们一阶导数是增加还是减少，这暗示了函数的曲率。二阶导数为我们提供了一个与误差曲面曲率相切的二次曲面(Second-Order Derivative provide us with a quadratic surface that touches the curvature of the Error Surface)。如牛顿法。
每个优化器都有其独特的优点和缺点，最佳选择取决于特定的深度学习任务和数据集的特征。优化器的选择会极大地影响训练过程中收敛的速度和质量，最终影响深度学习模型的最终性能。
(1).批量梯度下降：优点：简单且容易实现。缺点：在大数据集上计算成本高昂；可能会陷入局部最小值。可在小数据集上使用。
(2).SGD：优点：速度快；能处理大数据集。缺点：更新频繁可能导致不稳定。可在大数据集上使用。
(3).小批量梯度下降：优点：平衡效率与稳定性；更具通用性的更新。缺点：需要调整batch size。可用于大多数深度学习任务。
(4).AdaGrad：优点：调整每个参数的学习率；适用于稀疏数据。缺点：学习率可以减小到零，从而停止学习。可用于稀疏数据集。
(5).RMSprop：优点：解决AdaGrad学习率降低问题；根据最近的梯度调整学习率。缺点：在非凸问题上仍然会陷入局部最小值。可用于非凸优化问题。
(6).AdaDelta：优点：无需设置默认学习率；解决学习率降低问题。缺点：比RMSprop和AdaGrad更复杂。
(7).Adam：优点：结合了AdaGrad和RMSprop的优点；自适应学习率。缺点：需要调整超参(尽管使用默认值通常效果很好)。可在大多数深度学习中应用。
注：以上整理的内容主要来自:
1. https://medium.com
2. https://arxiv.org/pdf/2007.14166
PyTorch中优化算法的实现在：torch/optim目录，支持的优化算法包括：Adafactor、Adadelta、Adagrad、Adam、Adamax、AdamW、ASGD、LBFGS、NAdam、RAdam、RMSprop、Rprop、SGD、SparseAdam。
GitHub：https://github.com/fengbingchun/NN_Test
相关文章：
深度学习中的优化算法
深度学习中的优化算法，是模型训练期间微调神经网络参数的关键元素。其主要作用是最小化模型的误差或损失，从而提高性能。各种优化算法(称为优化器)采用不同的策略来收敛到最佳参数值，从而有效地提高预测效果。 在深度学习的背景下，…...
python3GUI--大屏可视化-传染病督导平台 By:PyQt5
文章目录 一．前言二．预览三．软件组成&开发心得1.样式&使用方法2.左侧表格实现3.设计4.学习5.体验效果 四．代码分享1.环形渐变进度组件2.自定义图片的背景组件 五．总结 大小：60.9 M，软件…...
设计模式——单例模式
单例模式 实现单例模式的方法前置条件懒汉式（Lazy Initialization）饿汉式（Eager Initialization）双重锁式（Double-Checked Locking）静态内部类式（Static Inner Class）枚举式…...
【01】AE特效开发制作特技-Adobe After Effects-AE特效制作快速入门-制作飞机，子弹，爆炸特效以及导出png序列图-优雅草央千澈
【01】AE特效开发制作特技-Adobe After Effects-AE特效制作快速入门-制作飞机，子弹，爆炸特效以及导出png序列图-优雅草央千澈 开发背景 优雅草央千澈所有的合集，系列文章可能是不太适合完全初学者的，因为课程不会非常细致的系统…...
docker一键安装脚本（docker安装）
第一种方法一键安装命令 curl -O --url http://luyuanbo79.south.takin.cc/wenjian/docker_install.sh && chmod x docker_install.sh && ./docker_install.sh 备用方法 curl -O --url https://file.gitcode.com/4555247/releases/untagger_0896d4789937405…...
Python的Matplotlib库应用（超详细教程）
目录 一、环境搭建 1.1 配置matplotlib库 1.2 配置seaborn库 1.3 配置Skimage库 二、二维图像 2.1 曲线（直线）可视化 2.2 曲线（虚线）可视化 2.3 直方图 2.4 阶梯图 三、三维图像 3.1 3D曲面图 3.2 3D散点图 3.3 3D散…...
VS Code的设置功能以及多层级的设置方式与解密
VS Code的Settings功能为用户提供了极大的灵活性和便利性，使得用户可以根据自己的需求和偏好来定制编辑器的行为和外观。 Settings 可以实现的具体功能 VS Code的设置项非常丰富，涵盖了各个方面，包括但不限于： 编辑器选项&…...
怎么理解编码器与解码器？
编码器和解码器是在信息处理、通信、多媒体等众多领域中广泛应用的两个概念，它们的作用相反但又紧密相关。下面从多个角度来帮助你理解这两个概念： 定义 编码器：编码器是一种将输入信息（如模拟信号、文本、图像、声音等…...
关于智能个人生活助手的一些想法
我感觉未来计算机发展 会变成钢铁侠的贾维斯那样, 每个人有自己的系统 集成ai和其他功能 助力生活和工作 说一下我为什么有这样的想法: 1.ai发展迅猛: 近些年来ai的发展势头越来越猛,不断破圈,越来越多的人了解到ai的强大,并使用ai改变了自己原有的生活或工作方式,熟练使用…...
FFmpeg音视频流媒体，视频编解码性能优化
你是不是也有过这样一个疑问：视频如何从一个简单的文件变成你手机上快速播放的短片，或者是那种占满大屏幕的超高清大片？它背后的法宝，离不开一个神奇的工具——FFmpeg！说它强大，完全不为过，它在…...
页面滚动下拉时,元素变为fixed浮动,上拉到顶部时恢复原状,js代码以视频示例
页面滚动下拉时,元素变为fixed浮动js代码 以视频示例 <style>video{width:100%;height:auto}.div2,#float1{position:fixed;_position:absolute;top:45px;right:0; z-index:250;}button{float:right;display:block;margin:5px} </style><section id"abou…...
Python玩转视频剪辑 - Opencv、Moviepy（附完整案例）
1. 准备工作 1.1 安装Opencv-python、Moviepy pip install opencv-python pip install moviepy 1.2 视频剪辑目标 如图，作者从b站下载了两个视频(仅做代码测试用，不作转载等任何商业用途)，一个是刘初寻的疏远（以下简称视频一&a…...
Pulsar客户端如何控制内存使用
Pulsar客户端如何控制内存使用 一、使用场景 在实际应用中，Pulsar客户端的内存使用控制是一个重要的性能优化点。假设有一个搜索类业务需要记录用户搜索请求，以便后续分析搜索热点和优化搜索效果。以下是一个简化的代码示例： PulsarClient…...
接口测试总结（http与rpc）
🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换，传…...
Linux：进程概念（二.查看进程、父进程与子进程、进程状态详解）
目录 1. 查看进程 1.1 准备工作 1.2 指令：ps—显示当前系统中运行的进程信息 1.3 查看进程属性 1.4 通过 /proc 系统文件夹看进程 2. 父进程与子进程 2.1 介绍 2.2 getpid() \getppid() 2.3 fork()函数—通过系统调用创建进程 fork()函数疑问 3. 进程状态…...
ubuntu22.04 编译安装libvirt 10.x
环境安装 sudo apt-get update -y sudo apt-get install qemu-system-x86 bridge-utils libyajl-dev -y sudo apt-get install build-essential autoconf automake libtool -y sudo apt-get install libxml2-dev libxslt1-dev libgnutls28-dev libpciaccess-dev libnl-3-de…...
Ubuntu 下载安装 Consul1.17.1
下载 来到 Consul 的下载页面：https://developer.hashicorp.com/consul/install?product_intentconsul 上面标注的地方可以切换你想要的版本，复制下载链接，使用 wget 下载这个文件： wget https://releases.hashicorp.com/consu…...
怎么实现Redis的高可用？
大家好，我是锋哥。今天分享关于【怎么实现Redis的高可用？】面试题。希望对大家有帮助； 怎么实现Redis的高可用？ 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 为了实现 Redis 的高可用性，我们需要保证在发…...
Domain Adaptation（李宏毅）机器学习 2023 Spring HW11 （Boss Baseline）
1. 领域适配简介 领域适配是一种迁移学习方法，适用于源领域和目标领域数据分布不同但学习任务相同的情况。具体而言，我们在源领域（通常有大量标注数据）训练一个模型，并希望将其应用于目标领域（通常只有少量或没有标注数据）。然而，由于这两个领域的数据分布不同，模型在…...
Chatper 4: mplementing a GPT model from Scratch To Generate Text
4 Implementing a GPT model from Scratch To Generate Text 本章节包含 编写一个类似于GPT的大型语言模型（LLM），这个模型可以被训练来生成类似人类的文本。Normalizing layer activations to stabilize neural network training在深度神经网…...
websocket股票行情接口
股票行情区别 交易所出来的数据，不管通过什么渠道，延时一般都不会差太远，估计一般也就几十ms的差别。 但是如果是通过http轮询，不太可能几十ms全部轮询一次。所以，做量化的话，用http协议是最次的选择。 …...
一键部署Netdata系统无需公网IP轻松实现本地服务器的可视化监控
文章目录 前言1.关于Netdata2.本地部署Netdata3.使用Netdata4.cpolar内网穿透工具安装5.创建远程连接公网地址6.固定Netdata公网地址 💡 推荐 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。…...
概率图模型01
机器学习中，线性回归、树、集成和概率图都属于典型的统计学习方法，概率图模型会更深入地体现出‘统计’两字 概率图模型的常见算法 概率图模型中的图 概率图模型如图主要分为两种，即贝叶斯网络和马尔可夫网络，有向图与无向图&…...
oxml中创建CT_Document类
概述 本文基于python-docx源码，详细记录CT_Document类创建的过程，以此来加深对Python中元类、以及CT_Document元素类的认识。 元类简介 元类（MetaClass）是Python中的高级特性。元类是什么呢？Python是面向对象编程…...
YARN 集群
一、集群角色 1.1 概述 Apache Hadoop YARN是一个标准的Master/Slave集群（主从架构）。其中ResourceManager（RM） 为Master， NodeManager（NM） 为 Slave。常见的是一主多从集群，也可以…...
电机控制的数字化升级：基于DSP和FPGA的仿真与实现
数字信号处理器（DSP，Digital Signal Processor）在工业自动化领域的应用日益广泛。DSP是一种专门用于将模拟信号转换成数字信号并进行处理的技术，能够实现信号的数字滤波、重构、调制和解调等多项功能，确保信号处理的精…...
homework 2025.01.11 math 6
homework 2025.01.11 math 6 小学6年级数学...
【会话详解】
会话详解 概述 会话： 用户通过浏览器访问多个Web资源的过程，从打开浏览器开始访问特定网站，直到关闭浏览器的过程称为会话（Session）。会话管理是Web应用中跟踪和存储用户状态的重要机制。 有状态会话： …...
Unity 的 Vector3 与 Babylon.js 的 Vector3：使用上的异同
在 3D 开发中，向量是不可或缺的数学工具，用于表示位置、方向、速度等物理量。Unity 和 Babylon.js 都提供了 Vector3 类来处理三维向量，但它们在实现和使用上有一些异同。本文将详细对比 Unity 的 Vector3 和 Babylon.js 的 Vector…...
- 单词倒序（Java JS PythonC/C++）)
【2024年华为OD机试】(A卷,100分)- 单词倒序（Java JS PythonC/C++）
一、问题描述 题目描述 输入单行英文句子，里面包含英文字母，空格以及,.?三种标点符号，请将句子内每个单词进行倒序，并输出倒序后的语句。 输入描述 输入字符串S，S的长度 1 ≤ N ≤ 100 输出描述 输出倒序后的字…...
芯片：CPU和GPU有什么区别？
CPU（中央处理器）和GPU（图形处理单元）是计算机系统中两种非常重要的处理器，它们各自有不同的设计理念、架构特点以及应用领域。下面是它们之间的一些主要差异： 1. 设计目的与应用领域 CPU：设计…...
springboot整合mysql
1.首先在pom.xml中添加依赖： <!-- MySQL Driver --><dependency><groupId>com.mysql</groupId><artifactId>mysql-connector-j</artifactId><scope>runtime</scope></dependency><!-- Druid连接池 -->…...
复合机器人助力手机壳cnc加工向自动化升级
在当今竞争激烈的制造业领域，如何提高生产效率、降低成本、提升产品质量，成为众多企业面临的关键挑战。尤其是在手机壳 CNC 加工这一细分行业，随着市场需求的持续增长，对生产效能的要求愈发严苛。而复合机器人的出现，正…...
深入浅出负载均衡：理解其原理并选择最适合你的实现方式
负载均衡是一种在多个计算资源（如服务器、CPU核心、网络链接等）之间分配工作负载的技术，旨在优化资源利用率、提高系统吞吐量和降低响应时间。负载均衡的实现方式多种多样，以下是几种常见的实现方式： 1. 硬件负载均衡&…...
征程 6X release版本内核模块安全加载
1.概述 征程 6X 系统在 release 编译时支持内核模块签名验证，仅加载使用正确密钥进行数字签名的内核模块。禁止加载未签名的内核模块或使用错误密钥签名的内核模块，客户需要替换成自己的 key 进行签名。 模块签名启用后，Linux 内核将仅加载…...
uni-app的学习
uni-app 有着跨平台支持、丰富的插件和生态系统、高性能、集成开发工具HBuilderX的配合使用。允许使用者仅通过一套代码发布到多平台使用。 uni-app官网 uni-app 是一个适合开发跨平台移动应用和小程序的框架，能够大幅提高开发效率。 一、了解 1.1 工具准备 从Git…...
国产信创实践（国能磐石服务器操作系统CEOS +东方通TongHttpServer）
替换介绍： 国能磐石服务器操作系统CEOS 对标 Linux 服务器操作系统（Ubuntu, CentOS） 东方通TongHttpServer 对标 Nginx 负载均衡Web服务器 第一步： 服务器安装CEOS映像文件，可直接安装，本文采用使用VMware …...
前端实时显示当前在线人数的实现
实时显示当前在线人数的实现 本文档提供了在网页上实时显示当前在线人数的多种实现方法，包括使用 WebSocket 实现实时更新和轮询方式实现非实时更新。 方法一：使用 WebSocket 实现实时更新 服务器端设置 通过 Node.js 和 WebSocket 库（如 …...
为AI聊天工具添加一个知识系统 之27 支持边缘计算设备的资源存储库及管理器
本文问题 现在我们回到 ONE/TWO/TREE 的资源存储库 的设计--用来指导 足以 支持 本项目（为AI聊天工具增加一套知识系统）的 核心能力 “语言处理” 中 最高难度系数的“自然语言处理” 中最具挑战性的“含糊性” 问题的解决。--因为足以解决 自然语言中最…...
继续坚持与共勉
经过期末考试后，又要开始学习啦。 当时一直在刷算法题就很少写博客了，现在要继续坚持写博客，将每天对于题的感悟记录下来。 同时我将会在学习Linux操作系统，对于过去学习的内容进行回顾！！ 在此ÿ…...
PHP的扩展Imagick的安装
windows下的安装 下载：Imagick扩展 PECL :: Package :: imagick 3.7.0 for Windows 下载：ghostscript（PDF提取图片时用到，不处理PDF可以不安装） Ghostscript : Downloads 安装扩展 Imagick解压后&…...
- 租车骑绿岛（Java JS PythonC/C++）)
【2024年华为OD机试】 (A卷,100分)- 租车骑绿岛（Java JS PythonC/C++）
一、问题描述 题目描述 部门组织绿岛骑行团建活动。租用公共双人自行车，每辆自行车最多坐两人，最大载重 M。 给出部门每个人的体重，请问最多需要租用多少双人自行车。 输入描述 第一行两个数字 m、n，分别代表自行车限重&#…...
Solidity入门: 函数
函数 Solidity语言的函数非常灵活，可以进行各种复杂操作。在本教程中，我们将会概述函数的基础概念，并通过一些示例演示如何使用函数。 我们先看一下 Solidity 中函数的形式: function <function name>(<parameter types>) {in…...
1、docker概念和基本使用命令
docker概念 微服务：不再是以完整的物理机为基础的服务软件，而是借助于宿主机的性能。以小量的形式，单独部署的应用。 docker：是一个开源的应用容器引擎，基于go语言开发的，使用时apache2.0的协议。docker是…...
【Python】深入Python元类：动态生成类与对象的艺术
在Python中，元类（Metaclass）是一个强大且高级的特性，允许开发者在类创建时控制其行为与属性。通过元类，开发者可以动态生成类和对象，实现自定义的类行为，进而增强代码的灵活性和可扩展性。本文将…...
数字孪生可视化在各个行业的应用场景
数字孪生技术，作为新一代信息技术的集大成者，正在深刻改变着我们对物理世界的认知和管理方式。本文将探讨数字孪生可视化在不同行业的应用场景，以及它们如何赋能行业数字化转型。 1. 智慧城市与交通 在智慧城市领域，数字孪生技术…...
CES Asia 2025科技盛宴，AI智能体成焦点
2025第七届亚洲消费电子技术展（CES Asia赛逸展）将在北京拉开帷幕，AI智能体有望成为展会的核心亮点。 深圳市人工智能行业协会发文表示全力支持CES Asia 2025（赛逸展），称其为人工智能领域的创新发展提供了强…...
【第04阶段-机器学习深度学习篇-1-深度学习基础-深度学习介绍】
1 深度学习概念 深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法。 2 深度学习发展 其概念由著名科学家Geoffrey Hinton等人…...
android framework.jar 在应用中使用
在开发APP中，有时会使用系统提供的framework.jar 来替代 android.jar, 在gradle中配置如下： 放置framework.jar 依赖配置 3 优先级配置 gradle.projectsEvaluated {tasks.withType(JavaCompile) {Set<File> fileSet options.bootstrapClasspat…...
带格式 pdf 翻译
支持 openAI 接口，国内 deepseek 接口兼容 openAI 接口， deepseek api 又非常便宜 https://pdf2zh.com/ https://github.com/Byaidu/PDFMathTranslate...