当前位置： 首页 > news >正文

NLP高频面试题（五十二）——深度学习优化器详解

news 来源：原创 2025/6/29 10:40:41

在深度学习的训练过程中，各种基于梯度的优化器肩负着寻找损失函数最优解的重任。最基础的梯度下降法通过沿着损失函数负梯度方向迭代更新参数，实现对模型参数的优化；而随机梯度下降（SGD）则以更高的计算效率和内存利用率在大规模数据集上大放异彩，但也因更新噪声大、易陷入鞍点或局部最优而存在局限。为克服这些问题，Momentum、Adagrad、RMSProp、Adam 等优化器相继提出，分别通过动量项、参数自适应学习率或两者结合，有效提高了收敛速度与稳定性。最后，批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（Mini-Batch GD）在计算精度和效率之间各有取舍，成为不同场景下的常用方案。

梯度下降法的思想

基本概念

梯度下降法是一种一阶迭代优化算法，通过计算损失函数关于模型参数的梯度，并沿梯度的负方向更新参数，逐步逼近最小值点。在机器学习和深度学习中，常用的损失函数如均方误差或交叉熵均满足可微分条件，因而可应用梯度下降法来训练模型。

数学原理

设损失函数为

相关文章：

NLP高频面试题（五十二）——深度学习优化器详解

在深度学习的训练过程中，各种基于梯度的优化器肩负着寻找损失函数最优解的重任。最基础的梯度下降法通过沿着损失函数负梯度方向迭代更新参数，实现对模型参数的优化；而随机梯度下降（SGD）则以更高的计算效率和内存利用率在大规模数据集上大放异彩，但也因更新噪声大、易陷入…...

编程日记 2025/6/29 10:40:41

SLAM常用地图对比示例

序号地图类型概述1格栅地图将现实环境栅格化，每一个栅格用 0 和 1 分别表示空闲和占据状态，初始化为未知状态 0.52特征地图以点、线、面等几何特征来描绘周围环境，将采集的信息进行筛选和提取得到关键几何特征3拓扑地图将重要部分抽象为地图&…...

编程日记 2025/6/29 9:12:13

Web常见攻击方式及防御措施

一、常见Web攻击方式 1. 跨站脚本攻击(XSS) 攻击原理：攻击者向网页注入恶意脚本，在用户浏览器执行 存储型XSS：恶意脚本存储在服务器（如评论区） 反射型XSS：恶意脚本通过URL参数反射给用户 DOM型XSS&…...

编程日记 2025/6/29 9:12:05

java.lang.IllegalArgumentException: URI is not hierarchical报错

java.lang.IllegalArgumentException: URI is not hierarchical Thread.currentThread().getContextClassLoader("类的全路径").getClass().newInstance()一个类的静态块初始化异常了，后面调用这个类创建对象会报错吗？ 是的，如果一…...

编程日记 2025/6/29 9:13:02

118. 杨辉三角

目录 一、问题描述 二、解题思路 三、代码 四、复杂度分析 一、问题描述 给定一个非负整数 numRows，生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中，每个数是它左上方和右上方的数的和。 二、解题思路 每一行的第一个和最后一个元素是 1&…...

编程日记 2025/6/29 9:12:15

Anything V4/V5 模型汇总

​​​​​​二次元风格生成扩散模型-anything-v4.0Stable Diffusion anything-v5-PrtRE模型介绍及使用深度探索 Anything V5：安装与使用全攻略anything-v5x0.25少儿插画_v1xyn-ai/anything-v4.0...

编程日记 2025/6/29 12:23:34

网络原理 - 7（TCP - 4）

目录 6. 拥塞控制 7. 延时应答 8. 捎带应答 9. 面向字节流 10. 异常情况 总结： 6. 拥塞控制 虽然 TCP 有了滑动窗口这个大杀器，就能够高效可靠的发送大量的数据，但是如果在刚开始阶段就发送大量的数据，仍然可能引起大量的…...

编程日记 2025/6/29 11:01:09

探秘 FFmpeg 版本发展时间简史

前言 FFmpeg 是一套开源的计算机程序，主要用于记录、转换数字音频、视频，并能将其转化为流。它提供了录制、转换以及流化音视频的完整解决方案，在多媒体处理领域应用广泛。很多小伙伴们想系统的学习FFmpeg，还是有必要了解下FFmpeg的版本发展历史，感受它每次的版本迭代是如…...

编程日记 2025/6/29 9:11:58

5.3.1 MvvmLight以及CommunityToolkit.Mvvm介绍

MvvmLight、CommunityToolkit.Mvvm是开源包，他们为实现 MVVM（Model-View-ViewModel）模式提供了一系列实用的特性和工具，能帮助开发者更高效地构建 WPF、UWP、MAUI 等应用程序。 本文介绍如下： 一、使用(旧)的MvvmLight库 其特点如下，要继承的基类是ViewModelBase；且使用…...

编程日记 2025/6/29 11:01:46

PCB常见封装类型

1. 电阻、电容、电感封装 2. 二极管、三极管封 3. 排阻类器件（8脚、16脚）封装 4. SO类器件（间距有1.27、2.54mm等）封装 5. QFP类器件封装（四方扁平封装） 结构：引脚分布在封装的四个侧面&#…...

编程日记 2025/6/29 10:15:02

一键多环境构建——用 Hvigor 玩转 HarmonyOS Next

引言 在 HarmonyOS Next 的应用开发中，常常需要针对不同环境（测试、预发、线上）或不同签名（调试、正式）输出多个 APP/HAP 包。虽然 HarmonyOS 提供了多目标构建（Multi-Target Build）能力&#…...

编程日记 2025/6/29 9:52:11

SQLPandas刷题(LeetCode3451.查找无效的IP地址)

描述：LeetCode3451.查找无效的IP地址 表：logs ---------------------- | Column Name | Type | ---------------------- | log_id | int | | ip | varchar | | status_code | int | ---------------------- log_id 是这张表的唯…...

编程日记 2025/6/29 10:14:17

【leetcode100】组合总和Ⅳ

1、题目描述 给你一个由 不同 整数组成的数组 nums ，和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。 题目数据保证答案符合 32 位整数范围。 示例 1： 输入：nums [1,2,3], target 4 输出&#xff1…...

编程日记 2025/6/29 12:23:29

2020-06-23 暑期学习日更计划（机器学习入门之路（资源汇总）+概率论）

机器学习入门 前言 说实话，机器学习想学好真心不易，很多时候都感觉自己学得云里雾里。以前一段时间自己为了完成毕业设计，在机器学习的理论部分并没有深究，仅仅通过TensorFlow框架力求快速实现模型。现在来看，很多时候…...

编程日记 2025/6/29 11:03:29

Linux操作系统--基础I/O(上)

目录 1.回顾C文件接口 stdin、stdout、stderr 2.系统文件I/O 3.接口介绍 4.open函数返回值 5.文件描述符fd 5.1 0&1&2 1.回顾C文件接口 hello.c写文件 #include<stdio.h> #include<string.h>int main() {FILE *fp fopen("myfile","…...

编程日记 2025/6/29 11:40:50

Spring boot 中的IOC容器对Bean的管理

Spring Boot 中 IOC 容器对 Bean 的管理&#xff0c;涵盖从容器启动到 Bean 的生命周期管理的全流程。 步骤 1&#xff1a;理解 Spring Boot 的容器启动 Spring Boot 的 IOC 容器基于 ApplicationContext&#xff0c;在应用启动时自动初始化。 入口类&#xff1a;通过 SpringB…...

编程日记 2025/6/29 11:42:28

ARINC818协议一些说明综述

关键术语 航空总线技术 光纤通道层次架构 光纤通道拓扑结构 FC-AV协议&#xff0c;架构&#xff0c;容器系统 ARINC818协议&#xff0c;容器 ADVB帧映射&#xff0c;帧格式 机载视频处理系统对视频数据进行实时处理和记录。 分辨率&#xff1a;1080p,4k,8k视频技术 FC-AV技术是…...

编程日记 2025/6/29 19:36:37

Turso：一个基于 libSQL的分布式数据库

Turso 是一个完全托管的数据库平台&#xff0c;支持在一个组织中创建高达数十万个数据库&#xff0c;并且可以复制到任何地点&#xff0c;包括你自己的服务器&#xff0c;以实现微秒级的访问延迟。你可以通过Turso CLI&#xff08;命令行界面&#xff09;管理群组、数据库和API…...

编程日记 2025/6/29 11:20:31

2025.5.4机器学习笔记：PINN文献阅读

2025.5.4周报 文献阅读题目信息摘要创新点网络架构实验结论不足以及展望 文献阅读 题目信息 题目&#xff1a; Physics-Informed Neural Network Approach for Solving the One-Dimensional Unsteady Shallow-Water Equations in Riverine Systems期刊&#xff1a; Journal o…...

编程日记 2025/6/29 10:44:40

一行命令打开iOS模拟器

要在 Mac 命令行打开 iPhone 15 Pro 模拟器&#xff0c;需满足已安装 Xcode 这一前提条件&#xff0c;以下是具体操作步骤&#xff1a; 步骤一&#xff1a;列出所有可用模拟器设备 打开终端&#xff08;Terminal&#xff09;&#xff0c;输入并执行以下命令&#xff0c;用于列…...

编程日记 2025/6/29 9:29:53

java面向对象编程【基础篇】之基础语法

目录 &#x1f680;前言&#x1f31f;构造器&#x1f4af;案例 &#x1f914;this关键字&#x1f4af;使用this调用本类中的属性&#x1f4af;使用this调用构造器&#x1f4af;this表示当前对象 &#x1f99c;封装&#x1f4af;合理隐藏&#x1f4af;合理暴露 &#x1f427;实体…...

编程日记 2025/6/29 9:11:59

跑MPS产生委外采购申请（成品）

问题&#xff1a;跑MPS产生委外采购申请&#xff08;成品&#xff09;&#xff0c;更改BOM和跑MRP&#xff0c;但物料需求清单中无新增物料复合膜的需求。截图如下&#xff1a; 解决方法&#xff1a;更改委外采购申请的批准日期为BOM的生效日和重新展开bom。 重新展开后&#x…...

编程日记 2025/6/29 9:12:01

[flutter]切换国内源（window）

如题&#xff0c;切换到国内源避免总是连不上google导致卡住的问题。 临时切换到国内&#xff1a; cmd set PUB_HOSTED_URLhttps://pub.flutter-io.cn set FLUTTER_STORAGE_BASE_URLhttps://storage.flutter-io.cnpower shell $env:PUB_HOSTED_URL "https://pub.flut…...

编程日记 2025/6/29 9:12:00

学习海康VisionMaster之顶点检测

一&#xff1a;进一步学习了 今天学习下VisionMaster中的顶点检测&#xff1a;可检测图像指定区域内的顶点&#xff0c;并输出顶点坐标等信息。该模块常用于检测目标物体的顶点 二&#xff1a;开始学习 1&#xff1a;什么是顶点检测&#xff1f; 一个不是很规则的物体需要检测…...

编程日记 2025/6/29 9:12:04

Vue2中常用的核心函数（选项和生命周期钩子）的完整示例及总结

以下是Vue2中常用的核心函数&#xff08;选项和生命周期钩子&#xff09;的完整示例及总结&#xff1a; 1. 实例选项函数 data 初始化组件数据 new Vue({el: #app,data() {return {message: Hello Vue!};} });methods 定义组件方法 new Vue({el: #app,data() {return { c…...

编程日记 2025/6/29 9:12:14

数据集-目标检测系列- F35 战斗机 检测数据集 F35 plane ＞＞ DataBall

数据集-目标检测系列- F35 战斗机 检测数据集 F35 plane >> DataBall DataBall 助力快速掌握数据集的信息和使用方式。 贵在坚持&#xff01; * 相关项目 1&#xff09;数据集可视化项目&#xff1a;gitcode: https://gitcode.com/DataBall/DataBall-detections-100s…...

编程日记 2025/6/29 12:05:29

2025年3月AGI技术月评｜技术突破重构数字世界底层逻辑

〔更多精彩AI内容&#xff0c;尽在 「魔方AI空间」 &#xff0c;引领AIGC科技时代〕 本文作者&#xff1a;猫先生 ——当「无限照片」遇上「可控试穿」&#xff0c;我们正在见证怎样的智能革命&#xff1f; 被低估的进化&#xff1a;开源力量改写游戏规则 当巨头们在AGI赛道…...

编程日记 2025/6/29 11:25:17

【k8s】k8s是怎么实现自动扩缩的

Kubernetes 提供了多种自动扩缩容机制&#xff0c;主要包括 Pod 水平自动扩缩&#xff08;HPA&#xff09;、垂直 Pod 自动扩缩&#xff08;VPA&#xff09; 和 集群自动扩缩&#xff08;Cluster Autoscaler&#xff09;。以下是它们的实现原理和配置方法&#xff1a; 1. Pod …...

编程日记 2025/6/29 11:01:20

协作开发攻略：Git全面使用指南 — 引言

协作开发攻略&#xff1a;Git全面使用指南 — 引言 Git 是一种分布式版本控制系统&#xff0c;用于跟踪文件和目录的变更。它能帮助开发者有效管理代码版本&#xff0c;支持多人协作开发&#xff0c;方便代码合并与冲突解决&#xff0c;广泛应用于软件开发领域。 文中内容仅限技…...

编程日记 2025/6/29 9:15:39

【AI提示词】私人教练

提示说明 以专业且细致的方式帮助客户实现健康与健身目标&#xff0c;提升整体生活质量。 提示词 # Role: 私人教练## Profile - language: 中文 - description: 以专业且细致的方式帮助客户实现健康与健身目标&#xff0c;提升整体生活质量 - background: 具备丰富的健身经…...

编程日记 2025/6/29 10:56:43

【星海出品】Calico研究汇总

Calico项目由Tigera公司发起并主导开发 源码 https://github.com/projectcalico/calico?tabreadme-ov-file#-join-the-calico-community 简介 Tigera是一家专注于云原生安全的公司&#xff0c;于2016年成立&#xff0c;其核心产品包括开源的Calico项目以及商业版的Calico Ent…...

编程日记 2025/6/29 11:44:30

观成科技：摩诃草组织Spyder下载器流量特征分析

一、概述 自2023年以来&#xff0c;摩诃草组织频繁使用Spyder下载器下载远控木马&#xff0c;例如Remcos。观成安全研究团队对近几年的Spyder样本进行了深入研究&#xff0c;发现不同版本的样本在数据加密、流量模式等方面存在差异。基于此&#xff0c;我们对多个版本样本的通…...

编程日记 2025/6/29 10:53:36

中心极限定理（CLT）习题集 · 题目篇

中心极限定理&#xff08;CLT&#xff09;习题集 题目篇 共 18 题&#xff0c;覆盖经典 CLT、Lyapunov/Lindeberg 条件、Berry–Esseen 评估、 以及工程/数据科学应用与编程仿真。推荐先独立完成&#xff0c;再看《答案与解析篇》。 之前已经出过相关的知识点文章&#xff0c;…...

编程日记 2025/6/29 9:15:16

ITL和TTL线程间值的传递

InheritableThreadLocal InheritableThreadLocal 继承自 ThreadLocal&#xff0c;增加了父线程到子线程的值传递功能。当一个新线程被创建时&#xff0c;InheritableThreadLocal 会将父线程中 ThreadLocal 变量的值拷贝到子线程&#xff08;浅拷贝&#xff09;&#xff0c;子线…...

编程日记 2025/6/29 10:57:28

Android学习总结之Room篇

一、Room 框架基础 1. 实体类&#xff08;Entity&#xff09; 实体类用于描述数据库表的结构。通过使用 Entity 注解&#xff0c;可以将一个 Java 类映射到数据库中的一张表。例如&#xff0c;以下是一个简单的 User 实体类&#xff1a; import androidx.room.Entity; impor…...

编程日记 2025/6/29 11:26:39

java IO流

一&#xff1a;概述 &#xff08;1&#xff09;IO &#xff08;2&#xff09;流 二&#xff1a;分类 &#xff08;1&#xff09;流向 &#xff08;2&#xff09;数据单位 &#xff08;3&#xff09;IO流角色 三&#xff1a;API &#xff08;1&#xff09;InputStream &#xff…...

编程日记 2025/6/29 10:42:37

STM32 串口USART

目录 常见的通信方式 串行通信和并行通信 全双工&#xff0c;半双工和单工通信 同步通信和异步通信 通信速率 常见的通信协议 串口基础知识 电平特性 串口传输协议 STM32F103的USART资源 端口引脚 数据寄存器单元 发送接收控制单元 实现串口发送 printf…...

编程日记 2025/6/29 11:30:20

数字IC后端项目典型问题之后端实战项目问题记录（2025.04.24）

今天给大家分享下近两天小编帮助学员解决的几个经典后端项目问题。希望能够对大家的学习和工作有所帮助。 Q1:在做a7top顶层物理验证Calibre LVS检查时提示NOT COMPARED&#xff0c;请问是什么原因&#xff1f; 我们在用calibre检查LVS后&#xff0c;其结果基本上就是以下三种…...

编程日记 2025/6/29 9:52:06

关于边缘计算盒子的外部接口保护

边缘计算盒子是一种基于边缘计算和人工智能技术的智能设备&#xff0c;它内置了灵活可配的多样化AI算法库&#xff0c;所以也被称为AI算法盒子或智能边缘分析一体机&#xff0c;可以将数据处理和分析的能力推至离数据源最近的边缘位置&#xff0c;提供高效的数据处理和实时响应…...

编程日记 2025/6/29 10:26:59

OCP考试需要注意什么？

一、OCP考试需要准备的资料 身份证件&#xff1a;携带有效的身份证件&#xff08;如身份证、护照等&#xff09;&#xff0c;以便在考试当天进行身份验证。确保身份证件在考试当天仍然有效&#xff0c;并且与报名时使用的证件一致。 准考证&#xff1a;打印并携带准考证&…...

编程日记 2025/6/29 10:06:46

git Http改用户下载

用原先别人账号,无权下更新 http方式设置自己账号 例如 git fetch --all 提示没有权限从 http://192.168.1.2/gitlab/项目路径.git下载 git remote set-url origin http://your-username192.168.1.2/gitlab/项目路径.git your-username修改成自己的git账号 需要输入一个Tok…...

编程日记 2025/6/29 11:37:31

postgres 导出导入（基于数据库，模式，表）

在 PostgreSQL 中&#xff0c;导出和导入数据库、模式&#xff08;schema&#xff09;或表的数据可以使用多种工具和方法。以下是常用的命令和步骤&#xff0c;分别介绍如何导出和导入整个数据库、特定的模式以及单个表的数据。 一、导出数据 1. 使用 pg_dump 导出整个数据库…...

编程日记 2025/6/29 11:21:39

把dll模块注入到游戏进程的方法_挂起进程注入

一． 概述 挂起进程注入是指在创建进程的时候把运行状态设置为挂起，然后创建一个远程线程，来注入。挂起进程注入作为远线程注入的一个补充，可以在进程创建的时候就注入，从而注入时间较早，不宜被拦截。易知挂起进程注入的局限性也就是如果进程已经启动，那么这种注入方式就…...

编程日记 2025/6/29 12:25:40

TypeScript 开发实战：如何安全替换字符串中的关键字

在 TypeScript 开发中&#xff0c;我们经常需要处理字符串替换的场景。最近我在开发一个表达式解析功能时&#xff0c;遇到了一个有趣的挑战&#xff1a;如何将用户输入的简化数学表达式&#xff08;如"sin"&#xff09;替换为标准形式&#xff08;如"Math.sin&…...

编程日记 2025/6/29 12:15:00

ES6 模块化 与 CommonJS 的核心概念解析

以下是关于 ES6 模块化 与 CommonJS 的核心概念解析、知识点总结及使用场景说明&#xff1a; 1. ES6 模块化与 CommonJS 是什么&#xff1f; ES6 模块化&#xff08;ECMAScript Modules, ESM&#xff09; 定义&#xff1a;ES6 标准引入的模块系统&#xff0c;使用 import 和 …...

编程日记 2025/6/29 9:17:11

【踩坑记录】stm32 jlink程序烧录不进去

最近通过Jlink给STM32烧写程序时一直报错&#xff0c;但是换一个其他工程就可以烧录&#xff0c;对比了一下jink配置&#xff0c;发现是速率选太高了“SW Device”&#xff0c;将烧录速率调整到10MHz以下就可以了...

编程日记 2025/6/29 12:11:50

CS144 Lab 6 实战记录：构建 IP 路由器

1 实验背景与目标 在 CS144 的 Lab 6 中&#xff0c;我们需要在之前实现的 NetworkInterface&#xff08;Lab 5&#xff09;基础上构建一个完整的 IP 路由器。路由器的主要任务是根据路由表将接收到的 IP 数据报转发到正确的网络接口&#xff0c;并发送给正确的下一跳&#xf…...

编程日记 2025/6/29 10:40:43

AI与智能能源管理：如何通过AI优化能源分配和消耗？

引言&#xff1a;能源管理面临的新挑战 在“双碳”目标持续推进的背景下&#xff0c;能源管理已经不再是简单的节电节水问题&#xff0c;而是关乎可持续发展和企业长期竞争力的核心议题。无论是工业园区、写字楼&#xff0c;还是家庭用户&#xff0c;能源的使用正在变得越来越复…...

编程日记 2025/6/29 9:16:12

【蓝桥杯】产值调整

产值调整 题目描述 偏远的小镇上&#xff0c;三兄弟共同经营着一家小型矿业公司“兄弟矿业”。公司旗下有三座矿山&#xff1a;金矿、银矿和铜矿&#xff0c;它们的初始产值分别用非负整数 A A A、 B B B 和 C C C 表示。这些矿山的产出是小镇经济的核心&#xff0c;支撑着…...

编程日记 2025/6/29 11:10:25

使用Next.js构建单页面React应用

最近遇到一个问题 突然要一个单页面的项目 用惯了Next.js 而 create-react-app 又不推荐且不灵活 最终找发现Nextjs也支持单页面应用 以下是使用Next.js构建单页面React应用过程 1 正常创建项目 (我选择的是Pages Router 而非 AppRoute) 2 修改配置文件 next.config.ts impor…...

编程日记 2025/6/29 12:13:17