当前位置：首页 > news >正文

NLP高频面试题（三十八）——什么是LLM的灾难性遗忘？如何避免灾难性遗忘？

news 来源：原创 2025/9/16 17:28:05

近年来，大语言模型在人工智能领域取得了显著进展。然而，随着模型的不断更新和新任务的引入，出现了一个重要的问题，即灾难性遗忘（Catastrophic Forgetting）。灾难性遗忘指的是大模型在连续学习新知识或新任务时，先前掌握的旧知识会迅速被覆盖或遗忘，从而导致模型在旧任务中的表现明显下降。

灾难性遗忘产生的原因

灾难性遗忘主要有以下几个方面的原因：

1. 参数更新机制

深度学习模型通常采用梯度下降方法进行学习，新任务的数据会显著影响模型参数。这种参数的剧烈更新往往忽视了旧任务的重要特征，使模型迅速遗忘原有知识。

2. 数据分布的非平稳性

模型训练通常假设数据的分布保持不变，但在实际应用中，数据往往随着新任务的引入而不断变化。数据分布变化会干扰模型的内部表征，使得模型难以保持对旧任务稳定的认知。

如何避免或减轻灾难性遗忘

针对灾难性遗忘的问题，研究人员提出了以下几种有效的缓解策略：

1. 回放机制（Rehearsal）

回放策略通过在训练新任务时适当融入旧任务的数据，有助于模型保持对过往知识的记忆。这种方法模仿

NLP高频面试题（三十八）——什么是LLM的灾难性遗忘？如何避免灾难性遗忘？

近年来，大语言模型在人工智能领域取得了显著进展。然而，随着模型的不断更新和新任务的引入，出现了一个重要的问题，即灾难性遗忘（Catastrophic Forgetting）。灾难性遗忘指的是大模型在连续学习新知识或新任务时，先前掌握的旧知识会迅速被覆盖或遗忘，从而导致模型在旧任务…...

编程日记 2025/9/16 17:28:05

Keepalived+LVS高可用集群实战：从原理到落地

在分布式系统架构中，服务的高可用性和负载均衡是保障业务连续性的核心要素。本文通过一次实验，深入探索了基于KeepalivedLVS的高可用负载均衡集群方案，带您从零开始理解原理、动手实践配置，并验证其可靠性。一、实验目标本次实…...

编程日记 2025/9/10 11:01:32

【JVM】JVM调优实战

😀大家好，我是白晨，一个不是很能熬夜😫，但是也想日更的人✈。如果喜欢这篇文章，点个赞👍，关注一下👀白晨吧！你的支持就是我最大的动力！&#x1f4…...

编程日记 2025/9/12 17:18:36

Linux系统安全-开发中注意哪些操作系统安全

Hey小伙伴们~👋 在Linux开发中，确保操作系统的安全真的太太太重要啦！🛡️ 今天就来和大家聊聊几个超关键的注意事项，记得拿小本本记下来哦！📝 1️⃣ ‌用户管理与权限控制‌👥 合理…...

编程日记 2025/9/16 1:31:36

Qt问题之告别软件因系统默认中文输入法导致错误退出的烦恼

1. 问题使用Qt进行研发时，遇到一个问题，当在系统默认输入法中文（英文输入法或者搜狗就不会触发闪退）的情况下，选中QTableWidget控件（QTableWidgetItem有焦点，但是不双击）&#xff…...

编程日记 2025/9/16 1:57:38

2025 年“认证杯”数学中国数学建模网络挑战赛 D题无人机送货规划

在快递和外卖等短途递送小件货物的业务中，无人机或许大有可为。现有一个城市的快递仓库准备使用若干无人机进行派件，设有若干架无人机从仓库出发，分别装载了若干快递包裹。每架无人机装载的包裹的收货地点会被排列为一个目的地列表&#x…...

编程日记 2025/9/14 0:43:28

【2025年认证杯数学中国数学建模网络挑战赛】A题解题思路与模型代码

【2025年认证杯数学建模挑战赛】A题该题为典型的空间几何建模轨道动力学建模预测问题。 ⚙ 问题一：利用多个天文台的同步观测，确定小行星与地球的相对距离问题分析已知若干地面天文台的观测数据：方位角 (Azimuth) 和高度角 (Altitude)&…...

编程日记 2025/9/10 6:57:42

Redhat红帽 RHCE8.0认证体系课程

课程大小：7.7G 课程下载：https://download.csdn.net/download/m0_66047725/90546064 更多资源下载：关注我红帽企业 Linux 系统的管理技能已经成为现代数据中心的核心竞争力。 Linux 在支持混合云、跨物理服务器、虚机、私有云和公共云计…...

编程日记 2025/9/10 0:38:36

Python 实现的运筹优化系统数学建模详解(最大最小化模型)

一、引言在数学建模的实际应用里，最大最小化模型是一种极为关键的优化模型。它的核心目标是找出一组决策变量，让多个目标函数值里的最大值尽可能小。该模型在诸多领域，如资源分配、选址规划等，都有广泛的应用。本文将深入剖析最大…...

编程日记 2025/8/31 6:37:43

MySQL快速入门

MySQL快速入门 SQL语句 SQL语句概述 1.SQL 是用于访问和处理数据库的标准的计算机语言。 2.SQL指结构化查询语言，全称是 Structured Query Language。 3.SQL 可以访问和处理数据库。 4.SQL 是一种 ANSI（American National Standards Institute 美国…...

编程日记 2025/9/10 1:04:37

离线安装 nvidia-docker2(nvidia-container-toolkit)

很多时候大家都有用docker使用gpu的需求，但是因为网络等原因不是那么好用，这里留了一个给ubuntu的安装包，网络好的话也提供了在线安装方式安装 nvidia-docker2 1 离线安装 （推荐） unzip解压后进入目录 dpkg -i *.d…...

编程日记 2025/9/9 1:32:13

【自然语言处理】深度学习中文本分类实现

文本分类是NLP中最基础也是应用最广泛的任务之一，从无用的邮件过滤到情感分析，从新闻分类到智能客服，都离不开高效准确的文本分类技术。本文将带您全面了解文本分类的技术演进，从传统机器学习到深度学习，手把手实现一套…...

编程日记 2025/9/16 4:50:22

云原生运维在 2025 年的发展蓝图

随着云计算技术的不断发展和普及，云原生已经成为了现代应用开发和运维的主流趋势。云原生运维是指在云原生环境下，对应用进行部署、监控、管理和优化的过程。在 2025 年，云原生运维将迎来更加广阔的发展前景，同时也将面临着一系列…...

编程日记 2025/9/12 4:29:02

Windows系统Python多版本运行解决TensorFlow安装问题（附详细图文）

Windows系统Python多版本运行解决TensorFlow安装问题（附详细图文） 摘要 TensorFlow 无法安装？Python版本太高是元凶！ 本文针对Windows系统中因Python版本过高导致TensorFlow安装失败的问题，提供三种降级解决方案&…...

编程日记 2025/9/12 13:31:35

银行业务知识序言

银行业务知识体系全景解析第一章金融创新浪潮下的银行业务知识革命 1.1 数字化转型驱动金融业态重构在区块链、人工智能、物联网等技术的叠加作用下，全球银行业正经历着"服务无形化、流程智能化、风控穿透化"的深刻变革。根据麦肯锡《2023全球银行业…...

编程日记 2025/9/3 19:46:37

《深度剖析分布式软总线：软时钟与时间同步机制探秘》

在分布式系统不断发展的进程中，设备间的协同合作变得愈发紧密和复杂。为了确保各个设备在协同工作时能够有条不紊地进行，就像一场精准的交响乐演出，每个乐器都要在正确的时间奏响音符，分布式软总线中的软时钟与时间同步机制应运而…...

编程日记 2025/9/10 22:32:48

RK3588 android12 适配 ilitek i2c接口TP

一，Ilitek 触摸屏简介 Ilitek 提供多种型号的触控屏控制器，如 ILI6480、ILI9341 等，采用 I2C 接口。这些控制器能够支持多点触控，并具有优秀的灵敏度和响应速度。 Ilitek 的触摸屏控制器监测屏幕上的触摸事件。当触摸发生时&a…...

编程日记 2025/9/11 17:04:22

pgsql:关联查询union(并集)、except(差集)、intersect(交集)

pgsql:关联查询union(并集)、except(差集)、intersect(交集)_pgsql except-CSDN博客...

编程日记 2025/9/7 0:46:27

模型材质共享导致的问题

问题：当我选中其中某个网格模型并设置color的时候，相同种类的颜色都被改变，但是打印我选中的网格模型数据其实只有一个。导致问题的原因： 加载Blender模型修改材质颜色 Blender创建一个模型对象，设置颜色&#xff0…...

编程日记 2025/9/10 5:40:58

ThinkpPHP生成二维码

导入依赖 composer require endroid/qr-code 封装成函数，传入二维码包含的值，存储路径，二维码大小，二维码边距 private function getCode($content, $directory, $size 300, $margin 10){// 创建二维码对象// $content: 二…...

编程日记 2025/9/10 17:24:19

FLINK框架：流式处理框架Flink简介

在大数据时代，数据的价值不言而喻，谁能利用好数据，谁就掌握了整个行业的先机。面对海量的数据，如何处理数据成为了一个难题。除了海量数据外，实时性也是一个重要的课题，所以流式数据处理便登上了技术舞台&a…...

编程日记 2025/9/15 3:34:24

使用Python从零开始构建生成型TransformerLM并训练

在人工智能的浩瀚宇宙中，有一种神奇的生物，它拥有着强大的语言魔法，能够生成各种各样的文本，仿佛拥有无尽的创造力。它就是——Transformer 模型！Transformer 模型的出现，为人工智能领域带来了一场“语言魔…...

编程日记 2025/9/11 22:35:30

安装： https://downloads.percona.com/downloads/Percona-XtraBackup-8.0/Percona-XtraBackup-8.0.35-30/binary/tarball/percona-xtrabackup-8.0.35-30-Linux-x86_64.glibc2.17.tar.gz?_gl1*1ud2oby*_gcl_au*MTMyODM4NTk1NS4xNzM3MjUwNjQ2https://downloads.perc…...

编程日记 2025/9/11 10:21:31

2.3 Spark运行架构与流程

Spark运行架构与流程包括几个核心概念：Driver负责提交应用并初始化作业，Executor在工作节点上执行任务，作业是一系列计算任务，任务是作业的基本执行单元，阶段是一组并行任务。Spark支持多种运行模式，包括单…...

编程日记 2025/9/13 17:17:01

【Pandas】pandas DataFrame head

Pandas2.2 DataFrame Indexing, iteration 方法描述DataFrame.head([n])用于返回 DataFrame 的前几行 pandas.DataFrame.head pandas.DataFrame.head 是一个方法，用于返回 DataFrame 的前几行。这个方法非常有用，特别是在需要快速查看 DataFrame 的前…...

编程日记 2025/9/11 3:50:13

从递归入手一维动态规划

从递归入手一维动态规划 1. 509. 斐波那契数 1.1 思路递归 F(i) F(i-1) F(i-2) 每个点都往下展开两个分支，时间复杂度为 O(2n) 。在上图中我们可以看到 F(6) F(5) F(4)。计算 F(6) 的时候已经展开计算过 F(5)了。而在计算 F(7)的时候，还需要…...

编程日记 2025/9/13 1:33:35

鸿蒙HarmonyOS埋点SDK，ClkLog适配鸿蒙埋点分析

ClkLog埋点分析系统，是一种全新的、开源的洞察方案，它能够帮助您捕捉每一个关键数据点，确保您的决策基于最准确的用户行为分析。技术人员可快速搭建私有的分析系统。 ClkLog鸿蒙埋点SDK通过手动埋点的方式实现HarmonyOS 原生应用的前端数据采…...

编程日记 2025/9/13 21:40:58

HarmonyOS：HMPermission权限请求框架

前段时间利用空余时间写了一个权限请求库：HMPermission。一，简介 HMPermission 是鸿蒙系统上的一款权限请求框架，封装了权限请求逻辑，采用链式调用的方式请求权限，简化了权限请求的代码。二，使用方法 …...

编程日记 2025/9/5 14:43:14

【书籍】DeepSeek谈《持续交付2.0》

目录一、深入理解1. 核心理念升级：从"自动化"到"双环模型"2. 数字化转型的五大核心能力3. 关键实践与案例4. 组织与文化变革5. 与其它框架的关系6. 实际应用建议二、对于开发实习生的帮助1. 立刻提升你的代码交付质量（技术验证环实…...

编程日记 2025/9/12 16:10:25

Spring AOP 扫盲

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/9/7 11:45:22

银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】

硬件服务器配置：鲲鹏2 * 920（32c） 4 * Atlas300I duo卡参考文章 https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d 鲲鹏昇腾Atlas300Iduo部署Embedding模型和Rerank模型并连接Dify（自…...

编程日记 2025/9/7 19:35:14

如何通过流程管理优化企业运营？

流程管理的本质是“用确定性的规则应对不确定性的业务”。那么，具体该如何通过流程管理来优化企业的运作呢？以下是一些关键步骤和思路，或许能给到一些启发。 1. 从流程梳理开始：摸清现状，找准问题想要管理好企业的…...

编程日记 2025/9/10 14:04:19

ZYNQ笔记（四）：AXI GPIO

版本：Vivado2020.2（Vitis） 任务：使用 AXI GPIO IP 核实现按键 KEY 控制 LED 亮灭（两个都在PL端） 一、介绍 AXI GPIO (Advanced eXtensible Interface General Purpose Input/Output) 是 Xilinx 提供的一个可…...

编程日记 2025/9/9 22:42:33

Java学习手册：JVM、JRE和JDK的关系

在Java生态系统中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个核心概念。它们共同构成了Java语言运行和开发的基础。理解它们之间的关系对于Java开发者来说至关重要。本文…...

编程日记 2025/9/15 16:37:41

Java 并发-newFixedThreadPool

前言为什么选择使用多线程？一种场景是在数据和业务处理能力出现瓶颈时，而服务器性能又有空闲，通常是cpu空闲，这时使用多线程就能很好的解决问题，而又无需加硬件，实际使用中，线程池又是最为常用…...

编程日记 2025/9/15 10:52:12

C# task任务异步编程提高UI的响应性

方式1：async/await模式 private async void button1_Click(object sender, EventArgs e){try{var result await Task.Run(() > CalculateResult());label1.Text result.ToString();}catch (Exception ex){label1.Text $"Error: {ex.Message}";}}pri…...

编程日记 2025/9/12 3:57:42

Spring Bean生命周期执行流程详解

文章目录一、什么是Spring Bean生命周期？工作流程图：二、Bean生命周期执行流程验证1.编写测试代码验证结果2.源码追溯Bean初始化回调过程一、什么是Spring Bean生命周期？ Spring Bean生命周期是指从Bean的创建到销毁的整个过程&#xff0c…...

编程日记 2025/9/9 8:38:54

windows 安装 pygame（ pycharm）

一、安装流程 1.查看python版本 2.检查是否安装pip 3.下载pygame安装文件下载地址：https://pypi.org/project/pygame/#files 选择合适的版本（我选择的是 python3.7 windows 64bit）： 4.使用pip安装pygame 将下载好的whl文件移动到…...

编程日记 2025/9/13 8:59:52

Envoy网关实例异常重启排查总结

一、事件背景于10月24日凌晨业务租户有业务应用发版上线，中午收到pod连续5分钟重启严重告警，登录管理节点查看异常重启的应用网关pod日志，存在内核段错误报错信息导致进程终止并触发监控检查异常并重启; 该报错主要是访问的内存超出了系统…...

编程日记 2025/9/13 5:53:23

WinForm真入门(13)——ListBox控件详解

WinForm ListBox 详解与案例一、核心概念 ‌ListBox‌ 是 Windows 窗体中用于展示可滚动列表项的控件，支持单选或多选操作，适用于需要用户从固定数据集中选择一项或多项的场景‌。二、核心属性属性说明‌Items‌管理列表项的集合，支持动…...

编程日记 2025/9/16 1:57:40

【Linux网络编程】UDP Echo Server的实现

本文专栏：Linux网络编程目录一，Socket编程基础 1，IP地址和端口号端口号划分范围理解端口号和进程ID 源端口号和目的端口号理解Socket 2，传输层的典型代表 3，网络字节序 4，Socket编程接口 s…...

编程日记 2025/9/10 21:31:28

8.3.5 ToolStripContainer（工具栏容器）控件

编程日记 2025/9/15 9:23:46

代码随想录-06-二叉树-05.05 N叉树的层序遍历

N叉树的层序遍历 #模板题题目描述给定一个 N 叉树，返回其节点值的_层序遍历_。（即从左到右，逐层遍历）。树的序列化输入是用层序遍历，每组子节点都由 null 值分隔（参见示例）。具体思路 …...

编程日记 2025/9/15 20:07:42

【NEPVR】《A Lightweight Palm Vein Recognition Algorithm NEPVR》

[1]马莉,刘子良,谭振林,等.一种轻量级掌静脉识别算法NEPVR[J].计算机技术与发展,2024,34(12):213-220.DOI:10.20165/j.cnki.ISSN1673-629X.2024.0248. 文章目录 1、背景2、相关工作3、创新点4、NEPVR 手掌静脉识别算法5、实验结果及分析6、总结 / 未来工作 1、背景手掌静脉独…...

编程日记 2025/8/17 23:32:27

牟乃夏《ArcGIS Engine地理信息系统开发教程》学习笔记1

（适合GIS开发入门者，通俗解析核心知识点） 目录一、ArcGIS Engine是什么？ 二、ArcGIS Engine能做什么？ 三、ArcGIS Engine与ArcObjects的区别四、开发资源与学习路径五、对象模型图（OMD）…...

编程日记 2025/9/3 19:46:30

架构师论文《论模型驱动软件开发方法在智能制造转型实践中的应用》

摘要： 本人现任某大型装备制造企业智能制造研究院首席架构师，主导集团级数字化工厂平台建设。面对多品种小批量生产模式下普遍存在的交付周期超预期（平均延期21天）、设备综合效率OEE不足65%的痛点，我司于2021年启动基…...

编程日记 2025/9/15 4:46:11

探索MCP.so：AI生态的创新枢纽

今天在研究MCP时发现了一个还不错的网站，分享给大家。后续会基于这些mcp servers做一些有趣的应用。在人工智能飞速发展的当下，AI与各类工具、数据源的协同合作变得愈发关键。MCP.so这个平台，正悄然成为AI领域的重要枢纽，为众多开发者和AI爱好者打开了新的大门。 MCP，即…...

编程日记 2025/9/16 0:45:41

JVM底层详解

JVM底层详解目录 JVM概述JVM内存模型垃圾回收机制类加载过程JIT编译JVM调优JVM监控与故障排查JVM与多线程JVM与性能优化JVM发展历程与未来JVM实战案例分析JVM高级特性JVM安全机制JVM与容器化一、JVM概述 1.1 什么是JVM Java虚拟机（Java Virtual Machine&…...

编程日记 2025/9/11 7:04:20

多点：分布式升级助力新零售转型，成本节省超80% | OceanBase 案例

本文作者：多点数据库DBA团队编者按：多点是零售行业数字（智）化的先行者，为全球企业提供创新的数字化解决方案。然而，在数字化转型的过程中，多点原有的数据库架构逐渐暴露出架构复杂、成本上升等…...

编程日记 2025/9/11 13:29:49

Java权限修饰符深度解析

Java权限修饰符深度解析与最佳实践一、权限修饰符总览 Java提供四种访问控制修饰符，按访问范围从宽到窄排序如下： 修饰符类内部同包类不同包子类全局范围public✔️✔️✔️✔️protected✔️✔️✔️❌默认（无）✔️✔️❌❌pr…...

编程日记 2025/9/11 10:44:15

灾难性遗忘产生的原因

1. 参数更新机制

2. 数据分布的非平稳性

如何避免或减轻灾难性遗忘

1. 回放机制（Rehearsal）

相关文章：