给大模型“贴膏药”:LoRA微调原理说明书
一、前言:当AI模型开始“叛逆”
某天,我决定教deepseek说方言。
第一次尝试(传统微调):
- 我:给deepseek灌了100G东北小品数据集,训练三天三夜。
- 结果:AI确实会喊“老铁666”了…但英文能力退化成“How are you?吃了吗?”
- 显卡:卒,享年25岁。
第二次尝试(LoRA微调):
- 我:在ds身上贴了几张“魔法贴纸”(LoRA适配器),训练2小时。
- 结果:AI既能用英语写论文,又能突然蹦出“你瞅啥?瞅你咋地!”
- 显卡:淡定喝咖啡中。
这个故事告诉我们:LoRA微调,就是给大模型做“精准针灸”,专治各种水土不服。
今天,我们就来拆解这个“膏药派微调大法”!
✅ 温馨提示:本文不会出现“低秩分解”等恐怖词汇,只有大量炸鸡和汽车改装比喻🍗
二、为什么需要LoRA?——大模型的“减肥焦虑”
1. 全参数微调:一场奢侈的“全身手术”
假设ds是个2000斤的巨人:
- 传统微调:要求巨人从头到脚改造肌肉(调整全部1750亿参数)。
- 代价:
- 耗时:相当于让巨人重新学走路。
- 算力:每天消耗100个汉堡(电费账单堪比火箭发射)。
- 副作用:可能治好了腿,但手残了(灾难性遗忘)。
传统微调:医生对巨人说“我们决定给你换个头”
2. LoRA的哲学:只改关键穴位
LoRA(Low-Rank Adaptation)的核心思想:
- 找到“穴位”:大模型参数中存在少量关键路径。
- 贴膏药:在关键路径旁挂小号补丁矩阵(LoRA适配器)。
- 效果:改动0.1%的参数,就能让AI学会新技能!
举个栗子🌰:
- 原版ds:满汉全席大厨,但不会做炸鸡。
- LoRA微调后:大厨口袋里多了一张“炸鸡配方小纸条”,其他技能原封不动。
三、LoRA原理拆解:如何用两张小纸条驯服AI
1. 矩阵的“降维打击”——低秩分解的炸鸡翻译
假设大模型的某个权重矩阵 W 是1000×1000的庞然大物:
- 传统微调:直接修改整个 W (相当于重建一栋楼)。
- LoRA的骚操作:
- 创建两个小矩阵 A(1000×5)和 B(5×1000)。
- 让 W 的改动 = A × B (5是人为设定的秩,rank)。
- 最终输出 = 原 W + A×B。
为什么这可行?
- 数学黑话:大模型参数存在低秩特性,小矩阵能近似表达参数变化。
- 人话:AI的知识改变其实很“套路”,用5个隐藏变量就能控制!
LoRA图示:大象(W)身边跟着两只蚂蚁(A和B)
2. 举个极端例子:教AI识别emoji
任务:让ds理解“😭→悲伤,😂→大笑”。
-
全参数微调:
- 调整所有1750亿参数,相当于让AI重新学习语言本质。
- 结果:AI可能开始用emoji写莎士比亚十四行诗(误)。
-
LoRA微调:
- 只改动词嵌入层的部分路径,相当于告诉AI:“看到😭时,往‘哭泣’‘心碎’方向联想”。
- 其他知识(比如“莎士比亚是谁”)完全保留。
四、LoRA的三大绝技:为什么它比传统微调更香?
绝技1:参数效率高 → 省钱省电省对象
数据对比:
- 传统微调ds:需调整1750亿参数,训练成本≈买辆特斯拉。
- LoRA微调:仅调整2亿参数(0.1%),成本≈吃顿火锅。
省钱的秘密:
- 冻结原模型:原参数全部锁死,只训练小矩阵A和B。
- 存储优势:保存训练结果只需记录A和B(比如从100GB缩小到1MB)。
适合人群:
- 想微调大模型但钱包比脸干净的科研狗。
- 试图用消费级显卡挑战巨无霸模型的勇士。
绝技2:避免灾难性遗忘 → AI不再“拆东墙补西墙”
传统微调的悲剧:
- 学新任务时,所有参数被“平均主义”调整。
- 结果:AI学会了量子物理,但忘了1+1=2(仿佛被知识诅咒)。
LoRA的智慧:
- 新增知识单独存放(A和B矩阵),不碰原始参数。
- 相当于给AI外接了一个U盘,而不是格式化硬盘。
灵魂比喻:
- 传统微调:为了安装新APP,把手机恢复出厂设置。
- LoRA微调:插个SD卡搞定,所有旧照片和聊天记录都在。
绝技3:即插即用 → 一套模型,百变人格
操作演示:
- 训练多个LoRA适配器:
- 适配器A:东北话版。
- 适配器B:科研论文版。
- 适配器C:阴阳怪气版。
- 运行时按需加载:
- 需要写论文时加载B。
- 想怼人时加载C。
商业价值:
- 同一家公司的客服AI,白天用专业模式,晚上切换“深夜情感电台”模式。
五、LoRA实战手册:如何给AI贴膏药?
步骤1:找到“穴位”——选择目标层
常见策略:
- 注意力层:适合调整语义理解(如让AI关注特定关键词)。
- 前馈层:适合改变输出风格(如从严谨变幽默)。
- 词嵌入层:适合增加新词汇理解(如网络流行语)。
举个栗子🌰:
- 想让AI理解“绝绝子”:在词嵌入层添加LoRA。
- 想让AI用鲁迅文风:在注意力层和前馈层添加LoRA。
步骤2:设定“膏药尺寸”——选择秩(rank)
rank的选择玄学:
- 通常取4、8、16等小整数(太大失去意义,太小效果差)。
- 经验法则:
- 简单任务(如风格调整):rank=4。
- 复杂任务(如新增专业知识):rank=16。
实验精神:
- 某论文标题:《Rank的选择:从玄学到科学的108种尝试》
- 民间偏方:rank=8,因为“8”在中文里吉利(大误)。
步骤3:开练!——训练与部署
训练流程:
- 冻结原模型参数。
- 前向传播时,在目标层计算 原权重 + A×B。
- 反向传播只更新A和B。
部署技巧:
- 将原模型权重与LoRA权重合并导出,推理速度不受影响。
- 或者实时加载适配器,灵活切换模式。
六、LoRA的局限:没有银弹,只有取舍
局限1:复杂任务仍需“大膏药”
案例:
- 任务:让AI掌握全新领域的知识(如法律条文)。
- 结果:LoRA可能表现不如全微调,因为知识关联性太弱。
解决方案:
- 结合Prompt Engineering(提示词工程),“里应外合”提升效果。
局限2:秩的选择像抽盲盒
现状:
- 没有理论指导如何选rank,全靠试错。
- 某AI研究员的名言:“选rank时,我比占星师还依赖直觉。”
局限3:参数交互的“神秘主义”
未解之谜:
- 不同LoRA适配器之间是否会互相干扰?
- 学术界现状:“我们观察到现象,但暂时编不出理论解释…”
七、结语:LoRA——平民玩家的屠龙刀
在AI模型愈发庞大的今天,LoRA像是一把精巧的瑞士军刀:
- 让普通人:用笔记本电脑也能微调ds。
- 让企业:省下90%的算力成本。
- 让AI:保持“精神分裂”般的多面能力。
最后,用一句话总结LoRA的奥义:
“给AI加外挂,而不是重装系统——这,就是微调的艺术。”
📌 感谢阅读!如果喜欢,请点赞收藏,支持这位用LoRA拯救世界的调参侠!🔥
💡 作者原创文章,未经授权请勿转载。如有合作需求,请私信联系。
相关文章:
给大模型“贴膏药”:LoRA微调原理说明书
一、前言:当AI模型开始“叛逆” 某天,我决定教deepseek说方言。 第一次尝试(传统微调): 我:给deepseek灌了100G东北小品数据集,训练三天三夜。结果:AI确实会喊“老铁666”了…但英…...
【数字电路】第七章 脉冲波形的产生与整形电路
一、脉冲波形的产生与整形电路概述 1.矩形脉冲的获得方法 2.矩形脉冲的主要参数 3.本章所涉及的电路 4.稳态与暂稳态 电路的暂稳态实际上是通过RC电路的充放电来实现的。 5.TTL电路输入等效电路 6.TTL电路的输出等效电路 7.CMOS电路的输入等效电路 8.CMOS电路的输出等效电路 …...
React Flow 边的基础知识与示例:从基本属性到代码实例详解
本文为《React Agent:从零开始构建 AI 智能体》专栏系列文章。 专栏地址:https://blog.csdn.net/suiyingy/category_12933485.html。项目地址:https://gitee.com/fgai/react-agent(含完整代码示例与实战源)。完整介绍…...
DB-MongoDB-00002--Workload Generator for MongoDB
## DB-MongoDB-00002–Workload Generator for MongoDB 1、介绍 Workload Generator for MongoDB was designed to help MongoDB users effortlessly generate data and simulate workloads for both sharded and non-sharded clusters. The generated workloads include s…...
buck变换器的simulink/matlab仿真和python参数设计
什么是Buck电路? BUCK电路是一种降压斩波器,降压变换器输出电压平均值Uo总是小于输出电压UD。通常电感中的电流是否连续,取决于开关频率、滤波电感L和电容C的数值。BUCK也是DC-DC基本拓扑,或者称为电路结构,是最基本的DC-DC电路…...
谷歌地球引擎GEE将多个遥感影像作为多个波段合并成一张图像并下载的方法
本文介绍在谷歌地球引擎(Google Earth Engine,GEE)中,下载多年的逐日的ERA5土壤湿度数据,并在下载时,将每年同月份内的每一天的图像作为一个波段加以合并的方法。 在之前的文章GEE谷歌地球引擎批量下载逐日…...
Debezium快照事件监听器系统设计
Debezium快照事件监听器系统设计 1. 系统概述 1.1 设计目标 为 Debezium 的快照过程提供可扩展的事件监听机制允许外部系统在快照过程中执行自定义逻辑提供线程安全的事件分发机制确保监听器的异常不会影响主快照流程1.2 核心功能 表快照开始事件监听表快照完成事件监听行数据…...
选择之困:如何挑选合适的 Python 环境与工具——以 Google Colaboratory 为例
引言:选择之困与 Python 的多样性 在过去的十年中,Python 编程语言以其简洁的语法、强大的功能和广泛的适用性迅速崛起,成为全球最受欢迎的编程语言之一。从数据科学到 Web 开发,从自动化脚本到人工智能,Python 无处不在。然而,这种多样性和快速发展也带来了一个显著的问…...
基于Java+MySQL+Servlet的留言系统开发全解析
本系统基于Java Web技术栈开发,采用前后端分离架构,后端通过Servlet实现业务逻辑,前端使用HTML/CSS/JavaScript构建交互界面。本文将详细解析系统设计思路、技术实现与核心代码,助您快速掌握留言系统开发精髓。 一、项目简介 本留…...
实操分享java应用容器化,使用docker作为容器工具
### 一. 目的 将现有的java应用容器化,使用docker作为容器工具。 ### 二. 配置 #### 1. Java应用中的配置 ##### a. Java子项目中的pom文件配置 ```xml <build> <plugins> <plugin> <groupId>org.spring…...
李臻20242817_安全文件传输系统项目报告_第12周
安全文件传输系统项目报告(第 9 周) 1. 代码链接 Gitee 仓库地址:https://gitee.com/li-zhen1215/homework/tree/master/Secure-file 代码结构说明: project-root/├── src/ # 源代码目录│ ├── main.c # 主程序入口│ ├…...
19-I2C库函数
一、IIC配置流程 IIC配置流程需要添加的库函数:stm32f4xx_i2c.c 1、理解电路原理图 SCL --- PB8 SDA -- PB9 使用I2C1 2、配置I2C库函数的步骤 (1)使能GPIOB组时钟RCC_AHB1PeriphClockCmd(RCC_AHB1Periph_GPIOB, ENABLE);(2…...
minicom串口调试助手
sudo apt-get install minicom 配置 sudo minicom -s 然后用方向键向下移动到“Serial port setup”,回车 按键盘“A”把串口的映射文件名输入。 按键盘“E”可以修改波特率 按键盘“F”把硬件流关闭,否则minicom可能无法接收键盘输入。 配置好后&…...
扫描件交叉合并PDF免费软件 拖拽即合并 + 自动对齐页码 档案整合更轻松
各位办公小能手们!我跟你们说啊,今天要给你们介绍个超厉害的工具,叫PDFCrossMerge。这玩意儿就像一个神奇的文档小魔法师,专门搞PDF扫描件交叉合并的事儿,能解决单面扫描文件正反面页码顺序的大难题。 先说说它的核心…...
atcoder C - ~
https://atcoder.jp/contests/abc406/tasks/abc406_c 题目简述: 给定一个序列p,让你求出p的所有子序列中波浪形序列的个数 波浪形序列的定义:1:长度>4;2:仅存在一个波峰和波谷;3࿱…...
PCB设计实践(十八)PCB设计铜厚选择及分层设计深度解析
PCB铜箔厚度作为电路板设计的核心参数之一,直接影响电路性能、可靠性及成本。本文将从铜厚选择的六大核心要素、多层板分层设计的策略、制造工艺的耦合关系三大维度,系统性解析PCB铜厚设计的工程方法论,并结合典型应用场景提供决策框架。 一、…...
React 19中如何向Vue那样自定义状态和方法暴露给父组件。
文章目录 前言一、什么是 useImperativeHandle?1.1 为什么需要 useImperativeHandle?1.2 基本语法 二、useImperativeHandle 的常见用法3.1 暴露自定义方法3.2子组件封装的弹窗关闭方法暴露给外部 注意点:总结 前言 在 React 的函数组件中&a…...
【Linux高级全栈开发】2.1.2 事件驱动reactor的原理与实现
【Linux高级全栈开发】2.1.2 事件驱动reactor的原理与实现 高性能网络学习目录 基础内容(两周完成): 2.1网络编程 2.1.1多路复用select/poll/epoll2.1.2事件驱动reactor2.1.3http服务器的实现 2.2网络原理 百万并发PosixAPIQUIC 2.3协程库…...
1.5 MouseDown,MouseUp,LostMouseCapture的先后顺序
本文目标是实现如下功能: 按下一个按钮后置位某变量;鼠标松开后复位某个变量? 看似简单,但是一般来说会存在如下两种现象: 鼠标移出按钮:默认会丢失鼠标事件跟踪,即MouseLeftButtonUp事件并不会被触发。 焦点切换:Tab 键切换焦点会干扰按钮的事件捕获 本文通过几个…...
备战!全国青少年信息素养大赛图形化编程-省赛——求最小公倍数
备战!全国青少年信息素养大赛图形化编程-省赛——求最小公倍数 题目可点下方去处,支持在线编程~ 求最小公倍数_scratch_少儿编程题库学习中心-嗨信奥 程序演示可点击下方去处,支持源码和素材获取~ 求最小公倍数-scratch作品-少儿编程题库学习…...
Vue3进行工程化项目,保姆级教学(编译软件:vscode)大部分编译平台适用
目录 1. 创建vue工程 1.1 第一步 1.2 选择名称和工件 1.3 选择语言 1.4 自动下载js 1.5 运行vue工程 1.6 成功页面 2. 更改vue工程安装的位置 3. 更改运行工程方式 第一步 第二步 编辑 第三步 调试 编辑 运行项目 前面所学都是vue3的基础,为了简…...
通过觅思文档项目实现Obsidian文章浏览器在线访问
觅思文档项目开源地址 觅思文档项目开源地址:https://gitee.com/zmister/MrDoc 觅思文档部署步骤概览 服务器拉取代码: git clone https://gitee.com/zmister/mrdoc-install.git && cd mrdoc-install && chmod x docker-install.sh &a…...
⭐️白嫖的阿里云认证⭐️ 第二弹【课时1:提示词(Prompt)技巧】for 「大模型Clouder认证:利用大模型提升内容生产能力」
「大模型Clouder认证:利用大模型提升内容生产能力」这个认证目前在阿里云认证中心还是免费的,简单几步就可以申请考试,有两次的免费考试机会。而且,这个课程中的内容对于所有普通用户来说都非常实用,课程整体长度也就3节课,非常快速就能学完。心动不如行动,赶紧开始吧!…...
零基础搭建!基于PP-ShiTuV2的轻量级图像识别系统(Docker+API部署指南)
以下是对该图像分类识别系统的的简单介绍: PP-ShiTuV2 是一个由百度飞桨团队发布的实用轻量级通用图像识别系统,由主体检测、特征提取、向量检索三个模块构成,适用于快速构建轻量级、高精度、可落地的图像识别应用image_classification是一个…...
阿克曼-幻宇机器人系列教程4- 建图
在之前的文章中,我们介绍了如何登录机器人,如何实现上位机与下位机之间的互通,还介绍了机器人的topic和message,以及如何通过命令行对topic、message进行对应的操作。 接下来,我们就要运用前面所学的所有知识进行综合…...
【方法论】如何构建金字塔框架
文章目录 一、自上而下法1、5步法2、案例说明:基于自上而下法构建金字塔结构来优化写作逻辑 二、自下而上法1、 自下而上法的“三步走”策略步骤1:列出所有思想要点步骤2:找出逻辑关系(因果或共性)步骤3:得…...
Ubuntu 18.04设置静态IP的方法(图形化操作)
0 前言 当路由器启用了DHCP功能,每次启动虚拟机下的Ubuntu(网络连接模式为桥接模式)分配到的IP可能是不一样的,不方便使用和调试(例如开发板加载镜像的主机IP地址也要跟着更改)。针对这些问题,…...
第12章 Java多线程机制
12.1 进程与线程 4种状态:新建、运行、中断和死亡。 (新建、运行、中断和死亡) 建立线程的两种方法:用Thread类或其子类。 线程新建后,必须调用 start () 方法使其进入就绪队列,才有机会获得 CPU 资源&a…...
AM32电调学习解读八:无感驱动相位波形解析
这是第八篇,本篇主要是解读换相波形,方便理解代码。 1、无感驱动波形图 1)ESC简图 2)比较器接线图 灵动微 BLDC 电机方波控制中的反电动势过零检测介绍 - 大大通(简体站) 3)未满duty波形 未满duty方便看出是高边驱…...
封装、继承、多态的理解
目录 1、封装 2、继承 3、多态 4、举例:计算机和外设 1、封装 封装是从使用者的角度,将某种复杂的事务,打包成一个整体,只对使用者提供方便使用的方式。 举例: 1> 胶囊:对于各种混合药物的封装 …...
使用vscode做python项目fastapi的开发
准备工作 安装必要软件 Python:确保安装 Python 3.8 或更高版本(FastAPI 推荐)。下载地址:https://www.python.org/downloads/ 验证安装: bash python --versionVS Code:下载并安装 VS Code:ht…...
多指标组合策略思路
一种基于多种技术指标和日历因素的综合交易策略,旨在通过复杂的条件判断来预测市场的短期走势,并据此进行买卖操作。 策略概述 该策略的核心思想是通过结合多个技术指标和日历因素来判断市场的短期趋势,并在合适的时机进行买入或卖出操作。 具…...
day29 python深入探索类装饰器
目录 一、类装饰器的初步理解 二、类装饰器与函数装饰器的对比 三、类装饰器的实现与应用 (一)为类添加日志功能 (二)动态方法绑定的两种方式 四、手动调用装饰器:类的“后天改造” 五、总结与展望 一、类装饰器…...
Rstudio换皮:自定义彩虹括号与缩进线
更换主题 Rstudio还是R语言最好用的IDE,默认的Rstudio已经自带了很多主题,可以自由选择。 更换内置主题 • 操作路径:Tools → Global Options → Appearance 在Editor Theme选项中切换主题,默认使用Textmate主题。RStudio提供…...
基于springboot+vue的车票管理系统
开发语言:Java框架:springbootJDK版本:JDK1.8服务器:tomcat7数据库:mysql 5.7数据库工具:Navicat12开发软件:eclipse/myeclipse/ideaMaven包:Maven3.3.9 系统展示 用户管理 班次时…...
计算机组成与体系结构:Snooping-Based Protocols(监听式协议)
目录 什么是监听式协议? Snooping 的总线模型 两种写策略:Write Update vs. Write Invalidate 1️⃣ Write-Invalidate(写失效) 2️⃣ Write-Update(写更新) 🔍 操作流程分析 ǵ…...
CSS 浮动(Float)及其应用
1. 什么是浮动(Float)? 浮动元素会脱离正常的文档流(Document Flow),并向左或向右移动,直到碰到父元素的边缘或另一个浮动元素。 基本语法 .float-left {float: left; }.float-right {float:…...
离散文本表示
目录 一、离散文本表示的底层逻辑 二、One-hot 编码 (一)One-hot 编码的精妙机制 (二)One-hot 编码的优势与局限 三、词袋法(Bag of Words) (一)词袋法的核心思想 (…...
Python异常处理与OOP深度解析及实战案例
**导读:**在现代软件开发中,异常处理与面向对象编程(OOP)是构建健壮、可维护程序的两大基石。本文深入解析了 Python 中的异常处理机制和 OOP 编程的核心概念,并通过实战案例帮助你掌握这些技术的实际应用。 文章从异常…...
KnowCard:我的知识卡片生成器是怎么炼成的?
我正在参加CodeBuddy「首席试玩官」内容创作大赛,本文所使用的 CodeBuddy 免费下载链接:腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴 起心动念:我想做个“笔记神器” 有时候,看着笔记本里密密麻麻的学习要点,我…...
JAVA EE(进阶)_进阶的开端
别放弃浸透泪水的昨天,晨光已为明天掀开新篇 ——陳長生. ❀主页:陳長生.-CSDN博客❀ 📕上一篇:JAVA EE_HTTP-CSDN博客 1.什么是Java EE Java EE(Java Pla…...
装甲PPT习题
装甲PPT习题 第一章 将 42.195 42.195 42.195, 0.0375551 0.0375551 0.0375551, 8.00033 8.00033 8.00033, 2.71828 2.71828 2.71828 按四舍五入写出上述各数具有四位有效数字的近似数。 考察三位有效数字重力加速度 g g g,若…...
EasyExcel动态表头
专家官方解答 : 在使用EasyExcel处理Excel动态表头的问题时,官方并不推荐使用includecolumnfieldnames方法。根据提供的知识内容,以下是如何实现动态表头的详细步骤和解释: 原因分析 动态表头的需求通常来源于希望根据用户的选…...
LoadBarWorks:一款赛博风加载动画生成器的构建旅程
我正在参加CodeBuddy「首席试玩官」内容创作大赛,本文所使用的 CodeBuddy 免费下载链接:腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴 项目缘起:赛博与实用的结合 在日常开发中,我经常需要为不同的项目添加加载动画&#x…...
跨平台多用户环境下PDF表单“序列号生成的服务器端方案“
在PDF表单处理中,经常需要为每个表单生成唯一的序列号或表单编号。当所有表单都在同一台计算机上由同一用户处理时,可以通过JavaScript将编号存储在另一个表单或全局JavaScript数据中来实现。然而,当需要在多台计算机或多个用户环境中使用时&…...
二:操作系统之进程控制块(PCB)
进程的身份证与状态记录:深入理解进程控制块 (PCB) 在我们之前的博客中,我们探讨了进程是什么——程序的一次执行实例,以及进程在其生命周期中会经历的各种状态(新建、就绪、运行、等待、终止)。我们知道,…...
创建型:原型模式
目录 1、核心思想 2、实现方式 2.1 基本结构 2.2 代码示例(Java) 3、适用场景 4、new与clone实际场景建议 1、核心思想 目的:通过复制(克隆)现有对象来创建新对象,而不是通过new关键字实例化。对于那…...
从c++到python
从c到python 前言printprint格式化print按原始格式输出 input变量、常量和数据类型整型和type()浮点型复数字符串类型数据类型转换变量地址 注释关键字容器列表list下标索引常用功能 元组tuple字符串str字符串的成员函数:字符串初始化为几个固定字符字符和int型数据…...
仿腾讯会议——房间界面用户设置
1、房间界面设置 2、 添加新设计师界面类 3、设置用户设置 4、添加新类&&设置房间标题 5、设置控件 6、修改用户展示头文件 7、 设置用户名 8、客户端添加用户展示 9、测试数据 10、成功截图...
Vue+Go 自定义打字素材的打字网站
Typing_Key_Board 这是一个基于Vue 3和Go语言的自定义素材打字练习网站,灵感来源于常用字打字练习,解决了大多数网站无法自定义打字素材的问题。在 Typing_Key_Board (简称TKB)中,用户可以自定义打字素材进行练习,在复习代码的同…...