当前位置：首页 > news >正文

模型高效微调方式

news 来源：原创 2025/5/23 2:03:05

除了LoRA（Low-Rank Adaptation）外，还有其他一些快速且效果好的模型微调方法。这些方法可以在保持模型性能的同时，减少计算和存储需求。以下是几种常见的方法：

1. 参数高效微调（Parameter-Efficient Fine-Tuning）

这种方法主要包括以下几种子方法：

a. Adapter Layers

Adapter Layers是在预训练模型的各层之间插入小的适配层，适配层包含少量参数，用于捕获目标任务的特定信息。这种方法只需要微调适配层的参数，而保持预训练模型的其他参数不变。

b. Prefix-Tuning

Prefix-Tuning在模型的输入前加上一个可学习的前缀，这个前缀的参数是可训练的，而模型的其他参数保持不变。这种方法主要用于自然语言处理任务中的Transformer模型。

c. BitFit

BitFit方法只更新预训练模型中偏置（bias）参数，而保持权重参数不变。因为偏置参数的数量较少，所以这种方法的计算和存储需求较低。

2. 蒸馏（Knowledge Distillation）

知识蒸馏将一个大模型（教师模型）的知识转移到一个小模型（学生模型）。通过让学生模型学习教师模型的输出，学生模型可以在保持高性能的同时，显著减少参数数量和计算需求。

3. 混合精度训练（Mixed Precision Training）

混合精度训练使用16位和32位浮点数混合进行训练，减少计算和存储需求，同时保持模型性能。由于计算效率的提高，这种方法可以显著加速训练过程。

4. 梯度累积（Gradient Accumulation）

梯度累积在计算资源有限的情况下，通过累积多个小批次的梯度来模拟大批次的训练，从而减少内存需求，同时保持训练效果。

5. 剪枝（Pruning）

剪枝通过移除模型中冗余或不重要的参数来减少模型大小和计算需求。剪枝后的模型可以在保持性能的同时，显著减少计算和存储资源。

示例代码：Adapter Layers

以下是一个使用Adapter Layers进行模型微调的示例代码，使用PyTorch框架实现：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, Dataset
import torchvision.transforms as transforms
import torchvision.datasets as datasets# 示例数据集
class ExampleDataset(Dataset):def __init__(self, size=1000):self.data = torch.randn(size, 3, 32, 32)self.labels = torch.randint(0, 10, (size,))def __len__(self):return len(self.data)def __getitem__(self, idx):return self.data[idx], self.labels[idx]# 基本模型定义（例如ResNet）
class BasicModel(nn.Module):def __init__(self):super(BasicModel, self).__init__()self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1)self.layer1 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(2))self.layer2 = nn.Sequential(nn.Conv2d(32, 64, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(2))self.fc = nn.Linear(64 * 8 * 8, 10)def forward(self, x):x = nn.functional.relu(self.conv1(x))x = self.layer1(x)x = self.layer2(x)x = x.view(x.size(0), -1)x = self.fc(x)return x# Adapter Layer定义
class AdapterLayer(nn.Module):def __init__(self, input_dim, adapter_dim):super(AdapterLayer, self).__init__()self.down = nn.Linear(input_dim, adapter_dim)self.up = nn.Linear(adapter_dim, input_dim)def forward(self, x):return self.up(nn.functional.relu(self.down(x)))# 修改模型以添加Adapter Layers
class AdapterModel(nn.Module):def __init__(self, original_model, adapter_dim=16):super(AdapterModel, self).__init__()self.original_model = original_modelself.adapter1 = AdapterLayer(32 * 16 * 16, adapter_dim)self.adapter2 = AdapterLayer(64 * 8 * 8, adapter_dim)def forward(self, x):x = nn.functional.relu(self.original_model.conv1(x))x = self.original_model.layer1(x)x = x.view(x.size(0), -1)x = self.adapter1(x).view(x.size(0), 32, 16, 16)x = self.original_model.layer2(x)x = x.view(x.size(0), -1)x = self.adapter2(x).view(x.size(0), 64, 8, 8)x = x.view(x.size(0), -1)x = self.original_model.fc(x)return x# 初始化基本模型和Adapter模型
base_model = BasicModel()
adapter_model = AdapterModel(base_model)# 数据加载器
dataset = ExampleDataset()
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)# 损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(adapter_model.parameters(), lr=0.001)# 训练循环
num_epochs = 10
for epoch in range(num_epochs):adapter_model.train()for data, labels in dataloader:optimizer.zero_grad()outputs = adapter_model(data)loss = criterion(outputs, labels)loss.backward()optimizer.step()print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}")print("训练完成！")

代码说明

数据集定义：
- 使用随机生成的数据创建一个示例数据集。
模型定义：
- 定义一个基本模型BasicModel，包含两个卷积层和一个全连接层。
- 定义Adapter Layer，并将其添加到基本模型中。
训练过程：
- 使用交叉熵损失函数和Adam优化器。
- 在训练循环中，对Adapter Layer进行优化，并打印每个epoch的损失值。

通过这种方式，Adapter Layers技术可以有效地减少模型微调过程中的计算和存储需求，同时保持模型的性能。这对于大规模模型的微调特别有用。

模型高效微调方式

除了LoRA（Low-Rank Adaptation）外，还有其他一些快速且效果好的模型微调方法。这些方法可以在保持模型性能的同时，减少计算和存储需求。以下是几种常见的方法： 1. 参数高效微调（Parameter-Efficient Fine-T…...

编程日记 2025/5/23 2:03:05

Linux系统编程——理解系统内核中的信号捕获

目录一、sigaction() 使用信号捕捉技巧二、可重入函数三、volatile关键字四、SIGCHLD信号在信号这一篇中我们已经学习到了一种信号捕捉的调用接口：signal(),为了深入理解操作系统内核中的信号捕获机制，我们今天再来看一个接口：si…...

编程日记 2025/5/23 3:55:08

ISP算法之BNR降噪(Bayer域)

概述 BNR（Bayer Noise Reduction）即Bayer域降噪算法。对于噪声的分类如下表所示： 高斯噪声（ Gaussian） 高斯噪声也被称为热噪声，通常是由于电路系统中自由电子的热运动，这种噪声幅度分布服从高…...

编程日记 2025/5/20 8:15:15

HBuilder快捷键大全

目录一、最常用快捷键二、文件操作快捷键三、选择操作快捷键四、插入操作快捷键五、编辑操作快捷键六、删除操作快捷键七、查找操作快捷键八、标签规范快捷键八、运行操作快捷键九、转换操作快捷键十、跳转操作快捷键十一、附加功能快捷键十二、快捷键…...

编程日记 2025/5/21 10:53:39

1、项目连接 paper：2303.04137 (arxiv.org) github: real-stanford/diffusion_policy: [RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion (github.com) 2、问题与解决办法 1） 运行 python train.py --..... 显示无法Err…...

编程日记 2025/5/22 8:53:20

Linux内核学习资源

老版本内核源码： https://mirrors.edge.kernel.org/pub/linux/kernel/Historic/old-versions/ 内核源码分析开源项目： https://github.com/ultraji/linux-0.12/tree/master/srchttps://gitee.com/wslyx/linux-0.12https://github.com/0voice/linux_ke…...

编程日记 2025/5/20 23:46:20

NGINX的安装和配置（Linux环境）

目录 NGINX 安装方式1、离线编译安装2、在线仓库安装 NGINX 常用命令1、进程管理命令2、信息查看命令 NGINX 配置文件1、进程使用的配置2、配置文件格式3、配置文件层级 NGINX 全局配置1、全局配置常用指令2、连接相关配置 NGINX 配置MIME1、MIME 标准2、types 配置块3、defa…...

编程日记 2025/5/16 9:23:22

Leetcode打卡：考场就坐

执行结果：通过题目： 855 考场就坐在考场里，有 n 个座位排成一行，编号为 0 到 n - 1。当学生进入考场后，他必须坐在离最近的人最远的座位上。如果有多个这样的座位，他会坐在编号最小的座位上。(另外&am…...

编程日记 2025/5/17 17:36:06

STM32——“SPI Flash”

引入在给单片机写程序的时候，有时会用到显示屏，就拿市面上的0.96寸单色显示器来说，一张全屏的图片就占用8x1281024个字节，即1kb的空间，这对于单片机来说确实有点奢侈，于是我买了一个8Mb的SPI Flash&#x…...

编程日记 2025/5/19 7:41:42

Zookeeper基本命令解析

ZooKeeper -server host:port -client-configuration properties-file cmd args addWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVE addauth scheme auth 一、整体命令格式 ZooKeeper -serve…...

编程日记 2025/5/22 13:18:00

React-更新state的数据，dom没有重新渲染

{entourageList.map((person) > (<Row key{person.id}> {/* 使用唯一的 person.id */}<Col span{16}><Row gutter{16}><Col lg{9} md{18} sm{24}><FormItem label{姓名}>{getFieldDecorator(name-${person.id}, {initialValue: person.name,…...

编程日记 2025/5/22 8:07:57

消息队列技术的发展历史

消息队列技术的演进历程宛如一幅波澜壮阔的科技画卷，历经多个标志性阶段，各阶段紧密贴合不同的技术需求与市场风向，下面为您详细道来。第一阶段：消息中间件的起源（1970 年代末期 - 1980 年代中期） 在计算…...

编程日记 2025/5/18 17:35:26

20.抽卡只有金，带保底（WPF） C#

这是一个界面应用化后的抽卡，目前只能抽金，只有基础概率加保底概率适合界面化应用初学者。这是展示图： 使用的是WPF不是winform，我也是第一次做WPF内容，就可以试一试，代码都在这里了，简单来…...

编程日记 2025/5/20 17:29:07

DALFox-一款XSS自动化扫描工具

声明！本文章所有的工具分享仅仅只是供大家学习交流为主，切勿用于非法用途，如有任何触犯法律的行为，均与本人及团队无关！！！ 目录标题一、介绍及使用启动及使用1. 单个扫描2. 多个扫描3. 文件扫描…...

编程日记 2025/5/20 19:53:39

软件测试之压力测试【详解】

压力测试压力测试是一种软件测试，用于验证软件应用程序的稳定性和可靠性。压力测试的目标是在极其沉重的负载条件下测量软件的健壮性和错误处理能力，并确保软件在危急情况下不会崩溃。它甚至可以测试超出正常工作点的测试，并评估软件在极端…...

编程日记 2025/5/23 8:26:06

电视大全 1.3.8|汇聚多频道资源，秒切换流畅播放

电视大全TV版是一款功能丰富的TV端直播软件，由悠兔电视的同一开发者打造。最新版本更新了更多频道，包括央视、卫视和地方频道等，提供了多线路流畅播放体验，并支持节目回看、线路选择、开机自启等功能。该应用免登录且无购物频道&a…...

编程日记 2025/5/9 14:09:44

MaxKB基于大语言模型和 RAG的开源知识库问答系统的快速部署教程

1 部署要求 1.1 服务器配置部署服务器要求： 操作系统：Ubuntu 22.04 / CentOS 7.6 64 位系统CPU/内存：4C/8GB 以上磁盘空间：100GB 1.2 端口要求在线部署MaxKB需要开通的访问端口说明如下： 端口作用说明22SSH安装…...

编程日记 2025/5/21 10:35:25

大恒相机开发（3）—大恒相机工业检测的实际案例

大恒相机工业检测的实际案例工业检测的实际案例图像采集性能优化技巧工业环境下的稳定性工业检测的实际案例以下是一些使用大恒相机进行工业检测的实际案例： 多特征光学成像系统： 在这个案例中，使用大恒相机构建了一个全方位、多特征的图…...

编程日记 2025/5/17 22:35:34

《Java 与 OpenAI 协同：开启智能编程新范式》

在当今科技飞速发展的时代，人工智能已成为推动各领域创新变革的核心力量。OpenAI 作为人工智能领域的领军者，其开发的一系列强大模型，如 GPT 系列，为自然语言处理等诸多任务带来了前所未有的突破。而 Java，作为一种广泛…...

编程日记 2025/5/20 14:39:28

HarmonyOS NEXT 技术实践-基于基础视觉服务的多目标识别

在智能手机、平板和其他智能设备日益智能化的今天，视觉识别技术成为提升用户体验和智能交互的重要手段。HarmonyOS NEXT通过基础视觉服务（HMS Core Vision）提供了一套强大的视觉识别功能，其中多目标识别作为其关键技术之一&#x…...

编程日记 2025/5/20 4:37:42

MySQL体系架构

MySQL Server架构自顶向下大致可以分网络连接层、服务层、存储引擎层和系统文件层。网络连接层客户端连接器（Connectors）：提供与MySQL服务器建立的支持。目前几乎支持所有主流的服务端编程技术，例如常见的 Java、C、Python、.…...

编程日记 2025/5/20 2:55:44

如何学习Trustzone

阅读官方文档 ARM 官方文档是学习 Trustzone 最权威的资料来源。例如，ARM Architecture Reference Manual 中详细介绍了 Trustzone 的架构原理、寄存器定义和操作模式等内容。这些文档虽然比较复杂，但能够提供最准确的技术细节，适合在学习过…...

编程日记 2025/5/19 21:14:17

【视觉SLAM:Panoptic FPN全景分割网络】

Panoptic FPN是一种全景分割（Panoptic Segmentation）的经典网络，最早由 Kirillov 等人在 2019 年提出。全景分割是一种统一的视觉任务，结合了实例分割（Instance Segmentation）和语义分割（Semant…...

编程日记 2025/5/18 5:05:41

【Linux】数据呈现

一、数据的输入与输出 1、标准文件描述符 Linux系统会将每个对象都当做文件来处理，包括输入和输出。它用文件描述符来标识每个文件对象。文件描述符是一个非负整数，唯一会标识的是会话中打开的文件。每个进程一次最多可以打开9个文件描述符。bash sh…...

编程日记 2025/5/17 21:29:23

编译原理期末复习--伪代码部分

1.词法分析 token token nexttoken()c getchar();switch(c):case <:c getchar();switch(c):case : return RE;case >: return NE;default: rollback(); return LT;case :return EQ;case >:c getchar();switch(c):case : return GE;default: rollback(); return GT…...

编程日记 2025/5/21 13:27:26

云原生相关的 Go 语言工程师技术路线(含博客网址导航）

要成为一名云原生相关的 Go 语言工程师，需要在 Go 语言、云原生技术栈以及相关的开发和运维工具上建立扎实的基础。下面是一个前字节员工总结的技术路线规划： 1. 掌握 Go 语言基础深入理解 Go 语言：你需要熟练掌握 Go 的语法、数据结构、并…...

编程日记 2025/5/18 11:55:45

基于Springboot + vue实现的汽车资讯网站

🥂(❁◡❁)您的点赞👍➕评论📝➕收藏⭐是作者创作的最大动力🤞 💖📕🎉🔥 支持我：点赞👍收藏⭐️留言📝欢迎留言讨论 🔥🔥&…...

编程日记 2025/5/22 10:36:29

【YashanDB知识库】ycm-YashanDB列表有数据库显示故障排除步骤

本文内容来自YashanDB官网，原文内容请见 https://www.yashandb.com/newsinfo/7802959.html?templateId1718516 数据库状态正常异常 1、查看告警列表例如：告警显示实例无法连接，一般是数据库实例服务掉了，需要尽快联系系统…...

编程日记 2025/5/22 16:23:16

如何使用 FastAPI 框架创建 RESTful API ？

FastAPI是一个现代、快速（高性能）的Web框架，用于构建API，它基于Python 3.6的类型提示功能，可以自动生成交互式API文档（使用Swagger UI或ReDoc），并且支持异步编程。二、创建第一个F…...

编程日记 2025/5/21 16:05:29

Java 继承

继承是所有 OOP 语言和 Java 语言不可缺少的组成部分。继承是 Java 面向对象编程技术的一块基石，是面向对象的三大特征之一，也是实现软件复用的重要手段，继承可以理解为一个对象从另一个对象获取属性的过程。如果类 A 是类 B 的父类&…...

编程日记 2025/5/18 1:31:19

嵌入式Linux QT+OpenCV基于人脸识别的考勤系统项目

此项目是基于人脸识别的考勤系统开发，包括如下模块： 1、人脸识别考勤系统GUI界面设计，包括： （1）Qt环境(window环境/linux环境) ； （2）Qt工程创建分析； &am…...

编程日记 2025/5/21 1:55:10

门户系统需要压测吗？以及门户系统如何压力测试？

一、门户系统为什么要进行压力测试？ 首先一点要明确一下，统一门户上线以后，将是所有应用系统的入口，对应门户稳定性要求较高，门户实现了统一入口和统一认证，系统宕机将影响其他系统使用。一般部署架构要求…...

编程日记 2025/5/19 17:08:30

Linux扩展——shell编程

前置：Linux基础及命令复习目录 shell概述Shell脚本入门案例 sh bash ./ . source 变量系统预定义变量 $HOME $PWD $SHELL等自定义变量 unset readonly补充：开启子Shell进程的常见方法 (...) $(...) ... <(...) >(...) 特殊变量 $n $# $* $ $&…...

编程日记 2025/5/20 2:05:46

golang, go sum文件保证下载的依赖模块是一致的

在 Go 编程语言中，go.sum 文件是 Go 模块管理的一部分，主要用于记录模块的校验信息（模块版本的校验和）。它的设计目标是确保模块的完整性和安全性，解决以下关键问题： 1. 确保模块版本的一致性 go.sum 文件…...

编程日记 2025/5/20 7:49:48

TANGO与LabVIEW控制系统集成

TANGO 是一个开源的设备控制和数据采集框架，主要用于管理实验室设备、自动化系统和工业设备。它为不同类型的硬件提供统一的控制接口，并支持设备之间的通信，广泛应用于粒子加速器、同步辐射光源、实验室自动化和工业控制等领域。 1. TANGO的核…...

编程日记 2025/5/20 4:38:34

【day14】异常处理与Object类深入解析

【day13】回顾在深入探讨异常处理与Object类之前，让我们回顾一下【day13】中的关键内容： 权限修饰符： public：最广的访问范围，任何地方都可以访问。protected：在同包和子类中可以访问。默认（无…...

编程日记 2025/5/21 10:53:38

云技术基础知识（二）：虚拟化与容器技术

内容预览 ≧∀≦ゞ虚拟化与容器技术虚拟化技术一、虚拟化的核心概念二、虚拟化的主要类型1. 服务器虚拟化2. 操作系统虚拟化（容器化）3. 网络虚拟化4. 存储虚拟化三、虚拟化的实现方法和工具1. 服务器虚拟化实现2. 操作系统虚拟化（容器化&am…...

编程日记 2025/5/22 6:52:34

【Java基础面试题033】Java泛型的作用是什么？

Java的基础语法可以看尚硅谷的这个PDF：尚硅谷JavaSE基础/《Java从入门到精通(JDK17版)》_尚硅谷电子书.pdf Autism_Btkrsr/Blog_md_to_pdf - 码云 - 开源中国 (gitee.com) 回答重点 Java泛型的作用是通过在编译时检查类型安全，允许程序员编写更通用和…...

编程日记 2025/5/17 17:45:16

Linux 基本使用和程序部署

1. Linux 环境搭建 1.1 环境搭建方式主要有 4 种： 直接安装在物理机上。但是Linux桌面使用起来非常不友好，所以不建议。[不推荐]。使用虚拟机软件，将Linux搭建在虚拟机上。但是由于当前的虚拟机软件(如VMWare之类的)存在一些bug&#xff…...

编程日记 2025/5/23 6:07:45

react中使用ResizeObserver来观察元素的size变化

在 React 中使用 ResizeObserver 来观察元素的大小变化，可以通过创建一个自定义 Hook 来封装 ResizeObserver 的逻辑，并在组件中使用这个 Hook。以下是一个完整的示例，展示了如何在 React 中使用 ResizeObserver 来观察元素的大小变化。自定…...

编程日记 2025/5/20 20:09:10

常见数据结构

1.数组 vector 2.链表 list 双向链表，不能通过下标找元素 3.栈 stack 4.队列 queue 优先队列priority_queue. 默认队头为最大值，可以用来任务调度，图算法，霍夫曼树 5.双端队列 deque 6.集合 set multiset s.begin() //返回…...

编程日记 2025/5/21 3:59:04

【服务器】linux服务器管理员查看用户使用内存情况

【服务器】linux服务器管理员查看用户使用硬盘内存情况 1、查看所有硬盘内存使用情况 df -h2、查看硬盘挂载目录下所有用户内存使用情况 du -sh /public/*3、查看某个用户所有文件夹占用硬盘内存情况 du -sh /public/zhangsan/*...

编程日记 2025/4/30 17:43:13

Java-冒泡排序、选择排序、二分查找算法

1. 冒泡排序 (1) 冒泡排序：每次从数组中找出最大值放在数值的后面去 public static void main(String[] args) {//冒泡排序int[] arr {5, 6 ,4, 9, 3, 1};for (int i 0; i < arr.length - 1; i) {for (int j 0; j < arr.length - i - 1; j) {if (arr[j] &…...

编程日记 2025/5/19 0:25:07

leetcode之hot100---240搜索二维矩阵II（C++）

思路一：通过遍历主对角线上元素判断查找方向主对角线遍历： 遍历主对角线上的每个元素（matrix[i][i]），其中 i 的范围是 [0, min(m, n) - 1]。如果目标值小于当前主对角线元素，说明目标值可能在当前元素的左…...

编程日记 2025/5/20 11:15:31

牛客--求小球落地5次后所经历的路程和第5次反弹的高度，称砝码

求小球落地5次后所经历的路程和第5次反弹的高度描述假设有一个小球从 hh 米高度自由落下，我们不考虑真实的物理模型，而是简洁的假定，该小球每次落地后会反弹回原高度的一半；再落下，再反弹；……。求小球…...

编程日记 2025/5/14 11:40:43

EasyPoi 使用$fe:模板语法生成Word动态行

1 Maven 依赖 <dependency><groupId>cn.afterturn</groupId><artifactId>easypoi-spring-boot-starter</artifactId><version>4.0.0</version> </dependency> 2 application.yml spring:main:allow-bean-definition-over…...

编程日记 2025/5/19 19:05:20