当前位置：首页 > news >正文

【微调大模型】使用LLaMA-Factory进行监督微调 Qwen2.5

news 来源：原创 2025/9/17 15:56:40

本文使用LLaMA-Factory进行监督微调 Qwen2.5。

此监督微调（SFT）脚本具有以下特点：

支持单GPU和多GPU训练；
支持全参数调优，LoRA，Q-LoRA，Dora。

下面详细介绍一下该脚本的使用方法。

安装

数据准备

训练

合并 LoRA

结论

安装

开始之前，请确保已安装以下软件包：

按照LLaMA-Factory的说明，构建环境。安装这些软件包（可选）：

pip install deepspeedpip install flash-attn --no-build-isolation

如果想使用 FlashAttention-2，请确保 CUDA 是 11.6 及以上版本。

数据准备

LLaMA-Factory 在文件夹中提供了几个训练数据集data，可以直接使用。如果使用自定义数据集，请按如下方式准备数据集。

1将数据组织到json文件中，并将数据放入data 文件夹中。LLaMA-Factory 支持alpaca或sharegpt 格式的数据集。

alpaca格式的数据集应遵循以下格式：

[{"instruction": "user instruction (required)","input": "user input (optional)","output": "model response (required)","system": "system prompt (optional)","history": [["user instruction in the first round (optional)", "model response in the first round (optional)"],["user instruction in the second round (optional)", "model response in the second round (optional)"]]}
]

sharegpt格式的数据集应遵循以下格式：

[{"conversations": [{"from": "human","value": "user instruction"},{"from": "gpt","value": "model response"}],"system": "system prompt (optional)","tools": "tool description (optional)"}
]

2 data/dataset_info.json按以下格式提供数据集定义。

对于alpaca格式数据集，dataset_info.json 应该是：

"dataset_name": {"file_name": "dataset_name.json","columns": {"prompt": "instruction","query": "input","response": "output","system": "system","history": "history"}
}

对于sharegpt格式数据集，dataset_info.json 应该是：

"dataset_name": {"file_name": "dataset_name.json","formatting": "sharegpt","columns": {"messages": "conversations","system": "system","tools": "tools"},"tags": {"role_tag": "from","content_tag": "value","user_tag": "user","assistant_tag": "assistant"}}

训练

执行以下训练命令：

DISTRIBUTED_ARGS="--nproc_per_node $NPROC_PER_NODE \--nnodes $NNODES \--node_rank $NODE_RANK \--master_addr $MASTER_ADDR \--master_port $MASTER_PORT"torchrun $DISTRIBUTED_ARGS src/train.py \--deepspeed $DS_CONFIG_PATH \--stage sft \--do_train \--use_fast_tokenizer \--flash_attn \--model_name_or_path $MODEL_PATH \--dataset your_dataset \--template qwen \--finetuning_type lora \--lora_target q_proj,v_proj\--output_dir $OUTPUT_PATH \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 4 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 5e-6 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 4096 \--save_steps 1000 \--plot_loss \--num_train_epochs 3 \--bf16

要更改训练，可以修改训练命令中的参数来调整超参数。需要注意的一个参数是cutoff_len，这是训练数据的最大长度。控制此参数以避免 OOM 错误。

合并 LoRA

如果使用 LoRA 训练模型，则可能需要将适配器参数合并到主分支。运行以下命令执行 LoRA 适配器的合并。

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \--model_name_or_path path_to_base_model \--adapter_name_or_path path_to_adapter \--template qwen \--finetuning_type lora \--export_dir path_to_export \--export_size 2 \--export_legacy_format False

结论

以上内容是使用 LLaMA-Factory 训练 Qwen 的最简单方法。

Quickstart - Qwen

至此，本文的内容就结束了。

【微调大模型】使用LLaMA-Factory进行监督微调 Qwen2.5

本文使用LLaMA-Factory进行监督微调 Qwen2.5。此监督微调（SFT）脚本具有以下特点： 支持单GPU和多GPU训练；支持全参数调优，LoRA，Q-LoRA，Dora。下面详细介绍一下该脚本的使用方法。目录安装…...

编程日记 2025/9/17 15:56:40

前端 react+ant design ,后端 springboot +mysql+redis 全栈项目零基础小白从服务器初始化开始部署上线超详细保姆级教程

哈喽小伙伴们，好久不见，我是小李，今天，来电干货，希望对大家有帮助。去年12月底的时候心血来潮，正好赶上腾讯云在做活动，就买了一台服务器，说是后面打算上线一两个项目，体验体验云服务器究竟是怎么玩的。后来由于实习和“冬招”，实在忙不过来了，就放在文件夹吃灰了…...

编程日记 2025/9/17 18:22:23

[Windows] OfficeAI 助手 v0.3.20(长期免费,2025-03-18 本地支持WPS_Word联动）

OfficeAI助手，作为Microsoft Office与WPS的得力智能插件，集文档自动生成、内容精准校对与润色、公式智能推荐等多功能于一体。它凭借强大的数据分析能力，深度融入Office/WPS办公生态，一键简化复杂流程，让办公效率倍增&…...

编程日记 2025/9/17 18:22:19

3DGS之光栅化

光栅化（Rasterization）是计算机图形学中将连续的几何图形（如三角形、直线等）转换为离散像素的过程，最终在屏幕上形成图像。一、光栅化的核心比喻像画家在画布上作画假设你是一个画家，要把一个3D立方体画…...

编程日记 2025/9/17 18:23:49

可发1区的超级创新思路（python 、MATLAB实现）：基于SAM+Informer+2DCNN的功率预测模型

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！目录首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！一、模型背景与核心创新二、模型组件详解 1. SAM时空注意力模块原理说明代码实…...

编程日记 2025/9/16 1:58:04

【Java面试系列】Spring Boot微服务架构下的分布式事务解决方案与性能优化详解 - 3-5年Java开发必备知识

【Java面试系列】Spring Boot微服务架构下的分布式事务解决方案与性能优化详解 - 3-5年Java开发必备知识 1. 引言在当今的微服务架构中，分布式事务是一个不可避免的话题。随着业务复杂度的提升，如何保证跨服务的数据一致性成为开发者和架构师必须面对…...

编程日记 2025/9/17 14:23:21

【MATLAB第114期】基于MATLAB的SHAP可解释神经网络分类模型（敏感性分析方法）

【MATLAB第114期】基于MATLAB的SHAP可解释神经网络分类模型（敏感性分析方法） 引言该文章实现了一个可解释的神经网络分类模型，使用BP神经网络（BPNN）来预测特征输出。该模型利用12个变量参数作为输入特征进行训练。为…...

编程日记 2025/9/7 23:59:48

WPS免费使用宏（安装VBA插件）

WPS提示要开会员才能使用宏，多次搜索发现其实可以直接安装VBA插件就行，Mark一下插件下载地址： https://www.onlinedown.net/soft/10044362.htm ‘’’ WPS插件软件介绍 wps vba是一款wps office插件，安装wps vba 7.1就可以让of…...

编程日记 2025/9/8 17:43:45

让测试飞起来——DevOps中的自动化测试实践指南

让测试飞起来——DevOps中的自动化测试实践指南近年来，DevOps理念已经成为现代软件开发和运维的“最佳拍档”。它倡导“开发”和“运维”的协作，核心目标是加速交付，同时保障软件质量。而在这一过程中，测试自动化扮演了不可替代的角色。今天，我们就一起来聊聊测试自动化…...

编程日记 2025/9/7 11:59:38

开源AI大模型AI智能名片S2B2C商城小程序：科技浪潮下的商业新引擎

摘要： 本文聚焦于科技迅猛发展背景下，开源AI大模型、AI智能名片与S2B2C商城小程序的融合应用。通过分析元宇宙、人工智能、区块链、5G等前沿科技带来的商业变革，阐述开源AI大模型AI智能名片S2B2C商城小程序在整合资源、优化服务、提升用户体验…...

编程日记 2025/9/16 3:32:17

文章目录关键配置 - liveReload 关键配置 - liveReload const dev_config {devtool: source-map,// watch: true,devServer: {contentBase: path.resolve(__dirname, bin),port: 8005,host:192.168.xx.xx,inline: true,hot: false,liveReload: false //关键这一行【false不会…...

编程日记 2025/9/10 17:06:55

OPEX baota 2024.02.26

OPEX baota 2024.02.26 运维集成软件宝塔2024.02.26作废例子： 最重要的两个地方：上传文件网站，重启应用服务器（tomcat） 其他很少用的...

编程日记 2025/9/16 1:58:07

【Pandas】pandas DataFrame to_numpy

Pandas2.2 DataFrame Conversion 方法描述DataFrame.astype(dtype[, copy, errors])用于将 DataFrame 中的数据转换为指定的数据类型DataFrame.convert_dtypes([infer_objects, …])用于将 DataFrame 中的数据类型转换为更合适的类型DataFrame.infer_objects([copy])用于尝试…...

编程日记 2025/9/3 19:06:32

Tensorflow2实现: LSTM-火灾温度预测

- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rnFa-IeY93EpjVu0yzzjkw) 中的学习记录博客** - **🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)** 一：理论知识基础 1.LSTM原理一句话介…...

编程日记 2025/9/10 6:18:27

【降尺度】AI+CMIP6数据分析与可视化、降尺度技术与气候变化的区域影响、极端气候分析

气候变化已成为全球性挑战，对农业、生态系统、水资源、人类健康和社会经济系统产生深远影响。科学研究表明，自工业革命以来，人类活动导致的温室气体排放与全球气温上升、极端天气事件增加、冰川融化和海平面上升等现象密切相关。为科学理解和…...

编程日记 2025/9/12 3:18:42

粒子系统优化完成

按计划对幻世（OurDream）2D图形引擎的粒子系统进行了加强和优化，重点强化了粒子运动的控制和颜色混合效果的功能，目前优化过后的粒子系统的整体效果是令人满意的。...

编程日记 2025/9/6 18:16:12

spark-core编程

RDD转换算子 RDD 的两种算子：转换算子和行动算子。 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value 类型。算子实际上是一些函数，用于数据处理。 Value类型 map 将处理的数据逐条进行映射转换，…...

编程日记 2025/9/11 21:57:27

智慧班牌系统解决方案，SaaS智慧电子班牌云平台

智慧班牌系统解决方案系统概述智慧班牌是智慧校园建设不断发展的产物，是教育信息化改革的载体。通过智慧班牌可以高效便捷传递各种知识信息和通知信息、及时反馈课堂信息、实现班级的透明化管理。智慧班牌将学生平安考勤、异常出勤情况及时反馈至家长、老师&…...

编程日记 2025/9/15 9:57:48

Flutter 2025 Roadmap

2025 这个路线图是有抱负的。它主要代表了我们这些在谷歌工作的人收集的内容。到目前为止，非Google贡献者的数量超过了谷歌雇佣的贡献者，所以这并不是一个详尽的列表，列出了我们希望今年Flutter能够出现的所有令人兴奋的新事物！在…...

编程日记 2025/9/11 16:06:37

【开发工具】科研开发中的主流AI工具整理及如何使用GPT润色英文论文

一、主流AI工具 AI技术发展至今已经逐渐成熟，并可以取代一部分科研和开发中的简单工作，并为复杂工作提高辅助，除此之外也是更高级的信息检索工具。熟练掌握 AI 工具在当前市场理应具有竞争优势，目前笔者在科研和开发中接触过AI工…...

编程日记 2025/9/8 13:58:06

用excel做九乘九乘法表

公式： IF($A2>B 1 , 1, 1,A2 & “" & B$1 & “” & $A2B$1,”")...

编程日记 2025/9/8 15:33:29

nacos配置达梦数据库驱动源代码步骤

1.在父工程pom.xml添加依赖： <dependency><groupId>com.dameng</groupId><artifactId>DmJdbcDriver18</artifactId><version>8.1.1.193</version> </dependency> 2.在nacos-config模块pom.xml添加依赖&#xff1…...

编程日记 2025/9/8 20:18:18

Spring Boot 线程池配置详解

Spring Boot 线程池配置详解一、核心配置参数及作用基础参数核心线程数 (corePoolSize)‌ 作用‌：线程池中始终保持存活的线程数量，即使空闲也不回收‌。建议‌：根据任务类型设定（如 I/O 密集型任务可设为 CPU 核心数 2）‌。最大线程数 (maxPoolSize)‌ 作用‌：…...

编程日记 2025/9/10 14:46:15

如何使用 qrcode.react生成二维码

qrcode.react（查看官网） 是一个用于 React 应用的 QR 码生成组件。下面是如何使用它的详细指南： 1、安装 npm install qrcode.react # 或者 yarn add qrcode.react2、基本用法 import {QRCodeSVG} from qrcode.react;const myPage () >…...

编程日记 2025/9/6 18:14:36

用VScode来编写前后端——构建基础框架

前言我写这一个板块的原因是我参加了我们学校的新生项目课，需要创立一个系统，我们小组选的标题的基于计算机视觉的商品识别系统，那么我们需要一个网站来展示我们的功能，故写这些来记录一下自己，大家如果有什么问题的话…...

编程日记 2025/9/9 4:37:59

23.OpenCV轮廓逼近与拟合

OpenCV轮廓逼近与拟合在计算机视觉中，轮廓是图像中边界或形状的重要表达形式。然而，直接从图像中提取的轮廓常常包含大量冗余点，且噪声较多。为了更好地描述图像中的形状，我们通常需要对轮廓进行逼近和拟合，从而降低…...

编程日记 2025/9/15 1:38:26

Flutter Row / Column 组件详解

1. 引言在 Flutter 中，Row 和 Column 是最常用的布局组件，用于在水平方向 (Row) 或垂直方向 (Column) 排列子组件。它们提供了强大的对齐方式、空间分配策略，适用于各种 UI 设计需求。本文将详细介绍它们的基本用法、主要属性及自定义样式。…...

编程日记 2025/9/9 17:32:48

WHAT - 表单场景 - 依赖联动

目录示例场景技术栈示例代码功能点总结详情场景 - 依赖联动初始化示例说明：详情页场景（含回显、联动）修改点说明示例代码（详情页）总结一下关键点下面是一个基于 React TypeScript Ant Design (antd) 的表单联动示例…...

编程日记 2025/9/11 4:17:24

SecProxy - 自动化安全协同平台

本人为甲方安全人员，从事甲方工作近6年；针对在甲方平时安全工作的一些重复、复杂、难点的工作，思考如何通过AI、脚本、或者工具实现智能且自动化，于是花平时空闲时间准备将这些能力全部集中到一个平台，于是有了这个东西…...

编程日记 2025/9/15 21:17:49

网络3 子网掩码划分ip地址

1.根据子网掩码判断主机数 IP地址网络位主机位核心：将主机位划分为子网位和主机位疑问：子网位有什么作用子网掩码：网络位全为1，主机位全为0 主机数2^主机位 -2 2.根据主机和子网判断子网掩码有一个B类网络145.38.0.0需要划…...

编程日记 2025/9/15 0:08:17

电容详解：定义、作用、分类与使用要点

一、电容的基本定义电容（Capacitor） 是由两个导体极板（正负极）和中间绝缘介质组成的储能元件，其基本特性为存储电荷。公式： C Q / V C：电容值（单位：法拉F&#xff09…...

编程日记 2025/9/16 1:58:10

Sublime Text for Mac v4.0 【注册汉化版】代码编辑器

Sublime Text for Mac v4.0 【注册汉化版】代码编辑器一、介绍 sublime text for Mac一款轻量级的文本编辑器，拥有丰富的功能和插件。它支持多种编程语言，包括C、Java、Python、Ruby等，可以帮助程序员快速编写代码。Sublime Text的界面简洁…...

编程日记 2025/9/11 17:50:02

OpenCV 进阶实战与技巧——图像处理的全面解析

在上篇文章中，我们一起迈入了 Python OpenCV 的奇妙世界，学习了图像的读取、显示和保存等基本操作：用Python和OpenCV开启图像处理魔法之旅-CSDN博客。今天，我们将继续深入，探索图像的各种变换、滤波、边缘检测以及更深…...

编程日记 2025/9/11 17:05:42

单细胞转录组-生物标志物篇 | 从异质性描绘到筛查应用

宫颈癌（Cervical cancer, CC）是一种常见的妇科恶性肿瘤。尽管目前的筛查方法已被证明有效并显著降低了CC的发病率和死亡率，但仍然存在缺陷。单细胞RNA测序可以在单细胞分辨率下鉴定复杂和稀有的细胞群。通过scRNA-seq，已经绘制和描…...

编程日记 2025/9/9 7:57:29

MQTT：深入剖析 paho.mqtt.embedded - c - master 目录结构

引言在嵌入式开发领域，消息队列遥测传输（MQTT）协议因其轻量级、低带宽消耗等特性被广泛应用。Eclipse Paho 项目提供了多种语言的 MQTT 客户端实现，其中paho.mqtt.embedded - c - master是针对 C 语言在嵌入式环境下的 MQTT 客户…...

编程日记 2025/9/10 21:13:08

minio命令行客户端mc常见用法

安装minio命令行客户端mc https://min-io.cn/docs/minio/linux/reference/minio-mc-admin.html # Windows安装minio命令行客户端 choco install minio-client -y# Linux安装mc客户端 wget -c -P /usr/local/bin/ https://dl.min.io/client/mc/release/linux-amd64/mc # 赋予可…...

编程日记 2025/9/9 9:13:15

Mac提示无法打开应用程序DBeaver

问题：安装好后，打开DBeaver时候提示“无法打开应用程序DBeaver” （1）首先，进入到/Applications/DBeaver.app/Contents/MacOS目录查看可执行程序的权限是否为-rwxr-xr-x，如果不是执行chmod x DBeaver的命令 …...

编程日记 2025/9/8 5:01:45

Dart逆向之函数调用

我们从Blutter恢复的部分IL中可以看到Dart调用函数的逻辑 // 0x180490: r16 <int> // 0x180490: ldr x16, [PP, #0x8a0] ; [pp0x8a0] TypeArguments: <int> // 0x180494: r30 Instance_MethodChannel // 0x180494: ldr lr, [P…...

编程日记 2025/9/8 1:08:39

Word / WPS 页面顶部标题段前间距失效 / 不起作用 / 不显示，标题紧贴页眉问题及解决

问题描述： 在 Word 或者 WPS 里面，如果不是新的一节，而是位于新的一页首行时，不管怎么设置段前间距，始终是失效的，实际段前间距一直是零。解决方案： 查询了很多方案均无法解决问题&#xff…...

编程日记 2025/9/5 22:54:52

在 ASP.NET Web 应用中解析 JSON 数据实例

在 ASP.NET Web 应用中解析 JSON 数据有多种方法，取决于你使用的是传统的 Web Forms、MVC 还是现代的 Web API。以下是几种常见的解析方法： 1. 使用 Newtonsoft.Json (Json.NET) 这是最常用的 JSON 处理库，需要先安装 NuGet 包：…...

编程日记 2025/9/13 1:33:45

vSphere 8.x Advanced Design(3V0-21.23)题库

最新版vSphere 8.x Advanced Design(3V0-21.23)题库，完整版见上方二维码。 Following a review of security requirements, an architect has confirmed the following requirements: REQ001- A clustered firewall solution must be placed at the perimeter of t…...

编程日记 2025/9/16 14:08:05

vba讲excel转换为word

VBA将excel转换为word Sub ExportToWordFormatted() 声明变量Dim ws As Worksheet 用于存储当前活动的工作表Dim rng As Range 用于存储工作表的使用范围（即所有有数据的单元格）Dim rowCount As Long, colCount As Long 用于存储数据范围的行数和列数…...

编程日记 2025/9/11 19:56:52

【BUG】远程连接阿里云服务器上的redis报错

出现 Redis Client On Error: Error: connect ECONNREFUSED 47.100.XXX.XX:6379 错误，表明 Redis 客户端无法连接到指定的 Redis 服务器，可按以下步骤排查解决： 1. 检查 Redis 服务器是否运行操作：在 Redis 服务器所在终端执行…...

编程日记 2025/9/9 4:11:59

数据中台、BI业务访谈（二）：组织架构梳理的坑

这是数据中台、BI业务访谈系列的第二篇文章，在上一篇文章中，我重点介绍了在给企业的业务部门、高层管理做业务访谈之前我们要做好行业、业务知识的功课。做好这些功课之后，就到了实际的访谈环节了。业务访谈关键点那么在具体业务访谈的时…...

编程日记 2025/9/14 20:18:50

集成学习+泰坦尼克号案例+红酒品质预测

集成学习简介学习目标： 1.知道集成学习是什么？ 2.了解集成学习的分类 3.理解bagging集成的思想 4.理解boosting集成的思想【知道】集成学习是什么？ 集成学习是机器学习中的一种思想，它通过多个模型的组合形成一个精度更高…...

编程日记 2025/9/8 0:19:07

SpringBoot 基础知识,HTTP 概述

1. 概述 1.1 Spring Spring 提供若干个子项目，每个项目用于完成特定功能 Spring 的若干个子项目都基于一个基础的框架：Spring Framework 框架类似于房屋的地基但 Spring Framework 配置繁琐，入门难度大 1.2 Spring Boot 于是&#xf…...

编程日记 2025/9/10 10:53:04

背包问题（java)实现

1、01背包 import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner scannew Scanner(System.in);int nscan.nextInt();int mscan.nextInt();int[][] dpnew int[n1][m1];int[] vnew int[n1];int[] wnew int[n1];for(int i1;i<n;i) {v…...

编程日记 2025/9/13 14:47:55

安装

数据准备

训练

合并 LoRA

结论

相关文章：