【阿里云大模型高级工程师ACP学习笔记】2.7 通过微调增强模型能力 (下篇)（⭐️⭐️⭐️ 重点章节！！！）
学习目标
特别说明：由于这一章节是2025年3月官方重点更新的部分，新增内容非常多，因此我不得不整理成上、下两篇，方便大家参考。
备考阿里云大模型高级工程师ACP认证时，深入钻研《2.7通过微调增强模型能力(下篇)》，期望达成以下目标：
- 掌握高效微调技术：深入理解预训练与微调的差异，熟练掌握如LoRA等高效微调方法的原理和应用场景，能依据不同任务需求选择合适的微调技术。
- 学会模型微调实践：借助ms - swift框架，独立完成模型微调实验，精准调整学习率、LoRA的秩、数据集学习次数等关键参数，有效解决微调过程中出现的过拟合、欠拟合等问题。
- 了解微调拓展知识：熟悉微调在其他机器学习任务中的应用，掌握更多高效微调方法，明晰微调数据集的构建策略和模型评测常用指标，拓宽大模型微调的知识视野。
知识点汇总
| 知识点 | 知识内容 | 重要性 | 学习难易度 |
|---|---|---|---|
| 预训练与微调 | - 预训练：在大规模通用数据集上开展训练，让模型学习广泛的基础知识与特征表示，这些知识具有通用性，并非针对特定任务。采用自监督/无监督的学习方式，使用互联网海量文本数据，无需人工标注，可有效节省人力成本。例如，常见的预训练模型有Qwen2.5 - Max、DeepSeek - V3、GPT - 4等。 - 微调：以预训练模型为基础，运用特定任务的小规模数据集进一步训练。通过有监督学习，借助标注数据指导模型完成任务，使模型适应具体的下游任务，如医疗、法务等专业领域。微调所需样本数量通常在几千到几万条。 - 两者区别：预训练旨在学习通用特征，微调则是为了适应特定任务；预训练使用大规模通用数据，微调使用小规模任务相关数据；预训练采用自监督/无监督的训练方法，微调采用有监督的训练方法；预训练时所有参数可训练，微调时部分或全部参数可训练；预训练用于基础模型构建，微调用于特定任务优化 | 高 | 中 |
| LoRA微调 | - 原理：LoRA（Low - Rank Adaptation）即低秩适应微调，它不依赖模型架构，通过矩阵运算将微调需更新的参数分解为两个较小的低秩矩阵 A d × r A_{d×r} Ad×r和 B r × d B_{r×d} Br×d进行训练，而模型原有的矩阵不参与训练，公式表示为 W d × d 微调后 = W d × d 微调前 + A d × r ⋅ B r × d W_{d×d}^{微调后}=W_{d×d}^{微调前}+A_{d×r}⋅B_{r×d} Wd×d微调后=Wd×d微调前+Ad×r⋅ |
相关文章：
（⭐️⭐️⭐️ 重点章节！！！）)
【阿里云大模型高级工程师ACP学习笔记】2.7 通过微调增强模型能力 (下篇)（⭐️⭐️⭐️ 重点章节！！！）
学习目标 特别说明：由于这一章节是2025年3月官方重点更新的部分，新增内容非常多，因此我不得不整理成上、下两篇，方便大家参考。 备考阿里云大模型高级工程师ACP认证时，深入钻研《2.7通过微调增强模型能力(下篇)》，期望达成以下目标： 掌握高效微调技术：深入理解预训练与…...
【RustDesk 】中继1：压力测试 Python 版 RustDesk 中继服务器
测试 Python 版 RustDesk 中继服务器 测试我们实现的中继服务器有几种方法，从简单到复杂依次如下： 1. 基本连接测试客户端 创建一个简单的测试客户端来验证中继服务器的基本功能： 2. 用两个测试客户端测试中继功能 要测试完整的中继功能，你需要运行两个客户端实例来模拟…...
MCP 自定义python实现server服务，支持离线调用和远程接口访问形式
参考： https://blog.csdn.net/lingding_cn/article/details/147355620 其他百炼、mcp服务网址支持链接访问 server服务代码： 出行酒店查询 mcp server代码编写参考：https://blog.csdn.net/weixin_42357472/article/details/146503660 api_mcp_server.py import pickle im…...
搭建PCDN大节点，服务器该怎么配
搭建P2P大节点时，服务器要怎么配呢？需要综合考虑硬件性能、网络带宽、存储能力、系统架构以及安全性等多个方面，以确保节点能够高效、稳定地运行。 一、硬件配置 CPU：选择高性能的多核处理器，以满足高并发处理需求。核…...
JavaScript的3D库有哪些？
JavaScript的3D库有哪些？ 在3D开发领域，JavaScript提供了多种库和框架，使开发者能够在浏览器中创建丰富的3D体验。以下是一些流行的3D方面的JavaScript库： Three.js：这是最著名的用于创建3D图形的JavaScript库之一。它…...
如何解决matlab/octave画图legend图例颜色一样的问题？
预期目的： 本意想用legend在画图的时候把对应线段的颜色对应起来，实际按照如下代码运行得不到预期的结果。 x [1:10;11:20]y1 x.^2;y2 0.5.*x.^3plot(x,y1,r,x,y2,b);legend(y x^2,y x^3) 代码运行结果如下： 原因 是matlab /octave默…...
[第十五章][15.3.2 shellcode注入攻击]ret2shellcode+[NewStarCTF 公开赛赛道]ret2shellcode
1、[NewStarCTF 公开赛赛道]ret2shellcode IDA 反编译看伪代码： buf mmap((void *)0x233000, 0x1000uLL, 7, 34, -1, 0LL); 这里直接给了 buf 7 的权限，即可读可写可执行，那么 shellcode 肯定写到 buf 里 buf 的映射地址：0x23…...
边缘计算：数字世界的”末梢神经系统”解析-优雅草卓伊凡
边缘计算：数字世界的”末梢神经系统”解析-优雅草卓伊凡 一、边缘计算深度解析 1.1 边缘计算的定义与架构 边缘计算（Edge Computing）是一种分布式计算范式，它将数据处理能力从传统的集中式云数据中心推向网络边缘，更…...
基于CATIA参数化球体建模的自动化插件开发实践——NX建模之球体命令的参考与移植
引言 在CATIA二次开发领域，Python因其灵活性和丰富的库支持逐渐成为高效工具开发的首选语言。本文将以笔者开发的CATIA球体自动化建模工具为例，参考NX软件中高效球体创建命令，深度解析基于PySide6 GUI框架与pycatia接口库的集成…...
ActiveMQ 可靠性保障：消息确认与重发机制（一）
引言 在当今分布式系统的架构中，消息中间件扮演着举足轻重的角色，而 ActiveMQ 作为一款广泛使用的开源消息中间件，凭借其对 JMS（Java Message Service）规范的支持、多种消息传输协议、丰富的消息模型（如点对…...
麒麟、UOS系统在线打开word文件并提取修订痕迹
麒麟、UOS系统在线打开word文件并提取修订痕迹 查看本示例演示效果（Windows版） 查看本示例演示效果（国产版）本示例关键代码的编写位置，请参考“开始 - 快速上手”里您所使用的开发语言框架的最简集成代码 注意 本文中…...
Vue3笔记摘录
1.Vue3整体知识概览图 2.ref与reactive具体使用区别 2-1 基本类型处理 const count1 ref(0) 使用ref自动转化为数字类型const count2 reactive(0) 参数必须是对象类型 2-2 具体使用过程 // ref 处理对象（自动解包） const user ref({name: John,a…...
大力探索“AI·Life爱生活”项目峰会暨战略投资签约仪式成功举办
2025年4月26日，杭州西溪雷迪森大酒店内气氛热烈非凡，大力探索（杭州）科技有限公司主办的“大力探索项目峰会暨战略投资签约仪式”在此隆重开启。这场汇聚了数百位行业精英与企业代表的盛会，不仅是一场智慧的碰撞&#x…...
复刻低成本机械臂 SO-ARM100 材料齐活篇
视频讲解： 复刻低成本机械臂 SO-ARM100 材料齐活篇 打印件基本ok，总共12个，尴尬的是github又更新了so-101，不过看了下还好只是优化了走线和几个结构键，影响不大，大不了后面再重新打印（有3d打印机…...
解读 AI绘画工作流ComfyUI Stable Diffusion
ComfyUI 是什么？图像工作流又是什么？ 认识ComfyUI 从名词术语来看： ComfyUI是一个基于节点流程的Stable Diffusion操作界面，通过自定义节点、拖拽连线实现精准的工作流定制，以完成更复杂的图像生成工作。 </...
北极星 新美团核销接口对接
美团吃相难看，东哥就应该干掉他 申请官方接口一般来说很难了 现在无非就是几种第三方开放出来的接口 按量收费，但是需要一次性充钱收首期的技术服务费 ，然后按年收费就是我们技术自己解决的方式，方便便宜 ,代码齐全，…...
理解数据库存储以及查询（集合）
理解数据库存储以及查询（集合） 基本概念定义 主键集合： 定义：主键集合是由数据库表中的主键组成的一个集合。主键是表中唯一标识每一行记录的属性（或属性组合）。 特性：主键集合包含表的主键属性…...
源码、中间件、Next()方法)
（Go Gin）Gin学习笔记（四）Gin的数据渲染和中间件的使用：数据渲染、返回JSON、浅.JSON()源码、中间件、Next()方法
1. 数据渲染 1.1 各种数据格式的响应 json、结构体、XML、YAML类似于java的properties、ProtoBuf 1.1.1 返回JSON package mainimport ("github.com/gin-gonic/gin""net/http" )func main() {r : gin.Default()r.POST("/demo", func(res *gi…...
机器视觉橡胶制品检测的应用
橡胶制品在生产过程中易出现划痕、气泡、缺料、毛边、杂质嵌入等多种缺陷，这些缺陷往往微小且随机分布，人工检测不仅耗时，漏检率也居高不下。尤其在汽车密封件、医疗硅胶制品等高端领域，微米级的缺陷都可能导致产品失效࿰…...
JavaScript：从JS的执行机制到location对象
一、JS执行机制 （1）JS是单线程 JavaScript语言的一大特点就是单线程，也就是同一时间只能做一件事。因为JavaScript是为了处理页面中的用户交互，以及制作DOM二诞生的。比如我们对某个DOM元素进行添加和删除操作，这个不…...
Sigmoid函数简介及其Python实现
文章目录 一、Sigmoid 函数简介1. 数学公式2. 关键特性3. 应用场景 二、Python 实现1. 使用 math 库 (适用于单个数值)2. 使用 numpy 库 (适用于数值、列表、数组、矩阵)3. 使用 scipy.special.expit (数值稳定) 三、小结 一、Sigmoid 函数简介 Sigmoid 函数（也称为…...
全局事件总线EventBus的用法
全局事件总线 EventBus 在前端开发中是一种用于实现组件间通信的机制，适用于兄弟组件或跨层级组件间的数据传递。 1. 创建全局 EventBus 实例 在前端项目中，先创建一个全局的 EventBus 实例。在 Vue 中，可以通过创建一个新的 Vue 实例来实现…...
嵌入式Linux系统中的线程信号处理：策略与实践
在嵌入式Linux系统的开发中，多线程编程是提升系统性能和响应速度的重要手段。然而，多线程环境下的信号处理却是一个复杂且需要细致处理的问题。信号，作为进程间通信的一种机制，在嵌入式系统中常用于处理外部事件或中断。但在多线程…...
CCM/TCM在STM32中的含义和用途
CCM/TCM在STM32中的含义和用途 CCM（Core Coupled Memory）和TCM（Tightly Coupled Memory）是ARM架构中的特殊内存类型，它们都表示与CPU核心紧密耦合的内存区域。这些内存具有一些特殊特性，使其在某些应用场景…...
【网络原理】 《TCP/IP 协议深度剖析：从网络基础到协议核心》
文章目录 一、网络基础1. 认识IP地址概念作用格式组成子网掩码 2、认识Mac地址一跳一跳的网络数据传输 3. 网络设备及相关技术集线器：转发所有端口交换机：MAC地址转换表转发对应端口主机：网络分层从上到下封装主机&路由器：ARP…...
Windows系统编译支持GPU的llama.cpp
Windows系统编译支持GPU的llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp mkdir build cd buildcmake .. -G "Visual Studio 17 2022" -DGGML_CUDAON -DCMAKE_BUILD_TYPERelease -DCMAKE_CUDA_ARCHITECTURES"86"cmake --b…...
Unity编辑器扩展之导出项目中所有预制体中文本组件文字内容
一、最后导出的Excel文件效果如下图所示： 二、在Unity的Editor目录下，新建一个名为FindChineseInPrefabs的C#脚本，Copy以下代码到你新建的名为FindChineseInPrefabs的C#脚本中去，最后一定要保存文件哈。 using UnityEditor; using UnityEngine; using UnityEngine.UI; usi…...
高效管理远程服务器Termius for Mac 保姆级教程
以下是 Termius for Mac 保姆级教程，涵盖安装配置、核心功能、实战案例及常见问题解决方案，助你高效管理远程服务器（如Vultr、AWS等）。 一、Termius 基础介绍 1. Termius 是什么？ 跨平台SSH客户端：支持Ma…...
WPF框架中常用算法
WPF框架中常用算法与实现 一、排序算法 1. 快速排序 (Quick Sort) 应用场景：大数据集合排序、性能敏感场景 public static void QuickSort(IList<int> list, int left, int right) {if (left < right){int pivotIndex Partition(list, left, r…...
【Java函数式编程-58】Java函数式编程深度解析
函数式编程(Functional Programming)作为一种编程范式，近年来在Java生态中获得了越来越多的关注和应用。自Java 8引入Lambda表达式和Stream API以来，函数式编程风格在Java开发中逐渐普及。本文将深入探讨Java中函数式编程的核心概念、实践技巧以及在实际…...
解决vscode cmake提示检测到 #include 错误
一、问题 cmake已经包含了动态库文件，依然提示“检测到 #include 错误。请更新 includePath。” 二、解决方案 Ctrl Shift P进入CPP编辑配置，然后在JSON中加入下面一行： "configurationProvider": "ms-vscode.cmake-tools&…...
Microsoft .NET Framework 4.8 离线安装包 下载
简介Microsoft .NET Framework 4.8 是对 Microsoft .NET Framework 4、4.5、4.5.1、4.5.2、4.6、4.6.1、4.6.2、4.7、4.7.1 和 4.7.2 的高度兼容的就地更新。 脱机程序包可用于因无法连接 Internet 而导致 Web 安装程序无法使用的情况。 此包比 Web 安装程序大，并且…...
部署若依项目到服务器遇到的问题
以下是本次部署遇到的问题及解决方法 1、问题：docker一直出现“＞ ERROR [internal] load metadata for docker.io/library/xxx“的问题 ERROR: failed to solve: openjdk:8-jdk-alpine: failed to resolve source metadata for docker.io/libran y/ope…...
Elasticsearch--自带“搜索引擎“的数据库
一、核心原理 1. 倒排索引（Inverted Index） 基本概念 将文档中的每个词条（term）映射到包含它的文档列表上，正如图书馆目录将关键词映射到书籍编号。工作流程 分词（Analysis）：文本切…...
malloc的实现原理
malloc 是 C 语言中动态内存分配的核心函数，其实现原理涉及操作系统内存管理、数据结构和算法设计。以下是其核心实现原理的简化分析： 1. 内存池管理 基本思想：malloc 通过管理一个 内存池（堆）动态分配内存。操作系统…...
垃圾收集GC的基本理解
垃圾收集的基本理解 GC 的基本算法 标记清除 从根开始将可能被引用的对象用递归的方式进行标记（标记阶段），然后再从根开始将全部对象按顺序扫描一遍，将没有被标记的对象进行回收（清除阶段）。 大多数情况…...
JVM——Java的基本类型的实现
Java 基本类型在 JVM 中的实现 Java 作为一种广泛使用的编程语言，其在虚拟机（JVM）上的实现细节对于开发者来说至关重要。本文将详细讲解 Java 基本类型在 JVM 中的实现，去深入理解 Java 编程语言的底层工作机制。 Java 基本类型…...
临床回归分析及AI推理
在医疗保健决策越来越受数据驱动的时代，回归分析已成为临床医生和研究人员最强大的工具之一。无论是预测结果、调整混杂因素、建模生存时间还是理解诊断性能，回归模型都为将原始数据转化为临床洞察提供了统计学基础。 AI推理 然而，随着技术…...
Ubuntu 22.04 的 ROS 2 和 Carla 设置指南（其一）
重点介绍适用于 Ubuntu 22.04 的全面 ROS 2 和 Carla 设置指南。我们将首先安装 Terminator 终端，然后安装 ROS 2 依赖项，然后继续安装 ROS 2 Humble。接下来，我们将介绍如何在 Ubuntu 22.04 上安装 Carla，最后通过设置 Carla ROS…...
声明：个人从未主动把文章设置为仅vip可读
之前一直在公司忙就没看csdn这边，前几天朋友看到我的博客是仅vip可读我才发现这个 给我气笑了。。。不反馈默认同意。。。。 现在都已经改回来 写文章的初衷就是记录一下自己的学习过程，本来就是一些偏基础类的东西，还需要去买vip才能看就太…...
【大模型系列篇】Qwen3开源全新一代大语言模型来了，深入思考，更快行动
Qwen3开源模型全览 Qwen3是全球最强开源模型（MoEDense） Qwen3 采用混合专家（MoE）架构，总参数量 235B，激活仅需 22B。 Qwen3 预训练数据量达 36T，并在后训练阶段多轮强化学习，将非思…...
DeepSeek-Prover-V2-671B 简介、下载、体验、微调、数据集：专为数学定理自动证明设计的超大垂直领域语言模型（在线体验地址）
DeepSeek-Prover-V2-671B 最新发布：专为数学定理自动证明设计的超大语言模型 体验地址：Hugging Face 在线体验 推荐入口：Novita 平台直达链接（含邀请码） 一、模型简介 DeepSeek-Prover-V2-671B 是 DeepSeek 团队于 2…...
Gupta-Sproull 抗据此画线算法
本文源自于：从https://www.inf.ed.ac.uk/teaching/courses/cg/lectures/cg4_2012.pdf Gupta-Sproull是在Brensenham的画线算法基础上得到。 为了防止之前的链接失效，特地搬运一下...
idea写spark程序
使用IntelliJ IDEA编写Spark程序的完整指南 一、环境准备 安装必要软件 IntelliJ IDEA (推荐Ultimate版，Community版也可) JDK 8或11 Scala插件(在IDEA中安装) Spark最新版本(本地开发可以用embedded模式) 创建项目 打开IDEA → New Project 选择"Maven…...
视觉问答论文解析：《Skywork R1V2: Multimodal Hybrid Reinforcement Learning for Reasoning》
《Skywork R1V2: Multimodal Hybrid Reinforcement Learning for Reasoning》论文解析 一、研究背景与动机 近年来，“慢思考”多模态模型（如 OpenAI-o1、GeminiThinking、Kimi-1.5 和 Skywork-R1V）在数学和科学领域的复杂推理任务中取得了显…...
修改linux账号名
修改linux账号名 结论是步骤1.临时创建一个辅助账户执行操作2.注销当前账户，登录 tempadmin 用户。3.使用它修改 旧用户名olduser：4.（可选）删除临时用户： 结论是 不可以直接修改,要么需要创建一个临时用户来打辅助. …...
计算机图形学：（二）MVP变换示例
前言 当在阅读计算机图形学系列的书籍时，会发现大部分图书每章内容都如出一辙。从个人实际体会来讲，虽然能理解书中大部分的知识，但到了实际使用时却有点抓耳挠腮。因此，在写了计算机图形学：（一）…...
PostgreSQL中的SSL（2）
PGSQL数据库的默认隔离级别是读提交，并且同时支持可重复读和序列化模式。但是在9.1之前的版本中，序列化模式是采用快照隔离来实现，并非是真正的序列化模式。 这样的话就会存在一个问题，那就是写偏序（Write Skew&#…...
Linux 部署以paddle Serving 的方式部署 PaddleOCR CPU版本
强烈建议您在Docker内构建Paddle Serving，更多镜像请查看Docker镜像列表。 提示-1：Paddle Serving项目仅支持Python3.6/3.7/3.8/3.9，接下来所有的与Python/Pip相关的操作都需要选择正确的Python版本。 提示-2：以下示例中GPU环境均…...
苏德战争前期苏联损失惨重（马井堂）
苏德战争前期（1941年6月22日德国发动“巴巴罗萨行动”至1941年底至1942年初）是苏联在二战中损失最惨重的阶段之一。以下是主要方面的损失概述： 一、军事损失 人员伤亡与俘虏 至1941年底，苏军伤亡约300万人ÿ…...