当前位置：首页 > news >正文

预训练模型实战手册：用BERT/GPT-2微调实现10倍效率提升，Hugging Face生态下的迁移学习全链路实践

news 来源：原创 2025/8/12 11:11:04

更多AI大模型应用开发学习内容，尽在聚客AI学院。

一. 预训练模型（PTM）核心概念

1.1 什么是预训练模型？

预训练模型（Pre-trained Model, PTM）是在大规模通用数据上预先训练的模型，通过自监督学习掌握基础语义理解能力，可迁移到下游任务。典型代表：

BERT（双向Transformer）：文本掩码预测
GPT（自回归Transformer）：文本生成
ViT（Vision Transformer）：图像分类

技术价值：

知识蒸馏：从海量数据中提取通用模式
迁移潜能：参数携带跨任务可复用知识

二. 迁移学习（Transfer Learning）技术解析

2.1 迁移学习范式

源领域（大数据） → 知识迁移 → 目标领域（小数据）

典型场景：

跨任务迁移：BERT用于情感分析/命名实体识别
跨模态迁移：CLIP实现图文互搜

2.2 与传统学习的对比

三. 为什么需要预训练？

3.1 传统方法的局限

数据依赖：标注成本高（如医学图像标注需专家参与）
冷启动难题：小数据集易过拟合
知识孤立：每个任务独立建模，无法复用

3.2 预训练的核心优势

参数效率：ImageNet预训练的ResNet在CIFAR-10仅需微调1%参数即可达90%+准确率
知识泛化：GPT-3通过提示工程（Prompting）实现零样本学习

四. 预训练模型的下游任务适配策略

4.1 特征提取器固定（Feature Extraction）

冻结PTM参数，仅训练顶层分类器：
代码示例：BERT固定特征提取

from transformers import BertModel, BertTokenizer  
import torch  
# 加载预训练模型  
model = BertModel.from_pretrained("bert-base-uncased")  
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")  
# 冻结参数  
for param in model.parameters():  param.requires_grad = False  
# 提取特征  
inputs = tokenizer("Hello world!", return_tensors="pt")  
outputs = model(**inputs)  
features = outputs.last_hidden_state[:, 0, :]  # 取[CLS]向量  
# 添加分类层  
classifier = torch.nn.Linear(768, 2)  
logits = classifier(features)

4.2 微调（Fine-Tuning）

解冻全部或部分参数进行端到端训练：
代码示例：GPT-2微调

from transformers import GPT2LMHeadModel, GPT2Tokenizer, Trainer, TrainingArguments  
model = GPT2LMHeadModel.from_pretrained("gpt2")  
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")  
# 准备训练数据  
train_texts = ["AI is changing...", "Machine learning..."]  
train_encodings = tokenizer(train_texts, truncation=True, padding=True)  
# 微调配置  
training_args = TrainingArguments(  output_dir='./results',  num_train_epochs=3,  per_device_train_batch_size=4,  learning_rate=5e-5  
)  
trainer = Trainer(  model=model,  args=training_args,  train_dataset=train_encodings  
)  
trainer.train()

4.3 参数高效微调（PEFT）

LoRA：低秩矩阵注入
Adapter：插入小型适配模块
Prefix-Tuning：优化提示向量

五. NLP预训练为何滞后于CV？

5.1 历史瓶颈分析

5.2 突破关键

Transformer架构：自注意力机制解决长程依赖
无监督目标：MLM（掩码语言建模）实现双向编码
大规模语料：Common Crawl等数据集提供万亿级token

注：本文代码需安装以下依赖：

pip install transformers torch datasets

更多AI大模型应用开发学习内容，尽在聚客AI学院。

预训练模型实战手册：用BERT/GPT-2微调实现10倍效率提升，Hugging Face生态下的迁移学习全链路实践

更多AI大模型应用开发学习内容，尽在聚客AI学院。一. 预训练模型（PTM）核心概念 1.1 什么是预训练模型？ 预训练模型（Pre-trained Model, PTM）是在大规模通用数据上预先训练的模型，通过自监督学…...

编程日记 2025/8/12 11:11:04

基于Flink的用户画像 OLAP 实时数仓统计分析

1.基于Flink的用户画像 OLAP 实时数仓统计分析数据源是来自业务系统的T日数据，利用kakfa进行同步拼接多个事实表形成大宽表，优化多流Join方式，抽取主键和外键形成主外键前置层，抽取外键和其余内容形成融合层，将4次事…...

编程日记 2025/8/12 11:07:52

php java go python面向对象的设计原则和常用设计模式

一、面向对象设计原则（OOP Design Principles） 是写出高内聚、低耦合、可维护系统的基础，重点是 SOLID 五大原则其他补充原则。 📌 SOLID 五大设计原则： 原则名称全称核心思想示例关键词S 单一职责原则Single Respo…...

编程日记 2025/8/12 10:51:56

第十三节：图像形态学操作-腐蚀与膨胀

引言图像形态学是数字图像处理领域中的一个重要分支，它主要研究图像中物体的形状和结构。作为形态学操作的基础，腐蚀(Erosion)和膨胀(Dilation)是两种最核心的操作，广泛应用于图像预处理、特征提取、目标检测等多个领域。OpenCV作为最流行的…...

编程日记 2025/8/12 11:06:20

数据结构 - 9（位图布隆过滤器并查集 LRUCache 6000 字详解）

一：位图位图是一种高效的数据结构，它通过比特来表示某个值的存在与否，通常以连续的二进制位数组存储。每个比特位对应一个特定的状态，这种表示方式在内存效率和操作速度上具有显著优势，尤其适用于海量数据、整数以及…...

编程日记 2025/8/12 11:07:53

在Hugging Face网站像Github一样克隆repository到本地的具体步骤

首先我们找到自己想要的仓库，在搜索栏进行搜索之后我们可以看到这里有三个点，鼠标点击，选择Clone repository 最后按照上面的步骤进行复制粘贴到电脑上执行就行，我们可以看到有两种选择HTTPS和SSH，如果HTTPS不行就选择…...

编程日记 2025/8/12 10:54:38

如何使用Java从PDF文件中提取图像（教程）

Java本身不直接支持PDF文件操作，因此需要使用外部Java PDF库。本教程将向您展示如何通过5个简单步骤，使用JPedal Java PDF库从PDF文件中提取图像。使用Java从PDF中提取图像 • 将JPedal库添加到您的类路径或模块路径（下载试用版jar文件&…...

编程日记 2025/8/12 10:50:00

通过混合机器学习和 TOPSIS 实现智能手机身份验证的稳健行为生物识别框架

1. 简介随着日常工作、个人生活和金融操作对智能手机的依赖性不断增强，对弹性安全身份验证系统的需求也日益增长。尽管 PIN 码、密码和静态生物识别等传统身份验证方法仍可为系统提供一定的安全级别，但事实证明，它们容易受到多种威胁，包括敏感数据泄露、网络钓鱼、盗窃和…...

编程日记 2025/8/12 10:56:24

day010

文章目录 1. 在Ubuntu中使用visudo2. 别名 alias2.1 查看已配置的别名2.2 配置grep别名2.3 配置rm别名2.4 临时使用配置别名的命令 3. 系统校验检查3.1 md5校验3.2 aide 高级入侵检测环境3.2.1 安装aide3.2.2 修改aide配置文件3.2.3 根据配置文件生成初始的指纹信息库3.2.4 使用…...

编程日记 2025/8/12 11:11:03

Coco AI 开源应用程序 - 搜索、连接、协作、您的个人 AI 搜索和助手，都在一个空间中。

一、软件介绍文末提供程序和源码下载 Coco AI 是一个统一的搜索平台，可将您的所有企业应用程序和数据（Google Workspace、Dropbox、Confluent Wiki、GitHub 等）连接到一个功能强大的搜索界面中。此存储库包含为桌面和移动设备构建的 Coco 应…...

编程日记 2025/8/12 11:08:41

MySQL 8.0 OCP（1Z0-908）英文题库(11-20)

目录第11题题目分析正确答案第12题题目分析正确答案第13题题目分析正确答案第14题题目分析正确答案第15题题目分析正确答案第16题题目分析正确答案第17题题目分析正确答案： 第18题题目分析正确答案第19题题目分析正确答案第20题题目分析正确答案第11题 W…...

编程日记 2025/8/12 11:07:52

国标GB28181软件EasyGBS雪亮工程打造智能高效的视频监控新体系

一、背景雪亮工程是构建公共安全视频监控联网应用的系统工程，旨在通过整合各类视频监控资源，实现城乡视频监控一体化，提升社会治安防控能力。随着城市化进程的加快和社会治理需求的不断提高，雪亮工程的建设规模不断扩大&#xf…...

编程日记 2025/8/12 11:08:39

视频添加字幕脚本分享

脚本简介这是一个给视频添加字幕的脚本，可以方便的在指定的位置给视频添加不同大小、字体、颜色的文本字幕，添加方式可以直接修改脚本中的文本信息，或者可以提前编辑好.srt字幕文件。脚本执行环境：windowsmingwffmpeg。本方法仅…...

编程日记 2025/8/12 11:11:03

springCloud/Alibaba常用中间件之GateWay网关

文章目录 SpringCloud:依赖版本补充GateWay:网关三大核心之Router:路由1、导入基础依赖2、进行服务注册3、路由映射4、测试访问GateWay的端口是否可以访问三大核心之Predicate:断言配置文件自定义Predicate（断言） 三大核心之Filter:过滤配置文件自定义全…...

编程日记 2025/8/12 7:34:48

ABP vNext + Dapr 实现云原生微服务治理

ABP vNext Dapr 实现云原生微服务治理 🚀 前言 📝 随着云原生与微服务架构的快速发展，相关工具和框架也在不断演进。ABP vNext 是一套成熟而现代的 .NET 应用开发框架，在模块化、领域驱动设计等方面提供强大支持。而 Dapr 作为…...

编程日记 2025/8/12 10:49:57

【报错】view size is not compatible with input tensor‘s size and stride

完整报错 Traceback (most recent call last): File "D:\360MoveData\Users\HONOR\whu\TwoStageTraining.py", line 590, in <module> criterionseg_criterion, save_dir./models, writerwriter_first_stage) File "D:\360MoveData\Users\HONOR\whu\TwoS…...

编程日记 2025/8/12 10:51:56

maven如何搭建自己的私服(windows版)？

环境准备安装 JDK ：确保系统已安装 JDK 8 或更高版本。可以通过以下步骤安装 JDK： 下载 JDK 安装包，可以从Oracle 官方网站下载适用于 Windows 的 JDK 安装程序。运行安装程序，按照提示完成安装。安装过程中可以指定安装路径&a…...

编程日记 2025/8/12 10:50:01

CDGP|数据全生命周期的“收数、治数、用数、保数”体系详解

在数据成为重要资产的今天，如何高效地管理和利用数据已成为企业和组织的核心竞争力之一。数据全生命周期管理涵盖了从数据收集、治理、应用到保护的各个环节，形成了一个闭环体系。本文将重点介绍数据全生命周期中的“收数、治数、用数、保数”四个关键环…...

编程日记 2025/8/11 20:35:59

在UI原型设计中，低、高保真原型图有什么区别？

在数字产品开发中，原型（Prototype） 是连接创意与落地的桥梁。它通过可视化的方式验证功能、交互与用户体验，避免开发资源浪费。而低保真（Lo-Fi）与高保真（Hi-Fi）原型，则是…...

编程日记 2025/8/12 7:00:23

万物互联时代：ONVIF协议如何重构安防监控系统架构

前言一、ONVIF协议是什么 ONVIF（Open Network Video Interface Forum，开放式网络视频接口论坛）是一种全球性的开放行业标准，由安讯士（AXIS）、博世（BOSCH）和索尼（SONY&…...

编程日记 2025/8/11 16:32:16

初识Linux · 传输层协议TCP · 上

目录前言： TCP结构体首部长度确认应答机制捎带应答机制超时重传机制连接管理机制三次握手 SYN_SENT SYN_RCVD ESTABLISHED TCP为什么是三次握手四次挥手什么是四次挥手状态理解 CLOSE_WAIT LAST_ACK TIME_WAIT 前言： 前文有…...

编程日记 2025/8/7 17:48:34

基于SpringBoot的校园周边美食探索及分享平台的设计与实现

资源详情： 私信我或点击链接获取： 基于SpringBoot的校园周边美食探索及分享平台的设计与实现资源-CSDN文库摘要美食一直是与人们日常生活息息相关的产业。传统的电话订餐或者到店消费已经不能适应市场发展的需求。随着网络的迅速崛起，互联…...

编程日记 2025/8/7 17:48:32

系统架构设计-真题2024下半年总结

系统架构设计-真题2024下半年总结综合知识（选择题）考点分布选择题详细解释ABSD方法简介选项分析生活化例子概念讲解系统的质量目标系统的商业目标系统开发人员的商业目标简单记法总结基于内容推荐的优点选项分析正确答案总结综合知识（选择…...

编程日记 2025/8/11 17:30:16

《React Native性能优化：从卡顿到丝滑的蜕变之旅》

《React Native性能优化：从卡顿到丝滑的蜕变之旅》前言：当你的React Native应用开始"便秘"… “这破应用怎么又卡了？！”——如果你也曾在测试自己的React Native应用时发出这样的呐喊，那么你不是一个人在怒吼。想象一下这样的场景：你精心打造的APP在低端安卓…...

编程日记 2025/8/12 5:41:51

flutter build apk出现的一些奇怪的编译错误

我换了新电脑后重新编译基于livekit 的 flutter livekit工程，然后编译的时候一直报flutter_webrtc的 0.11.7 版本的dart代码有一个接口未实现，我比较了所以环境和版本实现找不到问题，根本不正常哪里导致的问题 ，以前的电脑的环境一…...

编程日记 2025/8/9 19:25:46

枚举 · 例8扩展-校门外的树：hard

登录—专业IT笔试面试备考平台_牛客网代码区： #include<algorithm> #include<iostream> #include<vector>using namespace std; struct TREE{int left,right; }; bool compare(const TREE&a,const TREE& b ){if(a.left!b.left){return…...

编程日记 2025/8/10 23:24:38

监控系统进阶方案：OpenObserve的Docker部署与远程访问配置指南

文章目录前言1. 安装Docker2. 创建并启动OpenObserve容器3. 本地访问测试4. 公网访问本地部署的OpenObserve4.1 内网穿透工具安装4.2 创建公网地址 5. 配置固定公网地址前言今天，我想分享一个在云原生可观测性领域备受关注的开源项目——OpenObserve。在复杂的云…...

编程日记 2025/8/11 15:19:35

如何通过grep 排除“INTEGER: 1”

在 Linux/Unix 系统中，使用 grep 过滤数据并取反（排除匹配内容） 的核心选项是 -v（反向匹配）。以下是具体用法和场景示例： 1. 基础用法：排除包含指定关键词的行 # 语法 grep -v "pattern&…...

编程日记 2025/8/7 17:48:21

基于Qt开发的http/https客户端

成果展示： 使用Qt开发HTTP客户端主要依赖QNetworkAccessManager、QNetworkRequest和QNetworkReply三大核心类。以下是具体实现要点及最佳实践： 一、核心类与基础流程 1.QNetworkAccessManager 作为HTTP请求的管理者，负责异步处理…...

编程日记 2025/8/11 22:11:49

微程序控制器的详细工作过程

1. 基本组成结构微程序控制器主要由以下部件构成： 控制存储器（Control Store, CS）：存储微程序（微指令集合），通常使用ROM或EPROM。微地址寄存器（μAR）：存放…...

编程日记 2025/8/7 17:48:18

PostgreSQL 的 pg_current_logfile 函数

PostgreSQL 的 pg_current_logfile 函数 pg_current_logfile() 是 PostgreSQL 9.6 版本引入的一个系统管理函数，用于获取当前正在使用的日志文件路径。一基本用法 1 函数定义 pg_current_logfile([text]) → text2 简单查询 -- 获取当前日志文件路径 SELECT …...

编程日记 2025/8/11 18:35:15

实时云渲染——比像素流送节省80%精力的UE程序推流技术

UE5引擎除了适合开发3A游戏，同样适用于开发大场景高精度的数字孪生可视化场景，自带的Nanite 虚拟微多边形几何体技术、Lumen 全动态全局光照技术、高度可扩展的架构、强大的地形和植被系统以及高效的流媒体技术，使UE5在数字孪生领域的技术占有…...

编程日记 2025/8/7 17:48:14

如何解决 Linux 系统文件描述符耗尽的问题

在Linux系统中，文件描述符（File Descriptor, FD）是操作系统管理打开文件、套接字、管道等资源的抽象标识。当进程或系统耗尽文件描述符时，会导致服务崩溃、连接失败等严重问题。以下是详细的排查和解决方案： --- ###…...

编程日记 2025/8/7 17:48:12

存储器：DDR和HBM的区别

本文简要介绍DDR（Double Data Rate SDRAM）和HBM（High Bandwidth Memory）的主要区别： 1. 架构与设计 DDR：传统的主流动态随机存取存储器（DRAM），采用并行总线架构&#x…...

编程日记 2025/8/7 17:48:10

【计算机网络】Cookie、Session、Token之间有什么区别？

大家在日常使用浏览器时可能会遇到：是否清理Cookie？这个问题。那么什么是Cookie呢？与此相关的还有Session、Token这些。这两个又是什么呢？ 本文将对这三个进行讲解区分，如果对小伙伴有帮助的话，也请点赞、…...

编程日记 2025/8/7 17:48:07

每日学习：DAY24

日常开发与学习记录前言怎么感觉自己越来越懒了。日程忘记写了，大概是早上做了 SQL 表单，晚上写了 DispatcherController。学习记录操作系统页面分配置换策略学习内容省流 SQL 表单构建关于嵌套注解的生效机制DispatcherController 统…...

编程日记 2025/8/10 20:19:08

grpo原理

图解deepseek的grpo原理、以debug形式阅读grpo的源码练习两天半，从零实现DeepSeek-R1（基于Qwen2.5-0.5B和规则奖励模型，GRPO），从原理讲解到代码实现，解开DeepSeek-R1的神秘面纱第一个视频 GRPO讲解 mod…...

编程日记 2025/8/7 17:48:03

RabbitMQ--基础篇

RabbitMQ 简介：RabbitMQ 是一种开源的消息队列中间件，你可以把它想象成一个高效的“邮局”。它专门负责在不同应用程序之间传递消息，让系统各部分能松耦合地协作优势： 异步处理：比如用户注册后，主程序将发…...

编程日记 2025/8/12 6:28:04

ResNet残差神经网络的模型结构定义（pytorch实现）

ResNet残差神经网络的模型结构定义（pytorch实现） ResNet‑34 ResNet‑34的实现思路。核心在于： 定义残差块（BasicBlock）用 _make_layer 方法堆叠多个残差块按照 ResNet‑34 的通道和层数配置来搭建网络 import torch…...

编程日记 2025/8/10 17:19:54

如何使用极狐GitLab 软件包仓库功能托管 ruby？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网软件包库中的 Ruby gems (BASIC ALL) WARNING:Ruby gems 软件包库正在开发中，由于功能有限，尚未准备好…...

编程日记 2025/8/7 17:47:57

AI日报 · 2025年5月08日｜Stripe发布全球首个支付AI基础模型

1、Stripe 发布支付领域专用 AI 基础模型及稳定币账户功能 Stripe 于5月7日在其年度 Sessions 大会上发布了全球首个专为支付领域打造的 AI 基础模型——“Payments Foundation Model”，该模型基于数百亿笔交易数据训练，能够捕捉每个支付中数百个传统模…...

编程日记 2025/8/8 18:17:44

React 笔记[1] hello world

React 笔记[1] hello world 明白了！既然你已经安装了 Node.js，我们可以从零开始搭建一个 React Tailwind CSS 的 Hello World 项目。我将一步步列出操作指令，你只需要在终端里依次执行。 ✅ 第一步：初始化项目 mkdir my-hello…...

编程日记 2025/8/7 17:47:53

好消息！PyCharm 社区版现已支持直接选择 WSL 终端为默认终端

在过去，PyCharm 社区版虽然提供了链接 Windows 子系统 Linux（WSL）终端的能力，但用户无法在设置中直接指定 WSL 为默认终端，这一功能仅限于专业版使用者。而现在，在 PyCharm 2025.1.1 版本中，Je…...

编程日记 2025/8/7 20:35:22

基于redis的定时状态更新

基于redis的定时状态更新下面是一个简单的示例，展示如何使用redis实现状态更新，从而满足在某些场景下，既需要频繁更新状态， 又需要保证状态的实时性。以及定时更新状态的需求。示例说明假设有一个剧目演出计划，确…...

编程日记 2025/8/7 16:41:33

[原创](现代Delphi 12指南):[macOS 64bit App开发]: 如何获取自身程序的所在的目录?

[作者] 常用网名: 猪头三出生日期: 1981.XX.XX 企鹅交流: 643439947 个人网站: 80x86汇编小站编程生涯: 2001年~至今[共24年] 职业生涯: 22年开发语言: C/C++、80x86ASM、Object Pascal、Objective-C、C#、R、Python、PHP、Perl、开发工具: Visual Studio、Delphi、XCode、…...

编程日记 2025/8/7 17:47:52

服务器托管的常见问题

一、何谓IDC服务器托管服务? IDC服务器托管是指为了提高网站的访问速度，将您的服务器及相关设备托管到具有完善机房设施、高品质网络环境、丰富带宽资源和运营经验以及可对用户的网络和设备进行实时监控的网络数据中心内，以此使系统达到安全、可靠、稳定…...

编程日记 2025/8/10 1:48:01

使用Scrapeless Scraping Browser的自动化和网页抓取最佳实践

引言：人工智能时代浏览器自动化和数据收集的新范式随着生成性人工智能、人工智能代理和数据密集型应用程序的快速崛起，浏览器正在从传统的“用户互动工具”演变为智能系统的“数据执行引擎”。在这一新范式中，许多任务不再依赖单一的API端点…...

编程日记 2025/8/7 17:47:48

电子电气架构 --- 如何有助于提安全性并减少事故

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：钝感力的“钝”，不是木讷、迟钝，而是直面困境的韧劲和耐力，是面对外界噪音的通透淡然。生活中有两种人，一种人格外在意别人的眼光;另一种人无论…...

编程日记 2025/8/7 17:47:47

【训练】Qwen2.5VL 多机多卡 Grounding Box定位

之前的相关文章： 【深度学习】LLaMA-Factory微调sft Qwen2-VL进行印章识别 https://www.dong-blog.fun/post/1661 使用LLaMA-Factory微调sft Qwen2-VL-7B-Instruct https://www.dong-blog.fun/post/1762 构建最新的LLaMA-Factory镜像 https://www.dong-blog.f…...

编程日记 2025/8/7 17:47:45

MYSQL的行级锁到底锁的是什么东西

MySQL 的行级锁是一种锁机制，它允许数据库在执行并发操作时，锁定表中的某一行数据而不是整张表。行级锁通过限制对特定行的访问，允许其他线程并发地访问表中的其他行，从而提高并发性和性能。行级锁的锁定对象行级锁锁定的是行…...

编程日记 2025/8/7 17:47:44