当前位置：首页 > news >正文

GPT 等decoder系列常见的下游任务

news 来源：原创 2025/7/1 7:20:17

下面用一句话＋四个例子，把上面那张“所有下游任务都要微调”架构图说清楚：

核心思路：不管你要做什么任务，都用同一个 Transformer（这里是 GPT／Decoder-Only 模型）当“特征抽取器”，只需在输入端“拼”出不同格式的 token 序列（加上 Start/Delim/Extract），在输出端接上不同的 小头（task‐specific head），微调时只训练这部分新加层（当然也可以微调部分 Transformer 层）。

1. 文本分类（Classification）

输入拼法：[Start] 文本内容 [Extract]
流程：
1. 在句子最前加一个 Start token（如 <s> 或 [CLS]），末尾加一个 Extract token（可不显式标出，直接用最后一个位置）。
2. 全序列送入 Transformer，取最后一个位置的隐藏向量（或取 Start 位置的隐藏向量，视实现而定）。
3. 接一个全连接＋Softmax，就能输出各分类概率（正例 vs. 反例，或多分类）。

2. 文本蕴涵（Entailment）

输入拼法：[Start] 前提(Premise) [Delim] 假设(Hypothesis) [Extract]
流程：
1. 用一个 Delimiter（如 [SEP]）把两个句子切开。
2. Transformer 编码后，取最后一个隐藏向量（Extract）或 Start 位置向量，接线性层预测“蕴涵 / 不蕴涵 / 中立”等标签。

3. 文本相似度（Similarity）

输入拼法：
- 正向：[Start] 文本A [Delim] 文本B [Extract]
- 反向：[Start] 文本B [Delim] 文本A [Extract]
流程：
1. 分别把两种拼法的序列喂入同一个 Transformer，得到两个 Extract 向量；
2. 将这两个向量拼接（或做点积、余弦相似度），再接一个小线性层，输出相似度分数。

4. 多选/常识推理（Multiple Choice）

输入拼法（针对每个选项）：

[Start] 问题 (Context) [Delim] 选项1 (Answer1) [Extract]
[Start] 问题      [Delim] 选项2 (Answer2) [Extract]
……
[Start] 问题      [Delim] 选项N (AnswerN) [Extract]

流程：
1. 每条“问题+一个选项”单独过 Transformer，取 Extract 向量；
2. 每个 Extract 向量接一层线性层算分；
3. N 个分数中选最大的那个选项为模型答案。

为什么这样做？

统一：所有任务共用同一个预训练好的 Transformer 这里是decoder，节省研发和算力；
灵活：只要在“输入拼法”和“输出头”上下功夫，就能适配分类、蕴涵、相似度、问答、多选等几乎所有 NLP 任务；
高效：微调时只需在新加的那层（task head）上动点小学习率，或者连同少量 Transformer 层一起更新，就能快速收敛到 SOTA 水平。

总的来说，都是通过在序列前后添加 Start 和 Extract 特殊标识符来表示开始和结束，序列之间添加必要的 Delim 标识符来表示分隔，当然实际使用时不会直接用 “Start/Extract/Delim” 这几个词，而是使用某些特殊符号。基于不同下游任务构造的输入序列，使用预训练的 GPT 模型进行特征编码，然后使用序列最后一个 token 的特征向量进行预测。

可以看到，不论下游任务的输入序列怎么变，最后的预测层怎么变，中间的特征抽取模块都是不变的，具有很好的迁移能力。

GPT 等decoder系列常见的下游任务

下面用一句话＋四个例子，把上面那张“所有下游任务都要微调”架构图说清楚： 核心思路：不管你要做什么任务，都用同一个 Transformer（这里是 GPT／Decoder-Only 模型）当“特征抽取器”&a…...

编程日记 2025/7/1 7:20:17

java面试每日一背 day1

1.什么是缓存穿透缓存穿透是指查询一个数据库中根本不存在的数据，导致这个查询请求绕过缓存直接访问数据库的情况。这种情况如果频繁发生，会对数据库造成不必要的压力。典型特征： （1）查询的数据在数据库和缓存中都…...

编程日记 2025/6/30 8:25:13

Spring Boot AI 之 Chat Client API 使用大全

ChatClient提供了一套流畅的API用于与AI模型交互，同时支持同步和流式两种编程模型。流畅API包含构建Prompt组成元素的方法，这些Prompt将作为输入传递给AI模型。从API角度来看，Prompt由一系列消息组成，其中包含指导AI模型输出和行为的指令文本。 AI模型主要处理两类消息： …...

编程日记 2025/7/1 5:42:12

初识Linux · 五种IO模型和非阻塞IO

目录前言： 五种IO模型什么是IO IO模型非阻塞IO 前言： 前文我们已经将网络的基本原理介绍完了，都是通过围绕TCP/IP四层协议，将应用层，传输层，网络层，数据链路层全部介绍完毕&#xff0c…...

编程日记 2025/7/1 5:20:25

牛客网NC15869:长方体边长和计算问题解析

牛客网NC15869:长方体边长和计算问题解析题目描述问题分析设长方体的三条边长为 x, y, z根据题意，三个面的面积分别为： 第一个面面积：a x * y第二个面面积：b x * z第三个面面积：c y * z 解题思路通过三个面…...

编程日记 2025/7/1 4:52:26

Python60日基础学习打卡D32

我们已经掌握了相当多的机器学习和python基础知识，现在面对一个全新的官方库，看看是否可以借助官方文档的写法了解其如何使用。我们以pdpbox这个机器学习解释性库来介绍如何使用官方文档。大多数 Python 库都会有官方文档，里面包含了函数…...

编程日记 2025/7/1 4:14:41

Android本地语音识别引擎深度对比与集成指南：Vosk vs SherpaOnnx

技术选型对比矩阵对比维度VoskSherpaOnnx核心架构基于Kaldi二次开发ONNX Runtime + K2新一代架构模型格式专用格式（需专用工具转换）ONNX标准格式（跨框架通用）中文识别精度89.2% (TDNN模型)92.7% (Zipformer流式模型)内存占用60-150MB30-80MB迟表现320-500ms180-300ms多线程…...

编程日记 2025/7/1 4:19:06

Flink 核心概念解析：流数据、并行处理与状态

一、流数据（Stream Data） 1. 有界流（Bounded Stream） 定义：有明确起始和结束时间的数据集合，数据量固定，处理逻辑通常是一次性计算所有数据。典型场景： 历史交易数据统计&#xf…...

编程日记 2025/6/30 4:39:54

logits是啥、傅里叶变换

什么是logtis？ 在深度学习的上下文中，logits 就是一个向量，下一步通常被投给 softmax/sigmoid 的向量。。 softmax的输出是分类任务的概率，其输入是logits层。 logits层通常产生-infinity到 infinity的值，而softmax层…...

编程日记 2025/7/1 5:21:33

【机器学习基础】机器学习与深度学习概述算法入门指南

机器学习与深度学习概述算法入门指南一、引言：机器学习与深度学习（一）定义与区别（二）发展历程（三）应用场景二、机器学习基础（一）监督学习（二）无…...

编程日记 2025/6/30 22:38:46

Ajax研究

简介 AJAX Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。 AJAX 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 Ajax 不是一种新的编程语言，而是一种用于创建更好更快以及交互性更强的Web应用…...

编程日记 2025/7/1 5:51:24

小数第n位--快速幂+数学

1.快速幂，a*10的n2次方/b可以实现整数位3位是答案，但是数太大会超限，就要想取余 2.要是取前三位的话，那么肯定就是结果取余1000，对于除法来说，就是分母取余b*1000； 蓝桥账户中心 #include<…...

编程日记 2025/7/1 4:33:05

macOS 下 .config/uv/uv.toml内 pip源 [[index]] url "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/" default true#uv python install 下载源配置无效，需要在项目里配置 # python-install-mirror "https://mirror.nju.edu.cn/githu…...

编程日记 2025/7/1 4:48:48

RK3588 RKNN ResNet50推理测试

RK3588 RKNN ResNet50推理测试一、背景二、性能数据三、操作步骤3.1 安装依赖3.2 安装rknn-toolkit,更新librknnrt.so3.3 下载推理图片3.4 生成`onnx`模型转换脚本3.5 生成rknn模型3.6 运行rknn模型一、背景在嵌入式设备上进行AI推理时，我们面临着算力有限、功耗敏感等挑战…...

编程日记 2025/6/27 22:53:47

RUP的9个核心工作流在电商平台项目中的拆解

以下是对RUP的9个核心工作流在电商平台项目中的每个步骤的极度细化拆解，包含具体操作、角色分工、输入输出和案例细节： 1. 业务建模（Business Modeling）步骤拆解：识别业务参与者操作：与市场部、运营部开会，列出所有业务角色（买家、卖家、物流商、支付网关）。输…...

编程日记 2025/6/27 23:01:54

C++类和对象（2）

类的默认成员函数类的6个默认成员函数：构造函数、析构函数、拷贝构造函数、赋值运算符重载、取地址& 及 const取地址操作符重载。默认成员函数：用户可以实现，但当不显式实现时，编译器会自动生成的成员函数。构造函数 …...

编程日记 2025/6/27 21:29:24

I.MX6U Mini开发板通过GPIO口测试光敏传感器

原理图对应的Linux sysfs引脚编号为1，即可导出为gpio1引脚对应规则参考：https://blog.csdn.net/qq_39400113/article/details/127446205 配置引脚参数 #导出编号为1的GPIO引脚（对于I.MX6UL来说，也就是GPIO0_IO1/GPIO_1&#xff0…...

编程日记 2025/6/27 22:54:08

AI工程师系列——面向copilot编程

前言笔者已经使用copilot协助开发有一段时间了，但一直没有总结一个协助代码开发的案例，特别是怎么问copilot，按照什么顺序问，哪些方面可以高效的生成需要的代码，这一次，笔者以IP解析需求为例，沉淀一个实践案例，供大家参考当然，其实也不局限于copilot本身，类似…...

编程日记 2025/6/29 15:33:33

左手腾讯CodeBuddy 、华为通义灵码，右手微软Copilot，旁边还有个Cursor，程序员幸福指数越来越高了

当前AI编程助手的繁荣让开发者拥有了前所未有的高效工具选择。从腾讯的CodeBuddy、阿里的通义灵码，到微软的GitHub Copilot和新兴的Cursor，每个工具都有其独特的优势，让程序员可以根据项目需求和个人偏好灵活搭配使用。以下是它们的核心特点及…...

编程日记 2025/6/27 23:29:53

【VLNs篇】02：NavGPT-在视觉与语言导航中使用大型语言模型进行显式推理

方面 (Aspect)内容总结 (Content Summary)论文标题NavGPT: 在视觉与语言导航中使用大型语言模型进行显式推理 (NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models)核心问题探究大型语言模型 (LLM) 在复杂具身场景（特别是视…...

编程日记 2025/6/30 12:53:46

力扣-有效三角形的个数

1.题目描述 2.题目链接 611. 有效三角形的个数 - 力扣（LeetCode） 3.题目代码 class Solution {public int triangleNumber(int[] nums) {//先排序Arrays.sort(nums);//若a<b<c,三角形条件可以优化为:ab>cint tempnums.length-1,sum0;while(…...

编程日记 2025/6/30 10:58:10

[Vue]跨组件传值

父子组件传值详情可以看文章跨组件传值 Vue 的核⼼是单向数据流。所以在父子组件间传值的时候，数据通常是通过属性从⽗组件向⼦组件，⽽⼦组件通过事件将数据传递回⽗组件。多层嵌套场景⼀般使⽤链式传递的⽅式实现provideinject的⽅式适⽤于需要跨层级…...

编程日记 2025/6/27 23:34:07

Cross-Mix Monitoring for Medical Image Segmentation With Limited Supervision

ζ \zeta ζ is the hyperparameter that controls the mixture rate， u ^ m \hat{u}_m u^m是mixed version 作者未提供代码...

编程日记 2025/6/27 23:37:01

采用线性优化改进评估配电网的灵活性范围

1引言在本文中，柔性一词被定义为“响应外部信号对发电或消耗的修正”。文章组织结构如下：第二节介绍了代表典型柔性配电网资源技术局限性的线性模型；在第三节中建立了一个线性优化问题；第四节提出了聚合算法；第五节评…...

编程日记 2025/6/27 15:00:53

用户缓冲区

1. 基本概念 1.1 用户空间与内核空间用户空间（User Space）：用户应用程序运行的内存空间，具有较低的权限，无法直接访问硬件和内核数据结构。内核空间（Kernel Space）：操作系统内核运…...

编程日记 2025/6/27 23:37:52

1.4 C++之运算符与表达式

运算符与表达式教程目标掌握算术运算符（, -, *, /）和逻辑运算符（&&, ||, !）。理解表达式优先级规则。实现一个简单计算器程序。一、算术运算符：像数学课上的加减乘除 1. 四种基本运算加法（…...

编程日记 2025/6/27 23:14:29

目标检测基础知识

如今，使用最新的驾驶辅助技术（如车道检测、盲点、交通信号灯等）驾驶汽车已经很常见。如果我们退后一步来了解幕后发生的事情，我们的数据科学家很快就会意识到系统不仅对对象进行分类，而且还在场景中（实时…...

编程日记 2025/6/27 23:29:21

实时监控服务器CPU、内存和磁盘使用率

实时监控服务器CPU、内存和磁盘使用率监控内存使用率： free -g | awk NR2{printf "%.2f%%\t\t", $3*100/$2 }awk NR2{...} 取第二行（Mem 行）。 $3 为已用内存，$2 为总内存，$3*100/$2 即计算使用率。监控磁…...

编程日记 2025/6/27 23:07:34

前端JavaScript-嵌套事件

点击如果在多层嵌套中，对每层都设置事件监视器，试试看 <!DOCTYPE html> <html lang"cn"> <body><div id"container"><button>点我！</button></div><pre id"output…...

编程日记 2025/6/27 22:59:31

【ULR #1】打击复读（SAM， DAG链剖分）

好牛的题。 DAG链剖分好牛的 trick。题意给定一个字符集大小为 4 4 4，长度为 n n n 的字符串 S S S，同时给定两个长度为 n n n 的数组 { w l i } , { w r i } \{wl_i\}, \{wr_i\} {wli},{wri}。定义一个字符串 T T T 的左权值为 v l ( T…...

编程日记 2025/6/27 23:21:27

Web3 领域中的一些专业术语

1. Uniswap 是什么： Uniswap 是一个去中心化的交易所，运行在以太坊区块链上，相当于一个“无人管理的货币兑换市场”。它允许用户直接用加密钱包（如 MetaMask）交换不同类型的数字货币（称为代币）…...

编程日记 2025/7/1 1:25:35

Vue组件通信方式及最佳实践

1. Props / 自定义事件 (父子通信) 使用场景父子组件直接数据传递代码实现  <template><Child :message"parentMsg" update"handleUpdate" /> </template><script setup> import { ref } from vue…...

编程日记 2025/6/27 23:33:50

JUC并发编程（下）

五、共享模型之内存 JMM（java内存模型） 主存：所有线程共享的数据（静态成员变量、成员变量） 工作内存：每个线程私有的数据（局部变量） 简化对底层的控制可见性问题线程t通过r…...

编程日记 2025/6/30 1:31:14

Go语言中new与make的深度解析

在 Go 语言中，new 和 make 是两个用于内存分配的内置函数，但它们的作用和使用场景有显著区别。理解它们的核心在于： new(T): 为类型 T 分配内存，并将其初始化为零值，然后返回一个指向该内存的指针 (*T)。make(T, ar…...

编程日记 2025/6/27 22:51:24

Xilinx 7Series\UltraScale 在线升级FLASH STARTUPE2和STARTUPE3使用

一、FPGA 在线升级 FPGA 在线升级FLASH时，一般是通过逻辑生成SPI接口操作FLASH，当然也可以通过其他SOC经FPGA操作FLASH，那么FPGA就要实现在启动后对FLASH的控制。对于7Series FPGA，只有CCLK是专用引脚，SPI接口均为普…...

编程日记 2025/6/27 22:51:26

redisson-spring-boot-starter 版本选择

以下是更详细的 Spring Boot 与 redisson-spring-boot-starter 版本对应关系，按照 Spring Boot 主版本和子版本细分： 1. Spring Boot 3.x 系列 3.2.x 推荐 Redisson 版本：3.23.1（最新稳定版，兼容 Redis 7.x&#xf…...

编程日记 2025/6/27 21:14:10

QML定时器Timer和线程任务WorkerScript

定时器 Timer 属性 interval: 事件间隔毫秒repeat: 多次执行，默认只执行一次running: 定时器启动triggeredOnStart: 定时器启动时立刻触发一次事件信号 triggered(): 定时时间到，触发此信号方法 restart(): 重启定时器start(): 启动定时器stop(): 停止…...

编程日记 2025/6/27 22:51:16

Jsoup解析商品信息具体怎么写？

使用 Jsoup 解析商品信息是一个常见的任务，尤其是在爬取电商网站的商品详情时。以下是一个详细的步骤和代码示例，展示如何使用 Jsoup 解析商品信息。一、准备工作确保你的项目中已经添加了 Jsoup 依赖。如果你使用的是 Maven，可以在 pom.…...

编程日记 2025/6/27 2:18:05

jenkins数据备份

jenkins数据备份一般情况下分为两种, 1.使用crontab进行备份.这种备份方式是技术人员手动填写的备份的时候将workspace目录排除. 2.使用jenkins插件备份. 下载备份插件 ThinBackup,这里已经下载完成,如果没下载的情况下点击安装好之后重启jenkins(直接点击插件安装位置的闲…...

编程日记 2025/6/30 10:54:39

IP核警告，Bus Interface ‘AD_clk‘: ASSOCIATED_BUSIF bus parameter is missing.

创建IP核生成输出的clk信号无法在GUI（customization GUI）显示clk信号，并且出现如下2个warning： [IP_Flow 19-3153] Bus Interface AD_clk: ASSOCIATED_BUSIF bus parameter is missing. [IP_Flow 19-4751] Bus Interface AD_clk:…...

编程日记 2025/6/27 22:51:23

Nginx配置同一端口不同域名或同一IP不同端口

以下是如何在Nginx中配置同一端口不同域名，以及同一IP不同端口的详细说明： 一、同一端口不同域名（基于名称的虚拟主机） 场景： 通过80端口，让 example.com 和 test.com 指向不同的网站目录（如 /…...

编程日记 2025/6/27 22:51:25

一键启动多个 Chrome 实例并自动清理的 Bash 脚本分享！

目录一、📦 脚本功能概览二、📜 脚本代码一览三、🔍 脚本功能说明 （一）✅ 支持批量启动多个 Chrome 实例 （二）✅ 每个实例使用独立用户数据目录 （三）✅ 启动后自…...

编程日记 2025/6/29 18:13:05

LLaMA-Adapter

一、技术背景与问题 1.1 传统方法的数学局限二、LLaMA-Adapter 核心技术细节 2.1 Learnable Adaption Prompts 的设计哲学这种零初始化注意力机制的目的是在训练初期稳定梯度，避免由于随机初始化的适配提示带来的不稳定因素。通过门控因子gl的自适应调整，在训…...

编程日记 2025/6/27 22:53:23

鸿蒙电脑系统和统信UOS都是自主可控的系统吗

鸿蒙电脑系统（HarmonyOS）和统信UOS（Unity Operating System）均被定位为自主可控的操作系统，但两者的技术背景、研发路径和生态成熟度存在差异，需结合具体定义和实际情况分析： 1. 鸿蒙系统&#…...

编程日记 2025/6/29 22:05:56

【Unity 如何使用 Mixamo下载免费模型/动画资源】Mixamo 结合在 Unity 中的实现（Animtor动画系统，完整配置以及效果展示）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Mixamo介绍1、网址2、Mixamo功能介绍Mixamo 的核心功能Mixamo 适用场景二、Mixamo下载免费模型三、Mixamo下载免费动画四、导入Unity1.人物模型配置2.动画配置五、场景配置和效果测试1.人物…...

编程日记 2025/6/27 22:53:37

linux文件重命名命令

Linux文件重命名指南方法一：mv命令（单文件操作） mv 原文件名新文件名基础用法示例： mv old_file.txt new_name.txt保留扩展名技巧： mv document-v1.doc document-v2.doc方法二：rename命令&#xff08…...

编程日记 2025/6/27 22:51:45

JavaScript-DOM-02

自定义属性： <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title>…...

编程日记 2025/6/27 23:30:54

跨部门项目管理优化：告别邮件依赖

1. 工具整合 1.1 协作平台集中化 1.1.1 一体化协作工具优势使用Microsoft Teams、Slack等一体化协作工具替代邮件，集成即时消息、文件共享、任务分配和视频会议功能，减少工具切换成本，提高沟通效率。 1.1.2 具体应用案例在Teams中创建项目频道，关联任务看板（Planner）…...

编程日记 2025/6/27 23:40:12

ADB常用语句

目录基本语句 pm 包管理操作查看文件夹内容查看文件内容删除文件 dumpsys查看系统服务状态 logcat保存日志日志级别基本语句查看是否安装成功 adb version查看是否连接成功 adb devices断开连接 adb disconnect进入安卓系统 adb shell 退出安卓系统 exit…...

编程日记 2025/6/30 6:34:45

阿里发布扩散模型Wan VACE，全面支持生图、生视频、图像编辑，适配低显存～

项目背景详述推出与目的 Wan2.1-VACE 于 2025 年 5 月 14 日发布，作为一个综合模型，旨在统一视频生成和编辑任务。其目标是解决视频处理中的关键挑战，即在时间和空间维度上保持一致性。该模型支持多种任务，包括参考到视频生成&a…...

编程日记 2025/6/27 23:37:34

1. 文本分类（Classification）

2. 文本蕴涵（Entailment）

3. 文本相似度（Similarity）

4. 多选/常识推理（Multiple Choice）

为什么这样做？

相关文章：