当前位置：首页 > news >正文

Prompt-Tuning 提示词微调

news 来源：原创 2025/8/7 10:40:20

1. Hard Prompt

定义： Hard prompt 是一种更为具体和明确的提示，要求模型按照给定的信息生成精确的结果，通常用于需要模型提供准确答案的任务.

原理： Prompt Tuning原理如下图所示：冻结主模型全部参数，在训练数据前加入一小段Prompt，只训练Prompt的表示层，即一个Embedding模块。论文实验表明，只要模型规模够大，简单加入 Prompt tokens 进行微调，就能取得很好的效果。

优点： 资源消耗比 Soft Prompt 小，容易收敛。

2. Soft Prompt

**定义：**Soft prompt 通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成。

缺点： 资源消耗大，参数都是随机初始化的，Loss 会有震荡。

在这里插入图片描述

from datasets import load_from_disk
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq
from transformers import pipeline, TrainingArguments, Trainer
from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit, PeftModel# 分词器
tokenizer = AutoTokenizer.from_pretrained("Langboat/bloom-1b4-zh")# 函数内将instruction和response拆开分词的原因是：
# 为了便于mask掉不需要计算损失的labels, 即代码labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
def process_func(example):MAX_LENGTH = 256input_ids, attention_mask, labels = [], [], []instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ")response = tokenizer(example["output"] + tokenizer.eos_token)input_ids = instruction["input_ids"] + response["input_ids"]attention_mask = instruction["attention_mask"] + response["attention_mask"]labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]if len(input_ids) > MAX_LENGTH:input_ids = input_ids[:MAX_LENGTH]attention_mask = attention_mask[:MAX_LENGTH]labels = labels[:MAX_LENGTH]return {"input_ids": input_ids,"attention_mask": attention_mask,"labels": labels}if __name__ == "__main__":# 加载数据集dataset = load_from_disk("./PEFT/data/alpaca_data_zh")# 处理数据tokenized_ds = dataset.map(process_func, remove_columns = dataset.column_names)# print(tokenizer.decode(tokenized_ds[1]["input_ids"]))# print(tokenizer.decode(list(filter(lambda x: x != -100, tokenized_ds[1]["labels"]))))# 创建模型model = AutoModelForCausalLM.from_pretrained("Langboat/bloom-1b4-zh", low_cpu_mem_usage=True)# 设置 Prompt-Tuning# Soft Prompt# config = PromptTuningConfig(task_type=TaskType.CAUSAL_LM, num_virtual_tokens=10) # soft_prompt会随机初始化# Hard Promptconfig = PromptTuningConfig(task_type = TaskType.CAUSAL_LM,prompt_tuning_init = PromptTuningInit.TEXT,prompt_tuning_init_text = "下面是一段人与机器人的对话。", # 设置hard_prompt的具体内容num_virtual_tokens = len(tokenizer("下面是一段人与机器人的对话。")["input_ids"]),tokenizer_name_or_path = "Langboat/bloom-1b4-zh")model = get_peft_model(model, config) # 生成Prompt-Tuning对应的modelprint(model.print_trainable_parameters())# 训练参数args = TrainingArguments(output_dir = "/tmp_1203",per_device_train_batch_size = 1,gradient_accumulation_steps = 8,logging_steps = 10,num_train_epochs = 1)# trainertrainer = Trainer(model = model,args = args,train_dataset = tokenized_ds,data_collator = DataCollatorForSeq2Seq(tokenizer = tokenizer, padding = True))# 训练模型trainer.train()# 模型推理model = AutoModelForCausalLM.from_pretrained("Langboat/bloom-1b4-zh", low_cpu_mem_usage=True)peft_model = PeftModel.from_pretrained(model = model, model_id = "/tmp_1203/checkpoint-500/")peft_model = peft_model.cuda()ipt = tokenizer("Human: {}\n{}".format("考试有哪些技巧？", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(peft_model.device)print(tokenizer.decode(peft_model.generate(**ipt, max_length=128, do_sample=True)[0], skip_special_tokens=True))

Prompt-Tuning 提示词微调

1. Hard Prompt 定义： Hard prompt 是一种更为具体和明确的提示，要求模型按照给定的信息生成精确的结果，通常用于需要模型提供准确答案的任务. 原理： Prompt Tuning原理如下图所示：冻结主模型全部参数，在…...

编程日记 2025/8/7 10:40:20

sqli-labs之Less-7 GET注入写shell

验证注入点：单引号报错，)) 根据提示，是想让我们试试写shell 第一个条件 secure_file_priv 写shell即MySQL需要对外写文件，但默认MySQL是不允许outfile来导出数据的，先动手在MySQL确认一下。 MySQL特性，se…...

编程日记 2025/8/6 22:33:45

数据库基础-B+树

查询类型全表扫描，不提供索引，扫描所有集合中的数据。根据指定key值查询指定点范围查询，在指定区间内查询有很多方法能够进行快速扫面数据，但是再快复杂度也是O(N)，我们的目标是想办法将查询复杂度降低到O(logN)。…...

编程日记 2025/8/2 13:56:41

智能语音备忘录：SpeechRecognition与gTTS的奇妙融合

引言：智能语音备忘录的时代已经到来在这个信息爆炸的时代，我们每天需要处理大量的事务和信息。传统的文字记录方式虽然可靠，但在效率上往往难以满足快节奏生活的需求。想象一下，如果你能在驾车、散步或是灵感突现的任何时刻&…...

编程日记 2025/7/30 11:28:04

C++项目 —— 基于多设计模式下的同步异步日志系统（3）（日志器类）

C项目 —— 基于多设计模式下的同步&异步日志系统（3）（日志器类） 整体思想设计日志消息的构造C语言式的不定参函数的作用函数的具体实现逻辑1. 日志等级检查2. 初始化可变参数列表3. 格式化日志消息4. 释放参数列表5. 序列化和…...

编程日记 2025/8/6 20:35:18

2025/4/19 数据库的流程控制函数

单行函数_流程函数要点: 流程处理函数可以根据不同的条件执行不同的处理流程可以在SQL语句中实现不同的条件选择,MySQL中的流程处理函数主要包括if() ifnull() 和 case() 函数多行函数_聚合函数和单行函数的区别: 单行函数是作用在每一行最终结果可能是多行结果多行…...

编程日记 2025/8/5 4:50:50

代码随想录打家劫舍+树形DP入门

动态规划part07 198.打家劫舍视频讲解：https://www.bilibili.com/video/BV1Te411N7SX https://programmercarl.com/0198.%E6%89%93%E5%AE%B6%E5%8A%AB%E8%88%8D.html dp数组：进入房屋i能够偷得得最大金额dp[i]递推公式：根据不相邻原则…...

编程日记 2025/8/7 10:35:43

Http基础

目录定义一、请求部分（Request） 1. 请求行（Request Line） 常见请求方法： 2. 请求头（Request Headers） 3. 请求体（Request Body） 二、响应部分（Respo…...

编程日记 2025/8/4 22:09:13

【Unity】bug记录——部分物体突然不受animator控制

博主烘焙完灯光后突然发现有的物体的动画失效了，不会动，测试发现是因为勾了static（但是有些勾了static的物体就没事），修改static为Contribute GI Static（只针对光照静态）就行...

编程日记 2025/7/30 11:27:52

Zephyr、FreeRTOS、RT-Thread 邮箱（Mailbox）对比分析

一、核心特性对比特性ZephyrFreeRTOSRT-Thread消息类型支持指针或4字节数据（依赖架构）仅支持指针传递支持任意数据类型（需指定消息长度）容量固定容量（静态初始化配置）动态容量（基于队列长度&a…...

编程日记 2025/8/4 22:27:55

xilinx fpga中pll与mmcm的区别

Xilinx中的PLL（锁相环）和MMCM（混合模式时钟管理器）都是用于时钟管理的关键组件，但它们之间存在一些显著的区别。以下是对两者的详细比较： 1. 功能特性 PLL（锁相环）： 主…...

编程日记 2025/7/30 12:26:40

Python语法系列博客 · 第8期[特殊字符] Lambda函数与高阶函数：函数式编程初体验

上一期小练习解答（第7期回顾） ✅ 练习1：找出1~100中能被3或5整除的数 result [x for x in range(1, 101) if x % 3 0 or x % 5 0]✅ 练习2：生成字符串长度字典 words ["apple", "banana", "grape…...

编程日记 2025/7/30 12:26:38

黑马商城（五）微服务保护和分布式事务

一、雪崩问题二、雪崩-解决方案（服务保护方案） 请求限流： 线程隔离： 服务熔断： 服务保护组件： 三、Sentinel 引入依赖：  <dependency><groupId>com.aliba…...

编程日记 2025/8/7 8:29:39

Java 编译与反编译深度解析

Java 编译与反编译深度解析 1. 编译过程详解 (1) 完整编译流程 .java 文件 → 词法分析 → 语法分析 → 语义分析 → 字节码生成 → .class 文件│ │ │ │↓ ↓ ↓ ↓识别关键字生成抽象语法树类型…...

编程日记 2025/8/1 1:38:55

Java集合框架中的List、Map、Set详解

在Java开发中，集合框架是处理数据时不可或缺的工具之一。今天，我们来深入了解一下Java集合框架中的List、Map和Set，并探讨它们的常见方法操作。目录一、List集合 1.1 List集合介绍 1.2 List集合的常见方法添加元素获取元素修改元素…...

编程日记 2025/8/7 10:33:06

国产的 Java Solon v3.2.0 发布（央企信创的优选）

Solon 框架！ Solon 是新一代，Java 企业级应用开发框架。从零开始构建（No Java-EE），有灵活的接口规范与开放生态。采用商用友好的 Apache 2.0 开源协议，是“杭州无耳科技有限公司”开源的根级项目&#xff…...

编程日记 2025/8/4 11:22:10

机器学习决策树

一、何为决策树决策树（Decision Tree）是一种分类和回归方法，是基于各种情况发生的所需条件构成决策树，以实现期望最大化的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。它的运行机制非常通俗易…...

编程日记 2025/8/7 10:35:31

Java集合及面试题学习

知识来源沉默王二、小林coding、javaguide 1、ArrayList list.add("66") list.get(2) list.remove(1) list.set(1,"55") List<String> listnew ArrayList<>(); 底层是动态数组添加元素流程：判断是否扩容&#xf…...

编程日记 2025/8/6 15:09:13

【内置函数】84个Python内置函数全整理

Python 内置函数全集（完整分类参数详解示例） 文章目录 Python 内置函数全集（完整分类参数详解示例）一、数值与数学函数abs(x)divmod(a, b)pow(x, y, modNone)round(number[, ndigits])sum(iterable, /, start0)hash(obj) …...

编程日记 2025/8/7 10:38:21

【LeetCode 热题 100】双指针系列

📁283. 移动零对于该题目，需要注意的是两个地方，一是保持非零元素的相对顺序，以及O(1)的空间复杂度。采用双指针的思路，将数组划分成3个区间,。 [0 , left]：该区间内元素全是非零元素。 [left1 , right…...

编程日记 2025/8/5 13:21:57

实现批量图片文字识别(python+flask+EasyOCR)

话不多说,向上效果图 1)先说框架版本为什么要先说框架版本呢,因为我在各种版本中尝试了两天,总算确定了如下版本适合我,至于其他的版本,各位自己去尝试 python 3.9.7 EasyOCR 1.7.2 flask 3.0.3 2)执行操作效果图 2.1)多选文件 2.2)图片预览 2.3)提取选中文件 2.4)提取所有文…...

编程日记 2025/8/3 7:20:14

[Swift]pod install成功后运行项目报错问题error: Sandbox: bash(84760) deny(1)

操作： platform :ios, 14.0target ZKMKAPP do# Comment the next line if you dont want to use dynamic frameworksuse_frameworks!# Pods for ZKMKAPPpod Moyaend pod install成功后运行报错报错： error: Sandbox: bash(84760) deny(1) file-writ…...

编程日记 2025/8/6 13:36:41

文档内容提取以及合成

如何从10个左右的docx文档中抽取内容，生成新的文档，抽取内容包括源文档的文字内容、图片、表格、公式等，以及目标文档的样式排版、字体、格式，还有目标文档的语言风格、用词规范、文法习惯等等。这是一个相当复杂的需求&#xff0…...

编程日记 2025/8/4 9:33:52

[Windows] Wireshark 网络抓包工具 v4.4.6

[Windows] Wireshark 网络抓包工具链接：https://pan.xunlei.com/s/VOODTZ7Lm2gsNLoFNcOIqflzA1?pwdf3ea# 软件说明Wireshark（前称Ethereal）是一款免费开源的网络嗅探抓包东西，世界上最流行的网络协议剖析器！网络封…...

编程日记 2025/8/6 14:10:58

在Ubuntu中安装hadoop的详细过程

在Ubuntu中安装hadoop的详细过程请自行安装Ubuntu系统（可参考：在VMWare中安装Linux虚拟机Ubuntu） 一、创建hadoop用户如果在安装 Ubuntu 的时候不是用的 “hadoop” 用户，这时需要增加一个名为 hadoop 的用户。首先打开终端…...

编程日记 2025/8/1 17:12:03

NOIP2017提高组.列队

目录 *数据结构模板题目算法标签: 模拟, 线段树, 线段树动态开点, 树状数组, 平衡树思路*前置代码完整注释代码精简注释代码 *数据结构模板题目 530. 列队算法标签: 模拟, 线段树, 线段树动态开点, 树状数组, 平衡树思路首先考虑简单情况, 如果只有一行, 删除一个位置…...

编程日记 2025/8/7 10:40:17

PSN港服跳过生日找回密码（需要英语对话，需要注册的id）

登陆这个网站 https://www.playstation.com/en-hk/support/contact-us/?categoryAcc&subCategorypw 随便输入点名字 firstname 跟lastname 勾选，然后打开机器人聊天然后按照提示输入邮箱跟id，输入正确之后会分配真人客服真人客服会要求提供第一次…...

编程日记 2025/8/2 17:18:31

服务治理-服务注册

一个服务在真实项目部署的时候，如果压力较大，会做多实例部署。在IDEA里面做多实例部署的话，只需要配置多个启动项。...

编程日记 2025/8/1 9:29:22

Jinja2模板引擎SSTI漏洞

1. 引入再研究大模型相关应用的漏洞CVE-2025-25362时（参考1），看到作者给了比较详细的分析（参考2）。下面对这个漏洞做个介绍。 2. 漏洞类型这个漏洞属于CWE-1336，它主要关注在使用模板引擎进行脚本化处…...

编程日记 2025/8/1 22:47:37

STM32单片机教程：从零开始打造智能天气时钟

STM32单片机教程：从零开始打造智能天气时钟大家好！今天我想为大家详细介绍一下我们的STM32课程，以及如何从零基础逐步掌握单片机开发技能，最终实现一个完整的智能天气时钟项目。课程面向人群本课程主要面向那些已经通过野火…...

编程日记 2025/8/3 1:10:17

c++_csp-j算法 (1)

DFS搜索(深度优先搜索) 讲解第一部分：DFS搜索算法简介深度优先搜索（Depth-First Search，DFS）是一种常用的图搜索算法，用于遍历或搜索图或树的所有节点。DFS算法的核心思想是尽可能深地搜索图的分支，直…...

编程日记 2025/8/6 1:23:26

word选中所有的表格——宏

Sub 选中所有表格()Dim aTable As TableApplication.ScreenUpdating FalseActiveDocument.DeleteAllEditableRanges wdEditorEveryoneFor Each aTable In ActiveDocument.TablesaTable.Range.Editors.Add wdEditorEveryoneNextActiveDocument.SelectAllEditableRanges wdEdito…...

编程日记 2025/8/6 1:04:07

1. Hard Prompt

2. Soft Prompt

相关文章：