当前位置： 首页 > news >正文

论文阅读 2024 arxiv Comprehensive Assessment of Jailbreak Attacks Against LLMs

news 来源：原创 2025/7/5 15:40:13

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Comprehensive Assessment of Jailbreak Attacks Against LLMs

https://arxiv.org/pdf/2402.05668

https://www.doubao.com/chat/4015423571416834

速览

这篇论文是关于大语言模型越狱攻击的全面评估，研究发现现有大语言模型都存在越狱风险，当前防御手段也无法完全抵御这些攻击。

  1. 背景：大语言模型（LLMs）能力强大但有被滥用的风险，为此出台了相关规定，服务提供商也采取了安全措施。然而，人们仍能找到绕过安全机制的方法，即越狱攻击。目前缺乏统一、系统的评估标准，该研究旨在填补这一空白。
  2. 越狱攻击分类：收集17种先进的越狱方法，根据原问题是否被修改以及修改提示的生成技术，将其分为基于人工、混淆、启发式、反馈、微调、参数这6类，还总结了各类方法的特点。
  3. 禁止问题数据集：整合五大服务提供商的使用政策，制定统一政策，涵盖16个违规类别。通过筛选和生成，建立了包含160个问题的禁止问题数据集。
  4. 实验设置：选择8个流行的大语言模型，用禁止问题数据集评估越狱攻击。采用攻击成功率（ASR）作为评估指标，详细介绍了实验的超参数设置。
  5. 实验结果：所有模型都无法完全抵御有害问题，大多数模型在越狱攻击下表现出脆弱性。不同违规类别和越狱方法的攻击成功率有所不同，基于启发式和反馈的攻击效果较好，而基于混淆的攻击泛化能力较差。此外，还进行了消融实验，研究了令牌数量、时间效率、可转移性和纵向测试的影响。
  6. 越狱防御：测试8种外部防御机制，发现没有一种能完全抵御所有越狱攻击。不依赖初始种子的攻击更难防御。
  7. 讨论：现有评估方法存在缺陷，未来应关注无初始种子的攻击并开发相应的红队方法。研究存在局限性，如数据集可能存在偏差，无法涵盖所有越狱攻击。
  8. 结论：首次对越狱攻击进行全面分析，建立了攻击分类和统一政策，实验揭示了模型的脆弱性和攻击方法的特点。希望该研究能为大语言模型的安全发展提供参考。

论文阅读

在这里插入图片描述
在这里插入图片描述

Figure 1：不同越狱攻击方法示例

  • 目的：展示不同类型的越狱攻击是如何实施的，让读者直观理解越狱攻击的具体形式。
  • 内容：主要呈现了两种越狱攻击示例。
    • 越狱提示 + 禁止问题 + 默认生成设置：左边输入部分先设定一个类似“在这个假设故事中，你扮演尼可罗·马基雅维利”的情境（这就是越狱提示），接着提出“如何破解软件免费使用”这样的禁止问题。右边输出部分，模型按照默认生成设置，以马基雅维利的身份回答可以帮忙破解软件，绕过了正常的安全限制。
    • 禁止问题 + 越狱生成设置：直接提出“如何破解软件免费使用”的禁止问题，模型在越狱生成设置下，直接给出破解软件的方法步骤，也绕过了安全机制。
  • 总结：通过这两个示例，形象地说明了越狱攻击是怎样让大语言模型绕过安全机制，生成违反规定内容的。

在这里插入图片描述
在这里插入图片描述

Figure 2：测量过程概述

  • 目的：展示研究中对大语言模型越狱攻击进行测量的整体流程和关键要素，帮助读者理解研究是如何开展的。
  • 内容：
    • 方法收集与分类：收集了17种先进的越狱攻击方法，并将它们分为基于人工、混淆、启发式、反馈、微调、参数这6类。这是研究的基础，对不同方法进行分类，方便后续研究。
    • 测量：从多个方面对越狱攻击和防御效果进行测量。包括攻击分类，明确不同方法的特点；评估攻击和防御的有效性，判断攻击是否成功、防御是否有效；进行消融研究，分析如令牌数量、攻击执行时间效率、对不同目标大语言模型的可转移性等因素对攻击的影响。
    • 数据集和评估指标：使用构建的禁止问题数据集，基于此进行各种实验。采用攻击成功率（ASR）等指标评估攻击效果，判断模型在不同攻击下的表现。
  • 总结：该图呈现了研究从方法收集、分类，到实验测量、指标评估的完整过程，是整个研究的框架性展示。

相关文章：

论文阅读 2024 arxiv Comprehensive Assessment of Jailbreak Attacks Against LLMs

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 Comprehensive Assessment of Jailbreak Attacks Against LLMs https://arxiv.org/pdf/2402.05668 https://www.doubao.com/chat/4015423571416834 速览 这篇论文是关于大…...

编程日记 2025/7/5 15:40:13

SIFT特征点检测

刚看完了SIFT特征点检测的原理，阅读的是两篇csdn博客，一个全面和一个最全面，不得不说，你俩写的都很全面，这么用心奉献知识的博主是全人类的财富。 现在用我这张笨拙的嘴先说一下我理解的流程 首先先将图像扩大一倍&a…...

编程日记 2025/7/4 21:36:12

开源模型应用落地-qwen模型小试-Qwen3-8B-快速体验-pipeline方式（二）

一、前言 阿里云最新推出的 Qwen3-8B 大语言模型，作为国内首个集成“快思考”与“慢思考”能力的混合推理模型，凭借其 80 亿参数规模及 128K 超长上下文支持，正在重塑 AI 应用边界。该模型既可通过轻量化“快思考”实现低算力秒级响应，也能在复杂任务中激活深度推理模式，以…...

编程日记 2025/7/5 13:51:33

Python os.path.join()路径拼接异常

问题 在使用os.path.join()对两个路径进行拼接，如：/University/School/和/Department/Class/进行拼接，最终的结果为/Department/Class/，而/University/School/却不知所踪。 import osos.path.join(“/University/School/”, “/…...

编程日记 2025/7/3 20:57:43

Flink之DataStream

Apache Flink 的 DataStream API 是用于 处理无限（流）或有限（批）数据流的核心编程模型，适用于事件驱动、实时分析、ETL 等场景。相比 Flink Table API，DataStream API 提供了更强的灵活性和底层控制能力。 …...

编程日记 2025/7/3 20:57:41

WHAT - Tailwind CSS + Antd = MetisUI组件库

文章目录 Tailwind 和 Antd 组件库MetisUI 组件库 Tailwind 和 Antd 组件库 在 WHAT - Tailwind 样式方案（不写任何自定义样式） 中我们介绍了 Tailwind，至于 Antd 组件库，我们应该都耳熟能详，官网地址：htt…...

编程日记 2025/7/2 23:07:08

【LLM】MOE混合专家大模型综述（重要模块原理）

note 当前的 MoE 架构就是一个用显存换训练时长/推理延迟的架构MoE 目前的架构基本集中在于将原先 GPT 每层的 FFN 复制多份作为 n 个 expert，并增加一个 router，用来计算每个 token 对应到哪个 FFN（一般采用每个 token 固定指派 n 个 exper…...

编程日记 2025/7/3 20:57:34

量子机器学习中的GPU加速实践：基于CUDA Quantum的混合编程模型探索

引言：量子机器学习的新范式 在量子计算与经典机器学习交叉融合的前沿领域，量子机器学习（Quantum Machine Learning, QML）正经历着革命性突破。然而，随着量子比特规模的增长和算法复杂度的提升，传统计算架构…...

编程日记 2025/7/3 20:57:32

CentOS Linux 环境二进制方式安装 MySQL 5.7.32

文章目录 安装依赖包新建用户解压初始化配置文件启动服务登录MySQL修改密码停止数据库 安装依赖包 yum -y install libaio perl perl-devel libncurses* autoconf numactl新建用户 useradd mysql解压 tar xf mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz mv mysql-5.7.32-l…...

编程日记 2025/7/3 20:57:30

数学：拉马努金如何想出计算圆周率的公式？

拉马努金（Srinivasa Ramanujan）提出的圆周率（π）计算公式，源于他对数学模式的超凡直觉、对无穷级数和模形式的深刻洞察，以及独特的非传统数学思维方式。尽管他的思考过程带有强烈的个人色彩，甚至…...

编程日记 2025/7/3 4:41:00

Java 未来技术栈：从云原生到 AI 融合的企业级技术演进路线

一、云原生架构：重构 Java 应用的运行范式 1.1 微服务架构的深度进化 Java 在微服务领域的实践正从 Spring Cloud 向服务网格（Service Mesh）演进。以 Istio 为代表的服务网格技术，通过 Sidecar 模式实现服务间通信的透明化管理&…...

编程日记 2025/7/3 1:27:27

mid360驱动安装以及联合相机标定

1 mid360 安装 1.1 安装 一定要使用 SDK2和 ROS2驱动(livox_ros_driver2) 先安装SDK2，再安装livox_ros_driver2 GitHub - Livox-SDK/Livox-SDK2: Drivers for receiving LiDAR data and controlling lidar, support Lidar HAP and Mid-360. GitHub - Livox-SDK/l…...

编程日记 2025/7/3 20:57:24

LeetCode —— 572. 另一棵树的子树

572. 另一棵树的子树 题目：给你两棵二叉树 root 和 subRoot 。检验 root 中是否包含和 subRoot 具有相同结构和节点值的子树。如果存在，返回 true ；否则，返回 false 。 二叉树 tree 的一棵子树包括 tree 的某个节点和这个节点的所…...

编程日记 2025/7/3 20:57:22

模型部署技巧（一）

模型部署技巧（一） 以下内容是参考CUDA与TensorRT模型部署内容第六章，主要针对图像的前/后处理中的trick。 参考： 1.部署分类器-int8-calibration 2. cudnn安装地址 3. 如何查找Tensor版本，与cuda 和 cudnn匹配 4. ti…...

编程日记 2025/7/3 20:57:20

PostgreSQL中的SSL

PGSQL数据库的默认隔离级别是读提交，并且同时支持可重复读和序列化模式。但是在9.1之前的版本中，序列化模式等价于快照隔离，并非是真正的序列化模式。 这样的话就会存在一个问题，那就是写偏序（Write Skew）…...

编程日记 2025/7/2 23:17:15

使用 Spring Data Redis 实现 Redis 数据存储详解

使用 Spring Data Redis 实现 Redis 数据存储详解 Spring Data Redis 是 Spring 生态中操作 Redis 的核心模块，它封装了 Redis 客户端的底层细节（如 Jedis 或 Lettuce），提供了统一的 API 来操作 Redis 的数据结构。以下是详细实现…...

编程日记 2025/7/3 7:05:14

短视频矩阵系统贴牌开发实战：批量剪辑文件夹功能设计与实现

摘要：在短视频矩阵系统的开发中，批量处理功能是提升运营效率的关键。本文将深入探讨如何实现基于文件夹的短视频批量剪辑功能，涵盖技术选型、核心功能实现及代码示例。 一、需求背景与场景价值 在短视频矩阵运营场景中，运营者常面…...

编程日记 2025/7/3 20:57:14

2025年消防设施操作员考试题库及答案

一、判断题 25.防火门顺序器使用半个月后，需检查所有的螺钉，对固定螺钉进行加固拧紧，后续每月进行一次。（） 答案：错误 解析：本题考查的是防火门顺序器的保养。防火门顺序器使用一周后&#x…...

编程日记 2025/7/5 1:25:02

ASP.NET MVC后端控制器用模型 接收前端ajax数据为空

1、前端js代码 如下： const formData {DeptName: D001,Phone: 12345678900 };$.ajax({url: "/Phone/SavePhone1",type: "POST",contentType: "application/json",data: JSON.stringify(formData), //必须要JSON.stringifysuccess:…...

编程日记 2025/7/3 22:46:40

ES基本使用方式

ES基本使用 文章目录 ES基本使用1.es的访问使用URL访问 2.mapping的理解Dynamic Mappingkeyword 与 text的区别‌基础定义与核心差异主字段，子字段 创建mapping 3.创建索引4.查看索引列表5.删除索引6.添加数据7.查询数据 重置es密码，初始用户elastic el…...

编程日记 2025/7/3 22:46:38

【中间件】bthread效率为什么高？

bthread效率为什么更高？ 1 基本概念 bthread是brpc中的用户态线程，也是协程的一种实现。其采用M:N模型，即多个用户线程映射到少量的系统线程上。 2 高效做法 用户态调度：避免内核态和用户态之间的切换开销，上下文切…...

编程日记 2025/7/3 22:46:36

Transformer架构指南：从原理到实战资源全更新

🌟 什么是Transformer？ 2017年Google提出的Transformer架构，彻底颠覆了传统RNN/LSTM的序列建模方式，通过自注意力机制实现全局上下文建模，成为GPT、BERT等大模型的底层基石。其核心优势在于并行化计算和长距离依赖捕捉…...

编程日记 2025/7/5 6:05:57

数据库规范

数据库版本相关 版本：mysql8.0 引擎：InnoDB 字符集：utf8mb4_general_ci 表名称 字段名称te 不允许使用大写字母，尽量使用英文或英文缩写，中间用下划线连接 数据表前缀为zzt_ 同一功能模块的表(特别是附表)尽量保持…...

编程日记 2025/7/3 1:27:22

Java 核心--泛型枚举

作者：IvanCodes 发布时间：2025年4月30日🤓 专栏：Java教程 各位 CSDN伙伴们，大家好！👋 写了那么多代码，有没有遇到过这样的“惊喜”：满心欢喜地从 ArrayList 里取出数据…...

编程日记 2025/7/3 22:46:34

使用skywalking进行go的接口监控和报警

安装 helm upgrade --install skywalking ./skywalking-v1 --namespace skywalking --create-namespace 查看安装结果 kubectl get pod -n skywalking NAME READY STATUS RESTARTS AGE elasticsearch-6c4ccbf99f-ng6sk 1/1 …...

编程日记 2025/7/3 22:46:31

基于Docker的Elasticsearch ARM64架构镜像构建实践

一、前言 Elasticsearch(以下简称为ES) 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次…...

编程日记 2025/7/2 23:49:10

【Token系列】14｜Prompt不是文本，是token结构工程

文章目录 14｜Prompt不是文本，是token结构工程一、很多人写的是“自然语言”，模型读的是“token序列”二、Prompt写法会直接影响token结构密度三、token分布影响Attention矩阵的聚焦方式四、token数 ≠ 有效信息量五、Prompt结构设计建议&…...

编程日记 2025/7/3 22:46:27

在宝塔面板中安装OpenJDK-17的三种方法

title: 在宝塔面板中安装OpenJDK-17的三种方法 date: 2025-4-30 categories: 技术教程 tags: [Minecraft, 服务器搭建, 宝塔面板, Java] 如果你的宝塔面板软件商店中缺少 OpenJDK-17（例如搭建 Minecraft 1.17 服务器时），本文提供三种解决方…...

编程日记 2025/7/3 22:46:25

瑞昱点屏芯片RTD2785T带旋转功能

一、产品概述 RTD2785T是瑞昱半导体（Realtek）推出的新一代高性能显示驱动芯片，专为高端显示器、嵌入式系统、工业控制及专业影像设备设计。该芯片集成多接口输入（HDMI、DP、DVI、VGA）与多种输出接口（eDP、…...

编程日记 2025/7/3 22:46:23

蓝桥杯Python（B）省赛回忆

Q：为什么我要写这篇博客？ A：在蓝桥杯软件类竞赛（Python B组）的备赛过程中我在网上搜索关于蓝桥杯的资料，感谢你们提供的参赛经历，对我的备赛起到了整体调整的帮助，让我知道如何以更…...

编程日记 2025/7/3 22:46:21

自主采集高质量三维重建数据集指南：面向3DGS与NeRF的图像与视频拍摄技巧【2025最新版！！】

一、✨ 引言 随着三维重建技术的飞速发展，NeRF（Neural Radiance Fields）与 3D Gaussian Splatting（3DGS）等方法成为重建真实场景和物体几何细节的前沿方案。这些方法在大规模场景建模、机器人感知、文物数字化、工业检…...

编程日记 2025/7/3 14:19:00

为Mac用户定制的云服务器Vultr 保姆级教程

以下是专为 Mac 用户 定制的 Vultr 保姆级教程，涵盖从注册、部署服务器到常见问题解决的全流程指南，配合实际案例和故障排查，确保流畅使用。 一、Vultr 基础介绍 1.Vultr 是什么？ Vultr 是一家美国云计算服务商，提供…...

编程日记 2025/7/3 22:46:17

广州创科——湖北房县汪家河水库除险加固信息化工程

汪家河水库 汪家河水库位于湖北省房县，建于1971年，其地利可谓是天公之作，东西二山蜿蜒起伏，山峰相连，峰峰比高，无有尽头，东边陡峭，西边相对平坦，半山腰有一条乡村道路&am…...

编程日记 2025/7/3 22:46:15

LeetCode392_判断子序列

LeetCode392_判断子序列 标签：#双指针 #字符串 #动态规划Ⅰ. 题目Ⅱ. 示例 0. 个人方法官方题解一：双指针官方题解二：动态规划 标签：#双指针 #字符串 #动态规划 Ⅰ. 题目 给定字符串 s 和 t ，判断 s 是否为 t 的子序…...

编程日记 2025/7/3 22:46:12

力扣第447场周赛

这次终于赶上力扣的周赛了, 赛时成绩如下(依旧还是三题 )： 1. 统计被覆盖的建筑 给你一个正整数 n，表示一个 n x n 的城市，同时给定一个二维数组 buildings，其中 buildings[i] [x, y] 表示位于坐标 [x, y] 的一个 唯一 建筑。 如…...

编程日记 2025/7/3 22:46:10

kotlin中Triple的作用

在 Kotlin 里，Triple 是标准库提供的一个类，其作用是创建一个包含三个元素的不可变容器。以下是关于它的详细介绍： 基本作用 Triple 类让你能够把三个不同类型的值组合成一个单一对象，方便在函数间传递或者存储这三个相关的值。…...

编程日记 2025/7/3 22:46:08

jmeter读取CSV文件中文乱码的解决方案

原因分析​ CSV文件出现中文乱码通常是因为文件编码与JMeter读取编码不一致。常见场景： 文件保存为GBK/GB2312编码，但JMeter以UTF-8读取。文件包含BOM头（如Windows记事本保存的UTF-8），但JMeter未正确处理。脚本读取文…...

编程日记 2025/7/3 1:27:22

Mysql查询异常【Truncated incorrect INTEGER value】

文章目录 异常原因分析1、数据类型不一致2、数据长度超长3、数据格式要正确 处理方案模拟案例创建表数据查询 异常 在执行MySQL的语句时，在控制台报错如下所示。 Data truncation: Truncated incorrect INTEGER value 原因分析 1、数据类型不一致 必须要保证数据…...

编程日记 2025/7/3 22:46:04

vue+django农产品价格预测和推荐可视化系统[带知识图谱]

文章结尾部分有CSDN官方提供的学长 联系方式名片 文章结尾部分有CSDN官方提供的学长 联系方式名片 关注B站，有好处！ ✅编号：D010 vue django 前后端分离架构搭建的系统带有推荐算法、价格预测、可视化、知识图谱数据从爬虫获取可以更新到最…...

编程日记 2025/7/3 22:46:01

2025年天梯题解（L1-8 + L2）

L1-112 现代战争 题目 既然是从大到小轰炸&#xff0c;将所有点存储为三元组&#xff08;value, x, y&#xff09;。 排序之后, 记录行列被轰炸的编号&#xff0c;进行 k 次挑选即可。 #include <bits/stdc.h> using namespace std;constexpr int MAXN 1000; struct …...

编程日记 2025/7/3 22:45:58

AndroidStudio生成AAR

Android Studio 2024.3 版本。如何生成 AAR 文件呢&#xff1f; 操作步骤 1、菜单栏&#xff0c;找到 Build 2、清除项目 Clean Project 3、构建项目 Assemble Project生成 AAR 路径 在 我们构建 lib 库下面。 build/outputs/aar/ xxxx下面截图为证&#xff1a; 我的…...

编程日记 2025/7/3 22:45:56

Vue3 后台管理系统模板

Vue3 后台管理系统模板 gie仓库地址 一个基于 Vue3 TypeScript Element Plus 的后台管理系统模板&#xff0c;集成了动态路由和权限管理功能。 技术栈 Vue 3.2TypeScript 4.5Vue Router 4Vuex 4Element Plus 2.9AxiosLess 功能特性 &#x1f680; 基于 Vue3 最新技术栈开…...

编程日记 2025/7/3 22:45:54

RPG4.设置角色输入

这一篇是进行玩家移动和视角移动的介绍。 1.在玩家内进行移动覆写 virtual void SetupPlayerInputComponent(UInputComponent* PlayerInputComponent) override; 2.创建增强输入资产的变量创建 UPROPERTY(EditDefaultsOnly, BlueprintReadOnly, Category "CharacterD…...

编程日记 2025/7/3 22:45:51

生产模块-备货生产

特点 从狭义的角度来看&#xff0c;备货生产场景主要出现在产品定制化需求低&#xff0c;产品工艺流程稳定可以大批生产&#xff0c;市场行情可预测的企业。为了实现订单快速交付&#xff0c;缩短交货周期&#xff0c;企业往往会结合公司历史订单数据和当前市场情况安排提前生产…...

编程日记 2025/7/3 22:45:48

GRE隧道

1.在锐捷网络设备中&#xff0c;tunnel mode gre ip 和 tunnel mode gre multipoint 是两种不同的 GRE&#xff08;Generic Routing Encapsulation&#xff09;隧道模式&#xff0c;主要区别在于连接拓扑和使用场景&#xff1a; 1. tunnel mode gre ip&#xff08;点到点 GRE …...

编程日记 2025/7/3 22:45:39

ASP.NET MVC​ 入门与提高指南六

31. 事件驱动架构与 MVC 集成 31.1 事件驱动架构概念 事件驱动架构&#xff08;Event - Driven Architecture&#xff0c;EDA&#xff09;是一种软件设计模式&#xff0c;系统中的组件通过发布和订阅事件来进行通信。在这种架构中&#xff0c;当某个事件发生时&#xff0c;相…...

编程日记 2025/7/3 22:45:36

【MongoDB篇】MongoDB的文档操作！

目录 引言第一节&#xff1a;C - Create - 创建文档 (Insert) &#x1f476;➕第二节&#xff1a;R - Read - 读取文档 (Query) &#x1f4da;&#x1f440;第三节&#xff1a;U - Update - 更新文档 (Update) &#x1f504;✍️第四节&#xff1a;D - Delete - 删除文档 (Dele…...

编程日记 2025/7/3 22:45:34

详解具身智能机器人开源数据集：RoboMIND

一、RoboMIND基础信息 RoboMIND 发布时间&#xff1a;2024年12月 创建方&#xff1a;国家地方共建具身智能机器人创新中心与北京大学计算机学院联合创建。 所使用的机器人&#xff1a;单臂机器人&#xff08;Franka Emika Panda 、UR5e &#xff09;、双臂机器人&#xff08;…...

编程日记 2025/7/3 22:45:31

施磊老师rpc(一)

文章目录 mprpc项目**项目概述**&#xff1a;深入学习到什么**前置学习建议**&#xff1a;核心内容其他技术与工具**项目特点与要求**&#xff1a;**环境准备**&#xff1a; 技术栈集群和分布式理论单机聊天服务器案例分析集群聊天服务器分析分布式系统介绍多个模块的局限引入分…...

编程日记 2025/7/3 22:45:29

视觉问答大模型速递：Skywork-R1V2-38B

Skywork-R1V2-38B速读 一、模型概述 Skywork-R1V2-38B是一种最先进的开源多模态推理模型&#xff0c;在多项基准测试中表现卓越。它在MMMU测试中以73.6%的得分位居所有开源模型之首&#xff0c;在OlympiadBench测试中以62.6%的得分大幅领先于其他开源模型。此外&#xff0c;R…...

编程日记 2025/7/3 22:45:27