当前位置：首页 > news >正文

论文阅读：2024-arxiv How to Steer LLM Latents for Hallucination Detection?

news 来源：原创 2025/9/17 2:21:38

总目录大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

How to Steer LLM Latents for Hallucination Detection?

https://arxiv.org/pdf/2503.01917

https://www.doubao.com/chat/2818934852496130

其它资料：
https://blog.csdn.net/weixin_40240616/article/details/146155278

速览

这篇论文中作者主要做了一项针对大语言模型（LLMs）幻觉检测的研究工作，旨在解决大语言模型在生成内容时出现的幻觉问题。

研究背景：大语言模型虽然在自然语言处理方面表现出色，但会生成看似合理实则错误或无依据的内容，即“幻觉”。比如在回答历史事件问题时，可能会编造不存在的细节。这会降低用户信任，在医疗、金融等关键领域应用时还可能造成严重后果。以往利用大语言模型潜在空间检测幻觉的方法，因模型嵌入侧重于语言连贯性而非事实准确性，难以清晰区分真实和幻觉内容。
提出方法：作者提出了真实性分离向量（TSV），这是一种轻量级且灵活的导向向量。它在大语言模型推理时，调整模型的内部表示空间，增强真实输出和幻觉输出之间的区分度，同时不改变模型参数。可以把TSV想象成一个“小助手”，在模型生成内容时，帮助模型更好地区分真实和虚假信息。
训练框架：采用两阶段训练框架来学习TSV。
- 第一阶段：用少量有标签的示例数据训练TSV。这些示例就像学习的“小抄”，引导TSV的嵌入围绕代表真实和幻觉生成的类别原型，形成紧凑的聚类，让模型初步学会区分真实和幻觉。
- 第二阶段：利用未标记的大语言模型生成内容扩充训练数据。通过基于最优传输的算法给这些未标记样本分配伪标签，再结合基于置信度的过滤过程，筛选出可靠的样本。比如，从大量未标记数据中，挑选出模型预测比较确定的部分，加入到训练数据中，让模型学习到更多样的真实和幻觉情况。
实验验证：在多个数据集和不同的开源大语言模型上进行实验，如TruthfulQA、TriviaQA、SciQ、NQ Open等数据集，以及LLaMA-3.1系列和Qwen-2.5系列模型。将TSV方法与11种基线方法对比，结果显示TSV性能卓越。在TruthfulQA基准测试中，相比最先进方法，幻觉检测准确率（AUROC）显著提高12.8% ，使用仅32个有标签示例时，性能与完全监督的上限相当。此外，TSV在不同模型和数据集上泛化能力强，计算效率高，所需训练参数少。
研究结论：TSV通过重塑潜在空间，在极少人工标注和低成本计算的情况下，有效提升了幻觉检测性能，为提高大语言模型在现实应用中的可靠性提供了实用方案，推动了幻觉检测领域的发展，为后续研究奠定了基础。

Abstract（摘要）

大语言模型（LLMs）在现实世界应用中的安全部署，深受幻觉问题的困扰。近期，有研究尝试借助大语言模型的潜在空间来检测幻觉，然而，这些模型的嵌入主要针对语言连贯性进行优化，而非事实准确性，这就导致它们常常难以清晰区分真实内容与幻觉内容。例如，模型生成一段描述历史事件的文本，语句通顺流畅，但其中关于事件发生的时间、地点等关键事实可能存在错误。

为解决这一问题，本文提出了真实性分离向量（TSV）。这是一种轻量级且灵活的导向向量，在推理过程中，它能够重塑大语言模型的表示空间，从而增强真实输出与幻觉输出之间的区分度，并且不会改变模型的参数。就好比给模型的“思考方向”提供一个辅助引导，让它能更好地区分真实和幻觉，又不改变其原本的“核心思想”。

本文采用两阶段框架。第一阶段，在一小部分有标签的示例数据上训练TSV，使得数据形成紧凑且分离度良好的聚类，这些聚类分别代表真实和幻觉生成。第二阶段，利用未标记的大语言模型生成内容来扩充示例集，通过基于最优传输的算法进行伪标记，并结合基于置信度的过滤过程。简单来说，就是利用未标记的数据，通过特定算法给它们“猜”一个标签，再筛选出可靠的部分用于训练。大量实验表明，TSV在使用极少标记数据的情况下，仍能达到领先的性能水平，在不同数据集上展现出强大的泛化能力，为现实世界中的大语言模型应用提供了切实可行的解决方案。

1 Introduction（引言）

大语言模型在自然语言理解和生成方面表现出了惊人的能力，比如可以流畅地回答各种知识问题、创作故事等，展现出作为通用任务解决工具的潜力。不过，它存在一个严重问题，即会产生幻觉输出。这些输出看似合理，但在事实上并不准确或缺乏依据。例如，在医疗咨询场景中，大语言模型可能会给出错误的疾病诊断和治疗建议；在法律咨询中，可能会提供错误的法律条文解读。这种幻觉会严重损害用户对模型的信任，在高风险应用场景中甚至可能导致有害后果。所以，一个可靠的大语言模型，不仅要生成与用户提问相符的文本，还得具备检测幻觉并及时提醒用户的能力。

近期有不少研究试图利用大语言模型的潜在空间来识别幻觉，通常是借助现成大语言模型的嵌入，将输出划分为真实或幻觉。但预训练的大语言模型主要是通过预测下一个词的目标来优化语言连贯性的，更注重文本的流畅度和语法正确性，而非事实的准确性。就像模型生成一篇旅游攻略，文字读起来很通顺，但其中关于景点的开放时间、门票价格等实际信息可能是错误的。正因如此，模型的内部表示虽然在一般文本生成中很有效，但在区分真实和幻觉内容时往往力不从心，图1a展示了实际例子，其中预训练模型的嵌入使得真实和幻觉数据的表示存在大量重叠。
在这里插入图片描述

基于此，本文提出学习一种轻量级向量——真实性分离向量（TSV）。从图1b可以看到，在推理时引入这个可学习向量，它能够调整大语言模型的内部表示，增强真实和幻觉生成之间的区分度，且不会修改模型参数。TSV专注于重塑潜在空间，以对幻觉响应进行分类，这与减轻幻觉生成的目标有着本质区别。据作者所知，这是首次对导向表示用于幻觉检测的探索。

学习TSV很有意义，但面临一个难题，即缺乏大规模人工标注的、带有大语言模型生成内容真实性注释的数据集，创建这样的数据集既费钱又耗时。为解决这一问题，本文提出两阶段训练框架。第一阶段，使用一小部分有标签的数据作为示例集，引导学习过程。此阶段的目标是让导向嵌入围绕代表真实和幻觉生成的类别原型，形成紧凑的聚类，就像把相似的数据“聚集”到一起。第二阶段，利用未标记的大语言模型生成内容来扩充训练数据，这些数据可通过用户与已部署的大语言模型系统的查询和交互免费获得。为给这些未标记样本分配伪标签，本文提出基于最优传输的算法，该算法通过最小化传输成本，在考虑类别比例不平衡的情况下，将未标记数据嵌入与类别原型对齐。此外，还使用基于置信度的样本选择，仅将最可靠的伪标记样本纳入训练过程。通过这两个阶段，TSV能有效分离真实和幻觉表示，同时显著减少对人工标注的依赖。

大量实验表明，该方法在各种数据集上表现出色。在具有挑战性的TruthfulQA基准测试中，本文方法在幻觉检测准确率（AUROC）上，相比最先进方法有显著提升，提高了12.8%。值得注意的是，本文方法在仅使用32个有标签示例的小样本集时，性能与完全监督的上限相当（如在TruthfulQA上分别为84.2%和85.5%）。TSV还展现出强大的泛化能力，在应用于未见过的数据集时，仍能保持具有竞争力的性能。

2 Related Works（相关工作）

幻觉检测已成为大语言模型研究中的一个关键领域，主要是为了解决大语言模型在现实应用中的安全问题。目前有很多研究致力于通过设计不确定性评分函数来检测幻觉。例如，基于对数几率（logit）的方法，会利用每个单词（token）层面的概率作为不确定性分数，来判断生成内容的可靠性；言语化方法则是引导大语言模型用人类语言表达自身的不确定性；基于一致性的方法，通过评估多个回答之间的一致性来判断不确定性，比如多次询问模型同一个问题，看答案是否一致。最近，基于内部状态的方法开始利用模型的隐藏激活，像采用对比一致搜索、识别幻觉子空间等技术。但这些方法大多依赖默认的大语言模型嵌入，而这些嵌入本身并不能很好地将真实数据和幻觉数据区分开来。与之不同的是，本文方法旨在通过一个可学习的导向向量来塑造潜在空间，以更好地分离这两种类型的数据。

另一方面，有监督的方法依赖标记数据来训练分类器，认为预训练的大语言模型在其内部状态中编码了响应的真实性。但这种方法需要大量的标注工作，成本很高。相比之下，本文方法在极少人工监督的情况下就能进行幻觉检测，在实际应用中更具可行性。

激活工程能够在推理过程中控制大语言模型的生成，通过将特定任务的导向向量应用到模型的内部表示中。例如，一些研究通过分析对比样本对之间的激活差异，找到真实方向，然后沿着这个方向移动激活来减轻幻觉。同时，也有表示微调方法，对隐藏表示的线性子空间或注意力头的稀疏子集进行特定任务的学习干预。本文方法在关键方面有所不同：一是专门学习一个用于幻觉检测的导向向量，重点在于分离表示，而非减轻幻觉生成；二是之前的方法依赖大量标记数据集，而本文方法在极少人工监督下就能取得很好的性能。

6. Conclusion（结论）

在这项研究中，本文通过引入真实性分离向量（TSV）来应对大语言模型中的幻觉检测挑战。TSV是一种轻量级且模块化的方法，它在推理过程中重塑潜在空间，增强真实输出和幻觉输出之间的区分度，同时不会改变模型参数。通过结合一小部分有标签示例集和未标记的大语言模型生成内容的两阶段训练框架，TSV在最小化对人工标注和计算成本依赖的同时，取得了卓越的性能。实验证明了TSV的有效性，在不同数据集上达到了领先的准确率，并展现出强大的泛化能力。这项工作不仅推动了幻觉检测领域的发展，还为提高大语言模型在现实应用中的可靠性，提供了可扩展且实用的解决方案，为后续研究奠定了基础。

速览

Abstract（摘要）

1 Introduction（引言）

2 Related Works（相关工作）

6. Conclusion（结论）

相关文章：