当前位置：首页 > news >正文

基于归纳共形预测的大型视觉-语言模型中预测集的数据驱动校准

news 来源：原创 2025/6/21 11:59:34

摘要

本研究通过分离共形预测（SCP）框架，解决了大型视觉语言模型（LVLMs）在视觉问答（VQA）任务中幻觉缓解的关键挑战。虽然LVLMs在多模态推理方面表现出色，但它们的输出常常表现出具有高置信度的幻觉内容，从而在安全关键型应用中构成风险。我们提出了一种与模型无关的不确定性量化方法，该方法集成了动态阈值校准和跨模态一致性验证。通过将数据划分为校准集和测试集，该框架计算不一致性分数，以构建在用户定义的风险水平（α）下具有统计保证的预测集。主要创新包括：（1）严格控制边际覆盖率，以确保经验误差率严格低于α；（2）根据
α
动态调整预测集大小，过滤低置信度输出；（3）消除先验分布假设和重新训练要求。在具有八个LVLMs的基准（ScienceQA，MMMU）上的评估表明，SCP在所有
α
值上强制执行理论保证。该框架在不同的校准与测试分割比例下实现了稳定的性能，突显了其在医疗保健、自主系统和其他安全敏感领域中实际部署的稳健性。这项工作弥合了多模态人工智能系统中理论可靠性和实际适用性之间的差距，为幻觉检测和不确定性感知决策提供了可扩展的解决方案。

1 引言

随着多模态模型的快速发展，大型视觉-语言模型（LVLMs）已广泛应用于医疗保健和自动驾驶等关键领域 Kostumov et al. [2024], Zhang et al. [2024], Liu et al. [2023]。然而，对视觉-语言问答（VQA）任务的研究表明，与单模态语言模型相比，这些多模态系统更容易出现明显的幻觉现象 Rohrbach et al. [2018], Rawte et al. [2023]。尽管生成的回复通常看起来令人信服并表现出高度自信，但模型可能会产生不准确的输出。依赖于这种幻觉结果可能会引入决策偏差，甚至构成重大的安全风险。在这种背景下，开发高效且自动化的幻觉检测机制已成为确保多模态人工智能系统可靠性的核心挑战。此外，研究表明，在VQA任务中一起处理视觉和文本信息会增加产生幻觉的风险。这些问题突显了对自动化检测框架的需求，该框架能够适应多模态不确定性，而无需依赖先验知识。我们的方法集成了动态阈值校准和跨模态一致性验证，旨在为安全敏感型应用提供实时、稳健的可靠性。

先前的研究主要集中在量化模型输出，并为用户提供评估自然语言生成（NLG）可靠性的方法，如Liang et al. [2024], Li et al. [2023]。目前的不确定性量化方法，例如基于校准的技术和口头不确定性方法，旨在表明预测的可信度。然而，这些方法——通常本质上是启发式的——未能提供特定于任务的性能保证，从而限制了它们的实际适用性。例如，口头不确定性经常表现出过度自信，从而损害了其可靠性。虽然校准使概率与经验正确率保持一致，但它需要昂贵的重新训练，并且仍然容易受到分布偏移的影响。这些局限性突显了需要更稳健和更具通用性的框架，以确保NLG中可信的不确定性估计。

共形预测 (Conformal Prediction, CP) 是一种不确定性量化框架，其主要优势在于仅基于数据可交换性假设，为真实结果的覆盖率提供严格的统计保证 Romano et al. [2019], Cresswell et al. [2024], Ke [2025]。与依赖于启发式近似或复杂先验分布的方法相比，CP 是模型无关的、分布自由的且计算高效的，允许它直接应用于预训练系统，而无需重新训练。在这项工作中，我们采用分离共形预测 (Split Conformal Prediction, SCP) 方法，并将其扩展到封闭式视觉-VQA 任务中的多项选择场景。具体而言，首先使用 LVLM 生成目标数据集的候选答案集，然后，基于校准集样本的真实标签，设计一个非一致性分数 (Nonconformity Score, NS) 来量化模型输出的不确定性。通过计算校准集中 NS 的分位数，并结合用户指定的风险水平（表示为
δ
），最终在测试集上实现对边际覆盖率的严格控制。该方法不仅避免了传统方法固有的对分布假设的依赖，而且为多模态场景中可靠的决策提供了理论支持。

我们的实验采用MMMU和ScienceQA作为基准数据集，并评估了来自四个不同模型组的八个LVLM，包括LLaVA1.5、LLaVA-NeXT、Qwen2VL和InternVL2。大量的经验结果表明，我们的框架实现了对各种用户指定的风险水平（表示为
α
）下的错误覆盖率的严格控制。例如，在ScienceQA基准测试中，即使对误差概率有很高的容忍度（α ≥ 0.6），Qwen2-VL-7B-lnstruct模型也能将其经验误差率保持在α = 0.6以下。值得注意的是，随着
α
的增加，生成的答案集的平均预测大小有系统地收紧——这是减轻LVLM中幻觉的关键属性。这种
α
和预测集大小之间的反比关系确保了更高的风险容忍度会产生更紧凑的预测集，从而有效地过滤掉低置信度或虚假输出。此外，无论校准到测试数据的分割比例如何，平均经验误差率始终符合用户定义的风险水平。结合可控的预测集粒度，这种稳健性突显了该方法的双重能力：确保统计上有效的覆盖率，同时通过自适应集约束动态抑制幻觉响应。这种能力对于在安全至关重要的场景中部署LVLM至关重要，在这些场景中，可靠性和精确性都至关重要。

2 相关工作

大型视觉-语言模型。早期研究主要集中于从图像和文本输入生成文本响应。在这一基础上，后续研究显著扩展了LVLM的能力和应用领域。最近的进展进一步增强了细粒度解析能力，实现了对局部区域（例如，边界框或关键点）的精确控制，超越了整体图像理解。这些发展促进了LVLM在医疗诊断、具身机器人交互和自动驾驶等关键领域的广泛部署。然而，多模态交互的复杂性引入了新的挑战——例如，跨模态信息融合的不一致性可能会降低输出的可靠性。在医疗保健和自动系统等高风险场景中，不可靠的模型响应可能导致严重的安全隐患，突显了准确的幻觉检测的必要性。与依赖外部验证的传统方法不同，这项工作提出了量化LVLM的内在不确定性以识别幻觉，为构建安全可靠的人工智能协作系统奠定了新的理论基础。

大型语言模型中的幻觉现象。在自然语言处理中，幻觉指的是生成的内容看似合理，但偏离了源材料或事实准确性，其概念源于感知不存在的现实的心理学概念。Lin et al. [2023], Kuhn et al. [2023], Farquhar et al. [2024], Wang et al. [2025a]。这种现象主要表现为两种类型：内在幻觉（与源上下文直接矛盾）和外在幻觉（内容无法通过原始上下文或外部知识库验证）。对大型视觉-语言模型（LVLM）的研究表明，它们对以用户为中心的交互和指令对齐的强烈关注导致了事实扭曲，可分为事实幻觉（偏离可验证的事实）和忠实性幻觉（违反用户指令、上下文连贯性或逻辑一致性）。检测方法遵循两种途径。（1）基于外部模型的评估：这种方法采用先进的LVLM作为评分判别器来评估响应质量，但受到对合成注释的依赖性的限制。（2）基于离散规则的检查：基于离散规则的系统侧重于通过CHAIR、MME和POPE等基准进行对象幻觉（OH）评估。缓解策略采用对比解码（CD）和后处理技术：CD通过视觉区域比较、自我对比分析和偏好模型比较来解决感知偏差，但存在敏感性和过度简化的问题；后处理通过迭代提示优化响应，但面临计算开销和有限的任务适应性。该框架为系统地评估LVLM输出的可靠性提供了多维度的见解。

分离共形预测 (SCP)。SCP 展示了其作为大型视觉-语言模型 (LVLM) 的理论基础不确定性量化框架的独特优势。其核心机制利用可交换数据校准来生成预测集，该预测集具有覆盖真实答案的统计保证，适用于处理开放式自然语言生成任务的黑盒模型 Campos et al. [2024], Angelopoulos et al. [2023], Wang et al. [2024], Ye et al. [2024], Angelopoulos et al. [2024], Wang et al. [2025b,c]。与传统的不确定性框架不同，SCP 需要最少的假设，同时提供可验证的覆盖保证。该方法保持模型无关和分布自由，仅在可交换数据条件下运行。最近的扩展通过使用置信度阈值（例如，QA 任务中的候选答案过滤）或基于似然的生成序列停止规则，使 SCP 适应多模态场景，通过动态预测集构建。为了解决开放式生成中的局限性，高级实现部署了黑盒不确定性量化策略，该策略将不确定性指标与正确性标准严格联系起来，从而能够在不同的模型架构和数据复杂性中实现稳健的覆盖保证。尽管存在诸如非可交换数据适应和实时计算需求等挑战，但 SCP 的模型独立性、分布自由性质和偏差控制能力使其成为评估 LVLM 输出可靠性的理论严谨且实际可行的解决方案。

3 方法

我们的方法主要解决两个挑战。（1）如何识别模型输出中满足用户需求的响应分布。（2）如何严格证明所识别的输出分布满足模型的统计保证。我们首先开发了一种基于非一致性评分的不确定性量化方法，以建立模型生成响应的可靠性度量。此外，我们采用分裂共形预测（Split Conformal Prediction）来系统地将不确定性量化结果的启发式近似转换为统计上严格的结果。这种方法确保了预测集的稳健性和更强的统计保证，从而为模型的输出分布提供了理论上的保证。

3.1 预备知识

我们将Si = S(Xi, Yi)表示为第i个校准示例的不一致性得分。

3.2 方法

步骤1和步骤2通常被称为校准，而步骤3被称为预测。直观地说，预测集包括所有与样本对应的预测，这些样本的符合程度至少与校准集中足够大的一部分样本一样好。

3.3 理论保证

共形预测 (CP) 的覆盖保证源于其两个基本理论性质：无分布有效性和边际覆盖率。正如 Vovk 等人 (2005) 所证明的，由前一小节中定义的共形预测器生成的预测集满足以下覆盖保证：

4 评估

4.1 实验设置

基准测试。我们的实验采用了多项选择基准测试。对于多项选择数据集，我们采用了两个基准测试：MMMU 和 ScienceQA。具体来说，MMMU 包含来自大学水平的 1.15 万个多模态问题

考试、测验和教科书，涵盖六个核心学科：艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程。这些问题涵盖30个学科和183个子领域，涉及30种高度异构的图像类型。MMMU还提供了一个完整的测试集，包含150个开发样本和900个验证样本。对于ScienceQA，这些问题来源于IXL Learning管理的开放资源，IXL Learning是由K-12领域专家策划的在线教育平台。该数据集包含符合加州共同核心内容标准的问题，包含21,208个样本，分为训练集（12,726个）、验证集（4,241个）和测试集（4,241个）。

基础LVLM。在本实验中，我们评估了来自4个不同模型组的8个LVLM模型。具体而言，我们使用LLaVA-1.5、LLaVA-NeXT、Qwen2-VL和InternVL2对上述基准进行推理。LLaVA1.5通过一个两层MLP连接器将CLIP视觉编码器与大型语言模型（例如，Vicuna）对齐，采用两阶段训练策略（预训练和指令微调），并在视觉问答和OCR任务中表现出强大的性能。Qwen2-VL采用动态分辨率自适应，通过灵活的高分辨率图像分割来保留细粒度细节。InternVL2通过缩放视觉编码器（例如，InternViT-6B），应用具有像素重排的动态高分辨率处理以减少视觉tokens，并利用三阶段渐进对齐策略，从而增强了通用视觉语言能力。

4.2 经验误差率

4.3 预测集合大小

5 结论

我们提出了一种基于分裂共形预测的统计可靠性框架，以解决大型视觉-语言模型在视觉问答任务中的幻觉问题。通过采用动态阈值校准和跨模态一致性验证，我们将数据分为校准集和测试集，使用不一致性评分量化输出不确定性，并从校准集分位数构建预测集。在用户指定的风险水平α下，我们的方法严格控制真实答案的边际覆盖率。在多种多模态基准测试中，跨越不同的LVLM架构的实验表明，SCP满足所有α值的理论统计保证，并且预测集大小与α成反比调整，从而有效地过滤掉低置信度输出。我们的模型无关且计算效率高的框架无需先验分布假设或模型再训练，为安全关键场景中可靠的多模态评估提供了坚实的理论和实践支持。

摘要