当前位置：首页 > news >正文

西湖大学：LLM零样本推理任务校准

news 来源：原创 2025/7/17 9:54:50

在这里插入图片描述

📖标题：Task Calibration: Calibrating Large Language Models on Inference Tasks
🌐来源：arXiv, 2410.18764

🌟摘要

🔸大型语言模型（LLM）在推理任务上表现出令人印象深刻的零样本性能。然而，LLM可能会受到输入文本和输出标签之间虚假相关性的影响，这限制了LLM纯粹基于一般语言理解进行推理的能力。换句话说，LLM可能主要基于前提或假设进行预测，而不是同时基于这两个组成部分。
🔸为了解决这一可能导致意外性能下降的问题，我们提出了任务校准（TC），这是一种受相互信息启发的零样本和推理校准方法，通过任务重新制定来恢复LLM性能。TC鼓励LLM基于前提和假设进行推理，同时减轻模型对单个前提或假设的过度依赖。
🔸实验结果表明，TC在零样本设置下对13个推理任务有了显著的改进。我们进一步验证了TC在少数镜头设置和各种自然语言理解任务中的有效性。进一步的分析表明，TC对提示模板也很稳健，并且有可能与其他校准方法集成。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在推理任务中过度依赖前提或假设进行预测从而产生偏差。
🔸主要贡献：论文基于互信息思想，提出了一种零样本且仅依赖推理的校准方法，能够减轻LLM在预测时对前提或假设的过度依赖，并在多个推理数据集上实现了最先进的性能。

🧲相关工作

🔸推理任务中的虚假相关性：标签和一些输入信号之间的虚假相关性，存在于问答、事实验证等任务，表明LLM存在潜在的偏好偏差。
🔸语言模型的校准：之前减轻虚假相关性的尝试包括使用残差拟合训练去偏模型或去偏训练集，还有上下文校准来抵消偏差。

📝重点思路

🔸主要思想：互信息衡量一个随机变量中包含另一个随机变量的信息量，对于特定任务，正确使用互信息可以揭示前提和假设的组合存在与标签相关的信息量。
🔸任务校准（TC）方法：引入两个额外的推理阶段，分别使用仅前提输入和仅假设输入来校准模型输出概率。具体来说，对于每个样本，模型首先计算前提和假设的单独预测概率，然后结合这两个概率进行校准，最终得到校准后的预测结果。
🔸域条件点互信息（DCPMI）：提出了一种新的度量方法，用于衡量输入文本与答案在特定域内的相关程度，从而在校准过程中考虑域的影响。
🔸实验设置：在多个指令调优模型（如Mistral-7B-Instruct-v0.3、Llama-2-7B-chat和Phi-3-mini-4k-instruct）上进行了实验，涵盖了17个文本分类数据集，包括自然语言推理、立场检测、释义等多个任务。

🔎分析总结

🔸任务校准的有效性：实验结果表明，任务校准方法在多个推理数据集上显著提高了模型的准确性，特别是在零样本设置下，TC能够准确预测61%原本被原始LLM错误分类的实例。
🔸对不同模板的鲁棒性：TC方法对不同的提示模板表现出较强的鲁棒性，即使在不同的模板下也能保持较高的性能。
🔸与其他校准方法的比较：通过与之前的校准方法（如BC、MI DC等）进行比较，TC在多个模型上均表现出更好的性能，特别是在减少模型对单个前提或假设的依赖方面。
🔸局限性分析：尽管TC方法在大多数情况下表现良好，但在某些罕见情况下仍可能失败，尤其是在前提和假设都提供准确预测时，TC无法纠正模型的错误预测。

💡个人观点

论文认为输入和输出受训练数据影响，会因为统计学的相关性而影响模型判断，因此需要通过互信息的思想来剔除这种相关性。

🧩附录