当前位置：首页 > news >正文

CLIPGaze: Zero-Shot Goal-Directed ScanpathPrediction Using CLIP

news 来源：原创 2025/9/19 0:00:20

摘要

目标导向的扫描路径预测旨在预测人们在搜索视觉场景中的目标时的视线移动路径。大多数现有的目标导向扫描路径预测方法在面对训练过程中未出现的目标类别时，泛化能力较差。此外，它们通常采用不同的预训练模型分别提取目标提示和图像的特征，导致两者之间存在较大的特征差异，使得后续的特征匹配和融合变得困难。

为了解决上述问题，我们提出了一种新颖的零样本目标导向扫描路径预测模型，命名为CLIPGaze。我们利用 CLIP 来提取目标提示和输入图像的预匹配特征，从而使特征融合更为顺畅。像 CLIP 这样的大模型还可以增强模型在未见目标类别上的泛化能力。

我们提出了一种分层的视觉-语义特征融合模块，以更全面地融合目标和图像的特征。此外，考虑到目标导向扫描路径数据集中的类别数量有限，我们引入了图像分割作为代理任务，以辅助训练特征融合模块，从而在零样本设置下显著提升模型性能。

大量实验结果表明，我们的方法在已见和未见目标类别上均表现出优异的效果。

关键词：扫描路径、零样本、CLIP

I. INTRODUCTION

扫描路径预测是一种预测人类注意力动态变化的过程。通过学习扫描路径预测模型，我们可以更好地理解人类注意力转移的机制，并为用户提供更具沉浸感的体验。目前，扫描路径预测已广泛应用于人们日常生活中的多个方面，如图像/视频质量评估 [1]–[3]、中心凹渲染 [4]–[6]、疾病监测 [7]–[9] 等。

与自由观看（free-viewing）方法 [10]–[21] 不同，目标导向的扫描路径预测是以任务为驱动、具有明确目的性的，如图 1 所示。近年来，目标导向扫描路径预测方法多基于视觉-语义匹配：它们首先对文本提示和视觉信息进行匹配与融合，然后在融合后的视觉-语义特征空间中探索视线搜索路径。

图1所示。目标导向扫描路径预测任务的说明。黄色点、红线和半径表示注视、扫视和持续时间。

然而，现有的视觉-语义匹配方法通常为目标提示和图像分别使用不同的预训练特征提取器 [22]、[23]，这导致两者提取的特征之间存在较大的差距，严重影响后续的特征匹配效果，并且常常依赖大量训练数据。此外，大多数现有的目标导向扫描路径预测模型的泛化能力较弱 [24]–[31]，这主要是因为该领域可用于训练的数据和目标类别非常有限（目前仅有 CoCoSearch18 数据集 [32]，且仅包含 18 个类别）。因此，这些模型往往只能在有大量训练数据的类别上表现良好，无法在零样本（zero-shot）场景下取得理想效果。

为了解决上述问题，我们提出了一种零样本目标导向扫描路径预测模型——CLIPGaze，该模型不仅可以为已见目标类别预测出准确的扫描路径，同时也能在训练过程中未出现的目标类别上取得良好效果。

我们借助大型视觉语言模型 CLIP [33] 来提取目标提示和图像的特征。CLIP 不仅能为目标提示和图像提取预匹配特征，还能够为未出现在训练集中的目标类别提供准确的语义特征表示，从而提升模型的泛化能力。

为了更全面地融合目标提示与图像信息，我们从输入图像中提取多层次特征，并设计了一种分层视觉-语义融合模型，从粗到细地融合目标提示与图像特征。

此外，为进一步提升模型在零样本场景下的泛化能力，我们引入图像分割作为代理任务，辅助训练特征融合模块。我们利用包含更多目标类别的大规模数据集 PhraseCut [34] 对分割分支进行预训练，这一策略显著提升了模型在未见类别上的性能。

最后，融合后的视觉-语义特征被输入到扫描路径解码器中，以预测最终的扫描路径。

总结来说，我们的贡献如下：

摘要

I. INTRODUCTION

相关文章：