当前位置：首页 > news >正文

突破封闭集限制：OvSGTR引领开放词汇场景图生成新纪元

news 来源：原创 2025/7/3 9:20:52

场景图生成（Scene Graph Generation, SGG），这个领域，旨在通过解析图像来构建描述性的结构化图表，不仅能够识别图片中的物体，还能捕捉它们之间的相互关系。

这种能力对于诸如图像字幕、视觉问答以及图像生成等众多下游任务至关重要。然而，传统的SGG方法往往受限于封闭集假设，即只能识别预先定义好的类别，这极大地限制了其在现实世界的广泛应用。

随着深度学习的发展，特别是开放词汇对象检测（Open Vocabulary Object Detection, OvD）的进步，研究人员开始探索如何让SGG模型突破这一局限，实现对未见过类别物体及其间关系的预测。

那我们这篇文章介绍的这个项目：

OvSGTR（Open-vocabulary Scene Graph Transformers），就是针对于这一场景应用的解决方案。

文章和项目链接：[2311.10988] Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention

方法简介

在这篇文章中，作者提出了四个不同的场景图生成的设定，分别是Closed-set SGG、OvD-SGG、OvR-SGG、OvD+R-SGG

封闭集SGG (Closed-set SGG)：这是最传统的SGG方式，所有参与训练和测试的对象类别及关系都是事先确定好的。这意味着模型只能识别那些它在训练阶段见过的东西。
基于开放词汇的对象检测SGG (OvD-SGG)：不同于封闭集SGG，这里允许模型去认识那些不在初始集合内的新物体。想象一下，如果你给一个孩子看了一些动物图片，并教会了他们辨认猫、狗等常见宠物；而当遇到从未见过的动物如长颈鹿时，通过描述性的语言提示，孩子仍然可以做出合理的猜测。
基于开放词汇的关系SGG (OvR-SGG)：如果说OvD-SGG是关于发现新的“名词”，那么OvR-SGG则更关注于捕捉新的“动词”或“形容词”。换句话说，它试图理解两个已知对象之间可能存在但未被记录过的新型关系。例如，在一张描绘人们跳舞的照片里，即使没有明确指出“拥抱”这个动作，系统也应该能够根据上下文推断出来。
基于开放词汇的对象+关系SGG (OvD+R-SGG)：最后一种设定综合了前两者的特点，既考虑到了可能出现的新物体，又兼顾了它们之间可能存在的新颖联系。这无疑是最具挑战性的任务，因为不仅要处理未知元素本身，还要理解这些元素如何相互作用形成新的意义单元。

在明确了场景图生成（SGG）的四种设定之后，我们接下来将深入了解OvSGTR（Open-vocabulary Scene Graph Transformers）的具体架构。

OvSGTR架构的核心组件

OvSGTR是一个旨在解决开放词汇SGG问题的端到端Transformer模型，它由几个关键组件构成。

下图是它一整个的PipeLine：

视觉编码器与文本编码器

首先，OvSGTR采用了两个冻结权重的基础网络作为输入处理单元——视觉编码器和文本编码器。其中，视觉编码器负责从图像中提取多尺度特征，通常使用像Swin Transformer这样的先进结构；而文本编码器则用来获取描述性语句中的信息，一般选择BERT等预训练语言模型。

之所以选择“冻结”这些基础网络，是因为它们已经在大规模数据集上进行了充分训练，直接利用其强大的表征能力可以减轻后续优化的压力。

当一个图像-文本对被输入到OvSGTR时，这两个编码器会分别输出对应的视觉特征向量和文本特征向量。

为了使两者能够有效融合，研究者们引入了变形编码器模块（deformable encoder），通过交叉注意力机制（cross-attention）增强了不同模态间的信息交流。这种设计不仅提高了模型对于复杂场景的理解力，同时也为后续的关系预测提供了更加丰富的上下文支持。

物体检测与关系识别

一旦获得了高质量的多模态特征表示，下一步就是进行具体的物体检测和关系识别任务。

在这方面，OvSGTR借鉴了DETR（Detecting Objects with Transformers）的思想，即采用一组可学习的对象查询（object queries）来定位并分类图像中的实体。

具体来说，给定K个对象查询后，模型会输出同样数量的隐藏特征向量，每个向量对应一个潜在的物体位置及其类别信息。值得注意的是，这里的类别预测并不是依赖于传统的全连接层实现，而是基于一种称为“视觉概念对齐”的策略来进行的。

对于关系识别部分，OvSGTR并没有沿用以往复杂的图神经网络或消息传递算法，而是提出了一种轻量级的关系头（relation head）。该头部通过简单地拼接主体（subject）、客体（object）以及关系查询的特征向量，并经过两层感知机变换，最终得到表示两者之间联系的边特征向量。这一简化的设计既保持了高效的计算性能，又保证了足够的表达能力，从而能够在不增加过多参数的情况下准确捕捉物体间的互动模式。

视觉概念对齐与知识蒸馏

为了让OvSGTR具备开放词汇的能力，即能识别从未见过的新物体及关系，研究人员特别强调了两个重要机制：“视觉概念对齐”和“视觉概念保留”。

点击突破封闭集限制：OvSGTR引领开放词汇场景图生成新纪元查看全文。

方法简介

OvSGTR架构的核心组件

视觉编码器与文本编码器

物体检测与关系识别

视觉概念对齐与知识蒸馏

相关文章：