当前位置：首页 > news >正文

Video Transformer Network

news 来源：原创 2025/7/6 23:41:27

摘要

Abstract

VTN

背景

模型框架

视频特征提取

时空位置编码

Transformer编码器

任务特定头

关键创新

实验

代码

总结

摘要

Video Transformer Network 是基于Transformer架构改进的视频理解模型，旨在解决传统3D卷积神经网络在长距离依赖建模和计算效率方面的不足。通过引入自注意力机制，VTN能够有效捕捉视频序列中的全局时空依赖关系，同时显著提升计算效率。该模型采用视频特征提取、时空位置编码、Transformer编码器和任务特定头的框架，在视频分类、动作识别等任务上取得了SOTA的性能，成为视频理解领域的重要进展。

Abstract

The Video Transformer Network is an improved video understanding model based on the Transformer architecture, designed to address the limitations of traditional 3D convolutional neural networks in modeling long-range dependencies and computational efficiency. By incorporating the self-attention mechanism, VTN effectively captures global spatiotemporal dependencies in video sequences while significantly enhancing computational efficiency. The model employs a framework consisting of video feature extraction, spatiotemporal positional encoding, Transformer encoders, and task-specific heads, achieving state-of-the-art performance in tasks such as video classification and action recognition, marking a significant advancement in the field of video understanding.

VTN

论文链接：[2102.00719] Video Transformer Network

项目地址：SlowFast/projects/vtn/README.md at master · bomri/SlowFast · GitHub

背景

传统视频理解模型依赖于卷积操作来提取时空特征，但存在以下问题：

长距离依赖建模困难：3D卷积核的局部感受野限制了模型捕捉视频中远距离时空关系的能力；
计算效率低：3D卷积操作计算复杂度高，难以处理长视频序列；
缺乏全局上下文信息：卷积操作难以建模视频中全局的时空依赖关系。

VTN通过引入Transformer架构，利用其自注意力机制解决了上述问题，能够高效地建模视频中的全局时空依赖关系。

模型框架

视频特征提取

视频特征提取是VTN的第一步，目的是将原始视频数据转换为适合Transformer处理的特征表示。

(1) 输入预处理

输入视频被分割为多个片段。例如，一段视频可以被均匀采样为 T 个片段，每个片段包含若干帧（frame），每个片段被送入预训练的CNN中提取视觉特征。

假设有一个视频数据集，每个视频被分割为 16 帧，每帧是 224x224 的 RGB 图像，使用批大小为 4 进行训练。

输入形状：(batch_size, seq_len, C, H, W) = (4, 16, 3, 224, 224)。

(2) 特征提取

2D CNN：如果使用2D CNN，模型会逐帧提取空间特征，然后将这些特征在时间维度上堆叠，形成时空特征。

3D CNN：如果使用3D CNN，模型直接提取时空特征，同时捕捉空间和时间信息。

提取的特征通常是一个三维张量，形状为 T×H×W×C ，其中：

T 是时间维度，即片段或帧的数量
H×W 是空间维度，即特征图的高度和宽度
C 是通道数，即特征的维度

(3) 特征降维

为了减少计算量，通常会对提取的特征进行降维。例如，通过全局平均池化将空间维度 H×W 压缩为1，得到形状为 T×C 的特征序列。

使用预训练的 ResNet-50 提取每帧的特征：

输入：每帧的形状为 (4, 3, 224, 224)
ResNet-50 输出：每帧的特征维度为 2048
输出形状：(4, 16, 2048)

时空位置编码

由于Transformer本身不具备对输入序列的顺序感知能力，VTN引入了时空位置编码来保留视频序列的时间顺序和空间位置信息，类属于ViT中的位置编码。

(1) 时间位置编码

时间位置编码用于表示视频片段或帧在时间轴上的位置，通常使用正弦和余弦函数生成时间位置编码，公式如下：

$PE_{(t,2i)}=sin(\frac{t}{10000^{2i/C}}),PE_{(t,2i+1)}=cos(\frac{t}{10000^{2i/C}})$

t 是时间位置、i 是维度索引、C 是特征维度

(2) 空间位置编码

空间位置编码用于表示帧内不同区域的空间位置，使用类似时间位置编码的方法生成空间位置编码，或者使用可学习的参数。

(3) 位置编码与特征融合

将时间位置编码和空间位置编码与视频特征相加，形成最终的输入特征。

为每帧添加时间和空间位置编码：

时间位置编码：使用正弦和余弦函数生成，形状为 (1,16,2048)
空间位置编码：使用类似方法生成，形状为 (1,16,2048)
输出形状：(4,16,2048)

Transformer编码器

Transformer编码器是VTN的核心模块，用于建模视频序列中的全局时空依赖关系。

(1) 自注意力机制

自注意力机制通过计算视频序列中任意两个位置之间的注意力权重，捕捉长距离依赖关系。具体来说，对于输入特征 $X\in \mathbb{R}^{T\times C}$ ，自注意力机制计算查询 Q 、键 K 和值 V ：

$Q=XW_{Q}$ ， $K=XW_{K}$ ， $V=XW_{V}$

$W_{Q}$ 、 $W_{K}$ 、 $W_{V}$ 是可学习的权重矩阵。

注意力权重通过点积计算：

$Attention(Q,K,V)=Softmax(\frac{QK^{T}}{\sqrt{C}})V$

(2) 多头注意力

为了增强模型的表达能力，VTN使用多头注意力机制。将查询、键和值分别投影到多个子空间，并在每个子空间中独立计算注意力。多头注意力的输出通过拼接和线性变换得到最终结果。

(3) 前馈神经网络

在自注意力机制之后，VTN使用一个前馈神经网络对注意力输出进行非线性变换。FFN通常由两个全连接层和一个激活函数组成。

(4) 残差连接和层归一化

在每个子层之后，VTN使用残差连接和层归一化来加速训练并提升模型稳定性。

使用 6 层 Transformer 编码器建模全局时空依赖关系：

输入形状：(4, 16, 2048)
Transformer 编码器输出形状：(4, 16, 2048)

任务特定头

根据具体任务，VTN设计不同的输出头来生成最终结果。

(1) 视频分类

使用全局平均池化将Transformer编码器的输出压缩为一个固定长度的特征向量，再通过一个全连接层和Softmax函数输出类别概率。

(2) 动作识别

结合时间信息，使用时间池化或LSTM等模块进一步处理Transformer编码器的输出，再通过全连接层输出动作类别。

对序列维度进行平均池化，得到固定长度的特征向量：

输入形状：(4, 16, 2048)
输出形状：(4, 2048)

通过全连接层将特征向量映射到类别空间：

输入形状：(4, 2048)
全连接层输出形状：(4, num_classes)，假设 num_classes = 10

(3) 视频描述生成

使用Transformer解码器生成文本描述。解码器通过自注意力和编码器--解码器注意力机制，逐步生成描述文本。

关键创新

自注意力机制：通过全局建模能力，解决了传统卷积操作在长距离依赖建模上的局限性；

高效计算：避免了重复的卷积操作，利用并行计算加速训练和推理；

灵活性：可处理不同长度的视频序列，适应多种视频理解任务。

实验

VTN 在 Kinetics-400 验证集上使用不同主干网络的性能对比，如下图所示：

模型中不同注意力层数对性能影响的对比分析，如下图所示：

关于位置编码方法在视频理解任务中的影响评估，特别是针对是否对输入帧进行打乱的实验结果和分析，如下图所示：

代码

import torch
import torch.nn as nn
import torchvision.models as models
from torch.nn import TransformerEncoder, TransformerEncoderLayerclass SpatiotemporalPositionalEncoding(nn.Module):"""时空位置编码模块"""def __init__(self, d_model, max_len=1000):super(SpatiotemporalPositionalEncoding, self).__init__()self.d_model = d_modelself.max_len = max_len# 时间位置编码self.time_pe = nn.Parameter(torch.zeros(1, max_len, d_model))# 空间位置编码self.space_pe = nn.Parameter(torch.zeros(1, max_len, d_model))self._init_pe()def _init_pe(self):# 使用正弦和余弦函数初始化位置编码position = torch.arange(self.max_len).unsqueeze(1)div_term = torch.exp(torch.arange(0, self.d_model, 2) * (-torch.log(torch.tensor(10000.0)) / self.d_model))pe = torch.zeros(1, self.max_len, self.d_model)pe[0, :, 0::2] = torch.sin(position * div_term)pe[0, :, 1::2] = torch.cos(position * div_term)self.time_pe.data = peself.space_pe.data = pedef forward(self, x):"""x: (batch_size, seq_len, d_model)"""batch_size, seq_len, _ = x.size()# 添加时间位置编码x = x + self.time_pe[:, :seq_len, :]# 添加空间位置编码x = x + self.space_pe[:, :seq_len, :]return xclass VideoTransformerNetwork(nn.Module):"""Video Transformer Network (VTN) 模型"""def __init__(self, num_classes, d_model=512, nhead=8, num_layers=6, dim_feedforward=2048, dropout=0.1):super(VideoTransformerNetwork, self).__init__()self.d_model = d_model# 视频特征提取（使用预训练的ResNet）self.feature_extractor = models.resnet50(pretrained=True)self.feature_extractor.fc = nn.Linear(self.feature_extractor.fc.in_features, d_model)# 时空位置编码self.positional_encoding = SpatiotemporalPositionalEncoding(d_model)# Transformer编码器encoder_layer = TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout)self.transformer_encoder = TransformerEncoder(encoder_layer, num_layers)# 动作识别任务头self.classifier = nn.Sequential(nn.Linear(d_model, d_model // 2),nn.ReLU(),nn.Linear(d_model // 2, num_classes))def forward(self, x):"""x: (batch_size, seq_len, C, H, W)"""batch_size, seq_len, C, H, W = x.size()# 提取帧特征x = x.view(batch_size * seq_len, C, H, W)x = self.feature_extractor(x)  # (batch_size * seq_len, d_model)x = x.view(batch_size, seq_len, -1)  # (batch_size, seq_len, d_model)# 添加时空位置编码x = self.positional_encoding(x)# Transformer编码器x = x.permute(1, 0, 2)  # (seq_len, batch_size, d_model)x = self.transformer_encoder(x)  # (seq_len, batch_size, d_model)x = x.permute(1, 0, 2)  # (batch_size, seq_len, d_model)# 全局平均池化x = x.mean(dim=1)  # (batch_size, d_model)# 动作识别任务头x = self.classifier(x)  # (batch_size, num_classes)return xif __name__ == "__main__":# 输入数据：batch_size=4, seq_len=16, C=3, H=224, W=224input_data = torch.randn(4, 16, 3, 224, 224)# 初始化模型model = VideoTransformerNetwork(num_classes=10)  # 假设有10个动作类别# 前向传播output = model(input_data)print(output.shape)  # 输出形状：(4, 10)

代码说明

视频特征提取：使用预训练的ResNet-50提取帧特征，并将全连接层替换为输出维度为 d_model 的线性层。输入视频被分割为 seq_len 个帧，每个帧通过ResNet提取特征；
时空位置编码：使用正弦和余弦函数生成时间和空间位置编码，并将其添加到视频特征中；
Transformer编码器：使用多层Transformer编码器建模视频序列中的全局时空依赖关系；
动作识别任务头：通过全局平均池化和全连接层输出动作类别。

示例输入输出
输入：(batch_size, seq_len, C, H, W)，例如 (4, 16, 3, 224, 224)；

输出：(batch_size, num_classes)，例如 (4, 10)。

效果展示：

总结

Video Transformer Network 通过引入 Transformer 架构，解决了传统视频理解模型在长距离依赖建模和计算效率方面的局限性，利用自注意力机制捕捉视频中的全局时空依赖关系，显著提升了视频分类、动作识别等任务的性能。VTN 的成功不仅为视频理解领域提供了一种强大的建模工具，还为未来研究提供了重要启发，包括多模态融合、高效计算、无监督学习以及模型轻量化等方向。其优异的性能和灵活性标志着视频理解领域的一个重要进展，为后续研究奠定了坚实基础。

摘要

Abstract

VTN

背景

模型框架

视频特征提取

时空位置编码

Transformer编码器

任务特定头

关键创新

实验

代码

总结

相关文章：