当前位置：首页 > news >正文

【博士每天一篇文献-COIL算法】Co-transport for class-incremental learning

news 来源：原创 2025/7/13 0:46:48

1 介绍

年份：2021

会议：2021ACM

Zhou D W, Ye H J, Zhan D C. Co-transport for class-incremental learning[C]//Proceedings of the 29th ACM International Conference on Multimedia. 2021: 1645-1654.

本文提出的算法是CO-transport for class-Incremental Learning (COIL)，其核心原理是通过类间语义关系（通过语义映射，将旧类别的分类器映射到新类别的分类器的转换机制）进行跨增量任务的知识传递，关键步骤包括前瞻性传输（Prospective Transport）和回顾性传输（Retrospective Transport）。前瞻性传输（Prospective Transport, PT）的技术原理是利用最优传输算法找到旧类别和新类别之间的语义映射，以此映射初始化新类别的分类器，从而快速适应新任务并减少随机初始化的负面影响。回顾性传输（Retrospective Transport, RT）的技术原理是将新类别的分类器通过语义映射反向传输到旧类别，以此作为额外的正则化项来强化对旧类别的记忆，有效防止遗忘旧知识。

2 创新点

双阶段传输机制（Co-transport）：
- 提出了一种新的类增量学习框架COIL，该框架通过前瞻性传输（Prospective Transport）和回顾性传输（Retrospective Transport）两个阶段实现知识在新旧类别之间的传递。
前瞻性传输（Prospective Transport）：
- 面对新类别时，通过语义映射将旧类别的分类器传输到新类别，作为新类别分类器的初始化，快速适应新任务，减少随机初始化的负面影响。
回顾性传输（Retrospective Transport）：
- 为了克服遗忘现象，将新类别的分类器反向传输到旧类别，作为旧类别分类器的补充，增强模型对旧知识的保持。
语义映射（Semantic Mapping）：
- 利用最优传输（Optimal Transport, OT）技术来确定类别间的语义关系，并据此构建新旧类别之间的映射，指导分类器的合成。
跨任务的知识关联：
- 强调了在增量学习过程中，新旧类别之间存在强烈的相关性，并通过关联这些关系来促进不同学习阶段之间的相互帮助。
双向知识流：
- 与以往单向知识流的方法不同，COIL实现了知识在新旧类别之间的双向流动，提高了模型对新任务的适应性和对旧知识的保持能力。
实验验证：
- 在多个基准和真实世界的多媒体数据集上进行了广泛的实验，验证了所提方法的有效性，并与现有最先进的方法进行了比较，显示出优越的性能。

3 算法

3.1 算法原理

初始化模型：
- 在第一个任务中，使用传统的训练方法训练模型，包括特征提取器（如CNN）和线性分类器。
面对新任务时的前瞻性传输（Prospective Transport, PT）：
- 当新类别出现时，使用最优传输（Optimal Transport, OT）算法计算旧类别和新类别之间的语义映射T。
- 利用语义映射T将旧类别的分类器传输到新类别，作为新类别分类器的初始化。
训练数据的整合：
- 将新任务的数据与保存的旧类别样本（exemplars）合并，用于后续的训练。
训练过程：
- 在每个训练批次中，计算以下损失函数：
  - 交叉熵损失（Cross-Entropy Loss），用于优化当前任务的新类别。
  - 知识蒸馏损失（Knowledge Distillation Loss），用于保持对旧类别的记忆。
  - 前瞻性传输损失（Prospective Transport Loss），用于调整新类别的预测概率，使其接近传输后的模型预测。
回顾性传输（Retrospective Transport, RT）：
- 随着新类别的学习，使用OT算法计算新类别和旧类别之间的语义映射T。
- 利用语义映射T将新类别的分类器传输回旧类别，以防止遗忘旧类别。
总损失函数的优化：
- 将上述所有损失函数组合起来，形成总损失函数LCOIL。
- 使用随机梯度下降（SGD）或其他优化算法更新模型参数。
迭代训练：
- 重复步骤4和5，直到达到预设的训练周期。
模型评估：
- 在每个任务结束后，评估模型在所有已见过的类别上的性能，确保模型在新类别上表现良好，同时没有遗忘旧类别。
处理下一个任务：
- 当新的任务到来时，重复步骤2至8，继续增量学习过程。

3.2 算法步骤

黄色部分表示前瞻性传输，它负责将旧的分类器传输到新的分类器，作为新任务的初始化。蓝色部分表示回顾性传输，它负责将新分类器传输回旧分类器，以克服遗忘问题。

初始化模型：
- 在第一个任务中，使用传统的训练方法训练模型，包括特征提取器（如CNN）和线性分类器。
面对新任务时的前瞻性传输（Prospective Transport, PT）：
- 当新类别出现时，使用最优传输（Optimal Transport, OT）算法计算旧类别和新类别之间的语义映射T。
- 利用语义映射T将旧类别的分类器传输到新类别，作为新类别分类器的初始化。
训练数据的整合：
- 将新任务的数据与保存的旧类别样本（exemplars）合并，用于后续的训练。
训练过程：
- 在每个训练批次中，计算以下损失函数：
  - 交叉熵损失（Cross-Entropy Loss），用于优化当前任务的新类别。
  - 知识蒸馏损失（Knowledge Distillation Loss），用于保持对旧类别的记忆。
  - 前瞻性传输损失（Prospective Transport Loss），用于调整新类别的预测概率，使其接近传输后的模型预测。
回顾性传输（Retrospective Transport, RT）：
- 随着新类别的学习，使用OT算法计算新类别和旧类别之间的语义映射T。
- 利用语义映射T将新类别的分类器传输回旧类别，以防止遗忘旧类别。
总损失函数的优化：
- 将上述所有损失函数组合起来，形成总损失函数LCOIL。
- 使用随机梯度下降（SGD）或其他优化算法更新模型参数。
迭代训练：
- 重复步骤4和5，直到达到预设的训练周期。
模型评估：
- 在每个任务结束后，评估模型在所有已见过的类别上的性能，确保模型在新类别上表现良好，同时没有遗忘旧类别。
处理下一个任务：
- 当新的任务到来时，重复步骤2至8，继续增量学习过程。

4 思考

（1）什么叫语义映射T？

语义映射T在本文中指的是一种将旧类别的分类器映射到新类别的分类器的转换机制。这种映射基于类别之间的语义关系，即不同类别在特征空间中的相似性或相关性。具体来说，语义映射T是一个线性变换，它能够将一个类别集合上的分类器权重转移到另一个类别集合上，从而实现知识从旧类别到新类别的传递。

在COIL算法中，语义映射T的计算依赖于最优传输（Optimal Transport, OT）理论，其核心思想是找到两个概率分布（在这里是类别的分布）之间的最佳对应关系，使得从一个分布到另一个分布的“运输”成本最小化。这里的“运输”成本通常是指类别中心嵌入之间的距离，它反映了类别之间的相似度。

（2）最优传输（Optimal Transport, OT）算法计算旧类别和新类别之间的语义映射T的具体步骤

定义类中心嵌入（Class Center Embeddings）：
- 对于每个类别，计算其样本在特征空间中的中心嵌入。这是通过取该类别所有样本特征向量的平均值来实现的：
  $\mu_i = \frac{1}{|E_i|} \sum_{x \in E_i} \phi(x)$
  其中， $E_i$ 是类别 $i$ 的样本集合， $\phi(x)$ 是特征提取函数， $\mu_i$ 是类别 $i$ 的中心嵌入。
计算运输成本（Transportation Cost）：
- 使用类中心嵌入之间的欧几里得距离作为运输成本，即两个类别之间的距离越大，运输成本越高：
  $C_{ij} = \|\mu_i - \mu_j\|_2^2$
  其中， $C_{ij}$ 是类别 $i$ 和类别 $j$ 之间的运输成本。
设置优化问题（Optimization Problem）：
- 定义一个运输计划 $T$ ，它是一个矩阵，其元素 $T_{ij}$ 表示从类别 $i$ 运输到类别 $j$ 的概率。优化问题的目标是最小化总运输成本，同时满足运输的约束条件：

$\min_T \langle T, C \rangle$

$\text{s.t. } T1 = \alpha_1, \quad T^T1 = \alpha_2, \quad T \geq 0$

其中， $\alpha_1$ 和 $\alpha_2$ 分别是源和目标的边际分布，通常设置为均匀分布。

使用Sinkhorn算法求解（Sinkhorn Algorithm）：
- 利用Sinkhorn算法来求解上述优化问题。Sinkhorn算法是一种有效的算法，用于计算两个概率分布之间的熵正则化的OT问题。算法步骤如下：
  - 初始化运输矩阵 $T$ 。
  - 迭代更新 $T$ 的元素，直到收敛：
    * $T_{ij} \leftarrow T_{ij} \frac{\exp(-\lambda C_{ij})}{\sum_{k} T_{ik} \exp(-\lambda C_{kj})}$ 其中， $\lambda$ 是一个正则化参数，控制运输成本的影响。
获得语义映射（Semantic Mapping）：
- 通过Sinkhorn算法得到的运输矩阵 $T$ 就是旧类别和新类别之间的语义映射。这个映射捕获了类别之间的相似性，并用于指导分类器的传输。
应用语义映射（Apply Semantic Mapping）：
- 使用得到的语义映射 $T$ 来调整旧类别的分类器权重，生成新类别的初始分类器：

$\bar{W}_{\text{new}} = T \cdot W_{\text{old}}$

其中， $W_{\text{old}}$ 是旧类别的分类器权重， $\bar{W}_{\text{new}}$ 是新类别的初始分类器权重。

（3）特征空间中的语义关系

强调了在特征空间中提取类别之间的语义关系的重要性。这些语义关系可以帮助我们理解不同类别之间的相似性和差异性。