当前位置：首页 > news >正文

【论文阅读】Co2l: Contrastive continual learning

news 来源：原创 2025/7/5 9:06:12

原文链接：[2106.14413] Co$^2$L: Contrastive Continual Learning

阅读本文前，需要对持续学习的基本概念以及面临的问题有大致了解，可参考综述：

Wang L, Zhang X, Su H, et al. A comprehensive survey of continual learning: Theory, method and application[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024.

一、概述

该论文提出了一种名为 Co²L（对比持续学习） 的新方法，旨在解决持续学习中的灾难性遗忘问题。核心思想是通过对比学习（Contrastive Learning）和自监督蒸馏（Self-supervised Distillation）来持续学习和维护可迁移的表示。

1、对比学习

论文中提到了对比学习在持续学习中比传统的联合训练方法更能抵抗灾难性遗忘。要理解这句话，需要先弄懂对比学习和联合训练的策略分别是什么。

（1）对比学习：一种自监督学习方法，其核心思想是通过比较样本之间的相似性与差异性来学习数据的本质特征。核心机制是正负样本对的构建，一般对比学习中，会将一个数据样本的不同数据增强（旋转、缩放、颜色变换、剪切等）版本作为它的正样本，将不同数据样本作为负样本，学习过程中强制正样本之间的特征表达尽量接近，负样本尽量远离。在持续学习场景中，会将旧任务的样本全部视作负样本，以此让模型更好学习新任务的表达。

（2）联合训练：在本文所提到的持续学习场景下，所谓的联合训练实际就是传统的有监督学习，只是会在训练新任务时，回放一些旧任务的数据一并训练，以及采用正则化等手段来限制参数更新对旧任务的影响。

我们可以发现，对比学习通过数据增强，学习到的是更通用的特征，比如形状、纹理等，这些特征在不同任务间具有高度共享性，支持新任务的快速适应。而联合训练依赖特定监督标签，导致新任务学习时容易覆盖旧任务的敏感特征，引发遗忘。

这么说比较抽象，结合下图从损失函数的角度来分析更方便理解，对比学习目标是学习对数据变换不变的表示，可能通过数据增强和对比损失函数促进参数空间的平滑性，对应的损失函数比较平坦。而联合训练由于要同时优化多个任务的损失，可能导致不同任务之间的梯度方向冲突，容易形成尖锐的极小值。很显然，平坦的损失函数更有利于我们在参数空间寻找到一个平衡点，保证对新旧任务的整体影响最小，从而缓解灾难性遗忘问题。

经过上述分析，我们可以初步下结论，在持续学习中使用对比学习有利于抵抗灾难性遗忘问题。

但是传统对比学习在持续学习中存在一个问题，就是我们只保留少量的旧任务样本，这导致负样本的数量以及多样性不足，会影响对比学习效果。

2、知识蒸馏

知识蒸馏通常用于将“教师模型”的知识迁移到“学生模型”，传统蒸馏方式包括输出蒸馏，即让学生模型输出的概率分布尽量接近于教师模型，通过交叉熵损失实现：

还有特征蒸馏，即选择教师模型与学生模型的某一中间层，目标是最小化中间层的特征表示，通过L2损失或余弦相似度实现：

输出蒸馏依赖于输出概率分布，但是在持续学习中，往往只保留少量旧任务数据，导致模型难以准确复现旧任务的输出概率，所以输出蒸馏不适合持续学习。

特征蒸馏需要对中间层的特征进行对齐，但在持续学习中，随着新任务的训练，模型的结构是在不断调整的，中间层的特征空间也会改变，这就导致我们无法稳定的用旧任务的特征表示来对新任务的特征表示进行蒸馏，所以特征蒸馏也不适合持续学习。

二、贡献点

为了解决对比学习在持续学习中负样本不足的问题，提出了非对称监督对比损失（Asymmetric SupCon）的解决方案。

为了解决传统知识蒸馏方式在持续学习场景下不适用的问题，提出了一种实例关系蒸馏的自监督蒸馏方式。

三、方法

1、非对称监督对比损失（Asymmetric Supervised Contrastive Loss）

核心思想很简单，原本的对比学习会将旧任务和新任务的数据样本一视同仁，每个样本都有参与到正样本对和负样本对的构建，而本文提出，我们只用新任务的数据样本构建正样本对，所有的旧任务数据都只作为负样本。这样能让模型更专注于新任务，更好的学习到新旧任务的边界。

（举个例子，假设旧任务有“猫”、“狗”、“鱼”，新任务是“鸟”，如果是传统对比学习，我们就需要让模型同时学习到四个类别的特征，只不过前三个类别因为已经学习过，现在学起来更容易，但存在问题是前三个类别的样本数目很少，容易在前三个类别上出现过拟合。而新的思路是，我既然已经能识别出前三类，那我只需要学习“鸟”的特征，并保证“鸟”的特征与前三类特征尽量远离。）

损失函数形式如下，S表示当前任务的样本的集合，对于锚点样本i，p_i是正样本对的集合，z_i和z_p是锚点样本与正样本经过投影后的特征向量，两者的点积表示余弦相似度。k表示的是负样本，所以分母是锚点样本与所有负样本之间的相似度之和。

2、实例关系蒸馏（Instance-wise Relation Distillation, IRD）

目标是通过维护样本间的相似性结构来减少持续学习中的灾难性遗忘。IRD特点是IRD 不直接对齐单个样本的特征或分类结果，而是关注样本间的全局关系结构（如“猫”和“狗”应彼此接近，“猫”和“鸟”应远离），从而保留旧任务的特征空间结构。

（1）参考模型保存

在完成第 t−1个任务后，将模型的参数（包括编码器 $f_\vartheta$ 和投影头 $g_\phi$ ）保存为参考模型 $\psi ^{past} = (f_\vartheta , g_\phi )$ ，并冻结其参数。

（2）实例相似性向量计算

对于一个包含 2N 个增强样本的批次 B，每个样本 x~i 的实例相似性向量定义如下：

其中

（3）蒸馏损失函数

通过交叉熵损失对齐参考模型与当前模型的相似性分布：

四、实验结果

在各类增量学习基准中都取得明显提升

通过消融实验证明了非对称监督对比损失和实例关系蒸馏的有效性。

五、总结

本文通过改进后的对比学习强化了模型适应新任务的能力，同时，通过实例关系蒸馏，让模型能保留旧任务上的性能，缓解灾难性遗忘问题。

【论文阅读】Co2l: Contrastive continual learning

原文链接：[2106.14413] Co$^2$L: Contrastive Continual Learning 阅读本文前，需要对持续学习的基本概念以及面临的问题有大致了解，可参考综述： Wang L, Zhang X, Su H, et al. A comprehensive survey of continual learning: …...

编程日记 2025/7/5 9:06:12

Python给对象数组排序

文章目录 1. 使用sorted()函数（返回新的排序后的列表）2. 使用list.sort()方法（原地排序，不返回新列表）3. 如果数据结构是集合（set），集合本身是无序的，无法直接排序&#…...

编程日记 2025/7/5 9:05:16

Docker-清理容器空间prune

docker system prune -a 是一个非常有用的命令，用于清理 Docker 系统中未使用的资源，包括停止的容器、未使用的网络、卷以及未被任何容器引用的镜像（悬空镜像和所有未使用的镜像）。以下是关于该命令的详细说明： 命令…...

编程日记 2025/7/5 8:55:38

Kubernetes》》K8S》》Deployment 、Pod、Rs 、部署 nginx

Deployment deployment文档说明 kubectl get rs,deployment,pods 删除pod 、deployment 、service # 如果只删除pod，deployment会自动重建，所以应该先删除deployment。 # 下面演示的是删除所有deployment，可以指定只删除某个 # 删除所有…...

编程日记 2025/7/5 5:38:16

【Zookeeper搭建】Zookeeper分布式集群搭建完整指南

Zookeeper分布式集群搭建 （一）克隆前准备工作一、时钟同步步骤： 1、输入date命令可以查看当前系统时间，可以看到此时系统时间为PDT（部分机器或许为EST），并非中国标准时间。我们在中国地区…...

编程日记 2025/7/5 8:43:06

基于YOLO11/WVP的电梯系统开发-模型训练与rk3568移植

1. 环境准备代码下载： https://github.com/ultralytics/ultralytics.git切换到 8.3.0 以上的分支，yolov11 只在上述分支支持, 下载后在 ultralytics 根目录下安装 yolo 依赖环境： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn…...

编程日记 2025/7/5 8:26:17

[数据结构]并查集(系统整理版)

基础用法 int p[N];//路径压缩寻找祖宗节点 int find(int x){if(p[x]!x) p[x]find(p[x]);return p[x]; }int main(){ //初始化for(int i1;i<n;i) p[i]i; }合并 void merge(int a,int b){int aafind(a),bbfind(bb);if(aa!bb){p[aa]bb;} }查询是否联通 bool is_connected(…...

编程日记 2025/7/5 8:12:23

人工智能与软件工程结合的发展趋势

AI与软件工程的结合正在深刻改变软件开发的流程、工具和方法，其发展方向涵盖了从代码生成到系统维护的整个生命周期。以下是主要的发展方向和技术趋势： 1. 软件架构体系的重构从“面向过程”到“面向目标”的架构转型： AI驱动软件设计以目标…...

编程日记 2025/7/5 8:48:45

Compose 实践与探索十七 —— 多指手势与自定义触摸反馈

上一节我们讲了滑动的手势识别以及嵌套滑动，二者都属于触摸反馈这个大的范畴内的知识。本节我们将深入触摸反馈这个话题，讲一讲多指手势的识别与完全自定义的触摸反馈的实现。 1、多指手势多指手势可以分为两类： 利用 API 处理预设好的手…...

编程日记 2025/7/5 8:38:18

哈希表 - 两个数组的交集(集合、数组) - JS

一、Set基础在 JavaScript 中，Set 是一种集合（Collection）数据结构，用于存储唯一值（不允许重复），并且可以高效地进行添加、删除、查询等操作。它类似于数组（Array）…...

编程日记 2025/7/5 7:40:22

26_ajax

目录了解接口前后端交互一、安装服务器环境 nodejs ajax发起请求渲染响应结果 get方式传递参数 post方式传递参数封装ajax_上封装ajax下了解清楚前后端交互就可以写一些后端代码了。小项目现在写项目开发的时候都是前后端分离之前都没有前端这个东西&a…...

编程日记 2025/7/5 7:10:31

Java面试黄金宝典24

1. 什么是跳表定义跳表（Skip List）是一种随机化的数据结构，它基于有序链表发展而来，通过在每个节点中维护多个指向其他节点的指针，以多层链表的形式组织数据。其核心思想是在链表基础上增加额外层次，每…...

编程日记 2025/7/5 7:11:30

每日c/c++题备战蓝桥杯（全排列问题）

题目描述按照字典序输出自然数 1 到 n 所有不重复的排列，即 n 的全排列，要求所产生的任一数字序列中不允许出现重复的数字。输入格式一个整数 n。输出格式由 1∼n 组成的所有不重复的数字序列，每行一个序列。每个数字保留 5 个场…...

编程日记 2025/7/4 14:35:00

Layui实现table动态添加行，可删除、表格可编辑，小数校验

实现如图需求，layui实现的可编辑table，包含B、C、D、E列，A列不用实现出现，A列放在附件就是让你明白，不同的物料名称，行是不一样的。除了头部表头和E列不能编辑，每个表格都可编辑，其中…...

编程日记 2025/7/5 7:35:15

Spring Boot 非web应用程序

在 Spring Boot 框架中，要创建一个非Web应用程序（纯Java程序） main方法运行，不启动tomcat，main方法执行结束，程序就退出了； 方式一 1、SpringBoot开发纯Java程序，应该采…...

编程日记 2025/7/5 8:05:01

数据分析中的基线校正算法全解析：原理、实现与应用

数据分析中的基线校正算法全解析：原理、实现与应用在数据分析中，基线漂移是一个常见问题，会严重影响数据的解释和分析精度。本文将详细介绍12种主流基线校正方法，包括数学原理、Python实现代码和适用场景分析。基线漂移问题概述基线漂移主要由以下因素引起：仪器强度…...

编程日记 2025/6/30 12:20:23

国外计算机证书推荐（考证）（6 Sigma、AWS、APICS、IIA、Microsoft、Oracle、PMI、Red Hat）

文章目录证书推荐1. 六西格玛 (6 Sigma)2. 亚马逊网络服务 (AWS)3. 美国生产与库存控制学会 (APICS)4. 内部审计师协会 (IIA)5. 微软 (Microsoft)6. 甲骨文 (Oracle)7. 项目管理协会 (PMI)8. 红帽 (Red Hat) 证书推荐 1. 六西格玛 (6 Sigma) 介绍：六西格玛是一种…...

编程日记 2025/7/5 7:13:20

linux》》docker 、containerd 保存镜像、打包tar、加载tar镜像

Linux》》docker: 默认情况下，Docker镜像保存在/var/lib/docker/目录下。当您使用docker pull命令从Docker Hub或私有镜像仓库中拉取镜像时，Docker会自动将镜像文件保存在/var/lib/docker/image/目录下。每个镜像都由一个或多个层组成，这些…...

编程日记 2025/7/5 7:39:10

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1 从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1 联邦架构的深度实践2.2 生产环境容灾设计2.3 性能压测方法论三、MapReduce引擎内核解密3.1 Shuffle机制全链路优化3.2 资源调度革命：从MRv1到YARN3.3 企业级编码规…...

编程日记 2025/7/5 7:23:15

【数学建模】动态规划算法(Dynamic Programming，简称DP)详解与应用

动态规划算法详解与应用文章目录动态规划算法详解与应用引言动态规划的基本概念动态规划的设计步骤经典动态规划问题1. 斐波那契数列2. 背包问题3. 最长公共子序列(LCS) 动态规划的优化技巧动态规划的应用领域总结引言动态规划(Dynamic Programming，简称DP)是一…...

编程日记 2025/6/30 8:39:46

UE学习记录part11

第14节 breakable actors 147 destructible meshes a geometry collection is basically a set of static meshes that we get after we fracture a mesh. 几何体集合基本上是我们在断开网格后获得的一组静态网格。选中要破碎的网格物品，创建集合可以选择不同的…...

编程日记 2025/7/2 5:17:35

LeetCode知识点整理

1、Scanner 输入： import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner scanner new Scanner(System.in);// 读取整数int num scanner.nextInt();// 读取一行字符串String line scanner.nextLine();scanner.close();…...

编程日记 2025/7/3 8:56:40

浅析车规芯片软错误防护加固的重要性

随着汽车电子技术的飞速发展，汽车已经从传统的机械交通工具转变为高度依赖电子系统的智能移动终端。车规芯片作为汽车电子系统的核心部件，其可靠性和安全性直接关系到车辆的正常运行和驾乘人员的安全。然而，车规芯片在复杂的运行环境中面临着…...

编程日记 2025/7/4 1:30:29

Android Jetpack学习总结（源码级理解）

ViewModel 和 LiveData 是 Android Jetpack 组件库中的两个核心组件，它们能帮助开发者更有效地管理 UI 相关的数据，并且能够在配置变更（如屏幕旋转）时保存和恢复 UI 数据。 ViewModel作用瞬态数据丢失的恢复，比如横竖…...

编程日记 2025/7/5 8:58:22

Matlab_Simulink中导入CSV数据与仿真实现方法

前言在Simulink仿真中，常需将外部数据（如CSV文件或MATLAB工作空间变量）作为输入信号驱动模型。本文介绍如何高效导入CSV数据至MATLAB工作空间，并通过From Workspace模块实现数据到Simulink的精确传输，适用于运动控制…...

编程日记 2025/7/5 8:37:30

Go 语言规范学习（6）

文章目录 StatementsTerminating statementsEmpty statementsLabeled statementsExpression statementsSend statementsIncDec statementsAssignment statementsIf statementsSwitch statementsExpression switchesType switches For statementsFor statements with single con…...

编程日记 2025/7/3 21:24:14