当前位置：首页 > news >正文

文本图像多模态基础-clip的细节解读

news 来源：原创 2025/5/25 13:44:34

一、我写的目的

二、原文出处

三、方法和benchmark

3.1 方法原理

3.2 值得注意的代码细节

实际的损失函数计算：

evaluation的计算：

backbone的类型：

3.3 benchamrk

推理时的细节-benchmark比较：

经典benchmark对比

zero-shot和有监督的分类器的对比

对分类的鲁棒性

性能天梯图

四、具体应用和遇到的问题

4.1 clip的训练的问题

4.2 测试和部署的问题

4.3 数据质量的问题

一、我写的目的

很久没有写东西了，被工作打得无力他顾，想散散心写写心得
收一收这个基础工作我的理解，再回过头看这篇文章真的太伟大了，细节太多了
想将自己的工作逐渐来总结一下，一篇一篇的沉淀下来
真的要学习clip的作者的思路和实验，这些才是核心竞争力

二、原文出处

paper：https://arxiv.org/pdf/2103.00020
code：
1. openai-clip：https://github.com/openai/CLIP
2. open-clip：https://github.com/mlfoundations/open_clip
3. meta-clip：https://github.com/facebookresearch/MetaCLIP
4. 还有其他clip的开源+改进，具体可以看open-clip的code里面clip性能天梯表

三、方法和benchmark

3.1 方法原理

具体框架应该社区文档都讲过，如上图所示：

训练时：
1. 同时使用视觉encoder和文本encoder对input进行特征提取，则将图像和文本拉到同一特征空间；
2. 然后对上述两两特征之间做对比学习，使得相似的文本和图像对靠近（对角线），不相似的图像-文本对则彼此拉远；
3. 对比学习细节：对文本模态和视觉模态的特征做余弦相似度计算，code的具体实现是对对角线上的特征做内积，特征越相似则向量内积越大
推理时：
1. clip其实算是一个zero-shot的分类器，如上图所示，假如是“cat”，实际上输入最好是使用 “a photo of a cat”自动补齐后对文本进行编码；
2. 接着同样是对图像和文本提取embedding，然后对不同label进行内积计算，结合训练过程可以简单推导，内积最大的自然就是最可靠的标签
3. 注意了，这里对新手很容易固化思维，认为clip就是一个简单的单标签分类器，其实这里更重要的，是clip的跨模态比较的能力，这个是很多多模态的基础，相应的理论或者甚至直接引用方法可引用到图像生成、检索和GPT上去

3.2 值得注意的代码细节

实际的损失函数计算：

值得注意的是，，这里面输入有一个logit_scale，这个参数是对logit的值裁剪或者限制在一个指定区间，通过这个参数缩放图像和文本特征之间的相似度分数，从而控制logits的动态范围，便更好地学习图像和文本特征之间的匹配关系，softmax以后也会扩大正样本的置信度

evaluation的计算：

（这个地方比较复杂，新手比较难以理解，但这个很重要，我抽空补上吧，写在我的笔记本里面了）：

backbone的类型：

backbone这里主要指图像backbone，包括res50、vit16、vit32等，这些不同的backbone配合不同的激活函数又是一波排列组合，比如meta-clip里面最好的是h14+gelu激活函数；
注意不同的backbone的channel数量是不一致的，这个需要结合cfg文件来看，尤其是最后一层的embedding的dim维度也是不一致的，利用clip来部署或者实际写代码的同学需要注意了，对工程侧其实是有影响的

注意，在绝对的指标里面，backbone的选型不能作为判断指标高低的标准，对clip这种大模型而言，其实更重要的是数据质量，即不同的数据集，高质量数据代表一切

3.3 benchamrk

推理时的细节-benchmark比较：

如上所示，简单来说，使用prompt的句式会整体而言比直接使用单词指标会更高，paper原文说的是只是用单词的label会有一些歧义等，缺少上下文信息，并且如果真的训练过clip，就会发现，clip的很多数据都是caption而非简单的label，使用句子也是一种在domain内的输入

经典benchmark对比

使用res50的zero-shot和全监督的线性分类器的对比，可以看到clip在很多数据集上非常强势，但在卫星图像分类、淋巴转移检测和合成场景计数等复杂任务中表现较差。

原文说：这表明 CLIP 预训练的特征编码器并不能在所有任务中都表现出色，特别是在与训练数据分布差异较大的领域仍有明显不足。

实际上：实际上的意思就是啥？就是大模型的泛化性能其实来源于高质量数据，如果这个场景在之前的数据里从未见过，大模型其实也是没有办法保证泛化能力的，这一点其实是非常重要的认知，其实很多观点说大模型的参数量和数据量达到一定程度时，会出现”涌现“现象，会解决类似的泛化问题，大幅度提升性能，其实在这里就会发现，其实还是数据代表一切（我的观点）

zero-shot和有监督的分类器的对比

上文给出的左图的意思是clip的zero-shot能力和有多少个样本的完全监督学习对比，而右边是说明了zero-shot和linear的对比，显示其实clip的zero-shot其实比linear其实还是差不少的，零样本性能大多比线性分类性能低10到25个百分点。只有在5个数据集上，零样本性能接近线性探针性能（差异≤3个百分点）。这个思路真的太牛逼了，进一步说明了其实zero-shot其实还有很大的提升空间

对分类的鲁棒性

这张图其实我没看的怎么懂，主要是这张图的实际项目使用我没有去细究，大概意思是说clip相比于res101对同一类数据的分布也具备很强的泛化性能，比如上面不同数据的香蕉，clip表示出了高置信度的泛化性能，再一次感觉clipd的实验思路（感谢部门大佬的指点，让我从交付思路转化到了更高的方法论思路）

性能天梯图

其实我一直以为这张图跟模型容量是有关系的，留个todo给自己吧

3.4 很有意思的细节

四、具体应用和遇到的问题

4.1 clip的训练的问题

回退问题：训练特别容易回退，即会出现clip在自己的数据集上效果提升，但是模型本身的zero-shot能力下降了

解决方法：xxxxx，不在博客上写了，挺有意思的方法

4.2 测试和部署的问题

clip其实目前来看不太好做多标签分类，导致对应的训练和evaluation都不太好做，在实际工程化的情况下其实有一些局限

4.3 数据质量的问题

参照paper的方法去构建大模型高质量数据集，在小规模上数据上很容易出现问题，噪音将取代GT，这个地方结合LLM使用时尤其要注意，显性化数据集的caption

一、我写的目的

二、原文出处

三、方法和benchmark

3.1 方法原理

3.2 值得注意的代码细节

实际的损失函数计算：

evaluation的计算：

backbone的类型：

3.3 benchamrk

推理时的细节-benchmark比较：

经典benchmark对比

zero-shot和有监督的分类器的对比

对分类的鲁棒性

性能天梯图

四、具体应用和遇到的问题

4.1 clip的训练的问题

4.2 测试和部署的问题

4.3 数据质量的问题

相关文章：