当前位置：首页 > news >正文

对比学习入门

news 来源：原创 2025/8/4 22:15:09

Yann Lecun在NIPS 2016上提出了著名的“蛋糕比喻”：如果智能是一个蛋糕，蛋糕上的大部分是无监督学习（unsupervised learning），蛋糕上的糖霜是监督学习（supervised learning），而蛋糕上的樱桃是强化学习（reinforcement learning）。

这张图用蛋糕的比喻形象地对比了三种机器学习方法在训练过程中接收的信息量差异：

强化学习（樱桃）
- 机器通过与环境互动获得稀疏的标量奖励信号（比如游戏得分或机器人动作的反馈）。
- 信息量极低，每个样本仅几比特，因为反馈频率低且内容简单（如“对/错”或分数）。
监督学习（糖霜）
- 机器根据人工标注的数据（如图像分类标签、翻译文本）进行学习。
- 信息量中等，每样本10~10,000比特，取决于标注复杂度（如分类标签比像素预测的信息少）。
自监督学习（蛋糕胚）
- 机器通过数据自身的结构学习，例如预测视频的下一帧、补全文本或图像的缺失部分。
- 信息量极高，每样本数百万比特，因为模型需要理解原始数据的完整分布（如像素、时间序列等）。

核心结论：

自监督学习能利用海量未标注数据（如互联网文本、视频），信息密度远超依赖人工标注的监督学习或稀疏反馈的强化学习。
这解释了为何自监督学习（如GPT、BERT）在大模型时代成为主流——它更接近人类通过观察世界自主学习的方式。

深度学习分类：深度学习分为监督学习和无监督学习。
- 监督学习：是利用标注数据进行模型训练的方式，通过输入数据和对应的标签来学习映射关系，以实现预测等任务。
- 无监督学习：使用未标注数据进行学习，旨在发现数据中的内在结构、模式和规律。该部分又细分为生成式学习和对比式学习：
  - 生成式学习：目标是学习数据的分布，从而能够生成类似的新数据。常见方法有生成对抗网络（GAN）、自编码器、变分自编码器（VAE）。
  - 对比式学习：核心是学习同类样本的相似性和非同类样本的差异性，通过对比不同样本，让模型更好地捕捉样本特征，提升表征能力。

这两个图都可以看出对比学习的重要性。

监督学习（Supervised Learning）

输入数据：带有明确的人工标注（Annotations）。
- 例如：图片上标注“These are apples”（这些是苹果）。
模型任务：学习从输入数据到标注的映射关系。
输出结果：模型根据学到的规律，对新数据预测标签（如“It's an apple!”）。
特点：
- 依赖标注数据，类似“老师教学生”。
- 适用于分类、回归等任务。

无监督学习（Unsupervised Learning）

输入数据：无任何标注，只有原始数据。
- 例如：一堆未标注的苹果和橘子图片。
模型任务：自行发现数据中的模式（如聚类、关联规则）。
输出结果：模型可能将相似数据分组（如自动区分苹果和橘子）。
特点：
- 无监督，类似“学生自学”。
- 适用于聚类、降维、异常检测等。

因为对比学习也是无监督学习的一种所以按照无监督进行理解。

这张图展示了一个基于对比学习（或三元组损失）的特征学习框架，具体解释如下：

输入图像：
- Positive ( $I^{+}$ )：与 Anchor 同类的样本（如同一人的另一张照片）。
- Anchor ( $I^{a}$ )：作为基准的样本。
- Negative ( $I^{-}$ )：与 Anchor 不同类的样本（如其他人的照片）。
编码器（Encoder,θ）：
- 对三张图像进行特征提取，输出对应的特征向量：
  - $f^{+}=\theta \left ( I^{+} \right )$ （Positive 的特征），
  - $f^{a}=\theta \left ( I^{a} \right )$ （Anchor 的特征），
  - $f^{-}=\theta \left ( I^{-} \right )$ （Negative 的特征）。
距离函数（Distance Function,δ）：
- 计算 $f^{a}$ 与 $f^{+}$ 的距离，目标是最小化（Minimize）该距离，使同类样本特征更接近。
- 计算 $f^{a}$ 与 $f^{-}$ 的距离，目标是最大化（Maximize）该距离，使不同类样本特征更远离。

这种方法常用于人脸识别、图像检索等任务，通过迫使模型学习到具有判别性的特征表示，增强同类样本的相似性和不同类样本的区分度。

论文链接：1503.03832

核心概念

三元组（Triplet）
由三部分组成：
- Anchor（锚点）：基准样本（如一张人脸图片）。
- Positive（正样本）：与锚点同类的样本（如同一个人的另一张照片）。
- Negative（负样本）：与锚点不同类的样本（如另一个人的照片）。
目标
- 拉近锚点与正样本的距离（相似性↑）。
- 推远锚点与负样本的距离（差异性↑）。

这些就是最基本的概念，简单来说就是：拉近锚点与正样本的距离（相似性↑），推远锚点与负样本的距离（差异性↑）。

对比学习入门

Yann Lecun在NIPS 2016上提出了著名的“蛋糕比喻”：如果智能是一个蛋糕，蛋糕上的大部分是无监督学习（unsupervised learning），蛋糕上的糖霜是监督学习（supervised learning），而蛋糕上…...

编程日记 2025/8/4 22:15:09

Starrocks 的 ShortCircuit短路径

背景本文基于 Starrocks 3.3.5 本文主要来探索一下Starrocks在FE端怎么实现短路径，从而加速点查查询速度。在用户层级需要设置 enable_short_circuit 为true 分析数据流： 直接到StatementPlanner.createQueryPlan方法： ... OptExpres…...

编程日记 2025/7/31 2:37:09

Windows远程访问Ubuntu的方法

要在Windows上远程访问Ubuntu系统，以下是几种常见的方法： SSH (Secure Shell):通过Windows命令行远程连接到Ubuntu。在Ubuntu上，确保安装并启用了SSH服务（通常可以通过sudo apt update && sudo apt install openssh-serv…...

编程日记 2025/8/4 22:01:49

23种设计模式-行为型模式之模板方法模式（Java版本）

Java 模板方法模式（Template Method Pattern）详解 🧠 什么是模板方法模式？ 模板方法模式是一种行为型设计模式，定义了一个操作中的算法骨架，将一些步骤的实现延迟到子类中。通过模板方法模式，…...

编程日记 2025/8/4 22:15:09

(undone) MIT6.S081 Lec17 VM for APP 学习笔记

url: https://mit-public-courses-cn-translatio.gitbook.io/mit6-s081/lec17-virtual-memory-for-applications-frans/17.1-ying-yong-cheng-xu-shi-yong-xu-ni-nei-cun-suo-xu-yao-de-te-xing 17.1 应用程序使用虚拟内存所需要的特性今天的话题是用户应用程序使用的虚拟内存…...

编程日记 2025/8/4 22:06:50

值拷贝、浅拷贝和深拷贝

✅ 一、基本概念 1. 值拷贝（Value Copy） 含义：将一个变量的值完整复制到另一个变量中。对象级别表现：调用的是拷贝构造函数（copy constructor）。特点：对基本类型或不含动态资源的对象&…...

编程日记 2025/8/4 12:28:42

JWT原理及工作流程详解

JSON Web Token（JWT）是一种开放标准（RFC 7519），用于在各方之间安全传输信息。其核心原理是通过结构化、签名或加密的JSON对象实现无状态身份验证和授权。以下是JWT的工作原理和关键组成部分： 1. JWT结构 J…...

编程日记 2025/8/4 22:07:37

广西某建筑用花岗岩矿自动化监测

1. 项目简介某矿业有限公司成立于2021年，是由某建筑材料有限公司与个人共同出资成立，矿区面积0.4069平方公里，可开采筑用花岗岩、建筑用砂岩。建筑用花岗岩、建筑用砂岩可利用资源量分别为6338.69万吨、303.39万吨，设计生产规模…...

编程日记 2025/8/4 15:38:20

100个思维模型系列更新完毕！

giszz的粉丝们，到今天为止，思维模型专栏已经更新了100期，正式告一段落了。以下是为你列出的100个思维模型名字（部分思维模型可能存在多种表述方式，但核心概念一致，这里尽量涵盖不同领域常见的思维模型&am…...

编程日记 2025/8/4 19:33:00

Bitcoin跨链协议Clementine的技术解析：重构DeFi生态的信任边界

2025年5月2日，比特币Rollup项目Citrea在测试网正式推出跨链协议Clementine，其基于BitVM2编程语言构建的信任最小化桥接技术，被视为解决比特币与DeFi生态融合难题的关键突破。本文从技术背景、核心机制、安全模型、应用场景四大维度&#xff0…...

编程日记 2025/8/4 16:40:55

北斗导航｜ RTKLib中重难点技术，公式，代码

Rtklib 一、抗差自适应卡尔曼滤波1. **核心难点**2. **公式与代码实现**二、模糊度固定与LAMBDA算法1. **核心难点**2. **LAMBDA算法实现**3. **部分模糊度固定技术**三、伪距单点定位与误差修正1. **多系统多频点修正**2. **接收机钟差与系统间偏差**四、动态模型与周跳处理1.…...

编程日记 2025/8/4 22:10:17

C++学习之类和对象_1

1. 面向过程与面向对象 C语言是面向过程的，注重过程，通过调用函数解决问题。比如做番茄炒蛋：买番茄和鸡蛋->洗番茄和打鸡蛋->先炒蛋->把蛋放碟子上->炒番茄->再把蛋倒回锅里->加调料->出锅而C是面向对象的&#xff…...

编程日记 2025/8/4 11:10:38

Oracle OCP认证考试考点详解083系列14

题记： 本系列主要讲解Oracle OCP认证考试考点（题目），适用于19C/21C,跟着学OCP考试必过。 66. 第66题： 题目解析及答案： 当一个非常大的数据文件被划分为四个部分进行 RMAN 多区段备份时，以下…...

编程日记 2025/8/4 22:02:21

华为欧拉（EulerOS）系统全栈软件部署指南：从 Redis 到 MySQL 实战详解

前言在国产化操作系统蓬勃发展的背景下，华为欧拉（EulerOS）凭借其稳定性与安全性，成为企业级服务器部署的重要选择。本文基于官方技术文档与最佳实践，详细梳理 Redis 集群、RabbitMQ、JDK、Tomcat 及 MySQL 在欧拉系统…...

编程日记 2025/8/3 23:25:34

YOLO使用CableInspect-AD数据集实现输电线路缺陷检测

输电线路缺陷检测是一个关键的任务，旨在确保电力传输系统的可靠性和安全性。今天我们使用CableInspect-AD数据集进行训练完成缺陷检测，下载的数据集格式如下： 我们需要经过以下步骤： COCO转YOLO 首先是将COCO格式的数据转换为YO…...

编程日记 2025/8/4 17:54:06

全国青少年信息素养大赛 Python编程挑战赛初赛内部集训模拟试卷五及详细答案解析

博主推荐所有考级比赛学习相关资料合集【推荐收藏】1、Python比赛信息素养大赛Python编程挑战赛蓝桥杯python选拔赛真题详解...

编程日记 2025/8/4 17:54:14

三个线程 a、b、c 并发运行，b,c 需要 a 线程的数据如何解决

说明： 开发中经常会碰到线程并发，但是后续线程需要等待第一个线程执行完返回结果后，才能再执行后面线程。如何处理呢，今天就介绍两种方法 1、使用Java自有的API即CountDownLatch，进行实现思考：CountDown…...

编程日记 2025/8/4 22:10:18

python实现点餐系统

使用python实现点餐系统的增加菜品及价格，删除菜品，查询菜单，点菜以及会员折扣价等功能。代码： 下面展示一些内联代码片。 # coding utf-8menu {拍黄瓜: 6, 小炒肉: 28, 西红柿炒蛋: 18, 烤鱼: 30, 红烧肉: 38, 手撕鸡: 45,…...

编程日记 2025/8/4 22:02:20

力扣26——删除有序数组中的重复项

目录 1.题目描述： 2.算法分析： 3.代码展示： 1.题目描述： 给你一个非严格递增排列的数组 nums ，请你原地删除重复出现的元素，使每个元素只出现一次 ，返回删除后数组的新长度。元素的相对…...

编程日记 2025/8/4 16:57:42

A2A与MCP定义下，User，Agent，api（tool）间的交互流程图

官方图： 流程图： #mermaid-svg-2smjE8VYydjtLH0p {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-2smjE8VYydjtLH0p .error-icon{fill:#552222;}#mermaid-svg-2smjE8VYydjtLH0p .error-tex…...

编程日记 2025/7/31 6:19:22

【大模型面试每日一题】Day 13：数据并行与模型并行的区别是什么？ZeRO优化器如何结合二者？

【大模型面试每日一题】Day 13：数据并行与模型并行的区别是什么？ZeRO优化器如何结合二者？ 📌 题目重现 🌟🌟 面试官：数据并行与模型并行的区别是什么？ZeRO优化器如何结合二者&…...

编程日记 2025/8/4 18:57:48

各种注解含义及使用

RestController RestController注解是Spring 4.0引入的一个组合注解，用于简化RESTful Web服务的开发。 RestController注解相当于 Controller 和 ResponseBody 注解的组合，表示该类是一个控制器，并且所有的方法返回值都将直接写入HTTP响应体…...

编程日记 2025/8/4 22:11:42

amass：深入攻击面映射和资产发现工具！全参数详细教程！Kali Linux教程！

简介 OWASP Amass 项目使用开源信息收集和主动侦察技术执行攻击面网络映射和外部资产发现。此软件包包含一个工具，可帮助信息安全专业人员使用开源信息收集和主动侦察技术执行攻击面网络映射并执行外部资产发现。使用的信息收集技术技术数据来源APIs&#xf…...

编程日记 2025/8/4 22:08:03

xxl-job简单入门使用教程

1、从git中拉取xxl-job代码 https://gitee.com/xuxueli0323/xxl-job HTTPS：git clone https://gitee.com/xuxueli0323/xxl-job.git SSH：git clone gitgitee.com:xuxueli0323/xxl-job.git 拉取本地后，使用Idea打开项目，当前使用…...

编程日记 2025/7/31 6:19:15

设置GO程序在离线情况下读取本地缓存的模块

在 Go 中，GOPROXY 环境变量用于指定模块代理服务器的地址。如果你想让 GOPROXY 读取本地的模块，可以通过以下几种方式实现： 1. 使用本地代理服务器你可以搭建一个本地的 Go 模块代理服务器，将需要的模块代码推送到代理服务器中…...

编程日记 2025/7/31 6:19:13

Python 爬虫基础入门教程（超详细）

一、什么是爬虫？ 网络爬虫（Web Crawler），又称网页蜘蛛，是一种自动抓取互联网信息的程序。爬虫会模拟人的浏览行为，向网站发送请求，然后获取网页内容并提取有用的数据。二、Python爬虫的基本原…...

编程日记 2025/8/4 17:54:14

C语言实现三子棋

目录 1.通过模块化来实现三子棋 2.三子棋代码基本逻辑 3.代码的书写第一步： 第二步： 第三步： 第四步： gane.h gane.c main.c 第五步： game.h game.c main.c 第六步： game.h game.c main…...

编程日记 2025/7/31 6:17:07

SCDN是什么？

SCDN是安全内容分发网络的简称，它在传统内容分发网络（CDN）的基础上，集成了安全防护能力，旨在同时提升内容传输速度和网络安全性。 SCDN的核心功能有： DDoS防御：识别并抵御大规模分布式拒绝服务…...

编程日记 2025/7/31 6:17:03

Transformer编码器+SHAP分析，模型可解释创新表达！

目录效果一览基本介绍程序设计参考资料效果一览基本介绍基本介绍基于SHAP分析的特征选择和贡献度计算，Matlab2023b代码实现；基于MATLAB的SHAP可解释Transformer编码器回归模型，敏感性分析方法。详细介绍引言在正向渗透&#xff08…...

编程日记 2025/8/4 18:41:30

机器学习第三讲：监督学习 → 带答案的学习册，如预测房价时需要历史价格数据

机器学习第三讲：监督学习 → 带答案的学习册，如预测房价时需要历史价格数据资料取自《零基础学机器学习》。查看总目录：学习大纲关于DeepSeek本地部署指南可以看下我之前写的文章：DeepSeek R1本地与线上满血版部署&#xff1…...

编程日记 2025/8/4 20:02:11

【TACD模拟】质子辐照对GaN器件临界电压增加的影响机制

2013 年，佛罗里达大学的 Erin Patrick 等人基于 TRIM 和 FLOODS 模型，研究了质子辐照对 AlGaN/GaN HEMTs 的影响。研究背景方面，AlGaN/GaN HEMTs 因其宽禁带、高击穿场、高电子迁移率以及优秀的热管理能力，在商业和军事领域应用前景广阔，但长期可靠性仍是问题，尤其是栅极…...

编程日记 2025/7/31 6:16:54

VBA高级应用30例应用4：利用屏蔽事件来阻止自动运行事件

《VBA高级应用30例》（版权10178985），是我推出的第十套教程，教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开，这套教程案例与理论结合，紧贴“实战”，并做“战术总结”，以…...

编程日记 2025/7/31 6:16:51

基于SSM实现的健身房系统功能实现八

一、前言介绍： 1.1 项目摘要随着社会的快速发展和人们健康意识的不断提升，健身行业也在迅速扩展。越来越多的人加入到健身行列，健身房的数量也在不断增加。这种趋势使得健身房的管理变得越来越复杂，传统的手工或部分自动化的管…...

编程日记 2025/8/3 7:26:41

Java设计模式之原型模式详解：从入门到精通

1. 原型模式概述 1.1 定义与核心概念 **原型模式(Prototype Pattern)**是一种创建型设计模式，它通过复制现有对象来创建新对象，而不是通过new关键字实例化。这种模式特别适用于创建成本较高的对象。专业术语解释表：术语解释原型(Prototype)被复制的原始对象克隆(Clone)…...

编程日记 2025/7/31 6:16:45

鞋样设计软件

Sxy 64鞋样设计软件是一款专业级鞋类设计工具专为鞋业设计师与制鞋企业开发该软件提供全面的鞋样设计功能包括二维开版三维建模放码排料等核心模块支持从草图构思到成品输出的完整设计流程内置丰富的鞋型数据库与部件库可快速生成各种鞋款模板软件采用智能放码技术精…...

编程日记 2025/7/31 6:16:42

移动IP与手机移动数据流量的概念、原理、区别与联系

移动IP与手机移动数据流量的概念、原理、区别与联系文章目录移动IP与手机移动数据流量的概念、原理、区别与联系一、概念与原理二、核心区别三、联系与协作四、技术挑战与发展趋势五、总结一、概念与原理移动IP 定义：移动IP是一种网络层协议，允许设…...

编程日记 2025/7/31 18:31:45

Spring中除DI之外获取 BEAN 的方式

前言在 Spring 框架的开发实践中，获取 Bean 是极为重要的基础操作。我们熟知通过依赖注入能便捷地获取 Bean，不过在许多场景下，还需要借助其他方式来获取 Bean。本文将深入探讨在 Spring 中除了依赖注入之外获取 Bean 的多种方式&#xff0c…...

编程日记 2025/8/4 11:10:22

屎上雕花系列-2nd

以下为“屎上雕花”的尝试2nd 使用Deepseek扩容而来，我竟然没有找到明显的错误，太强大了，工作改变生活了 LeCroy 以太网与 SAN 网络测试解决方案硬件平台一：Xena 以太网流量生成器 Xena 以太网流量生成器是一款高性能的网络测…...

编程日记 2025/7/31 6:16:34

第十五章，SSL VPN

前言 IPSec 和 SSL 对比 IPSec远程接入场景---client提前安装软件，存在一定的兼容性问题 IPSec协议只能够对感兴趣的流量进行加密保护，意味着接入用户需要不停的调整策略，来适应IPSec隧道 IPSec协议对用户访问权限颗粒度划分的不够详细&…...

编程日记 2025/8/4 21:42:43

第四天从CAN总线到Spark/Flink实时处理

前言在智能网联汽车快速发展的今天，每辆汽车每天产生的数据量高达数GB。这些数据蕴藏着驾驶行为、车辆健康、道路状况等宝贵信息。本文将带您从零开始，系统学习车辆数据采集与分析的全流程技术体系，包含： CAN总线数据解析与采集…...

编程日记 2025/7/31 6:16:27

pandas中的数据聚合函数：`pivot_table` 和 `groupby`有啥不同？

pivot_table 和 groupby 是 pandas 中两种常用的数据聚合方法，它们都能实现数据分组和汇总，但在使用方式和输出结构上有显著区别。 0. 基本介绍 groupby分组聚合 groupby 是 Pandas 库中的一个功能强大的方法，用于根据一个或多个列对数据进…...

编程日记 2025/7/31 6:16:23

AI客服问答自动生成文章(基于deepseek实现)

小编一直在用AI做网站平台文章的润色或者二创。一直有一个想法，在自己网站加一个AI智能客服，通过文心或者deepseek来智能回答网友提出的问题，这样就能减少很多人工回复的麻烦，提高互动效率。开发背景其实很多网友提出的问题非…...

编程日记 2025/7/31 6:16:18

镜头内常见的马达类型（私人笔记）

① 螺杆式马达驱动来源：机身内马达。镜头尾部有一个接收“螺杆”的接口，通过机械传动带动镜头对焦组。缺点：慢、吵、不能用于无机身马达的相机。✅ 典型镜头：尼康 AF、AF-D 系列；美能达老镜头。尼康传统的AF镜头通过…...

编程日记 2025/7/31 6:16:09

从 JMS 到 ActiveMQ：API 设计与扩展机制分析（一）

引言在当今的分布式系统开发中，消息中间件扮演着举足轻重的角色，它为应用程序之间提供了可靠的异步通信机制。JMS（Java Message Service）作为 Java 平台上的消息服务规范，定义了一套通用的 API，使得开发者…...

编程日记 2025/7/31 6:16:03

第J7周：ResNeXt解析

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目标具体实现 （一）环境语言环境：Python 3.10 编译器: PyCharm 框架: Tensorflow （二）具体…...

编程日记 2025/7/31 6:15:58

机器学习-无量纲化与特征降维（一）

一.无量纲化-预处理无量纲，即没有单位的数据无量纲化包括"归一化"和"标准化"，这样做有什么用呢？假设用欧式距离计算一个公司员工之间的差距，有身高（m）、体重（kg&#x…...

编程日记 2025/8/4 0:29:37

Shiro（八）：JWT介绍

1、什么是JWT？ JWT（JSON Web Token，JSON Web令牌）是一种开放标准（RFC 7519），用于在网络应用环境间安全地传递声明（claims）作为JSON对象；JWT会按指定的加密算…...

编程日记 2025/7/31 5:13:41

linux0.11内核源码修仙传第十六章——获取硬盘信息

🚀 前言书接第十四章：linux0.11内核源码修仙传第十四章——进程调度之fork函数，在这一节博客中已经通过fork进程创建了一个新的进程1，并且可以被调度，接下来接着主线继续走下去。希望各位给个三连，拜托啦&…...

编程日记 2025/7/31 5:13:39

画家沈燕的山水实验：在传统皴法里植入时代密码

导语：当宋代山水遇上AI算法，当青绿颜料邂逅生态数据，沈燕在宣纸与人工智能的交界处，开启了一场关于水墨基因的“基因突变”实验。她的画笔既似考古学家的洛阳铲，又似未来学家的扫描仪，在古今对话中重构山水…...

编程日记 2025/8/2 2:21:08

聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE

这篇文章，我们聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE 。 1 短轮询浏览器定时（如每秒）向服务器发送 HTTP 请求，服务器立即返回当前数据（无论是否有更新）。优点&#xff1…...

编程日记 2025/7/31 18:17:00

监督学习（Supervised Learning）

无监督学习（Unsupervised Learning）

核心概念

相关文章：