当前位置：首页 > news >正文

BERT类模型

news 来源：原创 2025/8/2 20:35:49

1. BERT类模型是否需要处理 `[CLS]` 或池化？

那首先搞懂 [CLS] 和池化

（1）`[CLS]` 的作用

BERT 的输入格式中，每个序列的开头会添加一个特殊的 [CLS] Token（Classification Token）。它的设计初衷是为分类任务提供全局的句子表示：

原始BERT预训练时：[CLS] 的隐藏状态被用于“下一句预测（NSP）”任务，判断两个句子是否连续。
微调阶段：在单文本分类任务（如情感分析）中，[CLS] 的向量会被输入一个分类层（如全连接层）进行预测。

（2）池化的作用

如果任务需要句子级表示（如语义相似度），直接使用 [CLS] 效果可能不佳（因其在预训练时主要针对NSP任务优化），此时需要对所有Token的隐藏状态进行池化：

均值池化（Mean Pooling）：对所有Token的向量取平均。
最大值池化（Max Pooling）：取每个维度上的最大值。
[CLS] 池化：直接使用 [CLS] 的向量（简单但可能不鲁棒）。

结论：

需要处理 [CLS] 或池化：当任务需要句子级表示（如分类、相似度）时，必须选择一种方式聚合Token向量。
无需处理：如果任务是Token级的（如命名实体识别、问答），直接使用各Token的隐藏状态即可。

BERT在预训练阶段的两个核心任务，通过这两个任务让模型学会语言理解和句子关系建模：

（1）掩码语言模型（Masked Language Model, MLM）

目标：随机遮盖输入文本中的部分Token（如15%），让模型预测被遮盖的单词。
示例：
输入："The [MASK] sat on the mat."
模型需预测 [MASK] 的位置可能是 "cat"。
作用：迫使模型学习上下文相关的词表示（解决一词多义问题）。

（2）下一句预测（Next Sentence Prediction, NSP）

目标：判断两个句子是否是连续的文本片段。
示例：
输入："[CLS] Sentence A [SEP] Sentence B [SEP]"
标签：1（连续）或 0（不连续）。
作用：让模型理解句子间的关系，对段落级任务（如问答、推理）有帮助。

为什么这两个任务重要？

MLM：使模型掌握词汇和语法知识（类似完形填空）。
NSP：使模型理解句子间的逻辑关联（对需要上下文的任务至关重要）。

3. 与Sentence-BERT的关系

原始BERT的局限性：
MLM和NSP的预训练目标并非直接优化句子嵌入，导致直接用 [CLS] 或简单池化的句向量质量不高。
Sentence-BERT的改进：
通过微调阶段使用句子对（如孪生网络）和对比损失（如余弦相似度），专门优化句向量的语义表达。

4. 代码示例对比

（1）原始BERT：使用 `[CLS]` 进行分类

from transformers import BertTokenizer, BertForSequenceClassificationtokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits  # 分类得分（基于[CLS]向量）

（2）原始BERT：手动池化生成句向量

from transformers import BertModelmodel = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)# 均值池化
token_embeddings = outputs.last_hidden_state  # [1, seq_len, 768]
sentence_embedding = token_embeddings.mean(dim=1)  # [1, 768]

（3）Sentence-BERT：直接生成优化后的句向量

from sentence_transformers import SentenceTransformermodel = SentenceTransformer('all-MiniLM-L6-v2')
sentence_embedding = model.encode("Hello, world!")  # 已优化池化

5. 总结

问题	答案
BERT是否需要处理 `[CLS]`/池化？	是，当任务需要句子级表示时（如分类、相似度），需选择 `[CLS]` 或池化方法。
MLM和NSP的作用	MLM学习词汇和上下文，NSP学习句子关系，两者共同构成BERT的预训练目标。
Sentence-BERT的改进	通过微调直接优化句向量，避免原始BERT的池化缺陷。

简单来说：

BERT像是一个“语言通才”，通过MLM和NSP学会基础语言能力。
Sentence-BERT是“语义专家”，在BERT基础上专门优化句子嵌入，更适合相似度等任务。

BERT类模型

1. BERT类模型是否需要处理 [CLS] 或池化？ 那首先搞懂 [CLS] 和池化 （1）[CLS] 的作用 BERT 的输入格式中，每个序列的开头会添加一个特殊的 [CLS] Token（Classification Token）。它的设计初衷是为分类任务…...

编程日记 2025/8/2 20:35:49

Taro 编译不平不同平台小程序

Taro 提供了针对不同小程序平台的编译命令，主要通过 --type 参数指定目标平台。以下是各平台常用命令及说明： --- ### **一、核心命令格式** 1. **直接使用 taro-cli** bash taro build --type [平台类型] taro dev --type [平台类型] # 开发模式&…...

编程日记 2025/8/2 20:25:15

PHP框架在分布式系统中的应用！

随着互联网业务的快速发展，分布式系统因其高可用性、可扩展性和容错性成为现代应用架构的主流选择。而PHP作为一门成熟的Web开发语言，凭借其简洁的语法、丰富的框架生态和持续的性能优化，逐渐在分布式系统中崭露头角。本文将深入探讨PHP框架在…...

编程日记 2025/8/2 20:21:19

PCB设计实践（十三）PCB设计中差分线间距与线宽设置的深度解析

一、差分信号的基本原理与物理背景差分信号技术通过两条等幅反相的传输线实现信号传输，其核心优势体现在电磁场耦合的对称性上。根据麦克斯韦方程组的对称解原理，两条线产生的电磁场在远场区域相互抵消，形成以下特性： 1. 共模噪…...

编程日记 2025/8/2 13:27:39

在 Kubernetes 中使用 Docker 实现 GPU 支持的完整方案

目录在 Kubernetes 中使用 Docker 实现 GPU 支持的完整方案一、背景说明二、目标三、环境准备四、安装 NVIDIA Container Toolkit（nvidia-docker2） 五、配置 Docker 支持 NVIDIA Runtime 六、测试 Docker 能否使用 GPU 七、部署 Kubernetes…...

编程日记 2025/8/2 20:25:16

Vision Transformer（ViT）

Vision Transformer（ViT）是一种将Transformer模型应用于计算机视觉任务的创新方法，由Google Research团队在2020年提出。它打破了传统卷积神经网络（CNN）在图像处理中的主导地位，通过全局注意力机制…...

编程日记 2025/8/2 20:23:10

（剪映）字幕实现卡拉OK效果

三种实现方式： 一、剪映自带“模板” 二、剪映自带“动画” 三、使用蒙版特效具体操作步骤如下模板的方式一、模板的方式 1.在时间线轨道区选中文本 2.在工具栏区中的文本-->模板中选择要实现的效果，左键单击，即可实现效果&am…...

编程日记 2025/8/2 9:35:10

Java结构化并发深度解析：原理、设计与实践

作为Java开发者，当我们需要处理复杂的并发场景时，传统的线程和ExecutorService模型往往导致代码难以维护和调试。Java 21引入的结构化并发(Structured Concurrency)通过创新的设计理念彻底改变了这一局面。本文将深入剖析其实现原理、架构设计，并通过复杂场景案例展示其强大…...

编程日记 2025/8/2 20:19:48

【Linux系列】跨平台安装与配置 Vim 文本编辑器

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan 的首页,持续学…...

编程日记 2025/8/2 20:19:48

Level1.5算数运算符与赋值运算符

目录一、算术运算符和赋值运算符 1.1算术运算符 - * / % // ** 1.2.赋值运算符 - * / % // ** 二、等比例缩小（变量火柴人案例） 三、颜色的三种表达方法取余%运算 1.颜色单词 turtle.pencolor(pink) 2.RGB颜色turtle.pe…...

编程日记 2025/8/2 13:13:22

基于GF域的多进制QC-LDPC误码率matlab仿真,译码采用EMS算法

目录 1.算法仿真效果 2.算法涉及理论知识概要 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下（完整代码运行后无水印）： 本课题实现的是四进制QC-LDPC 仿真操作步骤可参考程序配套的操作视频。 2.算…...

编程日记 2025/8/2 20:25:14

CentOS 7 修改锁屏时间为永不

在 CentOS 7 中，默认情况下，系统会在一定时间不活动后自动锁屏。对于某些用户来说，可能希望禁用自动锁屏功能或者将锁屏时间设置为“永不”。本文将介绍如何通过图形界面和命令行两种方式修改 CentOS 7 的锁屏时间，确保系统永不自…...

编程日记 2025/8/1 21:58:47

STM32-ADC模数转换器（7）

对GPIO来说，它只能读取引脚的高低电平，使用了ADC模数转化器之后，就可以对高电平和低电平之间的任意电压进行量化，最终用一个变量来表示，读取这个变量，就能得到引脚输入的具体电压是多少了。 ADC模数转化器…...

编程日记 2025/8/1 20:55:27

前端SSE技术详解：从入门到实战的完整指南

前端SSE技术详解：从入门到实战的完整指南一、初识SSE：比WebSocket更轻量的选择很多开发者第一次听说Server-Sent Events（SSE）时，都会下意识问：“这和WebSocket有什么区别？” 就像选择交通工…...

编程日记 2025/7/31 21:36:06

mac u盘重装mac10.15Catalina系统

我的电脑提mac2017的air 重装过程 (文件夹中间有空格时为 Install\ macOS\ Catalina 才行) （有需要的，最好做一下备份，有些东西可以及时找到配置和文件之类的， u盘制作是在mac电脑上操作的) 一、先下载系统镜像文件或自行到官方…...

编程日记 2025/8/2 20:19:49

8051模板移植

8051模板移植一，新建工程文件二，Keil配置一，新建工程文件在工程文件下建立Driver和User 打开Keil，点击扳手选择芯片型号出现下图情况，选择是，然后会多出一个启动文件，以后有用二&…...

编程日记 2025/8/2 20:21:22

轻松制作高质量视频，实时生成神器LTX-Video重磅登场！

探索LTX-Video：实时视频生成跨越新高度在如今这个视觉内容主导的数字时代，视频生成成为推动创意表达的关键。而今天，我们将带您深入探索LTX-Video，一个强大的开源项目，致力于通过尖端技术将视频生成提升到一个全新的…...

编程日记 2025/8/2 20:24:04

两个数组的交集（暴力、set、哈希）

一.题目给定两个数组 nums1 和 nums2 ，返回它们的交集。输出结果中的每个元素一定是唯一的。我们可以不考虑输出结果的顺序。示例 1： 输入：nums1 [1,2,2,1], nums2 [2,2] 输出：[2]示例 2： 输入&#xf…...

编程日记 2025/8/2 20:20:52

[架构之美]Spring Boot多环境5种方案实现Dev/Test/Prod环境隔离

[架构之美]Spring Boot多环境5种方案实现Dev/Test/Prod环境隔离（十六） 摘要：本文深入剖析Spring Boot多环境配置的5种实现方案，涵盖YAML分组配置、Maven Profile集成、Kubernetes适配等企业级实践，并附赠配置加密方案…...

编程日记 2025/8/2 20:24:04

LWIP的IP协议笔记

IP协议简介 IP协议是TCP/IP协议族的基石，它为上层提供无连接、不可靠的服务无连接：指IP通信双方都不长久的维持对方的任何信息。这表示上层协议每次发送数据，都需要明确指出对方的IP地址不可靠：指IP协议不能把IP数据报准确到…...

编程日记 2025/7/29 14:22:25

matlab介绍while函数

MATLAB 中的 while 语句介绍在 MATLAB 中，while 语句是一种循环结构，用于在满足特定条件时反复执行一段代码块。与 for 循环不同，while 循环的执行次数是动态的，取决于循环条件是否为真。语法 while condition% 循环体代码 e…...

编程日记 2025/8/1 23:37:22

每日算法刷题Day2 5.10:leetcode数组1道题3种解法，用时40min

4.LC 旋转矩阵(中等，学习) 面试题 01.07. 旋转矩阵 - 力扣（LeetCode） 思想: 法一: 额外空间数组来回赋值拷贝法二: 1.翻转90度得到等式a[j][n-i-1]a[i][j],但是会改变a[j][n-i-1]原始值，再去看该位置变到哪一位置分析可得,4个…...

编程日记 2025/8/2 20:35:14

【图书管理系统】深度讲解：图书列表展示的后端实现、高内聚低耦合的应用、前端代码讲解

1.约定前后端交互接口 [请求] /book/getListByPage [参数] currentPage1&pageSize10 [响应] 返回封装的result对象对应的Json数据 2. 整体逻辑 2.1 Controller的逻辑 （1）把接收的参数封装为PageRequest类，里面有属性：curren…...

编程日记 2025/8/2 20:33:50

本地大模型工具深度评测：LM Studio vs Ollama，开发者选型指南

引言在大语言模型本地化部署的技术浪潮中，隐私保护与成本优化成为核心诉求。LM Studio与Ollama作为两款明星级本地大模型工具，凭借对开源模型的支持能力，成为开发者关注的焦点。本文将从技术架构、应用场景、实操体验三个维度展开深度对比&a…...

编程日记 2025/8/2 20:29:56

天线的PCB设计

目录天线模块设计的重要性天线模块的PCB设计天线模块设计的重要性当智能手表突然断连、无人机信号飘忽不定——你可能正在经历一场来自天线模块的"无声抗议"。这个隐藏在电子设备深处的关键组件，就像数字世界的隐形信使，用毫米级的精密结…...

编程日记 2025/8/2 20:27:38

《P1226 【模板】快速幂》

题目描述给你三个整数 a,b,p，求 abmodp。输入格式输入只有一行三个整数，分别代表 a,b,p。输出格式输出一行一个字符串 a^b mod ps，其中 a,b,p 分别为题目给定的值， s 为运算结果。输入输出样例输入 #1复制 2 10 9输…...

编程日记 2025/8/2 20:29:40

AZScreenRecorder最新版：功能强大、操作简便的手机录屏软件

AZScreenRecorder最新版是一款功能强大的手机录屏软件，专为安卓设备设计。它无需ROOT权限，支持无限录制时长，操作简单，录制过程中可以随时暂停，满足不同用户的个性化录屏需求。此外，用户还可以自定义分辨率…...

编程日记 2025/8/2 20:22:33

[sklearn机器学习概述]机器学习-part3

获取数据、数据处理、特征工程后，就可以交给预估器进行机器学习，流程和常用API如下。 1.实例化预估器(估计器)对象(estimator)， 预估器对象很多,都是estimator的子类（1）用于分类的预估器sklearn.neighbors.KNeighbors…...

编程日记 2025/8/2 20:27:37

[模型选择与调优]机器学习-part4

七模型选择与调优 1 交叉验证 (1) 保留交叉验证HoldOut HoldOut Cross-validation（Train-Test Split） 在这种交叉验证技术中，整个数据集被随机地划分为训练集和验证集。根据经验法则，整个数据集的近70%被用作训练集&#xff…...

编程日记 2025/8/2 20:24:04

PyTorch API 1 - 概述、数学运算、nn、实用工具、函数、张量

文章目录 torch张量创建操作索引、切片、连接与变异操作加速器生成器随机采样原地随机采样准随机采样序列化并行计算局部禁用梯度计算数学运算常量逐点运算归约操作比较运算频谱操作其他操作BLAS 和 LAPACK 运算遍历操作遍历操作遍历操作遍历操作遍历操作遍历操作遍历操作遍历…...

编程日记 2025/8/2 10:21:29

如何在mac上使用便利贴

可以在 App Store 下载便利贴应用实现在电脑上贴便条的效果。以「桌面便利贴」这款应用为例，创建的便利贴会像桌面上的文件一样展示在桌面上，随时可以查看。还可以修改便笺的颜色、透明度、字体、高亮等等。我比较喜欢的功能是将便签固定在所有窗口的…...

编程日记 2025/8/1 17:34:53

Linux——Mysql索引和事务

目录一，Mysql索引介绍 1，索引概述 1，索引的优点 2，索引的缺点 2，索引作用 3，索引分类普通索引唯一索引主键索引组合索引全文索引 4，查看索引 5，删除索引 6&…...

编程日记 2025/7/31 4:36:54

vim 查看复杂的宏扩展

在一些复杂项目中，使用宏可以简化代码。但是对于刚接触项目的人来说，分析层层嵌套的宏，是件头疼的事情。使用 vim 的多窗口功能，可以为此提供一些帮助。如下图，分析4层嵌套的宏，DEFINE_I440FX_MACHINE -…...

编程日记 2025/8/1 23:34:53

【计算机视觉】OpenCV项目实战：基于OpenCV的图像分割技术深度解析与实践指南

基于OpenCV的图像分割技术深度解析与实践指南项目概述与技术背景项目核心特点传统分割算法分类环境配置与项目结构系统要求安装步骤项目结构解析核心算法实现解析1. 阈值分割（Otsu方法）2. Canny边缘检测3. 分水岭算法实战应用指南1. 基础分割流程2. …...

编程日记 2025/7/29 19:36:21

线性表-顺序表（Sequential List）

1 线性表 1.1 顺序表（Sequential List） 顺序表并不难理解，主要是知道顺序表是在内存中连续存储的一段数据，知道这个后，相应的算法也就非常简单了。线性表的顺序表示指的是用一组地址连续的存储单元依次存储线性表的…...

编程日记 2025/7/28 21:43:28

《用MATLAB玩转游戏开发：从零开始打造你的数字乐园》基础篇（2D图形交互）-俄罗斯方块：用旋转矩阵打造经典

《用MATLAB玩转游戏开发：从零开始打造你的数字乐园》基础篇（2D图形交互）-🎮 俄罗斯方块：用旋转矩阵打造经典 🧊 大家好！今天我将带大家用MATLAB实现经典的俄罗斯方块游戏。我们将从数学原理出发…...

编程日记 2025/8/1 15:55:18

通过user-agent来源判断阻止爬虫访问网站，并防止生成[ error ] NULL日志

一、TP5.0通过行为（Behavior）拦截爬虫并避免生成 [ error ] NULL 错误日志 1. 创建行为类（拦截爬虫） 在 application/common/behavior 目录下新建BlockBot.php ，用于识别并拦截爬虫请求： <?php name…...

编程日记 2025/8/1 21:39:33

微服务的“迷宫” - 我们为何需要服务网格？

微服务的“迷宫” - 我们为何需要服务网格？你好！欢迎来到我们的服务网格探索之旅。近年来，“微服务架构”无疑是软件开发领域最热门的词汇之一。它将庞大的单体应用拆分成一组小而独立的、可以独立开发、部署和扩展的服务单元，带来了前所未有的敏捷性和弹性。开发团队可以…...

编程日记 2025/7/29 19:36:13

Ubuntu 安装 HAProxy

HAProxy 是什么 HAProxy（High Availability Proxy） 是一个高性能、高可用的 TCP 和 HTTP 负载均衡器与代理服务器。 HAProxy 的特点特性说明支持协议HTTP、HTTPS、TCP高性能使用 C 语言编写，性能极高高可用与 Keepalived 配合可实现主备健…...

编程日记 2025/8/2 3:01:52

VUE CLI - 使用VUE脚手架创建前端项目工程

前言前端从这里开始，本文将介绍如何使用VUE脚手架创建前端工程项目 1.预准备（编辑器和管理器） 编辑器：推荐使用Vscode，WebStorm，或者Hbuilder（适合刚开始练手使用），个…...

编程日记 2025/7/29 18:58:31

Nginx高级配置

目录一.网页的状态页二. Nginx第三方模块 2.1 echo模块三. 变量 3.1 内置变量 3.2 自定义变量四. 自定义访问日志 (优化) 4.1 自定义访问日志的格式 4.2 自定义json 格式日志五. Nginx压缩功能六 . HTTPS 功能 6.1 https概述 6.2 配置实例-----自签名证…...

编程日记 2025/8/1 11:21:28

Docker镜像搬运工：深入解析export与import，实现容器环境无缝迁移！

Docker作为现代开发运维的利器，其镜像和容器的管理技巧直接影响效率。当我们需要跨环境迁移容器状态时，docker export和docker import这对组合命令就能大显身手。本文带你彻底搞懂它们的核心逻辑、使用场景及避坑指南！ 一、Docker export&…...

编程日记 2025/7/31 22:14:12

数字孪生实战笔记（1）数字孪生的含义、应用及技术体系

一、含义数字孪生（Digital Twin）是一种通过数字化模型在虚拟世界中实时映射和模拟物理实体、系统或过程的技术。它的核心目的是通过对现实对象的建模、感知、分析和预测，实现对物理世界的全面感知、智能控制和优化决策。数字孪生实体对象 …...

编程日记 2025/8/2 16:06:58

计算机网络 4-2-2 网络层（IPv4）

2.7 网络地址转换NAT 引入端口号：IP地址端口号→一个特定的进程，（不同主机可能存在相同端口号） 网络层实现了“主机到主机”的通信。网络层在IP数据报的首部，指明源IP地址、目的IP地址传输层实现了“端到端” &#…...

编程日记 2025/7/29 18:33:50

第二个简单的SpringBoot和Vue前后端全栈的todoapp案例

项目源于哔哩哔哩，按视频手敲了一下，补充上代码和一些细节。全栈项目实践：1小时快速入门SpringBootvue3element-plus_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1LH4y1w7Nd/?spm_id_from333.1387.favlist.content.click&vd_…...

编程日记 2025/8/1 6:05:25