当前位置： 首页 > news >正文

BERT - 直接调用transformers.BertModel, BertTokenizerAPI不进行任何微调

news 来源：原创 2025/9/13 23:28:42

本节代码将使用 transformers 库加载预训练的BERT模型和分词器（Tokenizer），并处理文本输入。

1. 加载预训练模型和分词器

from transformers import BertTokenizer, BertModelmodel_path = "/Users/azen/Desktop/llm/models/bert-base-chinese"tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)

  • BertTokenizer.from_pretrained(model_path)：

    • 加载预训练的BERT分词器。model_path 是预训练模型的路径或名称。分词器会将文本分割成BERT模型可以理解的标记（tokens）。

  • BertModel.from_pretrained(model_path)：

    • 加载预训练的BERT模型。model_path 是预训练模型的路径或名称。BERT模型可以用于多种自然语言处理任务，如文本分类、问答系统等。

2. 处理文本输入

text = "my dog is cute, he likes playing"
inputs = tokenizer(text)

  • tokenizer(text)：

    • 将输入文本 text 转换为BERT模型可以处理的格式。具体来说，tokenizer 会执行以下操作：

      1. 分词：将文本分割成标记（tokens）。

      2. 添加特殊标记：在文本的开头添加 [CLS] 标记，在结尾添加 [SEP] 标记。

      3. 转换为ID：将每个标记转换为对应的ID（索引）。

      4. 生成注意力掩码：生成一个掩码，用于标记哪些位置是有效的输入（非填充部分）。

  • 如果不想添加 [CLS] 和 [SEP] 标记，可以在调用 tokenizer 时设置 add_special_tokens=False。

text = "my dog is cute, he likes playing"
inputs = tokenizer(text, add_special_tokens=False, return_tensors="pt")
    输出inputs 是一个字典，包含以下内容：

    • input_ids：输入标记的ID列表。

    • token_type_ids：段嵌入索引列表。

    • attention_mask：注意力掩码。

    3. 完整示例

    以下是一个完整的示例，展示如何将文本输入传递给BERT模型，并获取模型的输出：

    from transformers import BertTokenizer, BertModelmodel_path = "/Users/azen/Desktop/llm/models/bert-base-chinese"tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)text = "my dog is cute, he likes playing"
inputs = tokenizer(text, return_tensors="pt")  # 返回PyTorch张量# 获取输入张量
input_ids = inputs["input_ids"]
attention_mask = inputs["attention_mask"]# 将输入传递给BERT模型
outputs = model(input_ids, attention_mask=attention_mask)# 获取模型的输出
last_hidden_state = outputs.last_hidden_state  # 最后一层的隐藏状态
pooler_output = outputs.pooler_output  # [CLS]标记的输出print(last_hidden_state.shape)  # 输出形状：(batch_size, seq_len, hidden_size)
print(pooler_output.shape)  # 输出形状：(batch_size, hidden_size)

    需复现完整代码

    from transformers import AutoModel, AutoTokenizer
from transformers import BertModel, BertTokenizerfrom transformers import Bertmodel_path = "/Users/azen/Desktop/llm/models/bert-base-chinese"tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)text = "my dog is cute, he likes playing"
inputs = tokenizer(text)pass

    相关文章：

    BERT - 直接调用transformers.BertModel, BertTokenizerAPI不进行任何微调

    本节代码将使用 transformers 库加载预训练的BERT模型和分词器（Tokenizer），并处理文本输入。 1. 加载预训练模型和分词器 from transformers import BertTokenizer, BertModelmodel_path "/Users/azen/Desktop/llm/models/bert-base-…...

    编程日记 2025/9/13 23:28:42

    如何在 Spring Boot 项目中使用 MyBatis 进行批量操作以提升性能？

    MyBatis 提供了 ExecutorType.BATCH 类型，允许将多个 SQL 语句进行组合，最后统一执行，从而减少数据库的访问频率，提升性能。 以下是如何在 Spring Boot 项目中使用 MyBatis 进行批量操作的关键点： 1. 配置 MyBatis 使…...

    编程日记 2025/9/13 23:28:41

    传统门店VS智慧门店：电能物联网平台在连锁行业的节能应用

    前言 随着连锁零售行业门店的规模化发展，能源消耗成为企业成本管控与可持续发展的重要课题。在当今快节奏的商业环境中，连锁门店的管理和运营变得越来越具有挑战性。能源数据是连锁门店的管理中重要组成部分，为了提高门店的能源利用效率和管…...

    编程日记 2025/8/25 21:20:46

    [ctfshow web入门] RCE 或(or)、异或(xor)、非(not)绕过

    代码 这是一个python语言的，使用或(or)、异或(xor)、非(not)防火墙 这将根据命令提供加密后的指令，用法 rce_xor(list_cmd)、rce_or(list_cmd)、rce_not(list_cmd) 用来生成加密后的指令，这个指令是类如下面这样的，这些指令可以用…...

    编程日记 2025/9/13 23:26:19

    C++ 虚函数：深入理解多态的核心机制

    C 虚函数：深入理解多态的核心机制 在 C 里，虚函数是实现 多态（Polymorphism） 的关键机制之一。透彻理解虚函数的概念、实现方式以及使用场景，对编写高效且可扩展的 C 代码起着至关重要的作用。本文会详细介绍 C 虚函数…...

    编程日记 2025/9/12 1:39:30

    速盾：高防CDN节点对收录有影响吗？

    引言 搜索引擎收录是网站运营中至关重要的环节，它直接影响着网站的曝光度和流量。近年来，随着网络安全威胁的增加，许多企业开始采用高防CDN（内容分发网络）来保护其网站免受DDoS攻击和其他形式的网络攻击。然而&#x…...

    编程日记 2025/9/10 1:26:55

    按规则批量修改文件扩展名、删除扩展名或添加扩展名

    文件的扩展名是多种多样的，有些不同文件的扩展名之间相互是可以直接转换的。我们工作当中最常见的就是 doc 与 docx、xls 与 xlsx、jpg 与 jpeg、html 与 htm 等等，这些格式在大部分场景下都是可以相互转换 能直接兼容的。我们今天要介绍的就是如何按照一…...

    编程日记 2025/9/8 10:23:19

    在Java项目中，引入【全局异常处理器】

    目录 一.为什么引入全局异常处理器（目前项目碰到了什么问题）？ 1.问题描述 2.与预期的差别 3.解决方案 二.解决上述问题 1.定义【业务异常类】 2.在serviceImpl层，手动抛出【违反唯一性约束】这个异常 3.定义【全局异常处理…...

    编程日记 2025/9/11 0:56:23

    计算机网络-TCP协议详解

    TCP协议详解 2. TCP协议详解2.1 TCP协议概述2.1.1 TCP的历史背景2.1.2 TCP的设计目标2.1.3 TCP的基本特性2.1.4 TCP与其他传输协议的比较2.1.5 TCP的应用场景 2.2 TCP头部结构2.2.1 TCP头部格式2.2.2 TCP头部字段详解源端口号和目的端口号（各16位）序列号…...

    编程日记 2025/9/13 23:26:18

    [蓝桥杯 2023 省 A] 平方差

    P9231 [蓝桥杯 2023 省 A] 平方差 题目描述 给定 L , R L,R L,R，问 L ≤ x ≤ R L \leq x \leq R L≤x≤R 中有多少个数 x x x 满足存在整数 y , z y,z y,z 使得 x y 2 − z 2 xy^2-z^2 xy2−z2。 输入格式 输入一行包含两个整数 L , R L,R L,R&#xff…...

    编程日记 2025/9/9 17:56:52

    隐私通信新时代：磐石云AXB平台如何重塑企业安全防线？

    在数据泄露频发的当下，企业如何守护用户隐私？磐石云AXB隐私号平台以四大技术革新，构建通信安全堡垒。 技术突破： 动态号码隔离，隐私0泄露 AXB模式下，A与B的真实号码全程隐藏，仅通过虚拟号X中转…...

    编程日记 2025/9/13 23:24:23

    什么是八步工作法？

    八步工作法，顾名思义，就是把一项工作拆分成八个步骤来完成。它的核心目的是让工作变得更有条理，更高效，避免忙而无序，做到事事有着落，件件有结果。这个方法在很多企业和单位中都有应用，尤其适合…...

    编程日记 2025/9/12 17:42:59

    日事清团队协作软件：智能制定计划，实时追踪任务进展，文件共享无缝协作，知识库一键沉淀成果​

    我们总是有微细目标，日事清可以帮助团队轻松共同制定计划、同步工作进展、共享工作资料、沉淀工作成果。 日事清具体如何帮助团队？你可以先了解以下这些基本功能模块。 从【计划】开始 在日事清中，【计划】是协同办公的开始，邀请…...

    编程日记 2025/9/6 18:10:45

    全球变暖（蓝桥杯 2018 年第九届省赛）

    题目描述 你有一张某海域 NN 像素的照片，. 表示海洋、 # 表示陆地，如下所示： ....... .##.... .##.... ....##. ..####. ...###. .......其中 "上下左右" 四个方向上连在一起的一片陆地组成一座岛屿。例如上图就有 2 座岛屿。 由…...

    编程日记 2025/9/13 23:24:25

    国际物流怎么找客户？选择适合自己的企业拓客平台

    在国际物流行业，获客一直是企业发展的核心难题。无论是跨境电商、传统外贸，还是国际货代，找到精准的客户资源并高效转化，是决定企业能否抢占市场蓝海的关键。今天，我们就来聊聊如何选择一个真正适合的国际物流拓客平台…...

    编程日记 2025/9/13 23:24:21

    驱动-内核空间和用户空间数据交换

    内核空间与用户控件数据交换 前面了解的字符设备中对 file_operations 结构体的进行了填充， 该 结构体的每一个成员都对应着一个系统调用， 例如 read、 write 等， 在字符设备相关的文章中有实验过对 调用函数进行了标志打印， 并没…...

    编程日记 2025/9/13 12:59:02

    智膳优选 | AI赋能的智慧食堂管理专家 —— 基于飞书多维表格和扣子（Coze）的智能解决方案

    智膳优选 | AI赋能的智慧食堂管理专家 基于飞书多维表格和扣子（Coze）的智能解决方案 数据驱动餐饮管理，让每一餐都是营养与经济的完美平衡！ “智膳优选”通过整合飞书与Coze，将数据智能引入校园餐饮管理&#xff0…...

    编程日记 2025/9/10 7:12:15

    FCOS目标检测

    一、模型框架 FCOS采用的网络架构和RetinaNet一样，都是采用FPN架构，如图2所示，每个特征图后是检测器，检测器包含3个分支：classification，regression和center-ness。 对于特征图Fi∈RHWC，其相对…...

    编程日记 2025/9/12 9:58:15

    Linux中动态加载两个同名so（dlopen动态链接库）

    // 当前路径下 ./test1.c int Func1(int a, int b) { return ab; } //编译生成so gcc -fPIC -shared -o libTest.so test1.c // 当前路径的test2文件夹中 ./test2/test2.c int Func1(int a, int b) { return a-b; } //编译生成同名so gcc -fPIC -shared -o …...

    编程日记 2025/9/8 14:00:51

    直播电商革命：东南亚市场的“人货场”重构方程式

    一、人设经济3.0：从流量收割到情感基建 东南亚直播战场正经历从"叫卖式促销"到"沉浸式信任"的质变，新加坡市场成为最佳观察样本： 数据印证趋势：Shopee直播用户日均停留28分钟，超短视频平台&#…...

    编程日记 2025/9/9 14:41:14

    【CF】Day30——Codeforces Round 824 (Div. 2) C + Codeforces Round 825 (Div. 2) BC1

    C. Phase Shift 题目： 思路： 好题，值得多看 这题我们看题目就能想到一个很显然的做法，那就是贪心地把每一个字母换成最前面的没使用过的字母 但是这样直接写是有问题的，因为题目说了最后要让所有的字母成一个换&…...

    编程日记 2025/9/8 5:46:44

    STM32 模块化开发指南 · 第 2 篇 如何编写高复用的外设驱动模块（以 UART 为例）

    本文是《STM32 模块化开发实战指南》的第 2 篇，聚焦于“串口驱动模块的设计与封装”。我们将从一个最基础的裸机 UART 初始化开始，逐步实现：中断支持、环形缓冲收发、模块接口抽象与测试策略，构建一个可移植、可扩展、可复用的 UART 驱动模块。 一、模块化 UART 的设计目标…...

    编程日记 2025/9/3 19:10:33

    SSRF打靶总结

    文章目录 一. PortSwigger1、本地服务器的基本SSRF2、基本的目标不是漏洞机3、Referer标头的外带SSRF4、简单黑名单的SSRF黑名单绕过思路： 5、重定向的SSRF6. 简单的白名单SSRF白名单绕过思路： 二、BWAPP1. SSRF 文件包含漏洞 | 内网探测2. XXE -> S…...

    编程日记 2025/9/8 0:57:16

    第五章：5.1 ESP32物联网应用 - MQTT协议深度教程

    一、MQTT协议简介 1.1 发布/订阅模式 MQTT（Message Queuing Telemetry Transport）是一种轻量级物联网通信协议，采用发布/订阅模式： 发布者（Publisher）：发送消息到指定主题（如&…...

    编程日记 2025/9/11 14:56:13

    c++知识点

    高级模板技术45： 模板元编程：这是一种在编译期进行计算和代码生成的技术。通过模板的递归展开、特化等操作，可以实现一些复杂的功能，例如编译期的计算、类型安全的容器等。例如，使用模板元编程可以实现一个编译期计算斐…...

    编程日记 2025/9/13 21:13:03

    【ChCore Lab 01】Bomb Lab 拆炸弹实验（ARM汇编逆向工程）

    文章目录 1. 前言2. 实验代码版本问题3. 关于使用问题4. 宏观分析5. read_line 函数介绍6. phase_0 函数6.1. read_int 函数6.2. 回到 phase_0 函数继续分析6.3. 验证结果 7. phase_1 函数7.2. 验证结果 8. phase_2 函数8.1. read_8_numbers 函数8.2. 回到 phase_2 函数继续分析…...

    编程日记 2025/9/8 19:34:13

    QStackedWidget讲解

    简介 QStackedWidget 类在一次仅显示1个窗口的地方提供一个窗口栈。 头文件:#include qmake:QT widgets 基类:QFrame 属性 count : const int currentIndex : int 公有槽函数 void setCurrentIndex(int index) void setCurrentWidget(QWidget *widget)信号 void current…...

    编程日记 2025/9/8 1:28:59

    宝马集团加速 ERP 转型和上云之旅

    宝马集团（BMW Group）作为全球领先的豪华汽车和摩托车制造商，致力于构建更加智能、绿色、人性化的出行体验。为了支持其全球化、数字化业务战略，宝马集团正在进行大规模的 IT 体系升级和 ERP 云转型。该项目以“RISE with SAP S/4H…...

    编程日记 2025/9/13 17:47:18

    AutoEval：现实世界中通才机器人操作策略的自主评估

    25年3月来自 UC Berkeley 和 Nvidia 的论文“AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World”。 可规模化且可复现的策略评估一直是机器人学习领域长期存在的挑战。评估对于评估进展和构建更优策略至关重要，但在现…...

    编程日记 2025/9/9 20:40:48

    ARM Cortex M内存屏障指令__dsb( )和__isb( )

    ARM Cortex-M 系列处理器中的 __dsb() 和 __isb() 是内存屏障指令，用于确保内存操作的顺序性和可见性，尤其在涉及外设、多核/多线程、自修改代码或关键系统配置时至关重要。 一，详细说明和典型应用场景 1. __dsb()（Data Synchron…...

    编程日记 2025/9/12 17:43:55

    deepseek热度已过？

    DeepSeek的热度并没有消退，以下是具体表现： 用户使用量和下载量方面 • 日活跃用户量增长：DeepSeek已经成为目前最快突破3000万日活跃用户量的应用程序。 • 应用商店下载量：1月26日，DeepSeek最新推出的AI聊天机器人…...

    编程日记 2025/9/9 17:46:46

    使用 Datadog 和 Slack Alerts 监控 minikube

    为什么要监控 minikube 集群？这是一个不错的练习，可以让你了解 DataDog 的设置过程并探索 K8s 指标产品。 本文将分享我的以下经验： 设置最新的 minikube部署示例应用程序创建 DataDog（试用）帐户使用 Helm 安装 Data…...

    编程日记 2025/9/4 6:20:27

    深入 Redis 持久化：从原理到企业级应用的全景图

    🧠 什么是 Redis 持久化？为什么需要？ Redis 是内存型数据库，默认所有数据都存在内存中，一旦断电，数据就会消失。为了避免重要数据丢失，Redis 提供了持久化机制，用于将内存中的数据保…...

    编程日记 2025/9/7 4:35:45

    NET模式下如何配置虚拟机的IP地址为静态的

    1.查看网关： 2.找到虚拟机的网络配置文件 cd ./etc/sysconfig/network-scripts/ vim ifcfg-ens33 3.修改配置 BROWSER_ONLY"no" IPADDR192.168.122.120 NETMASK255.255.255.0 GATEWAY192.168.122.2 DNS18.8.8.8 4.重启网路服务 sudo systemctl rest…...

    编程日记 2025/9/12 18:17:27

    VMWare Workstation Pro17.6最新版虚拟机详细安装教程（附安装包教程）

    目录 前言 一、VMWare虚拟机下载 二、VMWare虚拟机安装 三、运行虚拟机 前言 VMware 是全球领先的虚拟化技术与云计算解决方案提供商，通过软件模拟计算机硬件环境，允许用户在一台物理设备上运行多个独立的虚拟操作系统或应用。其核心技术可提升硬件…...

    编程日记 2025/9/7 22:51:48

    磐石云智能语音客服系统——技术革新引领服务新体验

    在人工智能技术飞速发展的今天，企业对于智能化客户服务的需求日益增长。磐石云智能语音客服系统凭借其前沿技术架构与深度场景适配能力，正在重新定义人机交互的边界。本文将深入解析该系统如何通过技术创新实现服务效率与体验的双重突破。 一、意图识别…...

    编程日记 2025/9/8 13:32:42

    什么是iPaaS？

    在当今数字化时代，企业面临着日益复杂的IT环境和不断增长的业务需求。随着云计算、微服务、物联网等技术的快速发展，企业需要更加高效、灵活且安全的方式来进行数据集成和应用集成。集成平台即服务（iPaaS）应运而生，成为…...

    编程日记 2025/9/10 7:59:41

    Vue3 中 Pinia 持久化的全面解析和最佳实践

    Vue3 中 Pinia 持久化的全面解析 一、Pinia 简介​ Pinia 是 Vue 的新一代状态管理库，它提供了简洁的 API，支持 Composition API，并且拥有良好的代码拆分和热更新能力。相比于 Vuex，Pinia 的代码结构更加扁平，易于理…...

    编程日记 2025/9/12 14:00:14

    蓝桥杯最后一天警告！！！

    1.万能头文件 #include <bits/stdc.h> 2.一道题实在一点都不会&#xff0c;直接碰运气骗分 #include <bits/stdc.h> using namespace std;int main() {srand(time(0));printf("%d",rand()%101);//生成一个1到10之间的随机整数&#xff0c;并输出print…...

    编程日记 2025/9/9 9:53:29

    el-time-picker标签的使用

    需求&#xff1a; 实现培训日期&#xff0c;用户可以选择某一天的日期&#xff0c;这个比较简单 <el-form-item label"培训日期" prop"startTime"><el-date-picker clearablev-model"form.startTime"type"date"placeholder…...

    编程日记 2025/9/10 17:38:55

    Mysql--基础知识点--85.1--Innodb自适应哈希索引

    1. 自适应哈希索引的用途 InnoDB 的自适应哈希索引&#xff08;Adaptive Hash Index, AHI&#xff09;是 MySQL 数据库引擎中一项智能优化查询性能的功能。其核心作用如下&#xff1a; 加速等值查询 哈希索引通过哈希函数将键映射到固定位置&#xff0c;实现 O(1) 时间复杂度的…...

    编程日记 2025/9/4 14:21:10

    Matlab 考虑电机激励力的整车垂向七自由度的被动悬架和LQR控制

    1、内容简介 Matlab 200-考虑电机激励力的整车垂向七自由度的被动悬架和LQR控制 可以交流、咨询、答疑 2、内容说明 略 3、仿真分析 略 4、参考论文 略...

    编程日记 2025/9/6 11:20:57

    统一功能处理

    SpringBoot统一功能处理 本节目表 1.掌握拦截器的使用&#xff0c;及其原理 2.学习统一数据返回格式和统一异常处理的操作 3.了解一些Spirng的源码 文章目录 SpringBoot统一功能处理前言一、拦截器是什么&#xff1f;二、使用步骤1.定义拦截器2.注册配置拦截器 三&#xff0c;适…...

    编程日记 2025/9/9 17:41:26

    LibreOffice Writer使用01去除单词拼写判断的红色下划线

    这个软件还是非常有特色的&#xff0c;因为大家需要office的全部功能&#xff0c;常常忽略了这个软件的使用体验。 csdn不是特别稳定&#xff0c;linux也没有什么比较好的md编辑器&#xff0c;所以我选择这个软件来记录我的临时博客&#xff0c;原因无他&#xff0c;它可以保存…...

    编程日记 2025/9/11 1:27:56

    JAVA基础 - 高效管理线程隔离数据结构ThreadLocalMap

    欢迎光临小站&#xff1a;致橡树 ThreadLocalMap 是 ThreadLocal 的核心底层数据结构&#xff0c;负责在每个线程中存储与 ThreadLocal 实例绑定的数据。它的设计目标是高效管理线程隔离数据&#xff0c;同时尽量减少内存泄漏风险。以下是其核心实现细节。 数据结构与设计目标…...

    编程日记 2025/9/11 1:14:14

    每日一题（小白）暴力娱乐篇25

    由题意直知&#xff0c;要求将给定的字符串转为符合格式的字符串。首先我们来思考一下例如02/02/02这样的数字日月肯定不用进行修改&#xff0c;修改后需要加上对应的年份的前两位&#xff0c;题目要求1960年1月1日~2059年12年12月31日&#xff0c;&#xff08;对1960年至2059年…...

    编程日记 2025/9/10 7:26:32

    地表水-地下水耦合建模全景解析暨SWAT-MODFLOW地表与地下协同模拟及多情景专题应用

    第一、模型原理与层次结构 1.1流域水循环与SWAT模型 1.2 地下水模拟与MODFLOW模型 1.3 SWAT-MODFLOW地表-地下耦合模型 1.4 QSWATMOD 插件与功能介绍 1.5 模型实现所需软件平台 第二、QGIS软件 2.1 QGIS平台 2.2 QGIS安装 2.3 QGIS界面认识 2.4 QGIS常见数据格式 2.…...

    编程日记 2025/9/10 1:26:56

    在线论坛系统

    在线论坛 项目介绍项目使用技术介绍前端技术栈后端技术栈 项目运行步骤说明后端运行步骤前端运行步骤 项目使用说明用户端功能管理员端功能 部分功能说明运行截图用户端管理员端 系统源码 项目介绍 这是一个基于现代技术栈开发的在线论坛系统&#xff0c;提供用户交流、内容分享…...

    编程日记 2025/9/12 3:37:45

    webrtc pacer模块(一) 平滑处理的实现

    Pacer起到平滑码率的作用&#xff0c;使发送到网络上的码率稳定。如下的这张创建Pacer的流程图&#xff0c;其中PacerSender就是Pacer&#xff0c;其中PacerSender就是Pacer。这篇文章介绍它的核心子类PacingController及Periodic模式下平滑处理的基本流程。平滑处理流程中还有…...

    编程日记 2025/9/10 13:18:04

    新能源车「大三电」与「小三电」

    一、‌大三电系统‌ ‌动力电池‌ 作为整车的能量核心&#xff0c;目前主流类型包括三元锂电池&#xff08;NCM/NCA&#xff09;和磷酸铁锂电池&#xff08;LFP&#xff09;&#xff0c;前者能量密度高&#xff0c;后者安全性和成本优势显著‌。动力电池通过模组串联形成电池包…...

    编程日记 2025/9/13 21:57:36