当前位置：首页 > news >正文

pytorch基于 Transformer 预训练模型的方法实现词嵌入（tiansz/bert-base-chinese）

news 来源：原创 2025/5/19 16:12:20

以下是一个完整的词嵌入（Word Embedding）示例代码，使用 modelscope 下载 tiansz/bert-base-chinese 模型，并通过 transformers 加载模型，获取中文句子的词嵌入。

from modelscope.hub.snapshot_download import snapshot_download
from transformers import BertTokenizer, BertModel
import torch# 下载模型到本地目录
model_dir = snapshot_download('tiansz/bert-base-chinese', cache_dir='./bert-base-chinese')
print(f"模型已下载到: {model_dir}")# 本地模型路径
model_path = model_dir  # 使用下载的模型路径# 从本地加载分词器和模型
tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)# 将模型设置为评估模式
model.eval()# 输入句子
sentence = "你好，今天天气怎么样？"# 分词并转换为模型输入格式
inputs = tokenizer(sentence, return_tensors='pt')# 获取词嵌入
with torch.no_grad():outputs = model(**inputs)# 输出的最后一层隐藏状态（即词嵌入）
last_hidden_states = outputs.last_hidden_state# 打印词嵌入的形状
print("Embeddings shape:", last_hidden_states.shape)  # [batch_size, sequence_length, hidden_size]# 获取所有 token 的文本表示
tokens = tokenizer.convert_ids_to_tokens(inputs['input_ids'][0])# 打印每个 token 及其对应的嵌入
for i, (token, embedding) in enumerate(zip(tokens, last_hidden_states[0])):print(f"Token {i}: {token}")print(f"Embedding: {embedding[:10]}...")  # 只打印前 10 维

下载模型：
使用 modelscope 的 snapshot_download 方法下载 tiansz/bert-base-chinese 模型到本地目录 ./bert-base-chinese。
加载模型：
使用 transformers 的 BertTokenizer 和 BertModel 从本地路径加载模型和分词器。
输入句子：
定义一个中文句子 "你好，今天天气怎么样？"。
分词和编码：
使用分词器将句子转换为模型输入格式（包括 input_ids 和 attention_mask）。
获取词嵌入：
将输入传递给模型，获取最后一层隐藏状态（即词嵌入）。
输出结果：
打印每个 token 及其对应的嵌入向量（只打印前 10 维）。

Downloading Model to directory: ./bert-base-chinese/tiansz/bert-base-chinese
模型已下载到: ./bert-base-chinese/tiansz/bert-base-chinese
Embeddings shape: torch.Size([1, 13, 768])
Token 0: [CLS]
Embedding: tensor([ 1.0592,  0.1071,  0.4324,  0.0860,  0.9301, -0.6972,  0.7214, -0.0408,-0.1321, -0.1840])...
Token 1: 你
Embedding: tensor([ 0.2686,  0.1246,  0.4344,  0.5293,  0.7844, -0.7398,  0.4845, -0.3669,-0.6001,  0.8876])...
Token 2: 好
Embedding: tensor([ 0.9697,  0.3952,  0.6012, -0.0386,  0.6996, -0.4031,  1.0839,  0.0119,0.0551,  0.2817])...
Token 3: ，
Embedding: tensor([ 0.8255,  0.6987,  0.0310,  0.4167, -0.0159, -0.5835,  1.4922,  0.3883,0.9030, -0.1529])...
Token 4: 今
Embedding: tensor([ 0.1640,  0.2744,  0.6168,  0.0693,  1.0125, -0.4001, -0.2779,  0.6306,-0.1302, -0.0534])...
Token 5: 天
Embedding: tensor([ 0.5449, -0.1022,  0.0316, -0.4571,  0.6967,  0.0789,  0.6432,  0.0501,0.3832, -0.3269])...
Token 6: 天
Embedding: tensor([ 1.0107, -0.3673, -1.0272, -0.1893,  0.3766,  0.2341,  0.3552,  0.0228,-0.2411, -0.2227])...
Token 7: 气
Embedding: tensor([ 0.9320, -0.8562, -0.9696,  0.2202,  0.1046,  0.3335, -0.2725, -0.3014,-0.0057, -0.2503])...
Token 8: 怎
Embedding: tensor([ 0.7004, -0.3408,  0.1803, -0.0093, -0.0996,  0.9946,  0.0251,  0.0321,0.1867, -0.6998])...
Token 9: 么
Embedding: tensor([ 0.7296,  0.0704,  0.2153, -0.2680, -0.4890,  0.8920,  0.0324, -0.0820,0.5248, -0.6742])...
Token 10: 样
Embedding: tensor([ 0.2482,  0.0567,  0.2574,  0.1359,  0.4210,  0.9753,  0.2528, -0.2645,0.3426, -0.4405])...
Token 11: ？
Embedding: tensor([ 1.4162,  0.4149,  0.1098, -0.7175,  0.9875, -0.4366,  0.8482,  0.2046,0.2398, -0.1031])...
Token 12: [SEP]
Embedding: tensor([ 0.2140,  0.1362,  0.3720,  0.5722,  0.3005, -0.1858,  1.1392,  0.2413,-0.1240,  0.0177])...

pytorch基于 Transformer 预训练模型的方法实现词嵌入（tiansz/bert-base-chinese）

以下是一个完整的词嵌入（Word Embedding）示例代码，使用 modelscope 下载 tiansz/bert-base-chinese 模型，并通过 transformers 加载模型，获取中文句子的词嵌入。 from modelscope.hub.snapshot_download import snaps…...

编程日记 2025/5/19 16:12:20

探秘 TCP TLP：从背景到实现

回家的路上还讨论了个关于 TCP TLP 的问题，闲着无事缕一缕。本文内容参考自 Tail Loss Probe (TLP): An Algorithm for Fast Recovery of Tail Losses 以及 Linux 内核源码。 TLP，先说缘由。自 TCP 引入 Fast retrans 机制就是为了尽力避免 RTO&#xf…...

编程日记 2025/5/14 17:59:37

MCU内部ADC模块误差如何校准

本文章是笔者整理的备忘笔记。希望在帮助自己温习避免遗忘的同时，也能帮助其他需要参考的朋友。如有谬误，欢迎大家进行指正。一、ADC误差校准引言 MCU 片内 ADC 模块的误差总包括了 5 个静态参数 (静态失调，增益误差，微分非线性…...

编程日记 2025/5/15 5:58:37

国产之光DeepSeek架构理解与应用分析

目录初步探索DeepSeek的设计一、核心架构设计二、核心原理与优化三、关键创新点四、典型应用场景五、与同类模型的对比优势六、未来演进方向从投入行业生产的角度看一、DeepSeek的核心功能扩展二、机械电子工程产业中的具体案例 1. 预测性维护（Predictive…...

编程日记 2025/5/18 14:29:41

docker 下载镜像johngong/calibre-web，安装之我是本地的/docker/xxx/metadata目录映射到 /usr/local/calibre-web/app/cps/metadata_provider CALIBREDB_OTHER_OPTION 删除 CALIBRE_SERVER_USER calibre_server_user 缺省用户名口令 admin admin123 另外有个N…...

编程日记 2025/5/16 14:11:37

openRv1126 AI算法部署实战之——Tensorflow模型部署实战

在RV1126开发板上部署Tensorflow算法，实时目标检测RTSP传输。视频演示地址 rv1126 yolov5 实时目标检测 rtsp传输_哔哩哔哩_bilibili 一、准备工作从官网下载tensorflow模型和数据集手动在线下载： https://github.com/tensorflow/models/b…...

编程日记 2025/5/14 2:28:20

HTML特殊符号的使用示例

目录一、基本特殊符号的使用 1、空格符号： 2、小于号和大于号： 3、引号： 二、版权、注册商标符号的使用 1、版权符号：© 2、注册商标符号： 三、数学符号的使用四、箭头符号的使用五、货币符号的使用…...

编程日记 2025/5/15 10:44:36

如何对系统调用进行扩展?

扩展系统调用是操作系统开发中的一个重要任务。系统调用是用户程序与操作系统内核之间的接口，允许用户程序执行内核级操作（如文件操作、进程管理、内存管理等）。扩展系统调用通常包括以下几个步骤：一、定义新系统调用扩展系统调用首先需要定义新的系统调用的功能。系统…...

编程日记 2025/5/17 11:23:44

【MFC】C++所有控件随窗口大小全自动等比例缩放源码(控件内字体、列宽等未调整) 20250124

MFC界面全自动等比例缩放 1.在初始化里枚举每个控件记录所有控件rect 2.在OnSize里，根据当前窗口和之前保存的窗口的宽高求比例x、y 3.枚举每个控件，根据比例x、y调整控件上下左右,并移动到新rect struct ControlInfo {CWnd* pControl;CRect original…...

编程日记 2025/5/17 17:16:06

前端 | 深入理解Promise

1. 引言 JavaScript 是一种单线程语言，这意味着它一次仅能执行一个任务。为了处理异步操作，JavaScript 提供了回调函数，但是随着项目处理并发任务的增加，回调地狱 (Callback Hell) 使异步代码很难维护。为此，ES6带来了…...

编程日记 2025/5/16 20:34:25

【视频+图文讲解】HTML基础2-html骨架与基本语法

图文教程基本骨架举个例子，下图所展示的为html的源代码 -!DOCTYPE：表示文档类型（后边写的html表示文档类型是html）；其中“！”表示声明只要是加这个声明标签的，浏览器就会把下边的源代码当…...

编程日记 2025/5/18 13:30:25

LabVIEW在电机自动化生产线中的实时数据采集与生产过程监控

在电机自动化生产线中，实时数据采集与生产过程监控是确保生产效率和产品质量的重要环节。LabVIEW作为一种强大的图形化编程平台，可以有效实现数据采集、实时监控和自动化控制。详细探讨如何利用LabVIEW实现这一目标，包括硬件选择、软件架构设…...

编程日记 2025/5/17 20:15:54

《深入理解HTTP交互与数据监控：完整流程与优化实践》

文章目录 🌐 全链路解析：HTTP请求响应与数据可视化监控一、HTTP请求响应全流程解析1. 全链路交互流程图2.关键技术实现2.1 前端请求构造（ES6语法示例）2.2 服务端处理架构（Node.js/Express） 二、数据可视化监…...

编程日记 2025/5/16 1:56:44

pytorch使用SVM实现文本分类

人工智能例子汇总：AI常见的算法和例子-CSDN博客完整代码： import torch import torch.nn as nn import torch.optim as optim import jieba import numpy as np from sklearn.model_selection import train_test_split from sklearn.feature_extract…...

编程日记 2025/5/18 9:17:34

Recommender Systems with Large Models

一、引言信息爆炸时代，用户面临信息过载，传统推荐系统依赖经典算法，难以满足需求。大模型基于深度学习，经大规模预训练，具备强大能力，能实现更精准推荐，为推荐系统发展开辟新路径。二、大模…...

编程日记 2025/5/15 3:19:57

团体程序设计天梯赛-练习集——L1-028 判断素数

前言一道10分的题目，相对来说比较简单，思考的时候要仔细且活跃，有时候在写代码的时候一些代码的出现很多余，并且会影响最后的结果 L1-028 判断素数本题的目标很简单，就是判断一个给定的正整数是否素数。输入格式…...

编程日记 2025/5/13 20:33:13

SCRM开发为企业提供全面客户管理解决方案与创新实践分享

内容概要在当今的商业环境中，客户关系管理（CRM）变得越来越重要。而SCRM（社交客户关系管理）作为一种新兴的解决方案，正在帮助企业彻底改变与客户的互动方式。快鲸SCRM是一个引人注目的工具，它通…...

编程日记 2025/5/18 2:02:21

Axure PR 9 旋转效果设计交互

大家好，我是大明同学。这期内容，我们将学习Axure中的旋转效果设计与交互技巧。旋转创建旋转效果所需的元件 1.打开一个新的 RP 文件并在画布上打开 Page 1。 2.在元件库中拖出一个按钮元件。创建交互创建按钮交互状态 1.选中按钮元件&#xf…...

编程日记 2025/5/16 1:56:40

自定义数据集使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数

代码： import torch import numpy as np import torch.nn as nn from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# 定义数据：x_data 是特征，y_data 是标签（目标值） data [[-0…...

编程日记 2025/5/19 8:13:04

Linux02——Linux的基本命令

目录 ls 常用选项及功能综合示例注意事项 cd和pwd命令 cd命令 pwd命令相对路径、绝对路径和特殊路径符特殊路径符号 mkdir命令 1. 功能与基本用法 2. 示例 3. 语法与参数 4. -p选项 touch-cat-more命令 1. touch命令 2. cat命令 3. more命令 cp-mv-rm命…...

编程日记 2025/5/17 12:44:37

MySQL数据库（二）- SQL

目录编辑一 DDL (一数据库操作 1 查询-数据库（所有/当前） 2 创建-数据库 3 删除-数据库 4 使用-数据库 (二表操作 1 创建-表结构 2 查询-所有表结构名称 3 查询-表结构内容 4 查询-建表语句 5 添加-字段名数据类型 6 修改-字段数据类…...

编程日记 2025/5/16 15:29:41

Docker自定义镜像

Dockerfile自定义镜像一：镜像结构镜像是将应用程序及其需要的系统函数库、环境、配置、依赖打包而成。我们以MySQL为例，来看看镜像的组成结构： 简单来说，镜像就是在系统函数库、运行环境基础上，添加应用程序文件、…...

编程日记 2025/5/18 10:04:42

网络协议基础

文章目录前言一、网络协议分层1.应用层2.传输层3.网络层4.数据链路层5.物理层二、图解IP1.IP基本认识（1）IP的作用（2）IP与MAC的关系 2.IP地址的基础知识（1）IP地址的定义（2）IP地址的…...

编程日记 2025/5/13 17:43:00

c语言进阶（简单的函数数组指针预处理文件结构体）

c语言补充格式 void函数头 {} 中的是函数体 sum函数名 （） 参数表 #include <stdio.h>void sum(int begin, int end) {int i;int sum 0;for (i begin ; i < end ; i) {sum i;}printf("%d到%d的和是%d\n", begin, end, sum); …...

编程日记 2025/5/19 13:41:31

Pytorch框架从入门到精通

目录一、Tensors 1.1 初始化一个Tensor 1）赋值初始化 2）从 NumPy 数组初始化 3）从另一个张量 4）使用随机值或常量值 1.2 Tensor 的属性 1.3 对 Tensor 的操作 1.3.1 总体介绍 1.3.2 索引和切片 1.3.3 算术运算矩阵乘…...

编程日记 2025/5/16 1:27:38

Vue.js组件开发-实现全屏图片文字缩放切换特效

使用 Vue 实现全屏图片文字缩放切换特效步骤创建 Vue 项目：使用 Vue CLI 来快速创建一个新的 Vue 项目。设计组件结构：创建一个包含图片和文字的组件，并实现缩放和切换效果。实现样式：使用 CSS 来实现全屏显示、缩放和切换动画…...

编程日记 2025/5/19 10:12:40

在 WSL2 中重启 Ubuntu 实例

在 WSL2 中重启 Ubuntu 实例，可以按照以下步骤操作： 方法 1: 使用 wsl 命令关闭 Ubuntu 实例: 打开 PowerShell 或命令提示符，运行以下命令： wsl --shutdown这会关闭所有 WSL2 实例。重新启动 Ubuntu: 再次打开 Ubuntu&#x…...

编程日记 2025/5/14 18:05:13

Flutter 新春第一弹，Dart 宏功能推进暂停，后续专注定制数据处理支持

在去年春节，Flutter 官方发布了宏（Macros）编程的原型支持， 同年的 5 月份在 Google I/O 发布的 Dart 3.4 宣布了宏的实验性支持，但是对于 Dart 内部来说，从启动宏编程实验开始已经过去了几年，但…...

编程日记 2025/5/15 3:10:30

Signature

打开得到加密脚本： import ecdsa import randomdef ecdsa_test(dA,k):sk ecdsa.SigningKey.from_secret_exponent(secexpdA,curveecdsa.SECP256k1)sig1 sk.sign(databHi., kk).hex()sig2 sk.sign(databhello., kk).hex()r1 int(sig1[:64], 16)s1 int(sig1[64:…...

编程日记 2025/5/14 6:59:02

UE求职Demo开发日志#18 数据表获取物品信息，添加背包模块

1 把获取物品信息改为读取数据表先创建结构，暂时有这几个属性： USTRUCT(BlueprintType) struct ARPG_CPLUS_API FMyItemData:public FTableRowBase {GENERATED_USTRUCT_BODY()UPROPERTY(EditAnywhere, BlueprintReadWrite)int ItemId;//物品Id&#x…...

编程日记 2025/5/19 3:02:20

neo4j-community-5.26.0 create new database

1.edit neo4j.conf 把 # The name of the default database initial.dbms.default_databasehonglouneo4j # 写上自己的数据库名称和 # Name of the service #5.0 server.windows_service_nameneo4j #4.0 dbms.default_databaseneo4j #dbms.default_databaseneo4jwind serve…...

编程日记 2025/5/18 23:52:31

项目中用的网关Gateway及SpringCloud

在现代微服务架构中，网关（Gateway）起到了至关重要的作用。它不仅负责路由请求，还提供了统一的认证、授权、负载均衡、限流等功能。Spring Cloud Gateway 是 Spring Cloud 生态系统中的一个重要组件，专门为微服务架构提…...

编程日记 2025/5/14 12:37:03

《Ollama Python 库》

Ollama Python 库 Ollama Python 库提供了将 Python 3.8 项目与 Ollama 集成的最简单方法。先决条件应该安装并运行 Ollama拉取一个模型以与库一起使用：例如ollama pull <model>ollama pull llama3.2 有关可用模型的更多信息，请参阅 Ollama.com。…...

编程日记 2025/5/16 21:05:12

大模型概述（方便不懂技术的人入门）

1 大模型的价值 LLM模型对人类的作用，就是一个百科全书级的助手。有多么地百科全书，则用参数的量来描述， 一般地，大模型的参数越多，则该模型越好。例如，GPT-3有1750亿个参数，GPT-4可能有超过1万…...

编程日记 2025/5/17 23:42:22

Ubuntu16.04编译安装Cartographer 1.0版本

说明官方文档由于Ubuntu16.04已经是很老的系统，如果直接按照Cartographer官方安装文档安装会出现代码编译失败的问题，本文给出了解决这些问题的办法。正常情况下执行本文给出的安装方法即可成功安装。依赖安装 # 这里和官方一致 # Install the req…...

编程日记 2025/5/15 2:22:12

AI-ISP论文Learning to See in the Dark解读

论文地址：Learning to See in the Dark 图1. 利用卷积网络进行极微光成像。黑暗的室内环境。相机处的照度小于0.1勒克斯。索尼α7S II传感器曝光时间为1/30秒。(a) 相机在ISO 8000下拍摄的图像。(b) 相机在ISO 409600下拍摄的图像。该图像存在噪点和色彩偏差。©…...

编程日记 2025/5/16 1:55:56

2 MapReduce

2 MapReduce 1. MapReduce 介绍1.1 MapReduce 设计构思 2. MapReduce 编程规范3. Mapper以及Reducer抽象类介绍1.Mapper抽象类的基本介绍2.Reducer抽象类基本介绍 4. WordCount示例编写5. MapReduce程序运行模式6. MapReduce的运行机制详解6.1 MapTask 工作机制6.2 ReduceTask …...

编程日记 2025/5/16 15:13:12

OpenCV：SIFT关键点检测与描述子计算

目录 1. 什么是 SIFT？ 2. SIFT 的核心步骤 2.1 尺度空间构建 2.2 关键点检测与精细化 2.3 方向分配 2.4 计算特征描述子 3. OpenCV SIFT API 介绍 3.1 cv2.SIFT_create() 3.2 sift.detect() 3.3 sift.compute() 3.4 sift.detectAndCompute() 4. SIFT 关…...

编程日记 2025/5/14 22:56:38

初识Cargo：Rust的强大构建工具与包管理器

初识Cargo：Rust的强大构建工具与包管理器如果你刚刚开始学习Rust，一定会遇到一个名字：Cargo。Cargo是Rust的官方构建工具和包管理器，它让Rust项目的创建、编译、测试和依赖管理变得非常简单。本文将带你快速了解Cargo的基本用法…...

编程日记 2025/5/17 11:56:05

LightM-UNet（2024 CVPR）

论文标题LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation论文作者Weibin Liao, Yinghao Zhu, Xinyuan Wang, Chengwei Pan, Yasha Wang and Liantao Ma发表日期2024年01月01日GB引用> Weibin Liao, Yinghao Zhu, Xinyuan Wang, et al. Ligh…...

编程日记 2025/5/18 8:42:25

2025年02月01日Github流行趋势

项目名称：oumi 项目地址url：https://github.com/oumi-ai/oumi 项目语言：Python 历史star数：544 今日star数：103 项目维护者：xrdaukar, oelachqar, taenin, wizeng23, kaisopos 项目简介：一切你需…...

编程日记 2025/5/17 16:36:29

自动化测试框架搭建-封装requests-优化

目的 1、实际的使用场景，无法避免的需要区分GET、POST、PUT、PATCH、DELETE等不同的方式请求，以及不同请求的传参方式 2、python中requests中，session.request方法，GET请求，只支持params传递参数 session.request(me…...

编程日记 2025/5/16 6:57:58

什么是线性化PDF？

线性化PDF是一种特殊的PDF文件组织方式。总体而言，PDF是一种极为优雅且设计精良的格式。PDF由大量PDF对象构成，这些对象用于创建页面。相关信息存储在一棵二叉树中，该二叉树同时记录文件中每个对象的位置。因此，打开文件时只需加…...

编程日记 2025/5/12 12:44:25

XML DOM 浏览器差异

DOM 解析中的浏览器差异所有现代的浏览器都支持 W3C DOM 规范。然而，浏览器之间是有差异的。一个重要的差异是： 处理空白和换行的方式 DOM - 空白和换行 XML 经常在节点之间包含换行或空白字符。这是在使用简单的编辑器（比如记事本&…...

编程日记 2025/5/15 9:39:33

电子电气架构 --- 汽车电子拓扑架构的演进过程

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活…...

编程日记 2025/5/19 10:11:53

01-六自由度串联机械臂（ABB）位置分析

ABB工业机器人（IRB2600）如下图所示（d1444.8mm，a1150mm，a2700mm，a3115mm，d4795mm，d685mm），利用改进DH法建模，坐标系如下所示： 利用改进…...

编程日记 2025/5/19 0:08:52

04树 + 堆 + 优先队列 + 图（D1_树（D6_B树（B）））

目录一、学习前言二、基本介绍三、特性 1. 从概念上说起 2. 举个例子四、代码实现节点准备大体框架实现分裂实现新增实现删除五、完整源码一、学习前言前面我们已经讲解过了二叉树、二叉搜索树（BST）、平衡二叉搜索树&#xff08…...

编程日记 2025/5/18 22:23:05

350.两个数组的交集 ②

目录题目过程解法题目给你两个整数数组 nums1 和 nums2 ，请你以数组形式返回两数组的交集。返回结果中每个元素出现的次数，应与元素在两个数组中都出现的次数一致（如果出现次数不一致，则考虑取较小值）。可以不考虑…...

编程日记 2025/5/19 9:12:58

C#，入门教程(09)——运算符的基础知识

上一篇： C#，入门教程(08)——基本数据类型及使用的基础知识https://blog.csdn.net/beijinghorn/article/details/123906998 一、算术运算符号算术运算符号包括：四则运算加 , 减-, 乘*, 除/与取模%。 // 加法，运算 int va 1 …...

编程日记 2025/5/10 0:06:20

Python-基于PyQt5,wordcloud,pillow,numpy,os,sys等的智能词云生成器

前言：日常生活中，我们有时后就会遇见这样的情形：我们需要将给定的数据进行可视化处理，同时保证呈现比较良好的量化效果。这时候我们可能就会用到词云图。词云图（Word cloud）又称文字云，是一种文…...

编程日记 2025/5/18 15:04:14

相关文章：