当前位置：首页 > news >正文

Pytorch中的ebmedding到底怎么理解？

news 来源：原创 2025/9/10 14:56:11

在 PyTorch 中，nn.Embedding 是一个用于处理离散符号映射到连续向量空间的模块。它通常用于自然语言处理（NLP）任务（如词嵌入）、处理分类特征，或任何需要将离散索引转换为密集向量的场景。

核心理解

功能：
- 将离散的整数索引（例如单词的索引、类别ID）映射为固定维度的连续向量。
- 这些向量是可学习的参数，在训练过程中通过反向传播优化。
参数：
- num_embeddings：词汇表的大小（有多少个唯一的符号/类别）。
- embedding_dim：每个符号对应的向量维度。
- 例如：nn.Embedding(1000, 128) 表示将 1000 个符号映射到 128 维的向量空间。
输入与输出：
- 输入：一个整数张量，形状为 (*)（可以是任意维度，通常是 [batch_size, sequence_length]）。
- 输出：形状为 (*, embedding_dim) 的张量。例如，输入形状为 [2, 3]，输出为 [2, 3, 128]。

工作原理

内部权重矩阵：
- nn.Embedding 内部维护一个形状为 (num_embeddings, embedding_dim) 的权重矩阵。
- 当输入索引 i 时，输出是该矩阵的第 i 行（即 weight[i]）。
类比 One-Hot + 全连接层：
- 可以理解为对输入进行 One-Hot 编码，然后通过一个 无偏置的全连接层。
- 例如，输入 3 会转换为一个 One-Hot 向量 [0,0,0,1,0,...]，再与权重矩阵相乘，直接取出第 3 行的向量。
- 但实际实现是高效的直接索引查找，避免了显式的 One-Hot 计算。

使用示例

import torch
import torch.nn as nn# 定义 Embedding 层：10 个符号，每个符号映射到 3 维向量
embedding = nn.Embedding(num_embeddings=10, embedding_dim=3)# 输入：形状为 [2, 4] 的整数张量（例如，两个样本，每个样本长度为4）
input_indices = torch.LongTensor([[1,2,4,5], [4,3,2,9]])# 输出：形状为 [2, 4, 3]
output = embedding(input_indices)
print(output)

关键特性

可学习的参数：
- 通过 embedding.weight 可以访问或修改权重矩阵（例如加载预训练词向量）。
- 默认初始化：权重矩阵的值从正态分布 N(0,1) 中随机采样。
填充索引（Padding）：
- 通过 padding_idx 参数指定填充位置的索引（例如 padding_idx=0），使该位置的向量在训练中不更新。
冻结权重：
- 通过 embedding.weight.requires_grad_(False) 可以冻结参数，使其不参与训练。

应用场景

词嵌入（Word Embedding）：

vocab_size = 5000  # 词汇表大小
embedding_dim = 300
embedding_layer = nn.Embedding(vocab_size, embedding_dim)

类别特征嵌入：
- 处理分类特征时，将类别ID转换为向量（类似One-Hot的密集版本）。
推荐系统：
- 用户ID、物品ID的嵌入表示。

注意事项

输入范围：
- 输入的索引必须在 [0, num_embeddings-1] 范围内，否则会报错。
梯度传播：
- 只有实际被用到的索引对应的向量会更新梯度（未被使用的索引不影响模型参数）。
预训练初始化：
- 可以加载预训练的权重（如 Word2Vec、GloVe）：
```
embedding_layer.weight.data.copy_(torch.from_numpy(pretrained_matrix))
```

总结

nn.Embedding 是 PyTorch 中实现嵌入操作的核心模块，它将离散符号映射到连续的语义空间，是处理符号数据的基础工具。通过训练，模型可以自动学习符号之间的语义关系（例如相似性）。

Pytorch中的ebmedding到底怎么理解？

在 PyTorch 中，nn.Embedding 是一个用于处理离散符号映射到连续向量空间的模块。它通常用于自然语言处理（NLP）任务（如词嵌入）、处理分类特征，或任何需要将离散索引转换为密集向量的场景。核心理解功能&am…...

编程日记 2025/9/10 14:56:11

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解。

【JAVA面试题】什么是面向对象？谈谈你对面向对象的理解在 Java 面试中，面向对象是一个高频考点。它不仅是一种编程思想，更是现代软件开发的核心方法论。本文将从面向对象的概念、与面向过程的对比、以及面向对象的三大特性（封…...

编程日记 2025/9/7 10:20:57

【C】链式二叉树算法题1 -- 单值二叉树

leetcode链接https://leetcode.cn/problems/univalued-binary-tree/description/ 1 题目描述如果二叉树每个节点都具有相同的值，那么该二叉树就是单值二叉树。只有给定的树是单值二叉树时，才返回 true；否则返回 false。示例 1&#xff1…...

编程日记 2025/9/10 14:45:08

基于单片机的GPS定位系统设计

1 系统硬件 1.1单片机模块单片机的种类和型号可以说是有成百上千种，很多大的公司和企业都生产开发自己的单片机芯片，并且广泛应用于各种产品。Intel、 philips、摩托罗拉、凌阳、宏晶等等种类繁多。大体上可以分为51系列单片机和非51系列单片机。其…...

编程日记 2025/9/9 19:02:26

[React]Render Props、自定义Hooks和Context API优化详解

关于React中的Render Props、自定义Hooks和Context API优化的详解。我需要根据我搜索到的资料来综合回答这三个部分。首先，我需要分别理解每个概念的定义、用途以及优化方法。首先看Render Props。根据Render Props是一种通过传递函数作为prop来共享组件间逻辑的技…...

编程日记 2025/9/10 3:56:04

关于大型语言模型的结构修剪

本文介绍了一种名为 **LLM-Pruner** 的方法，用于对大型语言模型（LLMs）进行结构化剪枝，以减少模型大小和计算需求，同时保留其多任务解决和语言生成能力。LLM-Pruner 通过依赖检测和重要性估计实现高效剪枝，并…...

编程日记 2025/9/10 13:42:10

【语法】C++中string类中的两个问题及解答

贴主在学习string类时遇到过两个困扰我的问题，今天拿出来给大家分享一下我是如何解决的一、扩容时capacity的增长问题在string的capacity()接口中，调用的是这个string对象的容量(可以存多少个有效字符)，而size()是调用的string对象现在有…...

编程日记 2025/9/7 17:58:19

Linux(centOS) 命令提示符格式修改(PS1)

1. 命令提示符的组成命令提示符（PS1）通常由以下部分组成： 部分示例说明[ 和 ][...]提示符的开头和结尾，用于视觉分隔。用户名root 或 tianjiajie当前登录的用户。root 是超级用户，普通用户可能是其他名称。分隔用户…...

编程日记 2025/9/7 7:53:45

QwenVL 2.5-本地安装编译布署全教程

开篇 DeepSeek开源后我国又开源了一个震撼大模型，QwenVL2.5，这是一个多模态的模形，它可以认图、识图、更能作图，还能读懂video。 Qwen2.5-VL 的主要特点如下所示：感知更丰富的世界：Qwen2.5-VL 不仅擅长识别常见物体，如花、鸟、鱼和昆虫，还能够分析图像中的文本、图表…...

编程日记 2025/9/10 14:50:58

Hutool - JWT：轻松玩转 JSON Web Token

各位开发者朋友们，在现代的前后端分离开发模式里，身份验证和授权可是至关重要的环节。JSON Web Token（JWT）作为一种轻量级的身份验证和授权机制，在很多项目中都得到了广泛应用。它可以在客户端和服务器之间安全地传输信…...

编程日记 2025/9/9 21:25:44

2024年第十五届蓝桥杯大赛软件赛省赛Python大学A组真题解析《更新中》

文章目录试题A: 拼正方形(本题总分：5 分)解析答案试题B: 召唤数学精灵(本题总分：5 分)解析答案试题C: 数字诗意解析答案试题D:回文数组试题A: 拼正方形(本题总分：5 分) 【问题描述】小蓝正在玩拼图游戏，他有7385137888721 个2 2 的方块和10470245 个1 1 的方块，他需…...

编程日记 2025/9/10 14:52:59

【2025年2月28日稳定版】小米路由器4C刷机Immortalwrt 23.05.4系统搭载mentohust 0.3.1插件全记录

小米路由器4C刷机Immortalwrt系统搭载mentohust插件全记录首先将路由器按住后面的reset，用一个针插进去然后等待5s左右，松开，即可重置路由器。然后要用物理网线物理连接路由器Lan口和电脑，并将路由器WAN口连接至网口。确保电脑…...

编程日记 2025/9/10 5:38:12

W3C标准和ES规范之一文通

W3C标准和ES规范之一文通以下是关于W3C标准和ES规范的透彻解析，通过结构化对比和生活化类比帮助理解和记忆： 一、核心概念对比（总览） 维度W3C标准ES规范（ECMAScript）定位Web技术的建筑蓝图JavaScript的语…...

编程日记 2025/9/9 21:21:51

Linux：应用层协议

协议是一种 "约定". socket api的接口, 在读写数据时, 都是按 "字符串" 的方式来发送接收的. 如果我们要传输一些"结构化的数据" 怎么办呢? 无论我们采用什么方案, 只要保证, 一端发送时构造的数据, 在另一端能够正确的进行解析, 就是ok的. 这种…...

编程日记 2025/9/8 13:53:28

深度学习五大模型：CNN、Transformer、BERT、RNN、GAN详细解析

# 深度学习五虎将：当CNN遇见Transformer的奇幻漂流 ## 序章：AI江湖的兵器谱排行 2012年，多伦多大学的厨房里，Hinton的学生们用GPU煎了个"AlexNet"荷包蛋，从此开启了深度学习的热兵器时代。如今五大模型各显…...

编程日记 2025/9/10 14:47:30

微服务组件详解——sentinel

1.启动sentinel： 下载jar sentinel-dashboard-1.8.0.jar 使用以下命令直接运行 jar 包（JDK 版本必须≥ 1.8）： java -Dserver.port9999 -jar D:\sentinel-dashboard-1.8.0.jar 控制台访问地址：http://localhost:9999…...

编程日记 2025/9/10 14:47:28

波导阵列天线学习笔记11双极化全金属垂直公共馈电平板波导槽阵列天线

摘要： 本communicaition提出了一种双极化全金属垂直公共馈电平板波导槽阵列天线。最初提出了一种公共馈电的单层槽平板波导来实现双极化阵列。此设计消除了传统背腔公共馈电的复杂腔体边缘的必要性，提供了一种更简单的天线结构。在2x2子阵列种发展了宽十…...

编程日记 2025/9/10 14:53:49

swift 开发效率提升工具

安装github copliot for xcode github/CopilotForXcode brew install --cask github-copilot-for-xcode安装swiftformat for xcode brew install swiftformatXcode Swift File代码格式化-SwiftFormat...

编程日记 2025/9/7 4:50:46

************************************************************************************************************** 点击进入 -我要自学网-国内领先的专业视频教程学习网站 *******************************************************************************************…...

编程日记 2025/9/10 14:52:58

Centos7部署k8s（单master节点安装）

单master节点部署k8s集群(Centos) 一、安装前准备 1、修改主机名按照资源准备修改即可 # master01 hostnamectl set-hostname master01 ; bash # node1 hostnamectl set-hostname node1 ; bash # node2 hostnamectl set-hostname node2 ; bash2、修改hosts文件以下命令所…...

编程日记 2025/9/9 20:33:48

Tomcat

1.Tomcat是什么？ Tomcat 是一个开源的、轻量级的 Servlet 容器，也被称为 Web 服务器，由 Apache 软件基金会的 Jakarta 项目开发，在 Java Web 开发领域应用广泛。 1）Servlet 容器：Servlet 是 Java 语言编写…...

编程日记 2025/9/10 14:50:57

基于SpringBoot+Vue的电影订票及评论网站的设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/9/8 0:19:29

地基简识Spring MVC 组件

Spring MVC 是一个基于 MVC 设计模式的框架，其核心组件协同工作以处理 HTTP 请求并生成响应。以下是各组件的详细说明及其协作流程： 一、核心组件 DispatcherServlet（前端控制器） 作用：接收所有请求并协调其他…...

编程日记 2025/9/10 14:24:20

如何通过Python网络爬虫技术应对复杂的反爬机制？

要使用Python网络爬虫技术绕过复杂的反爬虫机制，可以采取以下几种策略： 设置User-Agent：通过设置不同的User-Agent，模拟正常用户的浏览器访问，避免被网站识别为爬虫。可以使用fake_useragent库来随机生成User-Agent。…...

编程日记 2025/9/9 23:33:02

深入浅出：Spring AI 集成 DeepSeek 构建智能应用

Spring AI 作为 Java 生态中备受瞩目的 AI 应用开发框架，凭借其简洁的 API 设计和强大的功能，为开发者提供了构建智能应用的强大工具。与此同时，DeepSeek 作为领先的 AI 模型服务提供商，在自然语言处理、计算机视觉等领域展现了卓…...

编程日记 2025/9/8 17:34:30

Node.js二：第一个Node.js应用

精心整理了最新的面试资料和简历模板，有需要的可以自行获取点击前往百度网盘获取点击前往夸克网盘获取创建的时候我们需要用到VS code编写代码我们先了解下 Node.js 应用是由哪几部分组成的： 1.引入 required 模块：我们可以使用 requi…...

编程日记 2025/9/10 4:51:07

【HarmonyOS Next】鸿蒙状态管理装饰器V1和V2混用方案

【HarmonyOS Next】鸿蒙状态管理装饰器V1和V2混用方案一、V1和V2为什么需要混用自从api7开始，一直到api10。V1的实际使用中，开发人员发现Observed和ObjectLink 监听实现多层级嵌套对象的更新的方案，太过于臃肿。当需要监听处理更新的多层…...

编程日记 2025/9/9 13:46:20

【技海登峰】Kafka漫谈系列（三）详解Kafka的数据结构与存储机制

【技海登峰】Kafka漫谈系列（三）详解Kafka的数据结构与存储机制 Kafka 使用消息日志（Log）机制来持久化保存数据，我们知道Kafka实际是以Partition分区为单位进行负载均衡和资源分配，每个Partition又由多个Replica副本组成，副本之间分布于不同的Broker上来保证高可用，因此…...

编程日记 2025/9/5 20:41:09

PyCharm接入本地部署DeepSeek 实现AI编程！【支持windows与linux】

今天尝试在pycharm上接入了本地部署的deepseek，实现了AI编程，体验还是很棒的。下面详细叙述整个安装过程。本次搭建的框架组合是 DeepSeek-r1:1.5b/7b Pycharm专业版或者社区版 Proxy AI（CodeGPT） 首先了解不同版本的deepsee…...

编程日记 2025/9/10 8:20:29

腾讯云扩容记录

腾讯云扩容： sudo yum install -y cloud-utils-growpart 安装扩容工具 sudo file -s /dev/vda1 有数据 sudo LC_ALLen_US.UTF-8 growpart /dev/vda 1 sudo resize2fs /dev/vda1 df -Th 完毕以下是对执行的命令的详细解释以及背后的原理： 1. 安装 cloud…...

编程日记 2025/9/8 13:07:06

计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型音乐推荐系统音乐数据分析音乐可视化音乐爬虫知识图谱大数据毕业设计

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/9/9 18:51:32

本地部署大语言模型-DeepSeek

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 Hostease AMD 9950X/96G/3.84T NVMe/1G/5IP/RTX4090 GPU服务器提供多种计费模式。 DeepSeek-R1-32B配置配置项规…...

编程日记 2025/9/7 15:35:41

Windows逆向工程入门之MASM数据结构使用

公开视频 -> 链接点击跳转公开课程博客首页 -> 链接点击跳转博客主页目录第一章：MASM数据定义体系精要 1.1 基础数据类型全景 1.1.1 整型数据规范 1.1.2 浮点数据编码 1.2 复合数据结构 1.2.1 多维数组定义 1.2.2 复杂结构体第二章&#xf…...

编程日记 2025/9/10 13:17:42

python 之协程笔记

协程协程的本质是用户态线程，由程序自行控制切换时机，无需操作系统介入。与线程相比，协程的三大核心优势： 资源占用极低：一个协程仅需KB级内存，可轻松创建数万个切换效率惊人：上下文切换在用户…...

编程日记 2025/9/9 18:07:25

使用 REINFORCE 算法强化梯度策略

一、整体概述此代码利用 REINFORCE 算法（一种基于策略梯度的强化学习算法）来解决 OpenAI Gym 中的 CartPole-v1 环境问题。CartPole-v1 环境的任务是控制一个小车，使连接在小车上的杆子保持平衡。代码通过构建一个神经网络作为策略网络&…...

编程日记 2025/9/9 7:49:47

【C++并发编程实战】第1章你好，C++的并发世界!

文章目录 1. 何谓并发2. 为什么使用并发？3. 什么时候不使用并发4. C多线程历史5. 第一个并发程序 1. 何谓并发最简单和最基本的并发,是指两个或更多独立的活动同时发生。计算机领域的并发指的是在单个系统里同时执行多个独立的任务，而非顺序的进行一些…...

编程日记 2025/9/8 18:20:16

【QT线程】子线程阻塞主线程的一次网络api请求案例

阻塞源码赏析这是最近一次项目遇到的问题，原因是我觉得子线程里俩次请求间隔太短了，会引起服务器屏蔽我的api因此，我故作聪明加多了一个延时函数，欢迎各位鉴赏代码。 // 并行发起双请求 QNetworkRequest liveRequest(liveUrl);…...

编程日记 2025/9/8 9:46:44

DockerでOracle Database 23ai FreeをセットアップしMAX_STRING_SIZEを拡張する手順

DockerでOracle Database 23ai FreeをセットアップしMAX_STRING_SIZEを拡張する手順はじめに環境準備ディレクトリ作成Dockerコンテナ起動データベース設定変更コンテナ内でSQL*Plus起動PDB操作と文字列サイズ拡張設定検証管理者ユーザー作成注意事項まとめ中文版请访问这里…...

编程日记 2025/9/10 6:35:18

【计算机网络入门】初学计算机网络（五）

目录 1.编码&解码、调制&解调 2.常用编码方法 2.1 不归零编码（NRZ） 2.2 归零编码(RZ) 2.3 反向非归零编码(NRZI) 2.4 曼彻斯特编码 2.5 差分曼彻斯特编码 3. 各种编码的特点 4.调制 5.有线传输介质 5.1 双绞线 5.2 同轴电缆 5.3 光…...

编程日记 2025/9/9 6:42:53

unity学习60：滑动条和滚动条滚动区域

目录 1 滚动条 scrollbar 1.1 创建滚动条 1.2 scrollbar的子物体 1.3 scrollbar的属性 2 滚动视图 scroll View 2.1 创建1个scroll View 2.1.1 实际类比，网页就是一个 scroll view吧 2.2 子物体构成 2.3 核心component : Scroll Rect 3 可视区域 view p…...

编程日记 2025/9/7 12:22:47

【Linux网络-HTTP协议】HTTP基础概念+构建HTTP

代码定位：南毅c/Linux - Gitee.com HTTP协议介绍虽然我们说，应用层协议是我们程序猿自己定的.但实际上,已经有大佬们定义了一些现成的,又非常好用的应用层协议,供我们直接参考使用。HTTP(超文本传输协议)就是其中之一。在互联网世界中&#xff0c…...

编程日记 2025/9/5 12:46:05

2025年企业网络安全实战指南：常见漏洞解析与全方位防御策略

2025年企业网络安全实战指南：常见漏洞解析与全方位防御策略作者: 网络安全专家日期: 2025-02-27 分类: [网络安全] 标签: [漏洞防护, 信息安全, 企业安全] 引言：漏洞是攻击者的入口，防御是安全的基石 2025年，网络安全威胁持续升级。根据Gartner最新报告，全球企业因漏洞…...

编程日记 2025/9/8 5:38:09

一个py文件搞定mysql查询+Json转换+表数据提取+根据数据条件生成excel文件+打包运行一条龙

import os import argparse import pymssql import json import pandas as pd from datetime import datetime from pandas.io.formats.excel import ExcelFormatter import openpyxl# 投注类型映射字典 BET_MAPPING {1: WIN, 2: PLA, 3: QIN, 4: QPL,5: DBL, 6: TCE, 7: QTT,…...

编程日记 2025/9/9 7:18:15