当前位置：首页 > news >正文

Transformer 代码剖析7 - 词元嵌入(TokenEmbedding) （pytorch实现）

news 来源：原创 2025/9/10 17:16:45

一、类定义与继承关系剖析

1.1 代码结构图示

1.2 代码实现精讲

"""
@author : Hyunwoong
@when : 2019-10-22
@homepage : https://github.com/gusdnd852
"""
from torch import nnclass TokenEmbedding(nn.Embedding):"""基于PyTorch实现的动态词元嵌入模块实现词元索引到高维向量的可学习映射核心功能：将离散的词元序列转换为连续的语义空间表示"""def __init__(self, vocab_size, d_model):"""词元嵌入构造器:param vocab_size: 词表容量（不同词元的总数）:param d_model: 嵌入维度（与Transformer模型维度一致）设计要点：- 继承nn.Embedding的矩阵运算特性- 固化填充索引为可训练参数- 保持维度与模型其他组件兼容"""super(TokenEmbedding, self).__init__(vocab_size, # 嵌入数量 num_embeddings # 嵌入矩阵行数 = 词表大小d_model, # 嵌入维度 embedding_dim # 嵌入矩阵列数 = 模型维度padding_idx=1 # 填充符索引的特殊处理)

二、核心参数深度解读

2.1 参数矩阵可视化

假设词表容量vocab_size=10000，模型维度d_model=512时：

参数	维度	元素数量	数学意义
weight	[10000,512]	5,120,000	可训练的嵌入查询矩阵
padding_idx	scalar	1	动态掩码位置标识

2.2 关键参数说明

1. vocab_size

控制嵌入矩阵的行维度
决定模型可处理的词元种类上限
典型值域：BERT系列（~30000），GPT系列（~50000）

2. d_model

控制嵌入向量的列维度
与Transformer隐藏层维度严格对齐
典型值域：512（原始论文）、768（BERT-base）、1024（大型模型）

3. padding_idx

实现动态序列掩码的关键参数
索引位置对应的梯度会被自动抑制
防止填充符影响模型语义理解

三、运算过程分步推演

3.1 前向传播示例

输入序列：[3, 28, 1, 0] （1为填充符）

运算步骤：

1. 建立索引映射：

[[3],   → [[0.2, -0.5, ..., 1.2],  # 索引3的嵌入[28],  → [0.7, 1.1, ..., -0.3],   # 索引28的嵌入[1],   → [0.0, 0.0, ..., 0.0],    # 填充符固定值[0]]   → [-0.9, 0.4, ..., 0.1]]   # 索引0的嵌入

2. 矩阵缩放（后续处理）：

embeddings * sqrt(d_model)  # 维度对齐的数学技巧

3.2 梯度传播特性

可微分性： 整个映射过程保持梯度通路
参数更新： 通过反向传播调整嵌入矩阵
特殊处理： padding_idx位置梯度始终为0

四、设计哲学解析

4.1 继承关系价值

优势分析：

复用性：继承矩阵运算和参数管理功能
扩展性：保留自定义前向传播的可能性
兼容性：无缝对接PyTorch生态工具

4.2 工程实践建议

1. 初始化技巧：

默认采用均匀分布 $U(-\sqrt{\frac{1}{d_{model}}}, \sqrt{\frac{1}{d_{model}}})$

可扩展为Xavier/Kaiming初始化：

# Xavier均匀初始化（默认）
nn.init.xavier_uniform_(self.weight)# 特殊处理填充符
self.weight.data[1].zero_()

2. 维度对齐策略：

# 与位置编码相加前的缩放
embeddings = embeddings * math.sqrt(d_model)

3. 混合精度训练：

# 自动转换为半精度
with autocast():embeddings = embedding_layer(input_ids)

4. 填充符处理机制：

训练阶段自动跳过无效位置的计算
推理阶段维持序列形状一致性

5. 计算复杂度分析：

时间复杂度： $\cdot S \cdot D)$
空间复杂度： $\cdot D)$

完整实现细节可参考PyTorch中sparse.py 模块解析的相关文章（嵌入(Embedding)基类代码解析）或PyTorch官方Embedding文档。

Transformer 代码剖析7 - 词元嵌入(TokenEmbedding) （pytorch实现）

一、类定义与继承关系剖析 1.1 代码结构图示 #mermaid-svg-9COHbtmHJhpiroHM {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-9COHbtmHJhpiroHM .error-icon{fill:#552222;}#mermaid-svg-9COHbtmHJhpiroHM .error-t…...

编程日记 2025/9/10 17:16:45

6.6.5 SQL访问控制

文章目录 GRANT授予权限REVOKE回收权限 GRANT授予权限 GRANT语句可以给用户授予权限，基本格式是GRANT 权限 TO 用户。在授权时，WITH GRANT OPTION是可选项，有此句话，被授予权限的用户还能把权限赋给其他用户。 REVOKE回收权限 RE…...

编程日记 2025/9/7 16:04:27

IDEA 使用codeGPT+deepseek

一、环境准备 1、IDEA 版本要求安装之前确保 IDEA 处于 2023.x 及以上的较新版本。 2、Python 环境安装 Python 3.8 或更高版本为了确保 DeepSeek 助手能够顺利运行，您需要在操作系统中预先配置 Python 环境。具体来说，您需要安装 Python 3.8 或更高…...

编程日记 2025/9/9 21:09:51

React + TypeScript 实现 SQL 脚本生成全栈实践

React TypeScript 实现数据模型驱动 SQL 脚本生成全栈实践引言：数据模型与 SQL 的桥梁革命在现代化全栈开发中，数据模型与数据库的精准映射已成为提升开发效率的关键。传统手动编写 SQL 脚本的方式存在模式漂移风险高（Schema Drift&#…...

编程日记 2025/9/10 3:59:43

用DeepSeek生成批量删除处理 PDF第一页工具

安装依赖库在运行程序之前，请确保安装所需的库： pip install pymupdf python-docx Python 程序代码 import os import fitz # PyMuPDF from docx import Documentdef delete_pdf_first_page(input_path, output_path):"""删除 PDF…...

编程日记 2025/9/3 18:00:09

三个小时学完vue3（一）

Vue3 之前就学过一些，不过用的比较少，基本忘完了/(ㄒoㄒ)/~~ 跟着B站视频迅速回忆一下创建一个Vue 3 应用 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport&…...

编程日记 2025/9/7 10:43:53

netty如何处理粘包半包

文章目录 NIO中存在问题粘包半包滑动窗口MSS 限制Nagle 算法解决方案 NIO中存在问题粘包现象，发送 abc def，接收 abcdef原因应用层：接收方 ByteBuf 设置太大（Netty 默认 1024）滑动窗口：假设发送方 25…...

编程日记 2025/9/8 13:28:03

最好Wordpree+Apache+PHP安装教程

前提需要 PHP的安装最少需要7.4以上Mysql的安装，直接默认最新版就行APache服务器（HTTP服务器，只有用这个你的软件才能在服务器上运行） 安装apache 安装 sudo apt install apache2查看防火墙 sudo ufw app list如果有 Apache那…...

编程日记 2025/9/10 7:29:22

0x02 js、Vue、Ajax

文章目录 js核心概念js脚本引入html的方式基础语法事件监听 Vuevue简介v-forv-bindv-if&v-showv-model&v-on Ajax js 核心概念 JavaScript：是一门跨平台、面向对象的脚本语言，用来控制网页行为实现交互效果，由ECMAScript、BOM、DOM…...

编程日记 2025/9/9 7:59:34

如何使用Docker搭建哪吒监控面板程序

哪吒监控（Nezha Monitoring）是一款自托管、轻量级的服务器和网站监控及运维工具，旨在为用户提供实时性能监控、故障告警及自动化运维能力。文档地址：https://nezha.wiki/ 本章教程，使用Docker方式安装哪吒监控面板，在此之前，你需要提前安装好Docker. 我当前使用的操作系…...

编程日记 2025/8/18 3:06:51

智能图像处理平台：图片管理

接着我们讲图片管理，先实现图片基础的增删改查，再去考虑图像处理。主要是，我们需要完成查询时，查询的图片的上传者的角色等级小于等于我们当前登陆账号。后端controller： package com.llpp.controller;import cn.…...

编程日记 2025/9/6 17:14:25

如何使用Docker一键本地化部署LibrePhotos搭建私有云相册

文章目录前言1.关于LibrePhotos2.本地部署LibrePhotos3.LibrePhotos简单使用4. 安装内网穿透5.配置LibrePhotos公网地址6. 配置固定公网地址前言你是不是也经常对着手机里那一堆珍贵的照片发愁，心里想着：‘这要是被谁偷偷看了可咋办？’别…...

编程日记 2025/9/8 1:12:38

删除idea recent projects 记录

1、退出idea（一定要全部退出idea，要不然删除后，idea一退出，又保存上了） 2、进入 C:\Users\Administrator\AppData\Roaming\JetBrains\IntelliJIdea2024.1\options 目录根据不同的版本号 IntelliJIdea2024.1 这个地方…...

编程日记 2025/9/8 8:54:52

基因组突变数据分析-ClinVar数据库

探序基因肿瘤研究院数据库简介：ClinVar是一个免费访问的公共数据库，记录了人类变异和表型之间的关系，并提供了支持性证据（supporting evidence）。ClinVar提供的变异临床意义（clinical significance&#…...

编程日记 2025/9/6 4:21:32

windows 下使用Python OpenCV针对压缩的tiff 图像进行解压缩并转换成多张jpeg 图像

文章大纲 Tif/Tiff 图像简介tif 后缀的文件中为什么可以嵌入多张图片Tif 图像与 jpg 图像转换的要点参考使用的 GitHub 仓库链接tifffile 库的功能与其他库的区别代码实现基于 tifffile参考文献Tif/Tiff 图像简介 TIFF（Tagged Image File Format）是一种灵活且可适应的文件…...

编程日记 2025/9/5 0:11:18

小皮网站搭建

前提：小皮的安装下载 1、在www目录下创建一个新的文件夹，用来存放网站源码； 2、安装数据库管理工具phpMyadmin 3、新建数据表添加字段 4、创建网站 5、前端的登录代码注册后端php 网页展示登录成功跳转welcome.php...

编程日记 2025/9/7 19:09:37

Java8面试

Java 8 有哪些新特性? 🐎Java 8五大神装特性🐎 Lambda表达式（魔法调料） 曼波觉得像速食魔法咒语！(๑✧◡✧๑) // 传统写法（像冗长菜谱） new Thread(new Runnable() {public void run() {Syst…...

编程日记 2025/9/4 11:33:14

一个基于C# Winform开源免费的通用快速开发框架，内置完整的权限架构！

前言今天大姚给大家分享一个基于C# Winform开源免费（GPL-2.0开源协议）的通用快速开发框架，内置完整的权限架构：WinformDevFramework。项目介绍 WinformDevFramework是一个基于C# Winform开源免费（GPL-2.0开源协议…...

编程日记 2025/9/10 1:09:52

2025年度福建省职业院校技能大赛高职组“信息安全管理与评估”赛项规程样题模块二

模块二网络安全事件响应、数字取证调查、应用程序安全竞赛项目赛题本文件为信息安全管理与评估项目竞赛-第二阶段样题，内容包括：网络安全事件响应、数字取证调查。本次比赛时间为90分钟。介绍竞赛有固定的开始和结束时间，参赛队伍必须…...

编程日记 2025/9/6 18:12:51

【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》005-TypeScript 中的枚举

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主&…...

编程日记 2025/9/9 1:12:03

使用create_sql_query_chain工具根据自然语言问题生成SQL查询，踩坑版

1. 开启调试模式 from langchain import debugdebug True # 启用调试模式说明： 这里从 langchain 库中导入了一个名为 debug 的变量（或模块），然后将它设置为 True。这通常用来启用调试模式，方便开发者在程序运行时看…...

编程日记 2025/9/10 8:02:10

DeepSeek本地部署+自主开发对话Web应用

文章目录引言前端部分核心页面DeepSeek.vueMyModal.vue 后端部分WebSocketConfig 配置类AbstractDeepSeekToolDeepSeekWebSocketHandler 数据库设计总结引言最近DeepSeep横空出世，在全球内掀起一股热潮，到处都是满血大模型接入的应用，但这…...

编程日记 2025/9/10 15:17:18

【Springboot】解决问题 o.s.web.servlet.PageNotFound : No mapping for *

使用 cursor 进行老项目更新为 springboot 的 web 项目，发生了奇怪的问题，就是 html 文件访问正常，但是静态文件就是 404 检查了各种配置，各种比较，各种调试，最后放弃时候，清理没用的配置文件&…...

编程日记 2025/9/10 8:51:29

微信小程序点击按钮，将图片下载到本地

前言： 最近在公司完成一个小程序的时候需要实现一个功能：点击按钮获取用户相册权限，将图片下载到用户本地相册，经过了好几次的尝试最终算是实现了。将总结的经验在这里分享给小伙伴们。实现方式： //.wxml文件 <…...

编程日记 2025/9/10 10:56:27

解锁网络防御新思维：D3FEND 五大策略如何对抗 ATTCK

D3FEND 简介背景介绍 2021年6月22日（美国时间），美国MITRE公司正式发布了D3FEND——一个网络安全对策知识图谱。该项目由美国国家安全局（NSA）资助，并由MITRE的国家安全工程中心（NSEC&#xff…...

编程日记 2025/9/9 2:18:26

架构案例：从初创互联网公司到分布式存储与反应式编程框架的架构设计

文章目录引言一、初创互联网公司架构演化案例1. 万级日订单级别架构2. 十万级日订单级别架构3. 百万级日订单级别架构二、分布式存储系统 Doris 架构案例三、反应式编程框架架构案例总结引言分布式架构今天我们将探讨三种不同类型的架构案例，分别探讨一个初…...

编程日记 2025/9/5 10:57:04

Redis数据结构-List列表

1.List列表列表类型适用于存储多个有序的字符串（这里的有序指的是强调数据排列顺序的重要，不是升序降序的意思），列表中的每个字符串称为元素（element），一个列表最多可以存储2^32-1个元素。在R…...

编程日记 2025/9/6 0:16:24

开启AI短剧新纪元!SkyReels-V1/A1双剑合璧!昆仑万维开源首个面向AI短剧的视频生成模型

论文链接：https://arxiv.org/abs/2502.10841 项目链接：https://skyworkai.github.io/skyreels-a1.github.io/ Demo链接：https://www.skyreels.ai/ 开源地址：https://github.com/SkyworkAI/SkyReels-A1 https://github.com/Skywork…...

编程日记 2025/9/5 21:01:49

mac安装环境

minconda https://docs.anaconda.net.cn/miniconda/install/ 注意在下载下来应该有100多兆，太大了应该是完整版，我们不需要 jdk 镜像网站下载设置环境变量： 终端：sudo vim ~/.zshrc # JDK Config JAVA_HOME/Library/Java/Java…...

编程日记 2025/9/5 15:28:16

js加密之延伸requestAnimationFrame

简言上篇文章有提到requestAnimationFrame,只是随笔带过。这篇文章就着重研究一下requestAnimationFrame的运用，以及实际作用。还有关于在js加密技术中的落地实现可行性。功能说明小声说一下,做开发的同学一定要学会翻官方文档,我这里直接引用一段官方介绍。 …...

编程日记 2025/9/10 1:41:06

SpringBoot @Value 注解使用

Value 注解用于将配置文件中的属性值注入到Spring管理的Bean中。 1. 基本用法 Value 可以直接注入配置文件中的属性值。配置文件 (application.properties 或 application.yml) 配置文件定义需要注入的数据。 consumer:username: lisiage: 23hobby: sing,read,sleepsubje…...

编程日记 2025/9/6 13:31:56

JavaFunction的使用

一、基础概念与核心方法定义与作用 Function<T, R> 是一个函数式接口，接收类型为 T 的输入参数，返回类型为 R 的结果。其核心方法为 apply(T t)。例如，将字符串转换为整数长度： java Function<String, Integer>…...

编程日记 2025/9/8 11:49:39

TVbox蜂蜜影视：智能电视观影新选择，简洁界面与强大功能兼具

蜂蜜影视是一款基于猫影视开源项目 CatVodTVJarLoader 开发的智能电视软件，专为追求简洁与高效观影体验的用户设计。该软件从零开始编写，界面清爽，操作流畅，特别适合在智能电视上使用。其最大的亮点在于能够自动跳过失效的播放地址…...

编程日记 2025/9/4 11:50:06

Python基于交互注意力的深度时空网络融合多源信息的剩余寿命预测方法

基于交互注意力的深度时空网络融合多源信息的剩余寿命预测方法一、方法框架设计本方法的核心思想是通过交互注意力机制动态捕捉多源数据间的跨模态关联，并结合深度时空网络建模序列的时空退化特征。 1. 多源特征编码器输入：传感器数据、工况参数、…...

编程日记 2025/9/4 17:45:18

阿里云 | 快速在网站上增加一个AI助手

创建智能体应用如上所示，登录阿里云百炼人工智能业务控制台，创建智能体应用，智能体应用是一个agent，即提供个人或者企业的代理或中间件组件应用，对接阿里云大模型公共平台，为个人或者企业用户提供大模型应…...

编程日记 2025/9/6 21:57:18

基于Electron的应用程序安全测试基础 — 提取和分析.asar文件的案例研究

目录： 4.4. 案例研究 4.4.2. 情况描述 4.4.3. 信息收集 4.4.3.2. 检查隐藏目录（点目录）的可能性 4.4.3.3. 使用 DB Browser for SQLite 打开 .db 文件 4.4.3.4. 寻找加密算法 4.4.3.5. 找到加密算法 4.4.3.6. 理解加密流程 4.4.3.7. 找到“Ke…...

编程日记 2025/9/9 0:22:32

Vue3生命周期以及与Vue2的区别

文章目录一、Vue3生命周期核心阶段与钩子函数二、Vue3生命周期示例：选项式 vs 组合式 API选项式 API 示例（Vue2）组合式 API 示例（Vue3） 三、Vue3与Vue2生命周期的核心差异1. 钩子函数更名2. 组合式 API 的影响3. 新增…...

编程日记 2025/9/9 1:49:04

windows下安装CUDA-本地微调大模型

1、查看NVIDIA的控制面板的版本号 2 下载CUDA Toolkit https://developer.nvidia.com/cuda-toolkit-archive 这里要下载和自己电脑NVIDIA适配CUDA的大版本要保持一致选择对应的版本进行下载文件比较大，直接右键复制链接，放到迅雷中两分钟就下好了 3 …...

编程日记 2025/9/8 9:00:28

LeetCode：132. 分割回文串 II（DP Java）

目录 132. 分割回文串 II 题目描述： 实现代码与解析： DP 原理思路： 132. 分割回文串 II 题目描述： 给你一个字符串 s，请你将 s 分割成一些子串，使每个子串都是回文串。返回符合要求的最少分割次数…...

编程日记 2025/9/9 13:44:10

C# 13与.NET 9革新及工业开发应用

摘要微软推出的C# 13与.NET 9以“高效且智能”为导向，具备扩展类型、半自动属性、锁对象优化等十大革新。本文深入剖析新特性于工业级开发的应用场景，包含性能优化策略、AI集成方案以及EF Core实战技巧，为开发者提供从理论到实践的完整指引…...

编程日记 2025/9/1 21:29:21

IPoIB源码深度解析：如何基于TCP/IP协议栈实现高性能InfiniBand通信

一、IPoIB的核心设计理念 IPoIB（IP over InfiniBand）是一种在InfiniBand网络上承载IP流量的技术，其核心目标是在不修改上层应用的前提下，利用InfiniBand的高带宽和低延迟特性。与自定义协议栈不同，IPoIB通过深度集成到Linux内核TCP/IP协议栈中，将InfiniBand设备抽象为标…...

编程日记 2025/9/5 18:57:18

《白帽子讲 Web 安全：点击劫持》

目录摘要： 一、点击劫持概述二、点击劫持的实现示例：诱导用户收藏指定淘宝商品案例构建恶意页面： 设置绝对定位和z - index： 控制透明度： 三、其他相关攻击技术 3.1图片覆盖攻击与 XSIO 3.2拖拽劫持与数据…...

编程日记 2025/9/6 20:10:25

PostgreSQL10 逻辑复制实战：构建高可用数据同步架构！

PostgreSQL10 逻辑复制实战：打造高可用数据同步架构！ 概述 PostgreSQL 10 引入了逻辑复制（Logical Replication），为数据库高可用和数据同步提供了更灵活的选择。PostgreSQL 复制机制主要分为物理复制和逻辑复制两种&…...

编程日记 2025/9/6 8:03:46

Spring Boot 异步编程深入剖析

Spring Boot 异步编程深入剖析 1. 异步方法的使用原理深度解析 Spring Boot 的异步方法基于 Spring 的 AOP（面向切面编程）实现。当在方法上添加 Async 注解时，Spring 会为该方法所在的类创建一个代理对象。当调用该异步方法时&#xff0c…...

编程日记 2025/9/10 8:42:50

《动手学习深度学习》的笔记，将会持续更新。

1.什么是机器学习？机器学习是：换句话说，我们用数据训练（train）模型。数据不断的训练出比较好的模型。 1.2 机器学习的关键零件 1.学习的数据。 2. 如何转换数据的模型。 3.一个目标函数。 4.调整模型参数以优化目标函数的算法。 1，数据有什么组成？数据=样本+…...

编程日记 2025/9/10 7:01:46

[STM32]从零开始的STM32 BSRR、BRR、ODR寄存器讲解

一、前言学习STM32一阵子以后，相信大家对STM32 GPIO的控制也有一定的了解了。之前在STM32 LED的教程中也教了大家如何使用寄存器以及库函数控制STM32的引脚从而点亮一个LED，之前的寄存器只是作为一个引入，并没有深层次的讲解，在教…...

编程日记 2025/9/7 22:53:02

VUE3+Vite使用TailwindCSS【若依前后端分离框架】

参考：https://tailwind.nodejs.cn/docs/guides/vite#vue 和 https://blog.csdn.net/hjl_and_djj/article/details/144694485依次运行命令： cnpm install -D tailwindcss3.4.17 postcss autoprefixernpx tailwindcss init -p修改配置文件tailwind.config.…...

编程日记 2025/9/9 21:21:37

【Linux文件IO】系统IO详情

目录一、前言二、相关API介绍 2.1 open 2.2 read 2.3 write 2.4 lseek 2.5 close 三、简单示例 3.1 示例1 3.2 示例2 一、前言在 Linux 系统编程中，系统 I/O（又称低级 I/O）是直接通过操作系统提供的系统调用实现的文件操作接口…...

编程日记 2025/9/7 7:17:02