当前位置：首页 > news >正文

DeepSeek 多头潜在注意力（Multi-Head Latent Attention, MLA）技术

news 来源：原创 2025/6/7 2:42:25

1. 核心原理

多头潜在注意力（MLA）是Transformer架构的扩展技术，通过潜在空间投影和多注意力头并行计算增强模型对长序列和复杂特征的建模能力。

1.1 关键技术点

潜在空间压缩
将原始高维注意力矩阵投影到低维潜在空间，降低计算复杂度（从 $O(n^2)\rightarrow O(nk)$ , $\ll n$ ）
多头异构注意力
每个注意力头使用独立的潜在空间基向量，捕获不同语义特征
动态门控融合
通过可学习参数自动加权各注意力头的输出

1.2 数学表示

$\text{MLA}(Q,K,V) = \text{Concat}(\text{head}_1,...,\text{head}_h)W^O \\ \text{head}_i = \text{Softmax}\left(\frac{(QW_i^Q)(\Phi_i KW_i^K)^T}{\sqrt{d_k}}\right)VW_i^V$
其中 $\Phi_i \in \mathbb{R}^{k \times d}$ 是第 $i$ 个头的潜在空间投影矩阵

2. PyTorch 实现

import torch
import torch.nn as nn
import torch.nn.functional as Fclass MultiHeadLatentAttention(nn.Module):def __init__(self, d_model=512, n_heads=8, latent_dim=64):super().__init__()assert d_model % n_heads == 0self.d_k = d_model // n_headsself.n_heads = n_headsself.latent_dim = latent_dim# 投影矩阵self.W_q = nn.Linear(d_model, d_model)self.W_k = nn.Linear(d_model, d_model)self.W_v = nn.Linear(d_model, d_model)self.W_o = nn.Linear(d_model, d_model)# 潜在空间基向量（每个头独立）self.phi = nn.ParameterList([nn.Parameter(torch.randn(latent_dim, d_model)) for _ in range(n_heads)])def forward(self, q, k, v, mask=None):batch_size = q.size(0)# 1. 线性投影q = self.W_q(q).view(batch_size, -1, self.n_heads, self.d_k)k = self.W_k(k).view(batch_size, -1, self.n_heads, self.d_k)v = self.W_v(v).view(batch_size, -1, self.n_heads, self.d_k)# 2. 多头潜在注意力计算outputs = []for i in range(self.n_heads):# 潜在空间投影k_proj = torch.matmul(self.phi[i], k.transpose(1,2))# 缩放点积注意力scores = torch.matmul(q[:,:,i], k_proj.transpose(1,2)) / torch.sqrt(torch.tensor(self.d_k))if mask is not None:scores = scores.masked_fill(mask == 0, -1e9)attn = F.softmax(scores, dim=-1)# 头输出head_out = torch.matmul(attn, v[:,:,i])outputs.append(head_out)# 3. 多头融合output = torch.cat(outputs, dim=-1)return self.W_o(output)

3. 技术优势对比

特性	标准Attention	MLA
计算复杂度	$O(n^2)$	$O (nk)$
序列长度上限	$\sim$2k	$\sim$10k+
参数量	$4d^2$	$4d^2 + nhd$

4. 复杂度分析

原始注意力矩阵计算：
$QK^T \in \mathbb{R}^{n \times n}$

MLA的近似计算：
$\approx Q(\Phi K)^T \in \mathbb{R}^{n \times k}, \quad k \ll n$

内存节省比例：
$\eta = 1 - \frac{k}{n}$
当 $n = 8192$ , $k = 256$ 时， $\eta = 96.9\%$

DeepSeek 多头潜在注意力（Multi-Head Latent Attention, MLA）技术

1. 核心原理多头潜在注意力（MLA）是Transformer架构的扩展技术，通过潜在空间投影和多注意力头并行计算增强模型对长序列和复杂特征的建模能力。 1.1 关键技术点潜在空间压缩将原始高维注意力矩阵投影到低维潜在空间，降低计算复…...

编程日记 2025/5/12 2:57:54

C# 类（Class）教程

在现代面向对象编程中，**类（Class）**是最基础、最重要的概念之一。通过学习类，我们可以理解怎样定义自己的数据类型，封装数据与行为，构建复杂的软件体系结构。本文将详细介绍C#中的类，从基础定义…...

编程日记 2025/6/2 14:25:14

Kubernetes学习笔记-环境变量的使用

如果项目需要一些灵活配置，减少硬编码或者避免敏感信息的暴露，可以考虑使用Kubernetes Pod下的容器的环境变量。 Pod容器设置环境变量的方式： 可以通过Deployment配置文件的env字段来设置环境变量 value env:- name: ACTIVE_PROFILEvalue: …...

编程日记 2025/5/29 0:07:55

git提交规范记录,常见的提交类型及模板、示例

Git提交规范是一种约定俗成的提交信息编写标准，旨在使代码仓库的提交历史更加清晰、可读和有组织。以下是常见的Git提交类型及其对应的提交模板： 提交信息的基本结构一个标准的Git提交信息通常包含以下三个主要部分： Header‌：描…...

编程日记 2025/5/15 14:16:20

关于指针和指针算术

第一次读C primer plus 第六版时，关于指针的语法一些名词没有用心去理解，再读的时候，讲到指针算术这个词时，感觉之前读像是漏了很关键的点，这次读，写下关于指针算术的思考。有漏了的感觉是，在…...

编程日记 2025/5/29 17:25:20

el-input限制输入只能是数字限制input只能输入数字

方法一： 通过设置type属性：type“number”，这种方式一般会影响样式，不建议使用，如下图： <el-input type"number" v-model"aaa"></el-input>方法二： 通过绑定值…...

编程日记 2025/5/26 9:12:10

Pydantic：校验器（@validator）、模型嵌套、模型继承

📚 1. 校验器（validator） Pydantic 允许你自定义字段验证逻辑。用 validator 装饰器可以在字段赋值时自动进行检查或修改。例子： from pydantic import BaseModel, validatorclass User(BaseModel):name: strage: intvalidato…...

编程日记 2025/5/18 22:31:19

343. 整数拆分

给定一个正整数 n，将其拆分为至少两个正整数的和，并使这些整数的乘积最大化。返回你可以获得的最大乘积。示例 1: 输入: 2输出: 1解释: 2 1 1, 1 1 1。示例 2: 输入: 10输出: 36解释: 10 3 3 4, 3 3 4 36。说明: 你可以假设 n 不小于 2…...

编程日记 2025/5/26 6:08:37

前端面试 js

作用域链内存管理垃圾回收器引用计数默认栈里面会有一次引用问题：循环引用，会产生内存泄漏标记清除垃圾回收期会定期从根开始遍历，找到有引用的对象闭包内存泄漏 this的指向默认绑定独立调用的this都是window function foo()…...

编程日记 2025/5/29 10:16:34

Linux CentOS 安装Python 3.8.0

在 CentOS 上升级 Python 3.6.8 到 3.8.0，可以按照以下步骤操作： 1. 安装依赖 sudo yum groupinstall -y "Development Tools" sudo yum install -y openssl-devel bzip2-devel libffi-devel zlib-devel wget 如果遇到报错“File "/bin…...

编程日记 2025/5/3 23:09:19

EXCEL常用函数公式和VBA汇总第二篇

系列文章目录文章目录系列文章目录前言一、excel公式应用1.rand函数2.rand函数随机排序3.rand函数提取数据4.correl函数5.SUBSTITUTE函数6.MAX组合函数7.分析下班时间8.柏拉图自动排序总结前言一、excel公式应用 1.rand函数用excel生成1-5的随机数字，其中对…...

编程日记 2025/5/24 21:20:32

Python 基础核心知识

1. Python 特点简洁易读：代码简洁，强制缩进（取代花括号）。动态类型：变量无需声明类型（如 x 10）。跨平台：支持 Windows、Linux、macOS。丰富的库：如 NumPy（…...

编程日记 2025/5/24 16:39:45

软考：软件设计师考试数据结构知识点详解

文章目录 1. 引言1.1 数据结构的重要性1.2 软件设计师考试中数据结构的考察目标 2. 基本概念和术语2.1 数据结构的定义2.2 算法和数据结构的关系2.3 抽象数据类型（ADT） 3. 线性结构3.1 数组3.1.1 数组的定义和特点3.1.2 数组的存储结构3.1.3 数组的优缺点…...

编程日记 2025/6/1 16:00:20

11前端项目总结----详情页放大镜和轮播图

商品详情页 DOM元素尺寸和位置相关属性1. 尺寸相关属性2.位置相关属性3.鼠标事件相关位置属性放大镜排他Swiper和组件通信 DOM元素尺寸和位置相关属性 1. 尺寸相关属性 ①offsetWidth/offsetHeight：内容宽度/高度paddingborder（滚动条） ②c…...

编程日记 2025/5/29 13:29:54

Linux课程五课---Linux进程认识1

作者前言 🎂 ✨✨✨✨✨✨🍧🍧🍧🍧🍧🍧🍧🎂 🎂 作者介绍： 🎂🎂 🎂 🎉🎉&#x1f389…...

编程日记 2025/5/7 10:54:47

Nacos简介—4.Nacos架构和原理一

大纲 1.Nacos的定位和优势 2.Nacos的整体架构 3.Nacos的配置模型 4.Nacos内核设计之一致性协议 5.Nacos内核设计之自研Distro协议 6.Nacos内核设计之通信通道 7.Nacos内核设计之寻址机制 8.服务注册发现模块的注册中心的设计原理 9.服务注册发现模块的注册中心的服务数…...

编程日记 2025/5/1 10:50:10

splitchunk（如何将指定文件从主包拆分为单独的js文件）

1. 说明 webpack打包会默认将入口文件引入依赖js打包为一个入口文件，导致这个文件会比较大，页面首次加载时造成加载时间较长可通过splitchunk配置相应的规则，对匹配的规则打包为单独的js,减小入口js的体积 2. 示例通过正则匹配&#xff…...

编程日记 2025/5/4 7:27:50

MCP+A2A协议终极指南：AI系统构建技术全解析（医疗/金融实战+Streamable HTTP代码详解）

简介 2025年，MCP协议与A2A协议成为AI系统互联的核心技术。本文从通信机制到企业级应用，结合Streamable HTTP、零信任安全、多模态处理等最新技术，提供Go/Python/Java多语言实战代码，覆盖医疗诊断、金融风控等场景。含15+完整案例、性能优化方案及安全架构设计，助你掌握下…...

编程日记 2025/5/4 11:14:25

关于定时任务原理

关于定时任务原理计算机是怎么计时的关于本地定时任务实现小根堆实现时间轮实现关于分布式任务的实现管理未来的执行时间点今天来聊一下工作中经常使用的定时任务的底层实现原理计算机是怎么计时的计算机内部使用多种方式来计时，主要依赖于硬件时钟&#xff0…...

编程日记 2025/5/27 5:24:16

【vue3】购物车实战：从状态管理到用户体验的全流程实现

在电商项目中，购物车是核心功能之一，需要兼顾数据一致性、用户体验和逻辑复杂度。本文结合 Vue3 Pinia 技术栈，详细讲解如何实现一个高效且易用的购物车系统，重点剖析添加购物车和头部购物车预览的核心逻辑与实现细节。一…...

编程日记 2025/5/29 19:03:25

日本IT|UIUX主要的工作都是哪些？及职业前景

在日本IT行业中，UI/UX（用户界面/用户体验）设计的工作涵盖从用户研究到界面实现的全流程，尤其在数字化服务、电商、金融科技等领域需求旺盛。本篇是UI/UX在日本的主要工作内容、行业特点及职业前景分析： 一、UI/UX的主…...

编程日记 2025/5/27 6:14:10

Tailwind CSS 实战：基于 Kooboo 构建企业官网页面（二）

基于上篇内容，继续完善企业官网页面： Tailwind CSS 实战：基于 Kooboo 构建企业官网页面（一） 3.3 服务亮点：用于展示企业主要的服务项 1. 整体结构： <section class"py-16">&…...

编程日记 2025/5/31 8:56:12

第7章内部类与异常类

7.1 内部类在一个类中定义另一个类，这样的类称为内部类，包含内部类的类称为内部类的外部类。关系： 内部类的外嵌类的成员变量在内部类中仍然有效，内部类中的方法也可以调用外嵌类中的方法。内部类的类体中不可以声明类变量和…...

编程日记 2025/5/27 7:02:40

优先队列、堆笔记（算法第四版）

方法签名描述构造函数MaxPQ()创建一个优先队列MaxPQ(int max)创建一个初始容量为 max 的优先队列MaxPQ(Key[] a)用 a[] 中的元素创建一个优先队列普通方法void insert(Key v)向优先队列中插入一个元素Key max()返回最大元素Key delMax()删除并返回最大元素boolean isEmpty()返回…...

编程日记 2025/5/18 9:19:59

7.14 GitHub命令行工具测试实战：从参数解析到异常处理的全链路测试方案

GitHub命令行工具测试实战：从参数解析到异常处理的全链路测试方案 GitHub Sentinel Agent 用户界面设计与实现：测试命令行工具关键词：命令行工具测试, 接口集成测试, 参数化测试, 异常处理测试, 测试覆盖率分析 1. 命令行工具测试架构设计通过三层测试体系保障 CLI 工具…...

编程日记 2025/5/26 7:08:36

使用CubeMX新建USART1不定长接收工程

目录 1、新建板级支持包 2、修改中断服务函数 3、修改main.c文件 4、程序流程新建工程的基本操作步骤参考这里：STM32CubeMX学习笔记（6）——USART串口使用_unused(huart)-CSDN博客 1、新建板级支持包在本地保存新建工程的文件夹中新建Us…...

编程日记 2025/5/20 8:22:13

【C++QT】Layout 布局管理控件详解

文章目录一、QVBoxLayout 垂直布局1.1 特点1.2 常用方法1.3 应用场景1.4 示例代码二、QHBoxLayout 水平布局2.1 特点2.2 常用方法2.3 应用场景2.4 示例代码三、QGridLayout 网格布局3.1 特点3.2 常用方法3.3 应用场景3.4 示例代码四、QFormLayout 表单布局4.1 特点4.2 常用…...

编程日记 2025/5/25 17:00:34

w~嵌入式C语言~合集6

我自己的原文哦~ https://blog.51cto.com/whaosoft/13870384 一、开源MCU简易数字示波器项目这是一款采用STC8A8K MCU制造的简单示波器，只有零星组件，易于成型。这些功能可以涵盖简单的测量： 该作品主要的规格如下： 单片机…...

编程日记 2025/5/30 17:09:44

坐标转换：从WGS-84到国内坐标系(GCJ-02BD-09)

目录 🍅点击这里查看所有博文随着自己工作的进行，接触到的技术栈也越来越多。给我一个很直观的感受就是，某一项技术/经验在刚开始接触的时候都记得很清楚。往往过了几个月都会忘记的差不多了，只有经常会用到的东西才有可能真正记…...

编程日记 2025/5/7 8:52:14

快速上手 MetaGPT

1. MetaGPT 简介在当下的大模型应用开发领域，Agent 无疑是最炙手可热的方向，这也直接催生出了众多的 Agent 开发框架。在这之中， MetaGPT 是成熟度最高、使用最广泛的开发框架之一。 MetaGPT 是一款备受瞩目的多智能体开发框架&#xff0c…...

编程日记 2025/5/24 16:11:49

「Docker已死？」：基于Wasm容器的新型交付体系如何颠覆十二因素应用宣言

一、容器技术的量子跃迁 1. 传统容器体系的测不准原理某金融平台容器集群真实数据： 指标Docker容器Wasm容器差异度冷启动时间1200ms8ms150倍内存占用256MB6MB42倍镜像体积780MB12MB65倍内核调用次数2100次/s23次/s91倍二、Wasm容器的超流体特性 1. 字节码的量子…...

编程日记 2025/5/27 23:36:57

有源晶振输出匹配电阻选择与作用详解

一、输出匹配电阻的核心作用阻抗匹配减少信号反射：当信号传输线阻抗（Z0）与负载阻抗不匹配时，会发生反射，导致波形畸变（如振铃、过冲）。公式：反射系数Γ (Z_L - Z0) / (Z_L Z0)…...

编程日记 2025/6/4 13:11:53

Shell脚本-while循环应用案例

在Shell脚本编程中，while循环是一种非常有用的控制结构，适用于需要基于条件进行重复操作的场景。与for循环不同，while循环通常用于处理不确定次数的迭代或持续监控某些状态直到满足特定条件为止的任务。本文将通过几个实际的应用案例来展示如…...

编程日记 2025/5/29 15:58:31

【JavaScript】二十七、用户注册、登陆、登出

文章目录 1、案例：用户注册页面1.1 发送验证码1.2 验证用户名密码合法性1.3 已阅读并同意用户协议1.4 表单提交 2、案例：用户登陆页面2.1 tab切换2.2 登陆跳转2.3 登陆成功与登出 1、案例：用户注册页面 1.1 发送验证码需求：用户…...

编程日记 2025/5/27 8:27:52

Vue中Axios实战指南：高效网络请求的艺术

Axios作为Vue生态中最流行的HTTP客户端，以其简洁的API和强大的功能成为前后端交互的首选方案。本文将带你深入掌握Axios在Vue项目中的核心用法和高级技巧。一、基础配置 1. 安装与引入 npm install axios 2. 全局挂载（main.js） import …...

编程日记 2025/5/29 10:23:14

SAP-pp 怎么通过底表的手段查找BOM的全部ECN变更历史

表：ABOMITEMS，查询条件是MAST的STLNR （BOM清单） 如果要得到一个物料的详细ECN历史，怎么办？ 先在MAST表查找BOM清单，然后根据BOM清单在ABOMITEMS表里面查询组件，根据查询组件的结果…...

编程日记 2025/5/29 8:48:40

数据需求管理办法有哪些？具体应如何应用？

目录一、数据需求管理的定义二、数据需求管理面临的问题 1.需求理解偏差 2.需求变更频繁 3.需求优先级难以确定 4.数据质量与需求不匹配三、数据需求管理办法的具体流程 1.建立有效的沟通机制 2.规范需求变更管理流程 3.制定需求优先级评估标准 4.加强数据质量管…...

编程日记 2025/5/27 17:28:54

单片机 + 图像处理芯片 + TFT彩屏复选框控件

复选框控件使用说明一、控件概述本复选框控件是一个适用于单片机图形界面的UI组件，基于单片机 RA8889/RA6809 TFT显示屏 GT911触摸屏开发。控件提供了丰富的功能和自定义选项，使用简单方便，易于移植。主要特点： 支持可…...

编程日记 2025/5/1 23:06:29

塔能合作模式：解锁工厂能耗精准节能新路径

在工厂寻求能耗精准节能的道路上，除了先进的技术，合适的合作模式同样至关重要。塔能科技提供的能源合同管理（EMC）和交钥匙方式（EPC），为工厂节能项目的落地实施提供了有力支持，有效解…...

编程日记 2025/6/1 11:57:37

使用PHP对接印度股票市场数据

在本篇文章中，我们将介绍如何通过StockTV提供的API接口使用PHP语言来获取并处理印度股票市场的数据。我们将以查询公司信息、查看涨跌排行榜和实时接收数据为例，展示具体的操作流程。准备工作首先，请确保您已经从StockTV获得了API密钥&am…...

编程日记 2025/5/30 15:07:18

make学习三：书写规则

系列文章目录 Make学习一：make初探 Make学习二：makefile组成要素文章目录系列文章目录前言默认目标规则语法order-only prerequisites文件名中的通配符伪目标 Phony Targets没有 Prerequisites 和 recipe内建特殊目标名一个目标多条规则或多个目标共…...

编程日记 2025/5/28 8:12:10

Arduino 入门学习笔记（五）：KEY实验

Arduino 入门学习笔记（五）：KEY实验开发板：正点原子ESP32S3 例程源码在文章顶部可免费下载（审核中…） 1. GPIO 输入功能使用 1.1 GPIO 输入模式介绍在上一文章中提及到 pinMode 函数， 要对…...

编程日记 2025/5/28 17:57:24

Grok发布了Grok Studio 和 Workspaces两个强大的功能。该如何使用？如何使用Grok3 API？

最近Grok又更新了几个功能：Grok Studio 和 Workspaces。其中 Grok Studio 主要功能包括： 代码执行：在预览标签中运行 HTML 片段、Python、JavaScript 等。 Google Drive 集成：附加并处理 Docs、Sheets、Slides等文件。协作工…...

编程日记 2025/5/26 7:19:43

学习spark总结

一、Spark Core • 核心功能：基于内存计算的分布式计算框架，提供RDD弹性分布式数据集，支持转换（如map、filter）和动作（如collect、save）操作。 • 关键特性：高容错性（L…...

编程日记 2025/5/19 11:36:05

LeetCode 24 两两交换链表中的节点

给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。示例 1： 输入：head [1,2,3,4] 输出：[2,1…...

编程日记 2025/5/27 16:24:52

Qt中的全局函数讲解集合(全)

目录 1.qAbs 2.qAsConst 3.qBound 4.qConstOverload 5.qEnvironmentVariable 6.qExchange 7.qFloatDistance 8.qInstallMessageHandler 在头文件<QtGlobal>中包含了Qt的全局函数，现在就这些全局函数一一详解。 1.qAbs 原型： template &…...

编程日记 2025/5/24 12:34:03

《明解C语言入门篇》读书笔记四

目录第四章：程序的循环控制第一节：do语句 do语句复合语句（程序块）中的声明读取一定范围内的值逻辑非运算符德摩根定律德摩根定律求多个整数的和及平均值复合赋值运算符后置递增运算符和后置递减运算符练习…...

编程日记 2025/5/9 12:14:15

【每日随笔】文化属性 ② ( 高维度信息处理 | 强者思维形成 | 认知重构 | 资源捕获 | 进化路径 )

文章目录一、高维度信息处理1、" 道 " - 高维度信息2、上士对待 " 道 " 的态度3、中士对待 " 道 " 的态度4、下士对待 " 道 " 的态度二、形成强者思维1、认知重构 : 质疑本能 -> 信任惯性2、资源捕获 : 远神崇拜 -> 近身模仿3…...

编程日记 2025/5/28 18:05:23

terraform查看资源建的关联关系

一、使用 terraform graph 命令生成依赖关系图该命令会生成资源间的依赖关系图（DOT 格式），需配合 Graphviz 工具可视化。 1. 安装 Graphviz # Ubuntu/Debian sudo apt-get install graphviz# MacOS brew install graphviz 2. 生成并查看…...

编程日记 2025/6/1 16:56:59

win11报错 ‘wmic‘ 不是内部或外部命令，也不是可运行的程序或批处理文件的解决方案

方法一：检查环境变量右键点击“此电脑”或“计算机”: 选择“属性”，然后点击“高级系统设置”。进入环境变量设置： 在“系统属性”窗口中，点击“环境变量”。检查Path变量： 在“系统变量”部分，找到并…...

编程日记 2025/6/2 0:49:18