当前位置：首页 > news >正文

DeepSeek 的长上下文扩展机制

news 来源：原创 2025/6/17 0:44:56

DeepSeek 在基础预训练完成后，引入 YaRN（Yet another RoPE extensioN method）技术，通过额外的训练阶段将模型的上下文窗口从默认的 4K 逐步扩展至 128K。整个过程分为两个阶段：第一阶段将上下文窗口从 4K 扩展到 32K；第二阶段则进一步从 32K 扩展到 128K。每个阶段均采用相同的 YaRN 配置，并在解耦的共享 key（decoupled shared key）上应用 Rotary Position Embeddings，以保证扩展过程中的位置编码精度与计算效率。

YaRN 方法概述

YaRN（Yet another RoPE extensioN method）是一种基于 Rotary Position Embeddings (RoPE) 的高效上下文扩展技术。它通过在自注意力模块中对位置编码进行调整，使模型能够在处理更长序列时保持原有的位置信息精度，同时显著减少计算和内存开销。

在具体实现上，YaRN 只作用于解耦的共享 key（decoupled shared key），避免了对整个注意力结构的全面修改，从而最大程度地保持模型原有性能与稳定性。

在 DeepSeek 中的应用流程

基础预训练
DeepSeek

相关文章：

DeepSeek 的长上下文扩展机制

DeepSeek 在基础预训练完成后，引入 YaRN（Yet another RoPE extensioN method）技术，通过额外的训练阶段将模型的上下文窗口从默认的 4K 逐步扩展至 128K。整个过程分为两个阶段：第一阶段将上下文窗口从 4K 扩展到 32K；第二阶段则进一步从 32K 扩展到 128K。每个阶段均采用…...

编程日记 2025/5/27 17:22:13

AQS条件队列源码详细剖析

AQS条件队列源码详细剖析 0.简介欢迎来到我的博客：TWind的博客最好先看过我博客中的 ReentrantLock的超详细源码解析 ，不然想要理解条件队列的源码会非常困难。 AQS中的条件队列相比同步队列略显简单，但依然优异且高效，复杂而…...

编程日记 2025/5/31 1:28:05

LeetCode --- 446 周赛

题目列表 3522. 执行指令后的得分 3523. 非递减数组的最大长度 3524. 求出数组的 X 值 I 3525. 求出数组的 X 值 II 一、执行指令后的得分照着题目要求进行模拟即可，代码如下 // C class Solution { public:long long calculateScore(vector<string>&…...

编程日记 2025/5/31 14:03:53

ngrok 内网穿透技术系统性文档

ngrok 内网穿透技术系统性文档—目录 1. 概述与背景1.1 内网穿透的需求背景1.2 ngrok的核心定义1.3 定位与核心价值 2. 核心原理与技术架构2.1 技术架构图2.2 核心原理详解2.2.1 隧道建立流程2.2.2 多协议支持机制2.2.3 动态DNS与路由 3. 功能体系与配置详解3.1 基础功能3.1.1 …...

编程日记 2025/5/31 6:33:34

C++ 为什么建议类模板定义在头文件中，而不定义在源文件中

类模板 XXXX 模板的编译模式模板不是实际的代码，而是一个“代码生成模板” 分离定义会导致链接错误补充为什么普通类可以分离定义？对比C11的export关键字（已弃用） 模板的编译模式 C模板采用两阶段编译（Two-Phase Tran…...

编程日记 2025/5/29 6:04:38

Android studio学习之路（八）---Fragment碎片化页面的使用

fragment的用法很常见，你可能经常看见这样的画面： 通过滑动来进行切换页面，今天我们就来实现这样的形式介绍使用 Fragment 的核心价值在于模块化设计和动态适配能力，尤其适合以下场景： 需要…...

编程日记 2025/5/26 6:36:16

数据结构和算法(九)--红黑树

一、红黑树 1、红黑树前面介绍了2-3树，可以看到2-3树能保证在插入元素之后，树依然保持平衡状态，它的最坏情况下所有子结点都是2-结点，树的高度为IgN，相比于我们普通的二叉查找树，最坏情况下树的高度为N,确…...

编程日记 2025/6/3 12:55:47

字节跳动开源数字人模型latentsync1.5,性能、质量进一步优化～

项目背景 LatentSync1.5 是由 ByteDance 开发的一款先进的 AI 模型，专门针对视频唇同步（lip synchronization）任务设计，旨在实现音频与视频唇部动作的高质量、自然匹配。随着 AI 技术的快速发展，视频生成和编辑的需求…...

编程日记 2025/6/3 13:16:57

Pygame入门：零基础打造你的第一个游戏窗口

Pygame入门：零基础打造你的第一个游戏窗口大家好，欢迎来到本期的技术分享！今天，我们将一起探索如何使用Python中的Pygame库来创建一个简单的游戏窗口。无论你是编程新手，还是对游戏开发感兴趣的朋友，这篇文章都将帮助你迈出第一步。让我们开始吧！什么是Pygame？在…...

编程日记 2025/6/1 16:15:12

《ATPL地面培训教材13：飞行原理》——第13章：高速飞行

翻译：刘远贺；工具：Cursor & Cluade 3.7；过程稿第13章：高速飞行目录引言声速马赫数恒定指示空速爬升对马赫数的影响恒定马赫数下真空速随高度的变化恒定飞行高度和指示空速下温度对马赫数的影响气动流动的细分…...

编程日记 2025/5/29 16:18:47

【C语言练习】004. 使用各种运算符进行计算

【C语言练习】004. 使用各种运算符进行计算 004. 使用各种运算符进行计算1. 算术运算符2. 关系运算符3. 逻辑运算符4. 位运算符5. 赋值运算符6. 逗号运算符综合示例输出结果004. 使用各种运算符进行计算在C语言中，运算符用于执行各种数学和逻辑运算。以下是一些常见的运算符…...

编程日记 2025/5/29 1:35:30

Pygame事件处理详解：键盘、鼠标与自定义事件

Pygame事件处理详解：键盘、鼠标与自定义事件在游戏开发中，玩家的交互是至关重要的。无论是移动角色、触发动作还是暂停游戏，都需要通过各种输入来实现。Pygame作为一个功能强大的Python库，提供了丰富的API来处理这些输入，包括键盘、鼠标以及自定义事件。本文将详细介绍如…...

编程日记 2025/6/1 2:19:03

16. LangChain自主智能体（Autonomous Agent）：模拟人类工作流的进阶设计

引言：当AI学会"思考"与"行动" 2025年某跨国律所的合同审查智能体，通过自主规划任务流，将平均处理时间从8小时缩短至23分钟。本文将基于LangChain的AgentExecutor与Deepseek-R1，揭示如何构建能自主决策、动态…...

编程日记 2025/6/4 1:15:57

直接映射例题及解析

目录基本单位换算例题一 📁 Tag Directory（标签目录） 是什么？ 例题二例题三例题四串行访问还是并行访问的选择例题五例题六例题七 🔵 P1：（按行访问） &#x1…...

编程日记 2025/6/1 1:15:04

MAVLink协议：原理、应用与实践

目录 1. 前言 2. MAVLink 协议的基本概念 2.1 协议概述 2.2 消息格式 2.3 协议版本 3. MAVLink 协议的适应场景 3.1 无人机地面站与飞行器通信 3.2 飞行器与传感器通信 3.3 无人机集群通信 3.4 飞行模拟与测试 4. 基于 Python 的 MAVLink 协议编程实践 4.1 开发环境…...

编程日记 2025/6/3 1:51:49

【记一次亚马逊普华永道审计流程】

1、2025年2月21日收到审计邮件 2、2025年2月25日未及时关注注册开发者的邮箱导致一直未回复 3、2025年3月4日亚马逊警告邮件-依旧未回复 4、2025年3月13日APP正式被亚马逊开发者商店下架停用影响: APP从官方商店下架，不能授权新店铺停用原因: 由于此邮箱为注册…...

编程日记 2025/5/28 14:23:47

Java 异常处理全解析：从基础到自定义异常的实战指南

Java 异常处理全解析：从基础到自定义异常的实战指南一、Java 异常体系：Error 与 Exception 的本质区别 1. 异常体系核心架构 Java把异常当作对象来处理，并定义一个基类java.lang.Throwable作为所有异常的超类。在Java API中已经定义了许…...

编程日记 2025/6/2 23:44:45

二、UI自动化测试02--元素定位方法

目录一、定位⼀组元素⽅法二、XPath 定位⽅法1. 路径策略1.1 路径值获取⽅法 2. 利⽤元素属性策略利⽤元素属性策略的注意事项 3. 属性和逻辑结合4. 层级和属性结合策略5. XPath 延伸⽅法三、CSS 定位⽅法1. CSS 策略: id选择器/class选择器/元素选择器/属性选择器2. 属性选择…...

编程日记 2025/6/4 0:20:15

第二章信息技术发展（2.1 信息技术及其发展）

2.1 信息技术及其发展 2.1.1 计算机软硬件计算机硬件 (Computer Hardware) 是指计算机系统中由电、机械和光电元件等组成的各种物理装置的总称计算机软件 (Computer Software) 是指计算机系统中的程序及其文档，程序是计算任务的处理对象和处理规则的描述；文档是为了便千…...

编程日记 2025/6/4 17:16:31

【SwitchyOmega安装教程】

目录一、插件安装 1. 下载安装文件 2. 打开浏览器扩展安装页面 3. 安装插件二、界面详情三、配置信息 3.1 设置IP 1、查看IP地址信息 2、批量测试IP是否有效 3、点击扩展程序，选择 Proxy SwitchyOmega 4、点击选项进行配置 5、配置页面一、插件安装 1…...

编程日记 2025/6/3 17:19:55

驱动开发硬核特训 · Day 21（上篇加强版）：深入理解子系统机制与实战初探

📅 日期：2025-04-27 📚 技术平台：嵌入式Jerry（B站） 1. 为什么要有子系统？（深度版） 在 Linux 内核发展早期，设备管理较为混乱，每种设备&#xff0…...

编程日记 2025/5/29 16:56:08

GoFly快速开发框架新增UI素材库-帮助开发者快速开发管理后台UI基于ArcoDesign框架开发

说明： 为开发者提供管理台的UI素材，社区将持续为开发开发后台系统常用UI界面，让开发时能有一半的界面可以直接从UI库获取，减少开发者自己排版界面的时间，帮助开发者快速开发后台业务。使用的前端版本要求&#xff1…...

编程日记 2025/5/29 23:37:10

Unity-Shader详解-其二

前向渲染和延迟渲染前向渲染和延迟渲染总的来说是我们的两种主要的渲染方式。我们在Unity的Project Settings中的Graphic界面能够找到渲染队列的设定： 我们也可以在Main Camera这里进行设置： 那这里我们首先介绍一下两种渲染（Forward R…...

编程日记 2025/6/2 2:47:11

Windows 安装 Neo4j 教程

Windows 安装 Neo4j 教程 Neo4j 是一个开源的图数据库，它以图形结构存储数据，适合用于处理高度连接的数据，广泛应用于社交网络、推荐系统、欺诈检测等场景。本文将为你介绍如何在 Windows 系统上安装和配置 Neo4j 数据库。一、安装前准备 …...

编程日记 2025/6/3 13:01:34

Neo4j 常用查询语句

Neo4j 常用查询语句 Neo4j 是一个图数据库，查询语言是 Cypher，它类似于 SQL 但针对图形数据进行了优化。Cypher 语法直观易懂，适合用来处理图数据。本文将介绍一些 Neo4j 中常用的查询语句，帮助你快速掌握图数据的操作方法。一…...

编程日记 2025/5/29 0:42:01

机器学习（10）——神经网络

文章目录 1. 神经网络基本原理1.1. 什么是神经网络1.2. 核心思想 2. 基础组件3. 前向传播（Forward Propagation）4. 反向传播（Backpropagation）5. 激活函数对比6. 网络架构类型7. 优化策略8. Python示例（PyTorch&#x…...

编程日记 2025/6/2 22:04:20

Qt软件开发-摄像头检测使用软件V1.1

系列文章目录 Qt软件开发-摄像头检测使用软件V1.1 文章目录系列文章目录前言一、V1.1增加了哪些功能？二、代码构成1.总体结构2. 代码内容三、效果展示图总结前言之前，在Qt软件开发-摄像头检测使用软件：https://blog.csdn.net/xuming204…...

编程日记 2025/5/27 7:56:43

AI日报 - 2025年04月26日

🌟 今日概览(60秒速览) ▎🤖 模型竞赛 | OpenAI与Google新模型在Arena榜单激烈角逐，性能指标各有千秋。 OpenAI发布o3/o4-mini等新模型，Gemini 2.5 Pro紧随其后，数学、编程能力成焦点。 ▎💼 商业动向 | 并…...

编程日记 2025/5/31 9:20:49

ES6 Map/WeakMap/Set/WeakSet 全解指南

一、设计思想与核心概念 1. 解决传统结构的痛点 Object：键只能是字符串/Symbol、无序、无size属性Array：查找效率低(O(n))、无自动去重机制核心突破：// 传统方式 vs ES6方式 const obj { [{}]: value }; // 键会被转为"[object Obje…...

编程日记 2025/6/3 2:36:03

【Python】使用uv管理python虚拟环境

本文介绍了python虚拟环境管理工具uv，包括uv的作用、uv的常用命令等等。参考：UV - 管理Python 版本、环境、第三方包 1. 介绍uv 官网：https://docs.astral.sh/uv/ uv是一个python虚拟环境管理工具，可以用来替代pip、pyenv、vir…...

编程日记 2025/5/28 21:16:47

求解，如何控制三相无刷电机？欢迎到访评论

问题：通过一个集成的TF2104芯片控制H桥上桥臂和下桥臂，如何控制？还是说得需要PWM_UH和PWM_UL分开控制？...

编程日记 2025/5/24 0:00:52

002 六自由度舵机机械臂——姿态解算理论

00 DH模型的核心概念【全程干货【六轴机械臂正逆解计算及仿真示例】】如何实现机械臂的逆解计算-机器谱-robotway DH模型是机器人运动学建模的基础方法，通过四个参数描述相邻关节坐标系之间的变换关系。其核心思想是将复杂的空间位姿转换分解为绕轴旋转…...

编程日记 2025/5/29 6:40:30

部署大模型需要多少GPU显存？以DeepSeek R1部署为例

引言部署大型语言模型（LLM）时究竟需要多少GPU显存？本文将进行一次简单测算。如何计算算法1 可以用一个简单的公式来计算显存占用（单位GB）： 参数说明如下： 符号含义 M 所需的 GPU 显存…...

编程日记 2025/5/29 10:37:31

C++？类和对象（下）！！！

一、前言在之前我们已经讨论过了有关类和对象的前置知识以及类中的六大默认成员函数，在本期我们继续再讨论类和对象中剩余的友元、初始化列表等相关知识，如果需要再了解之前的知识的话，链接奉上：C？类和对象&#xff0…...

编程日记 2025/6/2 3:44:55

function，bind，lambda的用法

C中的std::function、std::bind与Lambda表达式详解一、std::function std::function是C11标准引入的类模板，用于封装任意类型的可调用对象，例如函数指针、Lambda表达式、函数对象等。通过std::function可以实现不同形式可调用对象的统一存储与调用…...

编程日记 2025/6/4 6:57:11

Maven的聚合工程与继承

目录一、为什么需要使用Maven工程二、聚合工程的结构三、聚合工程实现步骤四、父工程统一管理版本五、编译打包大家好，我是jstart千语。想着平时开发项目似乎都是用maven来管理的，并且大多都是聚合工程。而且在maven的聚合工程中&#xff0c…...

编程日记 2025/5/27 1:12:24

‌C/C++对时间的处理

1. 两种数据结构 time_t‌ 是一个在C和C++编程语言中用于表示时间的类型。time_t类型通常是一个长整型（long int）或整数类型，用于表示从特定参考点（通常是1970年1月1日00:00:00 UTC）经过的秒数。 time_t定义在<ctime>头文件中，通常用于记录时间戳，比如获取当前时间…...

编程日记 2025/6/2 20:34:52

Spring Boot 支持政策

🧑💻 Spring Boot 支持政策 ✒️ Andy Wilkinson 于2023年12月7日编辑本页 32次修订 📌 核心政策 🛡️ VMware Tanzu 开源支持政策 Spring Boot 针对关键错误和安全问题提供支持 📆 版本支持周期 1️⃣ 主要版本&a…...

编程日记 2025/6/2 0:22:25

实验四进程调度实验

一、实验目的 1、了解操作系统CPU管理的主要内容。 2、加深理解操作系统管理控制进程的数据结构--PCB。 3、掌握几种常见的CPU调度算法（FCFS、SJF、HRRF、RR）的基本思想和实现过程。 4、用C语言模拟实现CPU调度算法。 5、掌握CPU调度算法性能评价指…...

编程日记 2025/6/4 7:51:25

静态多态和动态多态的区别

C多态机制深度解析多态是面向对象编程的核心特性，允许通过统一接口执行不同实现。在C中，多态表现为基类指针或引用调用虚函数时，根据实际对象类型执行对应派生类的函数逻辑。基础实现示例定义基类与派生类，演示动态绑定…...

编程日记 2025/6/1 17:14:36

现代化Android开发：Compose提示信息的最佳封装方案

在 Android 开发中，良好的用户反馈机制至关重要。Jetpack Compose 提供了现代化的 UI 构建方式，但提示信息(Toast/Snackbar)的管理往往显得分散。本文将介绍如何优雅地封装提示信息，提升代码可维护性。一、基础封装方案 1. 简单 Snackbar …...

编程日记 2025/5/31 10:55:00

Android学习总结之Retrofit篇

1. 注解原理概述在 Java 里，注解是一种元数据，它为代码提供额外信息但不影响程序的实际逻辑。注解可以在类、方法、字段等元素上使用，并且能在编译时、运行时通过反射机制被读取。Retrofit 充分利用了 Java 注解机制，通过自定义…...

编程日记 2025/6/4 7:14:41

Python 第 12、13 节课 - 元组和列表

- 第 94 篇 - Date: 2025 - 04 - 26 Author: 郑龙浩/仟墨【Python 在校课堂笔记】 Python 第 12、13 节课 - 元组和列表上课时间: 2025-04-21（12） 2025-04-24（13） 文章目录 Python 第 12、13 节课 - 元组和列表一元组1 元组的…...

编程日记 2025/6/2 18:31:09

新特性版本升级指引

✨ 升级到新特性版本时的配置迁移 1️⃣ 🔧 配置迁移工具说明当您将应用升级到新特性版本时，可能需要处理部分配置属性的重命名或移除问题。 2️⃣ 🚀 启用方法 Spring Boot 提供了环境分析工具： 应用启动时打印诊断信息运行时…...

编程日记 2025/6/4 2:04:24

6.1 客户服务：智能客服与自动化支持系统的构建

随着企业数字化转型的加速，客户服务作为企业与用户交互的核心环节，正经历从传统人工服务向智能化、自动化服务的深刻变革。基于大语言模型（LLM）和智能代理（Agent）的技术为构建智能客服与自动化支持系统提供…...

编程日记 2025/6/1 8:55:31

从新手到高手：小程序开发进阶技巧分享

小程序开发从入门到精通需要经历技术积累、架构优化和工程化实践等多个阶段。以下是结合真实项目经验的进阶路线与核心技术要点，涵盖性能优化、架构设计、跨平台开发等关键领域： 一、性能调优实战技巧 1. 首屏渲染加速方案 // 预请求关键数据&#xff…...

编程日记 2025/5/31 19:30:02

S参数的含义

S参数的含义： 在低速设计时代，工程界普遍使用等效集总电路模型来描述互连通道的过孔、连接器等各部分。对于上升时间达到几个ns的低速数字信号，甚至可以使用一个0Ω电阻代替连接器，分析的结果也不会和实际情况有太大的差别。但是当…...

编程日记 2025/6/3 16:04:28

职场十二法则-马方

马方老师的《职场十二法则》,献给初入职场工作中迷茫的自己。 1.挣钱是能力的副产品，能力比挣钱重要，让自己值钱比有钱更重要。成长比赚钱重要，年轻时把成长放第一位，挣钱放第二位，通过提升能力实现长期收益。 2.成长…...

编程日记 2025/5/30 7:19:00

安装docker，在docker上安装mysql，docker上安装nginx

目录一.安装docker 1.1查看Linux版本的命令这里推荐两种： 1.2查看内核版本有三种方式： 2.安装 2.1 如果之前安装了docker，先删除旧版本的doker 2.2 安装需要的软件包，yum-util提供yum-config-manager功能，另外两…...

编程日记 2025/5/29 14:24:52

Java基础第五章、面向对象程序设计

1.package包如果引入的不同包里面有相同的类名时，需要对要使用的类进行完整的限定名指定。 2.访问修饰符子类对父类的方法重写也遵循上面的原则一个java文件中最多只能有一个public(和文件同名)的类。 3.初始化块 //Driver.java public class Driver {private lo…...

编程日记 2025/6/2 14:11:41