当前位置： 首页 > news >正文

【DeepSeek学Cuda】NVidia GPU指令集架构-Load和Cache

news 来源：原创 2025/5/19 7:45:16

https://zhuanlan.zhihu.com/p/692445145

当warp内的线程访问同一个constant位置时，其是确定的latency的（和访问寄存器一样） latency 什么意思
在这里插入图片描述

当 warp 内的线程访问同一个 constant 位置时，其是确定的 latency 的（和访问寄存器一样）

在 GPU 编程（如 CUDA）中，latency 指从发起一个操作请求（例如读取内存）到该操作完成并获得结果所需的时间延迟。当讨论 warp 内的线程访问同一个常量内存（constant memory）位置时，提到其延迟是确定的（类似访问寄存器的延迟），具体含义如下：

1. Latency 的本质

Latency 是硬件操作的时间成本，通常由以下因素决定：

  • 存储介质的物理特性：寄存器（Register）在芯片上，访问延迟极低（≈1 周期）；全局内存（Global Memory）在片外，延迟较高（数百周期）。
  • 缓存机制：若有缓存命中（Cache Hit），可大幅降低延迟；缓存未命中（Cache Miss）则需访问更慢的存储层次。
  • 并行性和带宽：硬件是否支持并行访问（如广播机制）。

2. 为什么访问常量内存（Constant Memory）的延迟是确定的？

在 CUDA 中，常量内存（Constant Memory）专为只读数据设计，具有以下特性：

  • 缓存机制：常量内存通过**常量缓存（Constant Cache）**加速访问。当一个 warp 的所有线程访问同一常量内存地址时：
    • 硬件会通过广播机制，只需一次内存读取操作，即可将数据广播给整个 warp 的所有线程。
    • 所有线程的访问请求会被合并，延迟由一次常量缓存访问决定，因此延迟是确定且统一的。
  • 与寄存器访问的相似性：
    • 寄存器访问延迟极低（1 周期），且确定（无缓存未命中问题）。
    • 常量缓存的访问延迟虽然略高于寄存器（约数周期），但由于广播机制和缓存命中，其延迟同样是可预测的。

3. 对比不同内存类型的延迟

存储类型延迟（周期）确定性适用场景
寄存器1完全确定临时变量、高频访问数据
常量内存~1-10确定（广播+缓存命中）所有线程读取同一常量数据
共享内存~1-10确定（片上缓存）Warp/Block 内线程通信
全局内存100-1000不确定（依赖缓存）大规模数据读写

4. 关键结论

  • 确定的延迟：当 warp 内所有线程访问同一常量内存地址时，硬件优化（广播+缓存）确保了所有线程的访问延迟一致且可预测。
  • 与寄存器的类比：虽然常量内存的实际延迟略高于寄存器，但其确定性的访问行为（无竞争、无缓存未命中）使其在表现上类似于寄存器。

附：代码示例（CUDA）

__constant__ float const_data[1024]; // 常量内存__global__ void kernel() {// Warp 内所有线程读取同一常量内存位置float value = const_data[0]; // 触发广播机制，延迟确定// ...
}

相关文章：

【DeepSeek学Cuda】NVidia GPU指令集架构-Load和Cache

https://zhuanlan.zhihu.com/p/692445145 当warp内的线程访问同一个constant位置时，其是确定的latency的（和访问寄存器一样） latency 什么意思 当 warp 内的线程访问同一个 constant 位置时，其是确定的 latency 的（和…...

编程日记 2025/5/19 7:45:16

[免费]Springboot+Vue(带推荐算法)网上购物商城系统【论文+源码+SQL脚本】

大家好，我是java1234_小锋老师，看到一个不错的SpringbootVue(带推荐算法)网上购物商城系统，分享下哈。 项目视频演示 【免费】SpringbootVue(带推荐算法)网上购物商城系统 Java毕业设计_哔哩哔哩_bilibili 项目介绍 根据需求分析文档确定的…...

编程日记 2025/5/17 0:09:43

车载测试工具 --- CANoe VH6501 进行Not Acknowledge (NAck) 测试

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活，除了生存温饱问题之外，没有什么过多的欲望，表面看起来很高冷，内心热情，如果你身…...

编程日记 2025/5/19 7:26:47

JVM调优参数分类

JVM调优参数分类 一、内存管理参数（堆/非堆） 1. 堆内存设置 参数格式功能说明典型场景值记忆口诀-Xms初始堆大小-Xms4gXms起始大小-Xmx最大堆大小-Xmx8gXmx最大上限-Xmn年轻代大小-Xmn2gXmn年轻代-XX:NewRatio老年代与年轻代比例-XX:NewRatio2比例老/新…...

编程日记 2025/5/19 7:07:08

高阶C语言|枚举与联合

💬 欢迎讨论：在阅读过程中有任何疑问，欢迎在评论区留言，我们一起交流学习！ 👍 点赞、收藏与分享：如果你觉得这篇文章对你有帮助，记得点赞、收藏，并分享给更多对C语言感兴…...

编程日记 2025/5/14 10:21:34

通过魔搭社区本地下载大语言模型及API接口调用模型实现

一、背景 在之前的博文:CSDN中，我们已经详细介绍了如何安装Python环境和一些必要的库和访问Transformers库的大模型。然而，在实际操作过程中，我们发现模型的下载或者调用需要访问Hugging Face上的Transformers库，这是一个国外的网…...

编程日记 2025/5/12 8:03:00

2022java面试总结，1000道（集合+JVM+并发编程+Spring+Mybatis）的Java高频面试题

1、面试题模块汇总 面试题包括以下十九个模块： Java 基础、容器、多线程、反射、对象拷贝、Java Web 模块、异常、网络、设计模式、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、Mybatis、RabbitMQ、Kafka、Zookeeper、MySql、Redis、JVM 。如下图所示…...

编程日记 2025/5/18 13:30:19

【CubeMX+STM32】SD卡 文件系统读写 FatFs+SDIO+DMA

本篇，将使用CubeMXKeil，创建一个SD卡的 FatFSSDIODMA 文件系统读写工程。 目录 一、简述 二、CubeMX 配置 FatFSSDIO DMA 三、Keil 编辑代码 四、实验效果 实现效果，如下图： 一、简述 上两篇，已循序渐进讲解了SD、…...

编程日记 2025/5/13 13:11:24

GenAI + 电商：从单张图片生成可动态模拟的3D服装

在当今数字化时代，电子商务和虚拟现实技术的结合正在改变人们的购物体验。特别是在服装行业，消费者越来越期待能够通过虚拟试衣来预览衣服的效果，而无需实际穿戴。Dress-1-to-3 技术框架正是为此而生，它利用生成式AI模型（GenAI）和物理模拟技术，将一张普通的穿衣照片转化…...

编程日记 2025/5/16 11:20:33

1.1 Spring Security 概述

Spring Security 概述 1. 什么是 Spring Security？ Spring Security 是 Spring 生态中专注于应用安全的核心框架，为 Java 企业应用提供认证（Authentication）、授权（Authorization）以及安全攻击防护&#x…...

编程日记 2025/5/17 1:29:32

新站如何快速被搜索引擎收录？

本文转自：百万收录网 原文链接：https://www.baiwanshoulu.com/106.html 新站快速被搜索引擎收录是一个综合性的任务，涉及多个方面的优化工作。以下是一些关键步骤和策略，有助于新站快速被搜索引擎收录： 一、提交网站…...

编程日记 2025/5/18 5:52:57

＜论文＞DeepSeek-R1：通过强化学习激励大语言模型的推理能力（深度思考）

一、摘要 本文跟大家来一起阅读DeepSeek团队发表于2025年1月的一篇论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning | Papers With Code》，新鲜的DeepSeek-R1推理模型，作者规模属实庞大。如果你正在使用Deep…...

编程日记 2025/5/17 4:04:58

DatePicker 实现：日期范围截止时间为23：59：59

文章目录 需求描述实现逻辑 需求描述 在使用 Element Plus 的 el-date-picker 组件进行日期范围选择时，如果你希望选择的日期范围截止时间为所选时间的23:59:59，你可以通过设置 type 属性为 daterange，并结合使用 value-format 属性来控制时间…...

编程日记 2025/5/9 9:17:10

登录功能login.html

文章目录 前言一、login.html二、getVerify()controllerlogin() 登录功能encodePwd(pwd,key)login.do验证是否异地登录找回账号verifySubmit() 前言 登录login.html&#xff0c;验证码获取verifycode&#xff0c;登陆函数login() 一、login.html <!DOCTYPE html> <h…...

编程日记 2025/5/15 17:31:31

将 AMD Zynq™ RFSoC 扩展到毫米波领域

目录 将 AMD Zynq™ RFSoC 扩展到毫米波领域Avnet XRF RFSoC 系统级模块适用于 MATLAB 的 Avnet RFSoC Explorer 工具箱5G mmWave PAAM 开发平台突破性的宽带毫米波波束成形特征&#xff1a;OTBF103 Mathworks Simulink 模型优化毫米波应用中的射频信号路径 用于宽带毫米波上/下…...

编程日记 2025/5/15 1:47:00

2.10..

#include "widget.h" #include "ui_widget.h" #include <QFontDialog> #include <QFont> #include <QMessageBox> #include <QColorDialog> #include <QColor> // #include <QFileDialog> //文件对话框…...

编程日记 2025/5/17 17:07:38

Struts2 命令执行漏洞 S2-045 复现：深入剖析与实战演练

前言 在当今网络安全形势日益严峻的大环境下&#xff0c;Web 应用框架的安全问题始终是信息安全领域关注的焦点。Struts2 作为一款广泛应用于 Java Web 开发的开源框架&#xff0c;其安全性直接关系到众多 Web 应用的稳定运行。今天&#xff0c;我们将深入探讨并实战复现 Stru…...

编程日记 2025/5/18 2:41:06

Spark 源码 | 脚本分析总结

前言 最初是想学习一下Spark提交流程的源码&#xff0c;比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程&#xff0c;但是每个文章描述的又不太一样&#xff0c;弄不清楚到底哪个说的准确&#xff0c;比如Client 和 CLuster 模式的区别&a…...

编程日记 2025/5/18 22:36:33

2025.2.9 每日学习记录2：技术报告写了一半+一点点读后感

0.近期主任务线 1.完成小论文准备 目标是3月份完成实验点1的全部实验和论文。 2.准备教资笔试 打算留个十多天左右&#xff0c;一次性备考笔试的三个科目 1.实习申请技术准备&#xff1a;微调、Agent、RAG 1.今日完成任务 1.电子斗蛐蛐&#xff08;文本书写领域&am…...

编程日记 2025/5/19 3:15:59

6、使用one-api管理统一管理大模型，并开始使用本地大模型

文章目录 本节内容介绍集中接入&#xff1a;将大模型统一管理起来当使用了大模型代理大模型代理示例 开源模型&#xff1a;如何使用Hugging Face上的模型modelscope使用 pipeline 调用模型用底层实现调用模型流式输出 如何在项目中使用开源模型使用 LangChain使用集中接入开始使…...

编程日记 2025/5/18 16:30:25

DFS+回溯+剪枝（深度优先搜索）——搜索算法

DFS也就是深度优先搜索&#xff0c;比如二叉树的前&#xff0c;中&#xff0c;后序遍历都属于DFS。其本质是递归&#xff0c;要学好DFS首先需要掌握递归。接下来咱们就一起来学习DFS涉及的算法。 一、递归 1.什么是递归&#xff1f; 递归可以这样理解把它拆分出来&#xff0…...

编程日记 2025/5/18 11:53:33

【数据结构】_堆的实现

目录 1. 堆的实现 1.1 Heap.h 1.2 Heap.c 1.3 Test_Heap.c 专栏前文中&#xff0c;已经介绍了入堆及向上调整算法&#xff0c;出堆及向下调整算法&#xff0c;详情见下文&#xff1a; 【数据结构】_堆的结构及向上、向下调整算法-CSDN博客文章浏览阅读352次&#xff0c;点…...

编程日记 2025/5/17 23:42:23

读书笔记《左耳听风》

读书笔记《左耳听风》 从今年开始&#xff0c;打算给自己定一下在看完书后整理成博客的计划。以往很多看完的书仅仅停留在看完&#xff0c;再回顾的时候总感觉已经不甚清晰了&#xff0c;希望能坚持下去。 《左耳听风》是今年我看完的第一本书&#xff0c;内容针对的是程序员…...

编程日记 2025/5/19 6:36:08

Axure原型图怎么通过链接共享

一、进入Axure 二、点击共享 三、弹出下面弹框&#xff0c;点击发布就可以了 发布成功后&#xff0c;会展示链接&#xff0c;复制即可共享给他人 四、发布失败可能的原因 Axure未更新&#xff0c;首页菜单栏点击帮助选择Axure更新&#xff0c;完成更新重复以上步骤即可...

编程日记 2025/5/2 8:51:42

本地部署DeepSeek,并使用UI界面进行快速交互

一.需要本地部署的原因 1.我们在deepseek的官网界面进行交互时&#xff0c;经常会出现如下问题&#xff0c;不能正常交互&#xff0c;很是困扰&#xff1a; 2.本地部署的好处 就是能够很流畅的与deepseek进行交互&#xff1b;也有缺点&#xff0c;现在官网交互的版本更高一点…...

编程日记 2025/5/13 17:37:24

ESP32S3读取数字麦克风INMP441的音频数据

ESP32S3 与 INMP441 麦克风模块的集成通常涉及使用 I2S 接口进行数字音频数据的传输。INMP441 是一款高性能的数字麦克风&#xff0c;它通过 I2S 接口输出音频数据。在 Arduino 环境中&#xff0c;ESP32S3 的开发通常使用 ESP-IDF&#xff08;Espressif IoT Development Framew…...

编程日记 2025/5/15 22:19:02

移动(新)魔百盒刷机教程[M301A_YS]

刚刚成功刷了一个坏的魔百盒&#xff0c;简单记录一下。 刷电视盒子有两种&#xff1a;卡刷和线刷。 线刷 一、线刷准备 1.刷机工具 Amlogic USB Burning Tool 晶晨线刷烧录工具 2.固件 根据盒子的型号、代工等找到对应的固件 二、线刷步骤 电脑打开下好的 Amlogic US…...

编程日记 2025/5/18 21:05:04

15 大 AWS 服务

在不断发展的云计算世界中&#xff0c;Amazon Web Services (AWS) 已成为一股主导力量&#xff0c;提供许多服务以满足各种应用程序开发、部署和管理方面的需求。本文将探讨 15 项 AWS 服务。这些服务对于构建可扩展、可靠且高效的系统至关重要。 1.Amazon EC2&#xff08;弹性…...

编程日记 2025/5/18 21:51:03

【C++】命名空间

&#x1f31f; Hello&#xff0c;我是egoist2023&#xff01; &#x1f30d; 种一棵树最好是十年前&#xff0c;其次是现在&#xff01; 目录 背景知识 命名空间(namespace) 为何引入namespace namespace的定义 namespace的使用 背景知识 C的起源要追溯到1979年&#xff0…...

编程日记 2025/5/17 17:56:13

项目实战(11)-双通道气体压力计V1.0

一. 产品简介&#xff1a; 1、项目背景是在实际应用中需要监控通道内气体的压力&#xff0c;压力计分为两个通道&#xff1b;通道一时实时监控&#xff1b;通道二是保压&#xff0c;设定保压值得上下限后通道内得气体压力值会一直保持在这个范围内。 二. 应用场景&#xff1a…...

编程日记 2025/5/14 13:51:29

python+unity落地方案实现AI 换脸融合

先上效果再说技术结论&#xff0c;使用的是自行搭建的AI人脸融合库&#xff0c;可以离线不受限制无限次生成&#xff0c;有需要的可以后台私信python ai换脸融合。 TODO 未来的方向&#xff1a;3D人脸融合和AI数据训练 这个技术使用的是openvcinsighface&#xff0c;openvc…...

编程日记 2025/5/18 11:12:02

开启对话式智能分析新纪元——Wyn商业智能 BI 携手Deepseek 驱动数据分析变革

2月18号&#xff0c;Wyn 商业智能 V8.0Update1 版本将重磅推出对话式智能分析&#xff0c;集成Deepseek R1大模型&#xff0c;通过AI技术的深度融合&#xff0c;致力于打造"会思考的BI系统"&#xff0c;让数据价值触手可及&#xff0c;助力企业实现从数据洞察到决策执…...

编程日记 2025/5/15 17:18:24

数据结构——【二叉树模版】

#思路 1、二叉树不同于数的构建&#xff0c;在树节点类中&#xff0c;有数据&#xff0c;左子结点&#xff0c;右子节点三个属性&#xff0c;在树类的构造函数中&#xff0c;添加了变量maxNodes&#xff0c;用于后续列表索引的判断 2.GetTreeNode()函数是常用方法&#xff0c;…...

编程日记 2025/5/18 15:38:10

DeepSeek之于心理学的一点思考

模型和硬件参数对应关系参考 模型参数规模 典型用途 CPU建议 GPU建议 最小内存建议 磁盘空间建议 适用场景 1.5b(15亿) 小型推理、轻量级任务 4核以上(Intel i5/AMD Ryzen5) 可选&#xff0c;入门级GPU(如NVIDIA GTX1650 4GB显存) 8GB 10GB以上SSD 小型NLP任务、文…...

编程日记 2025/5/17 5:39:01

mysql 存储过程和自定义函数 详解

首先创建存储过程或者自定义函数时&#xff0c;都要使用use database 切换到目标数据库&#xff0c;因为存储过程和自定义函数都是属于某个数据库的。 存储过程是一种预编译的 SQL 代码集合&#xff0c;封装在数据库对象中。以下是一些常见的存储过程的关键字&#xff1a; 存…...

编程日记 2025/5/15 5:58:24

数据结构：单链表

1.概念&#xff1a; 单链表&#xff08;Singly Linked List&#xff09;是一种常见的数据结构&#xff0c;它由一系列节点&#xff08;Node&#xff09;组成&#xff0c;每个节点包含两个部分&#xff1a; 数据域&#xff08;Data&#xff09;&#xff1a;存储节点的值或数据。…...

编程日记 2025/5/17 21:29:28

部署项目（ubantu服务器，配置jdk,启动项目，及测试）

目录 1、ubantu安装jdk 2、部署项目 ​ 解决 java -jar 报错&#xff1a;xxx.jar 中没有主清单属性 ​ 3、测试 4、查看系统部署的应用 1、ubantu安装jdk #压缩文件jdk文件&#xff1a;tar -czvf jdk17.tar.gz jdk17 #解压jdk文件&#xff1a;tar -xzvf jdk17.tar.gz 参…...

编程日记 2025/5/15 3:19:46

deepseek本地部署教程

第一步&#xff1a;进入Ollama官网 &#xff08;Download Ollama on macOS&#xff09;&#xff0c;下载ollama(注意需要Window10或更高的版本&#xff09;&#xff0c;安装&#xff08;OllamaSetup.exe&#xff09;&#xff0c;默认在c盘 第二步&#xff1a;点击Models,再点击…...

编程日记 2025/5/17 12:24:19

MySQL主从同步+binlog

一、简介 MySQL内建的复制功能是构建大型&#xff0c;高性能应用程序的基础 通过将MySQL的某一台主机&#xff08;master&#xff09;的数据复制到其他主机&#xff08;slaves&#xff09;上&#xff0c;并重新执行一遍来执行 复制过程中一台服务器充当主服务器&#xff0c;而…...

编程日记 2025/5/14 12:35:45

防火墙术语大全( Firewalld Glossary of Terms）

防火墙术语大全 防火墙作为网络安全中不可或缺的设备&#xff0c;在各种网络架构中扮演着至关重要的角色。无论是企业级防火墙、云防火墙还是家用路由器内置的防火墙&#xff0c;它们的工作原理和配置策略都离不开一系列专业术语的支撑。对于网络工程师来说&#xff0c;掌握这…...

编程日记 2025/5/18 15:18:27

LeetCode刷题---数组---697

数组的度 697. 数组的度 - 力扣&#xff08;LeetCode&#xff09; 题目&#xff1a; 给定一个非空且只包含非负数的整数数组 nums&#xff0c;数组的 度 的定义是指数组里任一元素出现频数的最大值。 你的任务是在 nums 中找到与 nums 拥有相同大小的度的最短连续子数组&am…...

编程日记 2025/5/13 11:06:29

C语言基础08：运算符+流程控制总结

运算符 算术运算符 结果&#xff1a;数值 、-、*、\、%、&#xff08;正&#xff09;、-&#xff08;负&#xff09;、、-- i和i 相同点&#xff1a;i自身都会增1 不同点&#xff1a;它们运算的最终结果是不同的。i&#xff1a;先使用&#xff0c;后计算&#xff1b;i&am…...

编程日记 2025/5/17 14:29:15

[安装FlashAttention] CUDA版本 和 Nvidia驱动版本

nvidia-smi 查看driver api 的CUDA版本 听说这个是本机能装到的最高版本 那这样看来我最高能装到12.4。 nvcc -V 查看当前runtime api的CUDA版本 还是古老的11.5版本&#xff0c;没办法啊&#xff0c;FlashAttention老是说不支持&#xff1f; 安装Torch时选择的CUDA版本 p…...

编程日记 2025/5/11 2:40:09

Android图片加载框架Coil，Kotlin

Android图片加载框架Coil&#xff0c;Kotlin implementation("io.coil-kt:coil:1.4.0") import android.os.Bundle import android.widget.ImageView import androidx.appcompat.app.AppCompatActivity import androidx.lifecycle.lifecycleScope import coil.Coil i…...

编程日记 2025/5/18 6:55:49

Win11下搭建Kafka环境

目录 一、环境准备 二、安装JDK 1、下载JDK 2、配置环境变量 3、验证 三、安装zookeeper 1、下载Zookeeper安装包 2、配置环境变量 3、修改配置文件zoo.cfg 4、启动Zookeeper服务 4.1 启动Zookeeper客户端验证 4.2 启动客户端 四、安装Kafka 1、下载Kafka安装包…...

编程日记 2025/5/10 22:02:31

从大规模恶意攻击 DeepSeek 事件看 AI 创新隐忧：安全可观测体系建设刻不容缓

作者&#xff1a;羿莉&#xff08;萧羿&#xff09; 全球出圈的中国大模型 DeepSeek 作为一款革命性的大型语言模型&#xff0c;以其卓越的自然语言处理能力和创新性成本控制引领行业前沿。该模型不仅在性能上媲美 OpenAI-o1&#xff0c;而且在推理模型的成本优化上实现了突破…...

编程日记 2025/5/17 17:24:45

模拟（典型算法思想）—— OJ例题算法解析思路

目录 一、1576. 替换所有的问号 - 力扣（LeetCode） 运行代码： 1. 输入和输出 2. 变量初始化 3. 遍历字符串 4. 替换逻辑 5. 返回结果 整体分析 1. 思路总结 2. 为什么要这样设计 3. 时间复杂度与空间复杂度 4. 边界情况 二、495. 提莫攻击 - 力扣（LeetCode） …...

编程日记 2025/5/19 3:07:14

pgsql最快的数据导入BeginBinaryImport

PostgreSQL 的 BeginBinaryImport 是 libpq&#xff08;PostgreSQL 的 C 语言客户端库&#xff09; 中的一个函数&#xff0c;用于高效实现二进制数据的大批量导入。以下是详细介绍及适用语言说明&#xff1a; BeginBinaryImport 的作用 功能 它是 PostgreSQL C 接口库&#xf…...

编程日记 2025/5/19 5:11:15

【进程与线程】如何编写一个守护进程

如何编写一个守护进程。我们首先需要理解守护进程是什么。守护进程是在后台运行的进程&#xff0c;通常没有控制终端&#xff0c;用于执行系统任务&#xff0c;比如服务器或者定时任务。 用户可能想创建一个长期运行的服务&#xff0c;比如Web服务器或者日志监控程序。 首先&a…...

编程日记 2025/5/17 6:56:24

Docker容器访问外网：启动时的网络参数配置指南

在启动Docker镜像时，可以通过设置网络参数来确保容器能够访问外网。以下是几种常见的方法： 1. 使用默认的bridge网络 Docker的默认网络模式是bridge，它会创建一个虚拟网桥，将容器连接到宿主机的网络上。在大多数情况下，使用默认的bridge网络配置即可使容器访问外网。 启动…...

编程日记 2025/5/19 7:42:41