当前位置：首页 > news >正文

NVIDIA GPU 性能调优与诊断完全指南

news 来源：原创 2025/6/29 23:01:49

本文为多 GPU 用户（如 3*RTX A4000 系统）提供一份全面的调优与诊断手册，涵盖功率限制、风扇控制、频率锁定、缓存清理、GPU 重置与性能测试工具等操作命令，适合开发者与研究人员在部署前进行系统级优化与验证。

📌 目录

基础信息查看
性能设置与调优
风扇控制
上下文与缓存清理
GPU 重置与驱动重载
性能测试工具
多卡建议与 NUMA 绑定

📊 基础信息查看

nvidia-smi                           # 总览 GPU 状态
nvidia-smi -L                        # 查看 GPU 列表及 ID
nvidia-smi topo --matrix             # GPU/CPU/NUMA 拓扑结构
nvidia-smi -q                        # 显卡完整诊断数据
nvidia-smi -q -d TEMPERATURE         # 查看温度信息
nvidia-smi -q -d POWER               # 功耗信息
nvidia-smi -q -d CLOCK               # 当前频率与调频状态

🚀 性能设置与调优

设置所有 GPU 最大功耗（例如 A4000 为 140W）

for i in 0 1 2; dosudo nvidia-smi -i $i -pl 140
done

强制最大性能模式（保持 P0）

for i in 0 1 2; dosudo nvidia-settings -a "[gpu:$i]/GpuPowerMizerMode=2"
done

注意：需图形界面（X Server）下执行，可加 DISPLAY=:0。

关于详细GPU P-State 模式说明见博客： GPU P-State 模式说明

锁定 GPU 核心频率（如锁为 2100MHz）

for i in 0 1 2; dosudo nvidia-smi -i $i -lgc 2100,2100
done

恢复自动：

for i in 0 1 2; dosudo nvidia-smi -i $i -rgc
done

❄️ 风扇控制

开启手动风扇模式并设置为最大（建议冷却 A4000）

for i in 0 1 2; dosudo nvidia-settings -a "[gpu:$i]/GPUFanControlState=1"sudo nvidia-settings -a "[fan:$i]/GPUTargetFanSpeed=100"
done

关闭手动控制：

for i in 0 1 2; dosudo nvidia-settings -a "[gpu:$i]/GPUFanControlState=0"
done

🧽 上下文与缓存清理

rm -rf ~/.nv/
sudo rm -rf /tmp/*nvidia*
export CUDNN_CACHE_DISABLE=1

🔁 GPU 重置与驱动重载

GPU 热重置（前提是无占用）

for i in 0 1 2; dosudo nvidia-smi --gpu-reset -i $i
done

如遇失败，先杀掉占用 GPU 的进程：

sudo fuser -v /dev/nvidia*
sudo kill <PID>

驱动模块重载（关闭图形界面后操作）

sudo systemctl isolate multi-user.target
sudo rmmod nvidia_uvm nvidia_drm nvidia_modeset nvidia
sudo modprobe nvidia
sudo systemctl isolate graphical.target

🧪 性能测试工具

GPU-Burn：满载测试

（效果不佳，功率跑不满）

git clone https://github.com/wilicc/gpu-burn
cd gpu-burn
make
./gpu_burn 60

glmark2：OpenGL 图形压力测试

（对专业级显卡适应性感觉不太强）

sudo apt install glmark2
glmark2

stress-ng：联合 CPU/GPU/内存测试

sudo apt install stress-ng
stress-ng --cpu 8 --io 4 --vm 2 --vm-bytes 2G --timeout 60s

🎯 多卡建议与 NUMA 绑定

NUMA 对齐运行：确保任务绑定到与目标 GPU 同一 NUMA 节点的 CPU 上

numactl --cpunodebind=1 --membind=1 ./your_program_for_gpu1

可通过 nvidia-smi topo --matrix 查找 NUMA 对应关系。

建议：

同一进程内最好只绑定到一个 GPU 的 NUMA 区域 CPU；
多线程程序需使用 CPU 亲和性 API 或 OpenMP/Thread pinning 明确分配线程；
使用 cudaSetDevice() + cudaMemcpyPeerAsync() 明确分配 GPU 资源，避免 GPU0、GPU1 跨 NUMA 频繁拷贝。

📈 实时监控建议

watch -n 1 'nvidia-smi --query-gpu=index,temperature.gpu,pstate,clocks.gr,clocks.mem,utilization.gpu --format=csv'

📘 本指南适用于服务器冷启动、任务预热、调试性能退化、对比首次与持续运行性能差异等多种场景，建议结合 nvprof / nsys 做进一步 profiling。

NVIDIA GPU 性能调优与诊断完全指南

本文为多 GPU 用户（如 3*RTX A4000 系统）提供一份全面的调优与诊断手册，涵盖功率限制、风扇控制、频率锁定、缓存清理、GPU 重置与性能测试工具等操作命令，适合开发者与研究人员在部署前进行系统级优化与验证。 📌 目录…...

编程日记 2025/6/29 23:01:49

从运维告警到业务决策：可观测性正在重新定义企业数据基础设施

可观测性（Observability）与传统监控（Monitoring）的核心差异，本质上是一种数据维度的主动暴露与被动采集的范式转变。传统监控就像在黑暗森林中设置有限的探照灯，运维人员必须预先假设可能的故障路径&#x…...

编程日记 2025/6/27 23:27:14

配电网运行状态综合评估方法研究

1评估指标体系的构建 [1]冷华,童莹,李欣然,等.配电网运行状态综合评估方法研究[J].电力系统保护与控制,2017,45(01):53-59. 1.1评估范围图1为配电系统组成示意图，其中A、B、C分别表示高、中、低压配电系统。高压配变(也称主变)将35kV或110kV的电压降到10kV&#…...

编程日记 2025/6/30 1:57:16

Linux中I/O复用机制epoll

1. 为什么会出现 epoll？ 在早期的网络编程中，select 是一个非常常用的 I/O 复用机制，用于在多个文件描述符（如套接字）上进行 I/O 操作的检测。select 会将多个文件描述符传入，轮询检查它们的状态&#xff…...

编程日记 2025/6/29 5:07:19

数据库表关系详解

一、一对多关系特征：表A的一条记录对应表B的多条记录，表B的一条记录仅对应表A的一条记录示例： 学生表（子表） | id | name | class_id | |-----|------|----------| |1001| 张三 | 111 | |1002| 张四 | 222 | 班级表…...

编程日记 2025/6/27 23:18:48

Agentic Loop与MCP：大模型能力扩展技术解析

一、什么是MCP MCP（Model Context Protocol）是一种用于大语言模型与外部工具交互的协议框架。它允许大语言模型能够调用各种外部工具来扩展其能力边界，如访问文件系统、搜索引擎、数据库等。 MCP的核心价值能力扩展：使大语言模…...

编程日记 2025/6/30 2:26:27

贪心算法 Part04

总结下重叠区间问题 LC 452. 用最少数量的箭引爆气球和 LC 435. 无重叠区间本质上是一样的。 LC 452. 用最少数量的箭引爆气球是求n个区间当中 ， 区间的种类数量 k。此处可以理解为，重叠在一起的区间属于同一品种，没有重叠的区间当然…...

编程日记 2025/6/27 23:35:35

Spring事务简单操作

什么是事务？ 事务是一组操作的集合，是一个不可分割的操作事务会把所有的操作作为⼀个整体, ⼀起向数据库提交或者是撤销操作请求. 所以这组操作要么同时成功, 要么同时失败. 事务的操作分为三步： 1. 开启事start transaction/ begin …...

编程日记 2025/6/29 21:27:21

04算法学习_209.长度最小的子数组

04算法学习_209.长度最小的子数组题目描述：个人代码：学习思路：第一种写法：题解关键点： 第二种写法：题解关键点： 个人学习时疑惑点解答： 04算法学习_209.长度最小的子数组力扣题目链…...

编程日记 2025/6/27 23:14:13

./build/mkfs.jffs2: Command not found

参考文章：https://blog.csdn.net/FLM19990626/article/details/132070195 sudo apt-get install lib32stdc6 sudo apt-get install lib32z1 sudo apt-get install mtd-utils sudo apt-get install man-db sudo apt-get install liblzo2-dev:i386sudo ldconfig...

编程日记 2025/6/27 23:08:11

从零基础到最佳实践：Vue.js 系列（4/10）：《Vue Router 路由管理：深入探索与实战应用》

引言在现代前端开发中，单页应用（SPA）凭借其流畅的用户体验和高性能成为主流。Vue Router 作为 Vue.js 的官方路由管理工具，为开发者提供了强大的路由管理能力，帮助实现页面导航、权限控制和动态内容加载。本文将从基…...

编程日记 2025/6/27 23:20:54

深入解析C++静态成员变量与函数

当然可以！下面是对这段 C 代码的逐行详细注释说明和解释，帮助你理解静态成员变量和静态成员函数的使用。 🧱 类定义部分：MyClass cpp 深色版本 #include <iostream> 说明：包含标准输入输出流库，用于…...

编程日记 2025/6/27 23:20:37

基于JDBC的信息管理系统，那么什么是JDBC呢？什么又是DAO类？

1.JDBC JDBC 即 Java Database Connectivity，是 Java 语言中用于与数据库进行交互的一套 API。它提供了一种标准的方式，让 Java 程序能够连接到各种不同类型的数据库，并执行 SQL 语句来实现对数据库的查询、插入、更新和删除等操作。主要功…...

编程日记 2025/6/27 22:58:00

Java虚拟机 -虚拟机栈

虚拟机栈详解虚拟机栈概述案例常见的跟虚拟栈异常相关的异常StackOverflowError异常OutOfMemoryError异常栈的基本存储单位局部变量表IDEA Jclasslib Bytecode Viewer插件slot 操作数栈方法调用（待后续补充） 虚拟机栈上一篇文章，我们简单…...

编程日记 2025/6/27 23:32:40

【AI News | 20250521】每日AI进展

AI Repos 1、OpenHands OpenHands（前身为OpenDevin）是一个由AI驱动的软件开发代理平台，它能够像人类开发者一样修改代码、运行命令、浏览网页、调用API，甚至从StackOverflow复制代码片段。用户可以通过OpenHands Cloud轻松上手&a…...

编程日记 2025/6/30 1:31:17

RAG 挑战赛冠军方案解析：从数据解析到多路由器检索的工程实践，推荐阅读！

多路由器动态知识库：RAG 冠军方案的核心技术揭秘源码地址：https://github.com/IlyaRice/RAG-Challenge-2/tree/main 公司年报智能问答比赛任务简介比赛的任务是基于公司年度报告构建一个问答系统。简单来说，比赛当天的流程如下&#xff…...

编程日记 2025/6/27 22:49:45

Java基础 Day17

一、递归方法直接或者间接调用本身将大问题, 层层转化为一个与原问题相似的、规模更小的问题来解决二、异常程序在编译或执行过程中，出现的非正常的情况 (错误) 语法错误不是异常 1、阅读异常信息从下往上看：发生异常的位置、异常名称、发生异…...

编程日记 2025/6/27 22:49:50

系分论文《论软件系统安全分析和应用》

系统分析师论文范文系列【摘要】 2023年3月，我司承接了某知名电商企业“智能化供应链管理系统”的开发任务，我作为系统分析师负责全面的安全分析与设计工作。该系统以提升电商供应链效率为核心，整合仓储、物流、支付等模块，并需应…...

编程日记 2025/6/27 22:49:37

蓝耘Ubantu服务器测试最新 PP-StructureV3 教程

一、服务器配置二、安装Anaconda3 进入云服务器后删除minconda文件夹官网： https://repo.anaconda.com/archive/ 在里面找到自己系统的安装包，然后右击复制链接安装。一定要选择Anaconda,因为很多依赖问题用Minconda容易报错。 wget https://repo…...

编程日记 2025/6/27 22:49:56

File文件

路径： 相对路径：以当前工作目录（或指定的基准目录）为起点，描述目标文件或目录的位置，不包含根目录信息，仅表示与基准目录的相对位置关系。绝对路径：从文件系统的根目录开始&…...

编程日记 2025/6/27 22:49:34

Wireshark抓包分析小程序接口请求教程

## 1. 准备工作 ### 1.1 安装Wireshark - 访问Wireshark官网 (https://www.wireshark.org/) 下载最新版本 - 按照安装向导完成安装 - 确保安装时选择安装WinPcap或Npcap（用于网络数据包捕获） ### 1.2 配置环境 - 确保电脑已连接网络 - 如果使用手机…...

编程日记 2025/6/27 23:37:39

C++之模板进阶（探索C++模板：非类型参数与特化技巧）

本节目标： 1.非类型模板参数 2.类模板的特化 3.类模板特化的应用之类型萃取 4.模板的分离编译非类型模板参数模板参数分类型形参与非类型形参类型形参：出现在模板参数列表中，跟在class或者typename之类的参数类型名称非类型形…...

编程日记 2025/6/27 22:49:49

【项目记录】准备工作及查询部门

1 开发规范 1.1 前后端分离开发现在的企业项目开发有2种开发模式：前后台混合开发和前后台分离开发。前后台混合开发，顾名思义就是前台后台代码混在一起开发这种开发模式有如下缺点： 1. 沟通成本高：后台人员发现前端有问题&a…...

编程日记 2025/6/27 23:21:42

chromedp -—— 基于 go 的自动化操作浏览器库

chromedp chromedp 是一个用于 Chrome 浏览器的自动化测试工具，基于 Go 语言开发，专门用于控制和操作 Chrome 浏览器实例。 chromedp 安装 go get -u github.com/chromedp/chromedp基于chromedp 实现的的简易学习通刷课系统目前实现的功能&#xff…...

编程日记 2025/6/27 23:33:00

企业级调度器LVS

访问效果涉及内容：浏览拆分、 DNS 解析、反向代理、负载均衡、数据库等 1 集群 1.1 集群类型简介对于⼀个业务项⽬集群来说，根据业务中的特性和特点，它主要有三种分类： 高扩展 (LB) ：单个主机负载不足的时候&#xf…...

编程日记 2025/6/27 23:39:24

MySQL中的重要常见知识点（入门到入土！）

基础篇基础语法添加数据 -- 完整语法 INSERT INTO 表名 (字段名1, 字段名2, ...) VALUES (值1, 值2, ...);-- 示例 insert into employee(id,workno,name,gender,age,idcard,entrydate) values(1,1,Itcast,男,10,123456789012345678,2000-01-01) 修改数据 -- 完整语法 UPDA…...

编程日记 2025/6/27 23:23:25

29.第二阶段x64游戏实战-技能冷却

免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！ 本次游戏没法给内容参考于：微尘网络安全上一个内容：28.第二阶段x64游戏实战-代码实现遍历技能找技能冷却要通过一个技能cd长点的&…...

编程日记 2025/6/27 5:54:36

第19天-Python自动化生成PPT图文教程（基于python-pptx）

环境准备 pip install python-pptx Pillow 基础示例：批量插入图片 from pptx import Presentation from pptx.util import Inches import os from PIL import Image def create_image_slides(): # 初始化演示文稿 prs = Presentation() # 获取当前目录所…...

编程日记 2025/6/27 22:58:57

基于STM32的骑行语音播报系统

目录一、前言二、项目功能说明三、主要元器件四、原理图与PCB 五、手机APP 六、完整资料一、前言项目成品图片： 哔哩哔哩视频链接： 咸鱼商品链接： 基于STM32的骑行语音播报系统二、项目功能说明基础功能： 1&…...

编程日记 2025/6/27 22:50:05

springboot链接nacos测试

代码资料链接：https://download.csdn.net/download/ly1h1/90881498 场景说明：本次测试是springboot项目，可以链接上ncaos，将对应命名空间下的配置信息读取出俩，然后可以在接口进行返回显示。 0.环境配置 1.代码结构 …...

编程日记 2025/6/27 22:50:02

【初识】内网渗透——基础概念，基本工具使用

目录一、域，工作组，域控制器，活动目录相关概念： 域环境： 工作组： 域控制器DC： 活动目录AD： 二、内网的基本场景： 三、内网渗透基本测试方案： #案例1一基本信…...

编程日记 2025/6/27 23:07:38

AI练习：混合圆

方法一：在圆内 1.画圆选择椭圆工具，按住Shift键绘制正圆； CtrlC复制，CtrlF原地粘贴，按住Shift键缩小圆，移动位置； 再CtrlC，CtrlF，再按住Shift键缩小圆，移…...

编程日记 2025/6/27 23:22:49

心知天气 API 获取天气预报 2025/5/21

心知天气 API 获取天气预报 2025/5/21 URL格式: https://api.seniverse.com/v3/weather/now.json?key填你的秘钥&locationbeijing(这里填城市可以用拼音)&languagezh-Hans&unitc 返回格式如下:...

编程日记 2025/6/27 23:07:01

PCB设计教程【入门篇】——电路分析基础-元件数据手册

前言本教程基于B站Expert电子实验室的PCB设计教学的整理，为个人学习记录，旨在帮助PCB设计新手入门。所有内容仅作学习交流使用，无任何商业目的。若涉及侵权，请随时联系，将会立即处理目录前言一、数据手册的重要…...

编程日记 2025/6/29 18:36:34

java上机测试错题回顾（1）

平时不能摸鱼太多，这样导致到最后不能摸鱼...... 看了看日历原来是6.12就结课了，啊哈哈，真没几天准备了，期末月你要来了吗？ 1 参数传递，值传递~！ 题目以下代码的输出结果为（ &a…...

编程日记 2025/6/29 1:13:20

HTTP相关内容

应用层自定义应用层协议,协议:约定 1.约定好通信传输的信息 2.约定好数据的组织格式(xml, json(重点), protobuf) 也可以基于现成的应用层协议,来进行开发协议的种类非常多(HTTP 协议属于翘楚,1.手机,2 网站) 跟正确的说,咱们现在使用的是 HTTPS 这个协议,HTTP和HTTPS …...

编程日记 2025/6/27 23:17:04

【笔记】排查并解决Error in LLM call after 3 attempts: (status code: 502)

#工作记录一、问题描述在部署运行部署对冲基金分析工具 ai-hedge-fund 时，不断出现以下报错，导致项目运行异常： Error in LLM call after 3 attempts: (status code: 502) Error in LLM call after 3 attempts: [WinError 10054] 远程主…...

编程日记 2025/6/29 18:13:02

基于python的机器学习（七）—— 数据特征选择

目录一、特征选择概念二、特征选择的方法 2.1 过滤式特征选择 2.1.1 方差分析 2.1.2 相关系数 2.1.3 卡方检验 2.2 包裹式特征选择 2.2.1 递归特征消除 2.3 嵌入式特征选择 2.3.1 决策树特征重要性一、特征选择概念特征选择是机器学习非常重要的一个步骤&#x…...

编程日记 2025/6/29 2:50:59

从电商角度设计大模型的 Prompt

从电商角度设计大模型的 Prompt，有一个关键核心思路：围绕具体业务场景明确任务目标输出格式，帮助模型为运营、客服、营销、数据分析等工作提效。以下是电商场景下 Prompt 设计的完整指南，包含通用思路、模块范例、实战案例等内容。…...

编程日记 2025/6/27 23:31:33

从零基础到最佳实践：Vue.js 系列（5/10）：《状态管理》

引言你是不是正在用 Vue.js 开发一个很酷的应用，然后发现组件之间的数据传递变得越来越混乱？比如，一个按钮的状态要传到好几层组件，或者多个页面需要共享同一个用户信息。这时候，状态管理就登场了！在 Vue…...

编程日记 2025/6/27 23:29:09

git checkout HEAD

git checkout HEAD 主要用于将工作目录和暂存区的内容重置为当前 HEAD 指向的提交状态，常用于撤销未提交的修改15。具体行为如下： 一、核心作用 ‌恢复工作区文件‌ 将指定文件或全部文件恢复到 HEAD 指向的提交状态，丢弃工作区中未暂存的修改…...

编程日记 2025/6/28 17:47:20

git工具使用

安装Git 在开始使用Git之前，需要在本地计算机上安装Git工具。Git支持Windows、macOS和Linux系统。可以从Git官方网站下载适合操作系统的安装包，并按照安装向导进行安装。 bash复制插入 # 在Linux上安装Git sudo apt-get install git# 在macOS上安装Git…...

编程日记 2025/6/27 23:23:03

极大似然估计与机器学习

复习概统的时候突然发现好像极大似然估计MLE与机器学习的数据驱动非常相似，都是采样样本然后估计模型参数。貌似，后知后觉的才意识到极大似然估计就是机器学习有效的数学保证下面以拟合线性分布的最小二乘与分类问题为例推到以下如何从似然函数推导出M…...

编程日记 2025/6/27 23:01:34

基于 Guns v5.1 框架的分页教程

基于 Guns v5.1 框架的分页教程第一步：Controller 层处理前端请求在 Controller 中，需要接收 Bootstrap Table 传来的分页参数（limit, offset, sort, order）。Guns 提供了封装好的 PageFactory 类来简化 Page 对象的创建。 R…...

编程日记 2025/6/27 23:02:30

从零搭建SpringBoot Web 单体项目【基础篇】2、SpringBoot 整合数据库

系列文章从零搭建SpringBoot Web单体项目【基础篇】1、IDEA搭建SpringBoot项目从零搭建 SpringBoot Web 单体项目【基础篇】2、SpringBoot 整合数据库目录一、项目基础环境说明二、数据库整合流程 1. 添加 MyBatis-Plus 相关依赖（pom.xml） 2…...

编程日记 2025/6/27 23:12:33

Supplemental Table 5FAM49B H-SCORE与其他临床特征的关系

以下是针对 Supplemental Table 5 中不同变量类型所需检验方法的 SPSS纯界面操作步骤（严格匹配原文统计方法）： Supplemental Table 5 SPSS操作步骤目标：分析FAM49B H-SCORE与其他临床特征的关系，按变量类型选择检验方法。变量与检验方法对应表变量变量类型检验方法SP…...

编程日记 2025/6/27 10:49:54

信息系统项目管理师考前练习4

项目范围基准变更当客户提出新增功能需求时，项目经理首先应该： A. 立即更新范围说明书 B. 提交变更请求并评估影响 C. 要求团队加班实现 D. 拒绝变更以保持进度答案：B 解析：所有范围变更必须走正式变更流程（第5版强调变更控制），评估影响是第一步。混合项目管理模式…...

编程日记 2025/6/27 10:41:03

C语言判断素数（附带源码和解析）

素数，也称为质数，是一个大于 1 的自然数，除了 1 和它本身外，不能被其他自然数整除。换句话说，素数只有两个因子：1 和它自身。例如，2、3、5、7、11 和 13 都是素数。素数在数学和计算机科学中扮…...

编程日记 2025/6/27 2:55:24

汽车电子电气架构诊断功能开发全流程解析

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：钝感力的“钝”，不是木讷、迟钝，而是直面困境的韧劲和耐力，是面对外界噪音的通透淡然。生活中有两种人，一种人格外在意别人的眼光;另一种人无论…...

编程日记 2025/6/27 23:14:21

Xilinx XCAU10P-2FFVB676I 赛灵思 Artix UltraScale+ FPGA

XCAU10P-2FFVB676I 是 AMD Xilinx 推出的 Artix UltraScale™ FPGA 器件，内部集成了约 96,250 逻辑单元，满足中等规模高性能应用的需求。该芯片采用 16 nm FinFET 制程工艺，核心电压典型值约 0.85 V，能够在较低功耗下提供高达 775…...

编程日记 2025/6/27 10:49:28