PyTorch核心基础知识点
PyTorch核心基础知识点，结合最新特性与工业级实践，按优先级和逻辑关系分层解析：
▍ 核心基石：张量编程（Tensor Programming）
1. 张量创建（8种生产级初始化）
# 设备自动选择（2024最佳实践）
device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"# 关键初始化方法
t1 = torch.empty((3,3), dtype=torch.float16, device=device) # 未初始化内存
t2 = torch.zeros_like(t1, memory_format=torch.channels_last) # 内存布局优化
t3 = torch.tensor([[1,2], [3,4]], pin_memory=True) # 固定内存（加速数据转移）
2. 张量操作（性能关键操作）
# 内存共享操作（避免复制）
x = torch.randn(1000, 1000, device=device)
y = x[::2, ::2] # 视图操作（共享内存）# 广播机制实战
a = torch.randn(3, 1, 4) # shape(3,1,4)
b = torch.randn( 2, 4) # shape(2,4)
c = a + b # 自动广播为(3,2,4)
3. 自动微分（Autograd机制）
# 梯度控制黑科技
with torch.no_grad(): # 关闭梯度追踪y = model(x)torch.inference_mode(): # 更高效推理模式（PyTorch 2.0+）y = model(x)# 自定义梯度函数
class MyReLU(torch.autograd.Function):@staticmethoddef forward(ctx, x):ctx.save_for_backward(x)return x.clamp(min=0)@staticmethoddef backward(ctx, grad_output):x, = ctx.saved_tensorsreturn grad_output * (x > 0).float()
▍ 数据工程（Data Pipeline）
1. 数据加载（工业级优化）
# 多线程加速方案
loader = DataLoader(dataset, batch_size=64, num_workers=4,pin_memory=True, # 加速GPU传输persistent_workers=True) # 保持worker进程# 自定义数据集模板
class SatelliteDataset(Dataset):def __init__(self, root, transform=None):self.tiles = glob(f"{root}/*.tif")self.tfm = transform or T.Compose([T.RandomCrop(224),T.ToTensor()])def __getitem__(self, idx):img = Image.open(self.tiles[idx])return self.tfm(img), 0 # 伪标签
2. 数据增强（GPU加速）
# 使用Kornia进行GPU加速增强
import kornia.augmentation as Kaug = K.AugmentationSequential(K.RandomRotation(degrees=45.0),K.RandomPerspective(p=0.5),data_keys=["input"]
)x_gpu = torch.randn(16, 3, 224, 224, device=device)
x_aug = aug(x_gpu) # GPU加速增强
▍ 模型工程（Model Engineering）
1. 模型定义（2024最新范式）
# 动态图优化（Torch.compile加速）
class CNN(torch.nn.Module):def __init__(self):super().__init__()self.conv = torch.nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),nn.BatchNorm2d(64),nn.ReLU(inplace=True))def forward(self, x):return self.conv(x)model = CNN().to(device)
optimized_model = torch.compile(model) # 一行代码加速30%
2. 模型训练（分布式技巧）
# 混合精度训练（2024标准配置）
scaler = torch.cuda.amp.GradScaler()for inputs, targets in loader:inputs = inputs.to(device, non_blocking=True)targets = targets.to(device, non_blocking=True)with torch.autocast(device_type='cuda', dtype=torch.bfloat16):outputs = model(inputs)loss = criterion(outputs, targets)scaler.scale(loss).backward()scaler.step(optimizer)scaler.update()
▍ 调试与优化（关键工具链）
1. 可视化工具（TensorBoard高级用法）
# 模型结构可视化
with SummaryWriter(log_dir="runs/exp1") as writer:writer.add_graph(model, torch.randn(1,3,224,224).to(device))# 超参数对比
for lr in [0.1, 0.01, 0.001]:run_name = f"lr_{lr}"writer = SummaryWriter(log_dir=f"runs/{run_name}")writer.add_hparams({"lr": lr}, {"accuracy": 0.95})
2. 性能分析（PyTorch Profiler）
# 启动命令（检测GPU利用率）
python -m torch.profiler.profile \--schedule=repeat \--activities=cuda \--on_trace_ready=torch.profiler.tensorboard_trace_handler \train.py
▍ 知识地图（优先级排序）
1. 张量操作与内存管理（2天） → 模型性能基础
2. 自动微分机制（1天） → 自定义层开发必备
3. 数据管道优化（3天） → 工业级训练效率关键
4. 混合精度训练（1天） → 节省显存+加速训练
5. Torch.compile（0.5天） → 免费性能提升
▍ 常见陷阱与解决方案
| 问题现象 | 根本原因 | 解决方案 |
|---|---|---|
| GPU利用率不足50% | 数据加载瓶颈 | 启用pin_memory+prefetch |
| 训练loss震荡 | 学习率过大 | 使用OneCycleLR策略 |
| 验证集准确率不提升 | 数据泄露 | 检查数据划分逻辑 |
| 模型推理速度慢 | 未启用半精度/编译优化 | 使用torch.compile+AMP |
下一步：
- 使用
torch.autograd.profiler分析模型瓶颈 - 在Kaggle创建PyTorch实战Notebook并公开
相关文章：
PyTorch核心基础知识点
PyTorch核心基础知识点，结合最新特性与工业级实践，按优先级和逻辑关系分层解析： ▍ 核心基石：张量编程（Tensor Programming） 1. 张量创建（8种生产级初始化） # 设备自动选择&#x…...
Springboot实现使用断点续传优化同步导入Excel
springboot实现使用断点续传优化同步导入Excel 需求前言断点续传前端实现后端实现完结撒花，如有需要收藏的看官，顺便也用发财的小手点点赞哈，如有错漏，也欢迎各位在评论区评论！ 需求前言 在跨境电商系统中，…...
1、正点原子ZYNQ最小系统--GPIO之MIO控制LED笔记
1、ZYNQ PS中的外设通过MIO连接到PS端引脚；通过EMIO连接到PL端引脚。 2、Zynq-7000有54个MIO，有64个EMIO。 3、GPIO分为4个Bank，其中Bank0和Bank1连接到MIO;Bank2和Bank3连接到EMIO。 4、Bank1--22bit；Bank0--32bit；…...
基于STM32进行FFT滤波
文章目录 一、前言背景二、项目构思1. 确定FFT点数、采样率、采样点数2. 双缓存设计 三、代码实现1. STM32CubeMX配置和HAL库初始化2. 核心代码 四、效果展示和后话 一、前言背景 STM32 对 AD 采样信号进行快速傅里叶变换（FFT），以获取其频谱…...
ISCA Archive 的 关于 dysarthria 的所有文章摘要（1996~2024）
ISCA Archive 的 关于 dysarthria 的所有文章摘要（1996~2024） 构音障碍（Dysarthria）研究全景总结（1996–2024） 所有文章摘要（1996~2024） ISCA Archive 的 关于 dysarthria 的所有文…...
MySQL拒绝访问
1. 问题 使用图形界面工具连接MySQL数据库，拒绝访问！ 2. 解决方法 以管理员的身份打开cmd，输入命令，启动MySQL net start mysql版本号 3. 参考 暂无...
ROM（只读存储器） 、SRAM（静态随机存储器） 和 Flash（闪存） 的详细解析
在嵌入式系统和其他计算机系统中，存储器是不可或缺的组成部分。不同类型的存储器各有其特点和应用场景。以下是 ROM（只读存储器）、SRAM（静态随机存储器） 和 Flash（闪存） 的详细解析。 1. ROM&am…...
Transformers x SwanLab:可视化NLP模型训练（2025最新版）
HuggingFace 的 Transformers 是目前最流行的深度学习训框架之一（100k Star），现在主流的大语言模型（LLaMa系列、Qwen系列、ChatGLM系列等）、自然语言处理模型（Bert系列）等，都在使用T…...
stm32-ADC
1.ADC:模拟到数字的转换器 1.1模拟 模拟信号：物理当中一切可感受到的都是模拟信号（连续的） 1.2数字： 数字信号：二进制数（离散的） 1.3a->c的过程 采样、量化 1.3.1量化的原理 方法&am…...
)
【1】Java 零基础入门学习(小白专用)
【1】Java 零基础入门学习 📚博客主页：代码探秘者 ✨专栏：《JavaSe从入门到精通》 其他更新ing… ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻，您的三连就是我持续更新的动力❤️ 🙏作者水…...
《Python实战进阶》No26: CI/CD 流水线：GitHub Actions 与 Jenkins 集成
No26: CI/CD 流水线：GitHub Actions 与 Jenkins 集成 摘要 持续集成（CI）和持续部署（CD）是现代软件开发中不可或缺的实践，能够显著提升开发效率、减少错误并加速交付流程。本文将探讨如何利用 GitHub Actio…...
算力100问☞第92问：为什么各地热衷建设算力中心？
目录 1、宏观分析 2、政府角度分析 3、投资者角度分析 在数字化浪潮中，各地对算力中心建设的热情高涨，这一现象背后潜藏着诸多深层次的原因，涵盖了经济、科技、社会等多个维度，且彼此交织，共同驱动着这一发展趋势。 1、宏观分析 从经济结构转型的底层逻辑来看，全球经…...
w266农产品直卖平台的设计与实现
🙊作者简介：多年一线开发工作经验，原创团队，分享技术代码帮助学生学习，独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取，记得注明来意哦~🌹赠送计算机毕业设计600个选题excel文…...
OpenLayers集成天地图服务开发指南
以下是一份面向GIS初学者的OpenLayers开发详细教程，深度解析代码： 一、开发环境搭建 1.1 OpenLayers库引入 <!-- 使用CDN引入最新版OpenLayers --> <link rel"stylesheet" href"https://cdn.jsdelivr.net/npm/ollatest/ol.c…...
1、双指针法
关于每个知识点的例题 可以自己看力扣标准题解。也可以在哔哩哔哩上看。想看我的，就到github 看 - 库 ，介绍里写的算法讲解那些，里面有知识点，有题库。题库，每天都发题，可能跟博客的进度不一样。因为我上传…...
程序算法基础
程序设计基本概念 程序和算法 人们做任何事情都有一定的方法和程序，如：春节联欢晚会的节目单、开会的议程等，都是程序。在程序的指导下，可以有秩序地、有效的完成每一项工作。随着计算机的问世和普及，“程序”逐渐专…...
JavaScript基础-删除事件（解绑事件）
在现代Web开发中，动态地添加和移除事件处理器是构建交互式网页的关键技能之一。虽然添加事件处理器相对直观，但了解如何有效地移除或“解绑”这些处理器同样重要。这不仅有助于优化性能，还能防止潜在的内存泄漏问题。本文将介绍几种方法来删除…...
Selenium Web UI自动化测试：从入门到实战
引言 在当今快速迭代的软件开发周期中，自动化测试已成为保障产品质量、提升测试效率的核心手段之一。而针对Web应用的UI自动化测试，Selenium作为最流行的开源工具之一，凭借其跨浏览器、多语言支持（Python、Java、C#等）…...
AT_abc398_f [ABC398F] ABCBA
题目大意 请点击这里查看原题面。给定一个字符串 S S S，找出以 S S S 为前缀的最短回文字符串。 思路 观察样例三，容易发现只要寻找到一个合适的“对称轴”即可。可以考虑枚举对称轴位置，判断然后得到长度并计算答案串。但是这样显然会超…...
RK3568开发笔记-egtouch触摸屏ubuntu系统屏幕校准
目录 前言 一、官方egtouch触摸屏驱动校准 二、ubuntu系统xinput_calibrator工具校准 2.1. 工具安装 2.2. xinput_calibrator命令校准 总结 前言 在基于 RK3568 平台进行开发，并使用 egtouch 触摸屏搭配 ubuntu20.04 系统时，准确的屏幕校准对于良好的用户交互体验至关重要…...
使用uniapp的vite版本进行微信小程序开发，在项目中使用mqtt连接、订阅、发布信息
1、保证在微信公众平台配置socket合法域名 2、项目中使用mqtt 建议在package.json中配置"mqtt": “4.1.0”，使用这个版本的依赖 页面中引入mqtt并配置连接 // ts-ignoreimport * as mqtt from mqtt/dist/mqtt.js; //要使用这里面的const state reacti…...
【软件系统架构】单体架构
一、引言 在软件开发的漫长历程中，架构的选择一直是至关重要的决策。单体架构作为一种经典的架构模式，曾经在许多项目中发挥着不可替代的作用。虽然如今微服务等架构逐渐流行，但理解单体架构对于深入掌握软件架构体系仍然有着重要意义。 二、…...
强大的AI网站推荐（第三集）—— AskO3
网站：AskO3 号称：由华为全球技术服务部（GTS）基于盘古大模型构建的领域知识大模型 博主评价：学习网络安全必备的网站，ICT服务领域顶级AI网站，如果学习HCIA，园区配置等，也可…...
高速网络包处理，基础网络协议上内核态直接处理数据包，XDP技术的原理
文章目录 预备知识TCP/IP 网络模型（4层、7层）iptables/netfilterlinux网络为什么慢 DPDKXDPBFPeBPFXDPXDP 程序典型执行流通过网络协议栈的入包XDP 组成 使用 GO 编写 XDP 程序明确流程选择eBPF库编写eBPF代码编写Go代码动态更新黑名单 预备知识 TCP/IP…...
C++智能指针详解
C智能指针详解 目录 智能指针概述为什么需要智能指针C标准库中的智能指针 std::unique_ptrstd::shared_ptrstd::weak_ptr 智能指针的实际应用智能指针的最佳实践总结 智能指针概述 智能指针是C中用于自动管理动态分配内存的对象，它们遵循RAII（资源获…...
git 设置保存密码 git保存密码
目录 长久保存密码 长久保存密码 git push和git pull都能使用。 git config --global credential.helper store 然后执行一次 git pull，Git 会提示输入用户名和密码， 输入后保存路径： ~/.git-credentials ， Windows系统&…...
clamav服务器杀毒（Linux服务器断网状态下如何进行clamav安装、查杀）
ClamAV服务器杀毒（服务器断网状态也可以使用该方法） 服务器因为挖矿病毒入侵导致断网，进行离线的clamav安装并查杀 安装包下载网址：https://www.clamav.net/downloads 安装.deb，如果服务器处于断网状态，可以…...
深入剖析 RocketMQ 的 ConsumerOffsetManager
在消息队列系统中，准确记录和管理消息的消费进度是保障系统可靠性和数据一致性的关键。RocketMQ 作为一款高性能、高可用的分布式消息队列，其 ConsumerOffsetManager 组件在消费进度管理方面发挥着至关重要的作用。本文将详细介绍 ConsumerOffsetManager…...
一文了解 threejs 中.bin 文件与 .gltf 文件 和 .glb 文件三者之间的关系
文章目录 前言一、.bin 文件的作用二、.gltf 文件的作用三、.gltf 和 .bin 的关系四、.glb 文件的作用五、如何查看或编辑 .bin 文件六、总结 前言 在 GLTF 生态中，.bin 文件是 GLTF 格式的重要组成部分，通常与 .gltf 文件一起使用。以下是它们的详细关…...
蓝桥杯（N皇后问题）------回溯法
题目描述 在 NN 的方格棋盘放置了 N 个皇后，使得它们不相互攻击（即任意 2 个皇后不允许处在同一排，同一列，也不允许处在与棋盘边框成 45 角的斜线上。你的任务是，对于给定的 N，求出有多少种合法的放置方法…...
Linux系统中关闭Docker服务并禁止其开机自启 、docker 安装目录结构分析 | 【du -sh *】
文章目录 在Linux系统中关闭Docker服务并禁止其开机自启，具体步骤如下：适用于使用 systemd 的系统（如Ubuntu 16.04/CentOS 7等）适用于使用 SysVinit 或 Upstart 的旧版系统其他注意事项示例输出 linux 下 一条命令实现 统计各个目…...
免费下载 | 2025低空经济产业发展报告
低空经济概览 产业链条：低空经济产业链分为上游的低空经济基础设施（如空管系统、飞行基地等）、中游的低空制造（包括无人机、eVTOL、直升机等飞行器的设计、研发、生产）和下游的低空运营及飞行服务。低空经济以低空空域…...
单一职责原则开闭原则其他开发原则
一、单一职责原则（Single Responsibility Principle, SRP） 定义 一个类应该有且仅有一个引起它变化的原因（即一个类只负责一个职责）。 核心思想 高内聚：类的功能高度集中 低耦合：减少不同职责之间的相互影…...
（自用）yolo算法学习
1.难受中，看了教程过后无从下手啊 2.pycharm专业版成功就好 3.安装包时出先问题 (base) PS G:\pycharm\projects\yolo\yolov5> pip install opencv-python>4.1.1 Requirement already satisfied: opencv-python>4.1.1 in g:\anaconda\app\lib\site-packa…...
手机号登录与高并发思考
基础逻辑 一般来说这个验证码登录分为手机号、以及邮箱登录 手机号短信验证，以腾讯云SMS 服务为例： 这个操作无非对后端来说就是两个接口： 一个是获取验证码，这块后端生成6位数字expire_time 去推送到腾讯云sdk ，腾…...
Linux系统管理与编程07：任务驱动综合应用
兰生幽谷，不为莫服而不芳； 君子行义，不为莫知而止休。 [环境] windows11、centos9.9.2207、zabbix6、MobaXterm、Internet环境 [要求] zabbix6.0安装环境：Lamp（linux httpd mysql8.0 php） [步骤] 2 …...
12：表的内外连接
1. 内连接 内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选，前面学习的查询都是内连接，也是在开发过程中使用的最多的连接查询。 新的内连接的语法： select 字段 from 表1 inner join 表2 on 连接条件 and 其他条件; //通过…...
Mybatis的基础操作——03
写mybatis代码的方法有两种： 注解xml方式 本篇就介绍XML的方式 使用XML来配置映射语句能够实现复杂的SQL功能，也就是将sql语句写到XML配置文件中。 目录 一、配置XML文件的路径，在resources/mapper 的目录下 二、写持久层代码 1.添加mappe…...
在CentOS系统上运行Ruby on Rails应用的详细步骤
以下是AI生成，仅做备份。 1. 安装必要的依赖 在CentOS上，首先要安装一些基础的开发工具和依赖库，它们能确保后续的安装和运行过程顺利进行。 sudo yum update -y sudo yum install -y git gcc-c patch readline readline-devel zlib zlib-…...
《AI大模型趣味实战》第6集：基于大模型和RSS聚合打造个人新闻电台
《AI大模型趣味实战》第6集：基于大模型和RSS聚合打造个人新闻电台 摘要 本文将带您探索如何结合AI大模型和RSS聚合技术，打造一个功能丰富的个人新闻电台系统。我们将使用Python和PyQt5构建一个桌面应用程序，该应用可以从多个RSS源抓取新闻&…...
Unity 与 JavaScript 的通信交互：实现跨平台的双向通信
前言 在现代游戏开发和 Web 应用中，Unity 和 JavaScript 的结合越来越常见。Unity 是一个强大的跨平台游戏引擎，而 JavaScript 是 Web 开发的核心技术之一。通过 Unity 和 JavaScript 的通信交互，开发者可以实现从 Unity 到 Web 页面的功能扩…...
Sql Server 索引性能优化 分析以及分表
定位需优化语句 根据工具 skywking 或者开启慢查询日志 找到 慢sql 的语句根据 执行过程 来 判断 慢的原因 row filter 指标 看查了多少数据 比例多少 type 看下是单表 还是 join联表 比如 执行步骤多 没索引 优化方向 减少执行次数索引 没索引考虑加索引 加索引 尽量选择 i…...
Vue.js 模板语法全解析：从基础到实战应用
引言 在 Vue.js 的开发体系中，模板语法是构建用户界面的核心要素，它让开发者能够高效地将数据与 DOM 进行绑定，实现动态交互效果。通过对《Vue.js 快速入门实战》中关于 Vue 项目部署章节（实际围绕 Vue 模板语法展开）…...
【JVM】内存区域划分，类加载机制和垃圾回收机制
本篇内容为了解 JVM 的内存区域划分，类加载机制，垃圾回收机制。实际开发中几乎用不到，但为了某些情况我们又不得不了解。 目录 一、JVM中的内存区域划分 1.1 内存区域划分考点 二、JVM的类加载机制 2.1 类加载流程 2.2 类加载什么时候会…...
代码随想录算法训练营第十四天|替换数字
文档讲解：代码随想录 难度：easy 附：冲 passion！！！passion！！！passion！！！ 替换数字 卡码网题目链接(opens new window) 给定一个字符串…...
Java实体类（Javabean）-编程规范
Java学习笔记-Java实体类详解 今天我们要聊一个看似简单却至关重要的知识点——Java实体类。就像快递小哥打包物件需要包装盒一样，在Java世界里处理数据也需要专门的容器，这就是我们的实体类！ 一、实体类是什么？——程序的"…...
深入解析 Java Stream API：筛选子节点的优雅实现！！！
🚀 深入解析 Java Stream API：筛选子节点的优雅实现 🔧 大家好！👋 今天我们来聊聊 Java 8 中一个非常常见的操作：使用 Stream API 从 Map 中筛选出特定条件的元素。🎉 具体来说，我们…...
Vala编程语言教程-面向对象编程语基础
基础 尽管Vala语言并不强制你使用对象进行编程，但有些功能只能通过对象的方式来实现。因此，在大多数情况下，你肯定会希望采用面向对象的编程风格。与大多数当前的编程语言一样，为了定义你自己的对象类型，你需要编写一个…...
写读后感的时候，可以适当地引用书中的内容吗？
写读后感时，适当地引用书中的内容是可以的，这样可以更好地支持你的观点和感受，增强文章的可信度和说服力。 引用书中的内容可以帮助读者更好地理解你所讨论的主题和人物，同时也可以展示你对原著的深入理解和阅读能力。但是&#…...
计算机网络高频（二）TCP/IP基础
计算机网络高频（二）TCP/IP基础 1.什么是TCP/IP⭐⭐ TCP/IP是一种网络通信协议，它是互联网中最常用的协议之一。TCP/IP有两个基本的协议：TCP（传输控制协议）和IP（互联网协议）。 TCP（Transmission Control Protocol，传输控制协议）是一种可靠的、面向连接的协议。它负…...