PyTorch中单卡训练、DataParallel（DP）和DistributedDataParallel（DDP）
PyTorch中提供了单卡训练、DataParallel（DP）和DistributedDataParallel（DDP），下面是相关原理与实现代码。
- 代码下载链接：git代码链接
一、单卡训练
原理
单卡训练是最基础的模型训练方式，使用单个GPU（或CPU）完成所有计算任务：
- 模型与数据移动：将模型和数据加载到指定设备（如
cuda:0），通过model.to(device)和data.to(device)实现。 - 前向与反向传播：在单一设备上完成前向计算、损失计算和梯度反向传播。
- 参数更新：优化器根据梯度更新模型参数。
优点
• 简单易用：无需处理并行逻辑，适合快速验证和小规模模型。
• 调试方便：无多设备同步问题，错误排查直观。
缺点
• 资源受限：显存和计算能力受单卡限制，无法处理大模型或大数据集。
• 效率瓶颈：无法利用多卡加速训练。
实现方式
import torch# 设置设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")# 加载模型和数据
model = MyModel().to(device)
data = data.to(device)# 训练循环
optimizer = torch.optim.Adam(model.parameters())
for inputs, labels in dataloader:inputs, labels = inputs.to(device), labels.to(device)outputs = model(inputs)loss = loss_fn(outputs, labels)optimizer.zero_grad()loss.backward()optimizer.step()
二、DataParallel（DP）
原理
DP通过单进程多线程实现数据并行：
- 模型复制：主GPU（默认
cuda:0）复制模型到其他GPU。 - 数据分片：将输入数据均分到各GPU，并行计算前向传播。
- 梯度汇总：各GPU的梯度回传至主GPU，求平均后更新模型参数，再同步到其他GPU。
优点
• 代码简单：仅需一行model = nn.DataParallel(model)即可启用多卡。
• 快速实验：适合小规模多卡训练场景。
缺点
• 显存不均衡：主GPU需存储完整模型和汇总梯度，显存占用高，易成瓶颈。
• 效率低下：线程间通信依赖GIL锁，并行加速比低。
• 不支持多机：仅限单机多卡，无法扩展至多机。
实现方式
import torch.nn as nn# 检查多卡并包装模型
if torch.cuda.device_count() > 1:model = nn.DataParallel(model, device_ids=[0, 1, 2])
model.to(device)# 注意：保存时需提取主模型
torch.save(model.module.state_dict(), "model.pth")
三、DistributedDataParallel（DDP）
原理
DDP基于多进程实现分布式数据并行：
- 进程初始化：每个GPU对应独立进程，通过
init_process_group初始化通信后端（如NCCL）。 - 模型复制：各进程加载相同模型，DDP自动同步初始参数。
- 数据分片：使用
DistributedSampler确保各进程读取不重叠的数据。 - 梯度同步：反向传播时，梯度通过
All-Reduce操作在各进程间同步，无需主GPU汇总。
优点
• 显存均衡：各GPU独立计算梯度，显存占用均匀。
• 高效并行：多进程无GIL限制，通信开销低，加速比接近线性。
• 扩展性强：支持多机多卡，适用于超大规模训练。
缺点
• 配置复杂：需手动设置进程组、数据采样器和启动脚本。
• 调试困难：多进程环境下错误日志分散，排查难度高。
实现方式
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDPtorch.distributed.init_process_group(backend="nccl")torch.cuda.set_device(local_rank) # 绑定当前进程到指定GPU#加载数据集train_loader, test_loader, train_sampler, test_sampler = load_data(world_size, local_rank)#模型载入args.local_rank# 创建模型实例device = torch.device(f"cuda:{local_rank}")model = CustomModel().to(device)#原始模型 包装 为 DDPDDP_model = DDP(model, device_ids=[local_rank], output_device=local_rank)#定义 损失函数，优化器，训练次数loss_fn = nn.CrossEntropyLoss() # 损失函数（分类任务常用）optimize = optim.Adam(model.parameters(), lr=0.001) # 优化器（自动调节学习率）train_step=0test_step=0epoch=10#开始训练#开始训练时间start = time.perf_counter()for i in range(epoch):print("------第 {} 轮训练开始------".format(i+1))train_sampler.set_epoch(epoch) #每张卡在每个周期上的值是随机的，设置epoch保证shuffle有效性DDP_model.train()for batch in train_loader:inputs,labels = batch#将数据赋值到args.local_rankinputs = inputs.cuda(local_rank, non_blocking=True)labels = labels.cuda(local_rank, non_blocking=True)#记录 单批数据 训练时间starttime = time.time()outputs = DDP_model(inputs)loss = loss_fn(outputs, labels)optimize.zero_grad()loss.backward()optimize.step()endtime = time.time()train_step=train_step+1if train_step%100==0:print("训练次数:{},Loss:{},time:{}".format(train_step,loss.item(),endtime-starttime))#仅在alocal_rank == 0时保存if local_rank ==0:torch.save(DDP_model,"./DDPtrain/DDP_model_{}.pth".format(i))print("模型已保存")end = time.perf_counter()#训练时间print(f"DDP训练使用时间: {end - start} 秒")# 清理分布式环境torch.distributed.destroy_process_group()
四、对比与选择建议
| 特性 | 单卡训练 | DataParallel（DP） | DDP |
|---|---|---|---|
| 适用场景 | 小模型/调试 | 快速实验/单机多卡 | 大规模训练/多机多卡 |
| 显存占用 | 单卡满载 | 主卡显存瓶颈 | 各卡均衡 |
| 并行效率 | 无加速 | 低（线程通信开销） | 高（进程级并行） |
| 实现复杂度 | 简单 | 中等（代码简单） | 复杂（需配置进程组） |
| 扩展性 | 无 | 仅限单机 | 支持多机 |
选择建议
• 单卡训练：适合快速验证或显存需求极低的场景。
• DP：仅推荐在单机多卡且代码快速迁移时使用，避免主卡显存瓶颈。
• DDP：生产环境首选，尤其适合千亿参数模型或多节点训练。
相关文章：
PyTorch中单卡训练、DataParallel（DP）和DistributedDataParallel（DDP）
PyTorch中提供了单卡训练、DataParallel（DP）和DistributedDataParallel（DDP），下面是相关原理与实现代码。 代码下载链接：git代码链接 一、单卡训练 原理 单卡训练是最基础的模型训练方式，使用…...
Redis从入门到实战 - 高级篇（中）
一、多级缓存 1. 传统缓存的问题 传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，存在下面的问题： 请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈Redis缓存失效时，会…...
项目计划缺乏可行性，如何制定实际可行的计划？
制定实际可行的项目计划需从明确项目目标、准确评估资源、风险管理、设定合理里程碑以及优化沟通渠道入手。其中，明确项目目标尤为关键，只有在目标清晰、具体且量化时，团队才能有效规划各项活动并衡量进展。例如，目标若模糊或过于…...
React中使用ahooks处理业务场景
// 从 ahooks 引入 useDynamicList 钩子函数，用于管理动态列表数据（增删改） import { useDynamicList } from ahooks;// 从 ant-design/icons 引入两个图标组件：减号圆圈图标和加号圆圈图标 import { MinusCircleOutlined, PlusCi…...
CNBC专访CertiK联创顾荣辉：从形式化验证到AI赋能，持续拓展Web3.0信任边界
近日，CertiK联合创始人、哥伦比亚大学教授顾荣辉接受全球知名财经媒体CNBC阿拉伯频道专访，围绕形式化验证的行业应用、AI在区块链安全中的角色，以及新兴技术风险等议题，分享了其对Web3.0安全未来的深刻洞察。 顾荣辉表示…...
基于Spring Boot与jQuery的用户管理系统开发实践✨
引言📚 用户管理系统是企业级应用的核心模块，需实现数据分页、状态管理及高效前后端交互。本文以Spring Boot为后端框架、jQuery为前端工具，构建一个结构清晰的用户管理系统，详解三层架构设计、接口规范及全栈开发流程࿰…...
StreamSaver实现大文件下载解决方案
StreamSaver实现大文件下载解决方案 web端 安装 StreamSaver.js npm install streamsaver # 或 yarn add streamsaver在 Vue 组件中导入 import streamSaver from "streamsaver"; // 确保导入名称正确完整代码修正 <!--* projectName: * desc: * author: dua…...
vue3+echarts 做温度计
参考Echarts 做的温度计_echart温度计-CSDN博客 但是现在这个写法不支持了，更新一下，然后修改了温度值和刻度及单位颜色为黑，初始化echarts写法, itemStyle: {normal: {color: #4577BA,barBorderRadius: 50,}},<div id"main14"…...
鸿蒙开发——7.ArkUI进阶：@BuilderParam装饰器的核心用法与实战解析
鸿蒙开发——7.ArkUI进阶：BuilderParam装饰器的核心用法与实战解析 ArkUI进阶：BuilderParam装饰器的核心用法与实战解析引言一、核心概念速览1.1 什么是BuilderParam？1.2 与Builder的关系 二、核心使用场景2.1 参数初始化组件2.2 尾随闭包初始…...
【数据结构】队列的完整实现
队列的完整实现 队列的完整实现github地址前言1. 队列的概念及其结构1.1 概念1.2 组织结构 2. 队列的实现接口一览结构定义与架构初始化和销毁入队和出队取队头队尾数据获取size和判空 完整代码与功能测试结语 队列的完整实现 github地址 有梦想的电信狗 前言 队列&…...
销售易史彦泽：从效率工具到增长引擎，AI加速CRM不断进化
导读：AI的加入，让CRM实现从“人适配系统”到“系统适配人”，从“管控工具”向“智能助手”跃迁，重构客户关系管理的底层逻辑。 作者 | 小葳 图片来源 | 摄图 AI应用与SaaS的关系，是当前科技与商业领域热议的话题。 当…...
开疆智能Profinet转ModbusTCP网关连接BORUNTE伯朗特系统配置案例
本案例是通过开疆智能Profinet转ModbusTCP网关将西门子PLC与BORUNTE机器人连接的配置案例。具体配置方法如下。 配置过程 Profinet设置 设置网关在Profinet一侧的参数包括（设备名称，IP地址等） 先导入GSD文件 选择GSD所在文件夹位置&#…...
从0到1搭建shopee测评自养号系统：独立IP+硬件伪装+养号周期管理
在跨境电商竞争白热化的背景下，Shopee卖家通过自养号测评实现流量与销量突破已成为行业共识。自养号测评通过模拟真实买家行为，为店铺注入精准流量，同时规避外包测评的高风险与不可控性。本文将从技术架构、运营策略、风险控制三个维度&#…...
arrow-0.1.0.jar 使用教程 - Java jar包运行方法 命令行启动步骤 常见问题解决
准备工作 首先确保你电脑上装了Java环境（JDK 8或以上版本） 把这个jar文件下载到你的电脑上，arrow-0.1.0.jar下载链接：https://pan.quark.cn/s/66d7c061c95a 运行方法 打开命令行（Windows按WinR输入cmd，M…...
请问交换机和路由器的区别？vlan 和 VPN 是什么？
交换机和路由器的区别 特性交换机（Switch）路由器（Router）工作层级数据链路层（L2，基于MAC地址）网络层（L3，基于IP地址）主要功能在局域网（LAN&#…...
如何查看与设置电脑静态IP地址：完整指南
在当今数字化时代，稳定的网络连接已成为工作生活的必需品。静态IP地址作为网络配置中的重要一环，相比动态IP具有更高的稳定性和可控性，然而，许多用户对如何查看和设置静态IP地址仍感到困惑。本文将为您提供从基础概念到实操步骤的…...
Linux网络基础全面解析：从协议分层到局域网通信原理
Linux系列 文章目录 Linux系列前言一、计算机网络背景1.1 认识网络1.2 认识协议 二、网络协议初识2.1 协议分层2.2 OSI七层模型2.3 TCP/IP协议栈2.4 网络协议栈与OS的关系2.5 网络协议在网络传输时的作用 三、网络通信局域网通信的安全隐患与应对总结 前言 Linux系统部分的学习…...
第二篇：服务与需求——让用户找到并预订服务
目录 1 服务类目与项目管理：飞书多维表格为管理中心，微搭小程序展示1.1 需求分析1.2 数据模型：微搭中的服务分类与服务项目（用于小程序展示）1.3 数据模型：多维表格中的服务分类与服务项目 总结 我们已经用了…...
【AI News | 20250520】每日AI进展
AI Repos 1、nanoDeepResearch nanoDeepResearch 是一个受 ByteDance 的 DeerFlow 项目启发，旨在从零开始构建深度研究代理的后端项目。它不依赖 LangGraph 等现有框架，通过实现一个 ReAct 代理和状态机来模拟 Deep Research 的工作流程。项目主要包含规…...
Spark Core基础与源码剖析全景手册
Spark Core基础与源码剖析全景手册 Spark作为大数据领域的明星计算引擎，其核心原理、源码实现与调优方法一直是面试和实战中的高频考点。本文将系统梳理Spark Core与Hadoop生态的关系、经典案例、聚合与分区优化、算子底层原理、集群架构和源码剖析，结合…...
抖音视频如何下载保存？高清无水印一键保存到手机！
你是不是经常在抖音上刷到超有趣的短视频，想保存下来却不知道怎么做？或者下载后发现带有烦人的水印？别担心！今天教你最简单、最快速的抖音视频下载方法，无水印、高清画质，轻松搞定！ 为什么要下…...
SCAU--平衡树
3 平衡树 Time Limit:1000MS Memory Limit:65535K 题型: 编程题 语言: G;GCC;VC;JAVA;PYTHON 描述 平衡树并不是平衡二叉排序树。 这里的平衡指的是左右子树的权值和差距尽可能的小。 给出n个结点二叉树的中序序列w[1],w[2],…,w[n]，请构造平衡树，…...
图的几种存储方法比较：二维矩阵、邻接表与链式前向星
图是一种非常重要的非线性数据结构，广泛应用于社交网络、路径规划、网络拓扑等领域。在计算机中表示和存储图结构有多种方法，本文将详细分析三种常见的存储方式：二维矩阵（邻接矩阵）、邻接表和链式前向星，比…...
【AS32X601驱动系列教程】MCU启动详解
在嵌入式开发领域，掌握MCU（微控制单元）的启动流程是工程师们迈向深入开发的关键一步。本文将带您深入了解MCU启动的奥秘，从编译过程到启动文件，再到链接脚本和系统时钟配置，全方位解析MCU启动流程。 在实际…...
计算机视觉与深度学习 ｜ Matlab实现EMD-GWO-SVR、EMD-SVR、GWO-SVR、SVR时间序列预测（完整源码和数据）
以下是一个完整的Matlab时间序列预测实现方案，包含EMD-GWO-SVR、EMD-SVR、GWO-SVR和SVR四种方法的对比。代码包含数据生成、信号分解、优化算法和预测模型实现。 %% 主程序：时间序列预测对比实验 clc; clear; clearvars; close all;% 生成模拟时间序列数据 rng(1); % 固定随…...
Visual Studio 2022 插件推荐
Visual Studio 2022 插件推荐 Visual Studio 2022 (简称 VS2022) 是一款强大的 IDE，适合各类系统组件、框架和应用的开发。插件是接入 VS2022 最重要的扩展方式之一，它们可以大幅提升开发效率、优化代码质量，并提供强大的调试和分析功能。 …...
[luogu12541] [APIO2025] Hack! - 交互 - 构造 - 数论 - BSGS
传送门：https://www.luogu.com.cn/problem/P12541 题目大意：有一个数 n n n，你不知道是多少；你每次可以向交互库询问一个正整数集合 A A A（其中元素互不相同），交互库返回：将集合中…...
汇编指令调用（五）——内存访问)
openjdk底层(hotspot)汇编指令调用（五）——内存访问
根据前面关于aarch64架构下的编码解释可知，在src\hotspot\cpu\架构文件夹下， assembler_xx.hpp assembler_xx.cpp register_xx.hpp register_xx.cpp register_definitions_xx.cpp这些文件是有关寄存器定义以及汇编编码函数实现的文件。 对于前述的ope…...
几款常用的虚拟串口模拟器
几款常用的虚拟串口模拟器（Virtual Serial Port Emulator），适用于 Windows 系统，可用于开发和调试串口通信应用： 1. com0com (开源免费) 特点： 完全开源免费，无功能限制。 可创建多个虚拟串口…...
ChimeraX介绍
UCSF ChimeraX 是一款由美国加州大学旧金山分校（UCSF）开发的下一代分子可视化软件，是经典的 UCSF Chimera 的继任者。它集成了强大的分子结构可视化、分析、建模和动画功能，广泛应用于结构生物学、药物设计、分子建模等领域。 1. 下载安装： Download UCSF ChimeraX 2. …...
【Linux】初见，基础指令
前言 本文将讲解Linux中最基础的东西-----指令，带大家了解一下Linux中有哪些基础指令，分别有什么作用。 本文中的指令和选项并不全，只介绍较为常用的 pwd指令 语法：pwd 功能：显示当前所在位置（路径…...
链表的面试题8之环形链表
许久不见，那么这是最后倒数第三题了，这道题我们来看一下环形链表。 老规矩贴链接：141. 环形链表 - 力扣（LeetCode） 目录 倒数第k个元素 获取中间元素的问题。 双指针 来，大致看一下题目，这…...
OBS Studio：windows免费开源的直播与录屏软件
OBS Studio是一款免费、开源且跨平台的直播与录屏软件。其支持 Windows、macOS 和 Linux。OBS适用于，有直播需求的人群或录屏需求的人群。 Stars 数64,323Forks 数8413 主要特点 推流：OBS Studio 支持将视频实时推流至多个平台，如 YouTube、…...
邂逅Node.js
首先先要来学习一下nodejs的基础（和后端开发有联系的） 再然后的学习路线是学习npm，yarn，cnpm，npx，pnpm等包管理工具 然后进行模块化的使用，再去学习webpack和git（版本控制工具&…...
React 常见的陷阱之（如异步访问事件对象）
文章目录 前言1. 异步访问事件对象问题解决方案 2. 事件传播的误解**问题**解决方案 **3. 事件监听器未正确卸载****问题****解决方案** **4. 动态列表中的事件绑定****问题****解决方案** **5. 第三方库与 React 事件冲突****问题****解决方案** **6. 表单输入与受控组件****问…...
【LinkedList demo 内部类讲说】
LinkedList demo 内部类讲说 1. Node节点2.MyLinkedList3. LinkedListTest 测试类 1. Node节点 public class Node<T> {private Node<T> pre;private Node<T> next;private T data;public Node() {}public Node getPre() {return pre;}public void setPre(N…...
)
Sql刷题日志（day9)
一、笔试 1、limit offset：分页查询 SELECT column1, column2, ... FROM table_name LIMIT number_of_rows OFFSET start_row; --跳过前 start_row 行，返回接下来的 number_of_rows 行。 2、lag、lead：查询前后行数据 --lag函数用于访问当…...
46 python pandas
Pandas是Python数据分析的利器，也是各种数据建模的标准工具 一、什么是pandas pandas 是 Python 中用于数据处理和分析的核心库，提供了高效的数据结构（如Series和DataFrame）和数据操作工具，广泛应用于数据清洗、分析、可视化等场景。 最常用的是用来处理excel数据。 二…...
告别延迟！Ethernetip转modbustcp网关在熔炼车间监控的极速时代
熔炼车间热火朝天，巨大的热风炉发出隆隆的轰鸣声，我作为一名技术操控工，正密切关注着监控系统上跳动的各项参数。这套基于EtherNET/ip的监控系统，是我们车间数字化改造的核心，它将原本分散的控制单元整合在一起&#x…...
Prompt Tuning：高效微调大模型的新利器
Prompt Tuning（提示调优）是什么 Prompt Tuning（提示调优） 是大模型参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）的重要技术之一，其核心思想是通过优化 连续的提示向量（而非整个模型参数）来适配特定任务。以下是关于 Prompt Tuning 的详细解析： 一、核心概念…...
⼆叉搜索树详解
1. ⼆叉搜索树的概念 ⼆叉搜索树⼜称⼆叉排序树，它或者是⼀棵空树，或者是具有以下性质的⼆叉树: • 若它的左⼦树不为空，则左⼦树上所有结点的值都⼩于等于根结点的值 • 若它的右⼦树不为空，则右⼦树上所有结点的值都⼤于等于根结…...
CompleteableFuture的异步任务编排
为什么会有CompleteableFuture Java 的 1.5 版本引入了 Future，可以把它简单的理解为运算结果的占位符， 它提供了两个方法来获取运算结果。 get()：调用该方法线程将会无限期等待运算结果。get(longmeout, TimeUnit unit)：调用该…...
珈和科技贺李德仁院士荣膺国际数字地球学会会士：以时空智能赋能可持续发展目标 绘就数字地球未来蓝图
4月22日，第十四届国际数字地球会议在重庆盛大启幕。在这场在全球范围内数字地球领域具有国际影响力的学术盛会上，国际数字地球学会向珈和科技的企业顾问，2023年度国家最高科学技术奖得主李德仁院士授予了“国际数字地球学会会士”最高荣誉称号…...
【CodeBuddy 】从0到1，打造一个“牛马打鸡血仪”
【CodeBuddy 】从0到1，打造一个“牛马打鸡血仪” 我正在参加CodeBuddy「首席试玩官」内容创作大赛，本文所使用的 CodeBuddy 免费下载链接：腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴 🌟嗨，我是LucianaiB&#…...
BI是什么意思？一文讲清BI的概念与应用！
目录 一、BI 是什么意思 1. BI 的定义 2. BI 的发展历程 3. BI 的核心组件 二、BI 的应用场景 1. 销售与市场营销 2. 财务管理 编辑3. 人力资源管理 4. 生产与运营管理 编辑三、选择合适的 BI 工具 1. 考虑企业的需求和规模 2. 评估工具的功能和性能 3. 关注工…...
可编辑PPT | 华为安全架构设计方法指南华为数字化转型架构解决方案
这份文档是华为的安全架构设计方法指南，它详细介绍了安全架构设计的重要性、方法和流程。文档强调安全架构是软件研发技术体系中的关键DFX能力，与可靠性、性能等并列，尤其在云计算和复杂网络环境下，安全性设计显得尤为重要。华为的…...
1.6 提示词工程（二）
目录 3.2 提供参考文本 3.2.1 使用参考文本来构建答案 3.2.2 指导模型用引用的文本回答问题 3.3 把复杂的任务拆分成简单的子任务 3.3.1 利用意图分类确定与用户查询最相关的指令 3.3.2 针对需要长时间对话的应用程序，应概括或过滤之前的对话内容 …...
WIFI信号状态信息 CSI 深度学习之数据集
Building occupant activity sensing dataset based on WIFI CSI（WiSA） 所有的数据以及实验参数都上传到了figshare中并配备详细说明，供参考。 论文链接：WiSA: Privacy-enhanced WiFi-based activity intensity recognition in …...
基于服务器的 DPI 深度分析解决方案
一、传统网络流量分析的瓶颈与挑战 在企业网络管理体系中，传统流量分析模式高度依赖网络设备作为数据采集核心节点，无论是基于 NetFlow/IPFIX 等流协议的流量分析，还是通过端口镜像技术实现的流量监控，均以交换机、路由器等网络设…...
动态规划（5）：线性动态规划
引言 所谓线性动态规划，通常指状态定义和转移具有线性结构的动态规划问题，其状态通常可以用一维数组表示，状态转移主要依赖于相邻或前面有限个状态。这类问题的特点是状态空间呈线性排列，每个状态只与有限个前置状态相关，使得问题结构相对简单，更容易理解和掌握。 一维…...