当前位置：首页 > news >正文

torchrun单机多卡运行

news 来源：原创 2025/8/20 17:24:39

torchrun命令使用

torchrun示例

export CUDA_VISIBLE_DEVICES=0,1,2
nohup torchrun \--nproc_per_node=3 \--nnodes=1 \--node_rank=0 \--master_addr="127.0.0.1" \--master_port=1225 \/data/train.py \--batch_size 32 \--size 320

运行如上sh命令发现，即 109166 为父进程，并根据父进程生成三个子进程，109250，109251，109252

(abc) root@xxx:/data/expr/TRIS$ sh scripts/train.sh 
训练任务已在后台运行，PID: 109166
日志文件: /data/train_log.txt(abc) root@xxx:/data/expr/TRIS$ pgrep -f "train.py"
109166
109250
109251
109252

单机多卡运行会生成多进程

一般来说，
如果进程是独立启动的（例如通过 torchrun 或 mp.spawn），每个进程都是独立的，可能需要分别终止。
但如果它们有共同的父进程（例如通过脚本启动的进程组），kill 父进程可能会自动终止子进程。
从 ps aux 输出来看，进程是独立的，没有明显关联的父进程，因此需要分别终止。

torchrun单机多卡运行

torchrun命令使用 torchrun示例 export CUDA_VISIBLE_DEVICES0,1,2 nohup torchrun \--nproc_per_node3 \--nnodes1 \--node_rank0 \--master_addr"127.0.0.1" \--master_port1225 \/data/train.py \--batch_size 32 \--size 320运行如上sh命令发现，即 …...

编程日记 2025/8/20 17:24:39

数据管理平台是什么?企业应如何做好数据化管理？

目录一、数据管理是什么？ 二、数据管理平台有哪些作用？ 1. 数据采集与整合 2. 数据清洗与预处理 3. 数据分析与挖掘 4. 数据共享与协作三、企业应如何做好数据化管理？ 1. 建立数据管理战略 2. 完善数据管理制度 3. 培养数据管理人…...

编程日记 2025/8/17 8:31:09

GuassDB如何创建兼容MySQL语法的数据库

GaussDB简介 GaussDB是由华为推出的一款全面支持OLTP和OLAP的分布式关系型数据库管理系统。它采用了分布式架构和高可靠性设计，可以满足大规模数据存储和处理的需求。GaussDB具有高性能、高可靠性和可扩展性等特点，适用于各种复杂的业务场景&#xff0c…...

编程日记 2025/8/17 10:14:27

Qt国际化实战--精通Qt Linguist工具链

概述在全球化的今天，软件产品需要支持多种语言和地区，以满足来自世界各地用户的需求。Qt框架提供了一套完整的工具集来帮助开发者实现应用程序的国际化（i18n）和本地化（l10n），其中最核心的就是Qt Linguist工具链关于国际化与本地化国际化（i18n）: 指的是设计和开发…...

编程日记 2025/8/19 0:04:34

C++内联函数

总结：内联函数是把函数变成一个代码块直接塞入源程序中，省去了一些参数传递和栈操作（省时间），但是同时又增加了代码的大小（因为原本的函数只有会使用指针指向该函数，但是内联函数是直接塞入&…...

编程日记 2025/8/19 5:00:46

26届秋招收割offer指南

26届暑期实习已经陆续启动，这也意味着对于26届的同学们来说，“找工作”已经提上了日程。为了帮助大家更好地准备暑期实习和秋招，本期主要从时间线、学习路线、核心知识点及投递几方面给大家介绍，希望能为大家提供一些实用的建议和…...

编程日记 2025/8/19 23:06:02

Python之内省与反射应用

Python之内省与反射应用 Python作为一门动态语言，具备了强大的内省（Introspection）与反射（Reflection）机制。这两个概念在运行时查看对象的属性、类型、方法等信息，甚至可以动态调用方法或修改对象的属性。…...

编程日记 2025/8/19 9:15:08

第三章：langchain加载word文档构建RAG检索教程(基于FAISS库为例)

文章目录前言一、载入文档（word）1、文档载入代码2、文档载入数据解读（Docx2txtLoader方法）输入数据输出文本内容 3、Docx2txtLoader底层代码文档读取解读Docx2txtLoader底层源码示例文档读取输出结果二、文本分割1、文本分割代码…...

编程日记 2025/8/18 15:02:07

球速最快的是哪种球类运动·棒球1号位

在体育运动中，球速最快的项目与棒球结合来看，可以分两个角度解读： 一、球速最快的运动项目羽毛球以426公里/小时（吉尼斯纪录）的杀球速度位列榜首，远超棒球投球速度。其极速源于： 羽毛球拍甜区…...

编程日记 2025/8/17 14:49:22

TVM中Python如何和C++联调？

1. 编译 Debug 版本 # 在项目根目录下创建构建目录（若尚未创建） mkdir -p build && cd build# 配置 Debug 构建 cmake -DCMAKE_BUILD_TYPEDebug ..# 编译（根据 CPU 核心数调整 -j 参数） make -j$(nproc)2. 获取 Python 进…...

编程日记 2025/8/20 0:24:06

从零实现基于Transformer的英译汉任务

1. model.py（用的是上一篇文章的代码：从0搭建Transformer-CSDN博客） import torch import torch.nn as nn import mathclass PositionalEncoding(nn.Module):def __init__ (self, d_model, dropout, max_len5000):super(PositionalEncoding,…...

编程日记 2025/8/17 10:35:18

在 PyTorch 中借助 GloVe 词嵌入完成情感分析

一. Glove 词嵌入原理 GloVe是一种学习词嵌入的方法，它希望拟合给定上下文单词i时单词j出现的次数。使用的误差函数为： 其中N是词汇表大小，是线性层参数， 是词嵌入。f(x)是权重项，用于平衡不同频率的单词对误差的影响…...

编程日记 2025/8/18 1:16:16

大数据应用开发和项目实战-电商双11美妆数据分析

数据初步了解 （head出现，意味着只出现前5行，如果只出现后面几行就是tail） info shape describe 数据清洗重复值处理这个重复值是否去掉要看实际情况，比如说：昨天卖了5瓶七喜，今天卖了5瓶七…...

编程日记 2025/8/17 8:31:21

web服务

一、nginx的安装与启用 nginx的安装开源版本的Nginx官网：http://nginx.org Nginx在安装的过程中可以选择源码安装也可以选择使用软件包安装源码安装下载相应的源码压缩包解压后编译完成安装软件安装包可以使用rpm或者apt命令进行安装，也可以使用dnf…...

编程日记 2025/8/17 8:52:34

在Spring Boot 中如何配置MongoDB的副本集 (Replica Set) 或分片集群 (Sharded Cluster)？

在 Spring Boot 中配置 MongoDB 副本集 (Replica Set) 或分片集群 (Sharded Cluster) 非常相似，主要区别在于连接字符串 (URI) 中提供的主机列表和一些特定选项。最常的方式是使用 spring.data.mongodb.uri 属性配置连接字符串。 1. 连接到 MongoDB 副本集 (Repl…...

编程日记 2025/8/18 7:46:10

Oracle中游标和集合的定义查询及取值

在 Oracle 存储过程中，使用游标处理自定义数据行类型时，可以通过定义记录类型（RECORD） 和游标（CURSOR） 结合实现。 1. 定义自定义记录类型使用 TYPE … IS RECORD 定义自定义行数据类型： DE…...

编程日记 2025/8/17 10:14:05

Python企业级MySQL数据库开发实战指南

简介 Python与MySQL的完美结合是现代Web应用和数据分析系统的基石，能够创建高效稳定的企业级数据库解决方案。本文将从零开始，全面介绍如何使用Python连接MySQL数据库，设计健壮的表结构，实现CRUD操作，并掌握连接池管理、事务处理、批量操作和防止SQL注入等企业级开发核心…...

编程日记 2025/8/17 16:57:37

【LLM】Open WebUI 使用指南：详细图文教程

Open WebUI 是一个开源的、可扩展且用户友好的自托管 AI 平台，专为生成式人工智能模型交互而设计。 Open WebUI 旨在为用户提供一个简单易用、功能强大且高度定制化的界面，使其能够轻松与各种 AI 模型（如文本生成、图像生成、语音识别等）进行交互。一、安装与初始化配置扩…...

编程日记 2025/8/20 4:31:49

前端封装框架依赖管理全攻略：构建轻量可维护的私有框架

前端封装框架依赖管理全攻略：构建轻量可维护的私有框架前言在自研前端框架的开发中，依赖管理是决定框架可用性的关键因素。不合理的依赖设计会导致： 项目体积膨胀：重复依赖使最终打包体积增加30%版本地狱：不同项目…...

编程日记 2025/8/19 5:02:03

Listremove数据时报错：Caused by: java.lang.UnsupportedOperationException

看了二哥的foreach陷阱后，自己也遇见了需要循环删除元素的情况，立马想到了当时自己阴差阳错的避开所有坑的解决方式：先倒序遍历，再删除。之前好使，但是这次不好使了，报错Caused by: java.lang.UnsupportedO…...

编程日记 2025/8/19 12:38:44

互联网大厂Java求职面试：云原生与AI融合下的系统设计挑战-1

互联网大厂Java求职面试：云原生与AI融合下的系统设计挑战-1 在当今云计算和人工智能迅猛发展的背景下，互联网大厂对Java工程师的要求已从传统的单体架构和业务逻辑处理，转向了更复杂的云原生架构设计、AI模型集成以及高并发系统的性能优化能…...

编程日记 2025/8/18 10:12:57

并发设计模式实战系列(16)：屏障（Barrier）

🌟 大家好，我是摘星！ 🌟 今天为大家带来的是并发设计模式实战系列，第十六章屏障（Barrier），废话不多说直接开始~ 目录一、核心原理深度拆解 1. 屏障的同步机制 2. 关键参数二…...

编程日记 2025/8/18 22:10:32

pywinauto通过图片定位怎么更加精准的识别图片？

pywinauto通过图片定位怎么更加精准的识别图片？ 可以使用置信度的配置，添加了对比图片相似程度达到多少就可以认为是合适的定位图片 import time from time import sleep from pywinauto.application import Application from pywinauto.keyboard impo…...

编程日记 2025/8/19 15:56:50

Spring Cloud Stream集成RocketMQ（kafka/rabbitMQ通用）

什么是Spring Cloud Stream Spring Cloud Stream 是 Spring 生态系统中的一个框架，用于简化构建消息驱动微服务的开发和集成。它通过抽象化的方式将消息中间件（如 RabbitMQ、Kafka、RocketMQ 等）的复杂通信逻辑封装成简单的编程模型&#xf…...

编程日记 2025/8/18 10:12:50

基于docker使用showdoc搭建API开发文档服务器

以下是基于 Docker 快速搭建 ShowDoc API 文档服务器的完整指南，包含优化配置和常见问题解决方案： 1. 快速部署方案 # 创建数据目录（确保权限） mkdir -p /showdoc_data/html && chmod 777 -R /showdoc_data# 一键启动容器…...

编程日记 2025/8/20 12:24:37

Vision-Language Models (VLMs) 视觉语言模型的技术背景、应用场景和商业前景（Grok3 DeepSearch模式回答）

prompt: 你是一位文笔精湛、十分专业的技术博客作者，你将从技术背景、应用场景和商业前景等多个维度去向读者介绍Vision-Language Models 关键要点研究表明，视觉语言模型（VLMs）是多模态AI系统，能同时处理视觉和文本数…...

编程日记 2025/8/18 10:12:44

OpenAI大变革！继续与微软等，以非营利模式冲击AGI

今天凌晨2点，OpenAI宣布，将继续由非营利组织控制；现有的营利性实体将转变为一家公共利益公司；非营利组织将控制该公共利益公司，并成为其重要的持股方。这也就是说OpenAI曾在去年提到的由非营利性转变成营利性公司&am…...

编程日记 2025/8/20 7:23:56

Ubuntu打开中文文本乱码

文章目录中文乱码问题修复乱码系统字符编码修改文本编码修改vim乱码 utf-8编码原理特点应用场景与其他编码的转换 iso-8859-1基本信息字符涵盖应用场景与其他编码的关系 ubuntu打开文本出现乱码，可能是编码没设置对。中文乱码问题使用vim打开文本，或…...

编程日记 2025/8/20 12:06:42

车载通信网络安全：挑战与解决方案

1. 简介当今时代见证了车载汽车技术的巨大发展，因为现代智能汽车可以被视为具有出色外部基础设施连接能力的信息物理系统 [ 1 ]。车载技术支持的现代智能汽车不应被视为类似于机械系统，而是由数百万行复杂代码组成的集成架构，可为车内乘客提…...

编程日记 2025/8/18 11:11:06

【Linux系统】读写锁

读者写者问题重点读者写者问题是并发编程中的经典问题，主要研究多个进程或线程对共享数据进行读和写操作时如何实现同步和互斥，以保证数据的一致性和操作的正确性。问题核心要点同步与互斥：需要确保多个读者可以同时读共享数据&#…...

编程日记 2025/8/18 13:26:17

springBoot中自定义一个validation注解，实现指定枚举值校验

缘由在后台写接口的时候，经常会出现dto某个属性是映射到一个枚举的情况。有时候还会出现只能映射到枚举类中部分枚举值的情况。以前都是在service里面自行判断，很多地方代码冗余，所以就想着弄一个自定义的validation注解来实现。例如下面某…...

编程日记 2025/8/17 17:59:34

【Python】--装饰器

装饰器（Decorator）本质上是一个返回函数的函数主要作用是：在不修改原函数代码的前提下，给函数增加额外的功能比如：增加业务，日志记录、权限验证、执行时间统计、缓存等场景 my_decorator def func():pas…...

编程日记 2025/8/18 10:12:28

排序算法——堆排序

一、介绍「堆排序heapsort」是一种基于堆数据结构实现的高效排序算法。我们可以利用已经学过的“建堆操作”和“元素出堆操作”实现堆排序。 1. 输入数组并建立小顶堆，此时最小元素位于堆顶。 2. 不断执行出堆操作，依次记录出堆元素，即可得…...

编程日记 2025/8/18 10:12:26

Day111 | 灵神 | 二叉树 | 验证二叉搜索树

Day111 | 灵神 | 二叉树 | 验证二叉搜索树 98.验证二叉搜索树 98. 验证二叉搜索树 - 力扣（LeetCode） 方法一：前序遍历递归函数传入合法的左右边界，只有当前结点是合法的边界，才是二叉搜索树，否则就返回…...

编程日记 2025/8/20 2:17:42

软考-软件设计师中级备考 13、刷题数据结构

倒计时17天时间不多了，数据库、UML、等知识点有基础直接略过，法律全靠考前的一两天刷题，英语直接放弃。一、数据结构：链表、栈、队列、数组、哈希表、树、图 1、关于链表操作，说法正确的是： A)新增一个头…...

编程日记 2025/8/20 2:03:23

【5G通信】天线调整

在天线工程中，机械下倾角、电子下倾角和数字下倾角是调整天线波束指向的不同技术手段，其核心区别在于实现方式和灵活性： 1. 机械下倾角（Mechanical Downtilt） 定义：通过物理调整天线的安装角度&#xff0c…...

编程日记 2025/8/19 14:27:34

Kafka的Log Compaction原理是什么？

Kafka的Log Compaction（日志压缩）是一种独特的数据保留策略，其核心原理是保留每个key的最新有效记录。以下是关键原理分点说明： 1. 键值保留机制通过扫描所有消息的key，仅保留每个key对应的最新value值。例如&#…...

编程日记 2025/8/18 7:07:11

嵌入式面试八股文（十四）·内存管理机制、优先级继承机制以及优先级翻转

目录 1. 内存管理算法（五种内存管理机制） 1.1 heap_1.c 1.2 heap_2.c 1.3 heap_3.c 1.4 heap_4.c 1.5 heap_5.c 1.6 总结 2. STM32通知寄存器有哪些？ 2.1 核心寄存器组（Cortex-M） 2.2 特殊功能寄存…...

编程日记 2025/8/18 10:12:13

深度剖析：可视化如何重塑驾驶舱信息交互模式

为什么你开车时总觉得“信息太多却抓不住重点”？ 今天的汽车早已不是单纯的交通工具，而是一个高度集成的信息终端。从导航、油耗、胎压到自动驾驶提示，各种数据不断涌进驾驶舱。但问题也随之而来： 关键信息被淹没在一堆图标里…...

编程日记 2025/8/17 11:00:14

app根据蓝牙名字不同，匹配不同的产品型号，显示对应的UI界面

在开发一个 App 时，如果希望根据蓝牙设备名称（Bluetooth Name）的不同，自动匹配不同的产品型号，并显示对应的 UI 界面，可以按照以下思路来实现： ✅ 功能目标扫描并连接蓝牙设备；获取…...

编程日记 2025/8/20 2:03:25

数据结构 --- 栈

1.栈的初始化 2.入栈 3.出栈 4.取出栈顶元素 5.获取栈中有效元素个数 6.栈的销毁栈：⼀种特殊的线性表，其只允许在固定的⼀端进⾏插⼊和删除元素操作。进⾏数据插⼊和删除操作的⼀端称为栈顶，另⼀端称为栈底。栈中的数据元素遵守后进先…...

编程日记 2025/8/19 17:03:36

37-算法打卡-栈与队列-滑动窗口最大值-leetcode(239)-第三十七天

1 题目地址 239. 滑动窗口最大值 - 力扣（LeetCode）239. 滑动窗口最大值 - 给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。返回滑…...

编程日记 2025/8/18 10:12:02

【原创分享】魔音变声器内含超多语音包实时变声

魔音变声器,一款专业的调音变声器软件亲测可使用所有功能[真棒] 去除所有广告 ————————————【下载地址】———————————— 【获取方法1】：https://pan.xunlei.com/s/VOP_TXtKNlevTgYvIlxmmJquA1?pwd8vpi# ————————————【下 …...

编程日记 2025/8/19 15:09:21

数据结构（一）——线性表的顺序表示和实现

一、线性表的定义由n(n>0)个数据特性相同的元素构成的有限序列称为线性表，(n0)的时候被称为空表。一个数据元素可以是简单的一个数据，一个符号，也可以是复杂的若干个数据项的组合。二、线性表的类型定义 s线性表是由n(n≥0)个相同类…...

编程日记 2025/8/18 10:11:58

Winform（12.控件讲解）

ChildForm窗口： ChildForm代码： using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms; namespac…...

编程日记 2025/8/18 10:11:55

torchrun命令使用

torchrun示例

单机多卡运行会生成多进程

推荐操作方法

1.批量kill 所有相关进程

2.通过进程列表kill

注意事项

相关文章：