当前位置：首页 > news >正文

NVLink 拓扑、DGX 硬件渲染图

news 来源：原创 2025/5/21 1:22:58

文章目录

- 一个 server 固定 8 个GPU
- P100（4个NVL）V100（6个NVL）A100（12个NVL）H100（18个NVL）
- 【DGX-2 ：2018年发布NVSwitch，实现full-mesh】
- 【NVLink 拓扑：NVLink P100】
- - 8个 GPU （两个 full-mesh 组网相连）
- 【NVLink 拓扑：NVLink V100】NVLink2 GPU 2017
- 【NVLink 渲染图】
- 【Tesla V100 DGX-1 硬件渲染图】
- 【xAI世界最大10万卡GPU集群】

一个 server 固定 8 个GPU

P100（4个NVL）V100（6个NVL）A100（12个NVL）H100（18个NVL）

在这里插入图片描述

【DGX-2 ：2018年发布NVSwitch，实现full-mesh】

最近的GTC2018发布的dgx-2，其加倍了v100的数量，最终高达16块v100。同时 HBM2 升级到 32GB/块，一共高达512GB，cpu升级为双路2.7G 24核志强白金8168

在这里插入图片描述

【NVLink 拓扑：NVLink P100】

在GPU架构中，Mesh组网是一种网络拓扑结构，用于实现多个GPU之间的高效通信和互联。以下是其主要特点和功能：
（1）定义：Mesh组网是一种网状网络架构，通过多个节点（如GPU）相互连接并直接交换数据，形成一个自组织、自修复的高效通信网络。在GPU架构中，Mesh组网通常用于同一主机内的GPU互联，以实现高性能通信。

（2）在GPU中的应用：NVIDIA的NVLink技术是Mesh组网的一个典型应用。NVLink是一种高速、短距离的通信链路，支持多lane（通道），并采用Mesh网络架构替代传统的中央枢纽架构。在同一主机内，GPU通过 NVLink 以 full-mesh（全网状）方式互联，类似于 spine-leaf 架构，确保每个GPU之间都能直接通信，从而提高数据传输效率。
（3）优势
高带宽：Mesh组网通过多lane和全网状连接，显著提高了GPU之间的通信带宽。
低延迟：由于每个节点之间直接连接，减少了数据传输的中间环节，从而降低了通信延迟。
可扩展性：Mesh组网支持大规模扩展，适用于多GPU系统。

（4）演进：NVLink技术已经发展到第四代，每代的主要区别在于lane数量和每个lane的带宽。例如，A100 GPU支持6个NVLink，每个lane的带宽为50GB/s

在这里插入图片描述

8个 GPU （两个 full-mesh 组网相连）

在这里插入图片描述

【NVLink 拓扑：NVLink V100】NVLink2 GPU 2017

基本上，一个 server （框）就是 8个GPU 组成
V100 6个NVLink，没有带NVSwitch
在这里插入图片描述

【NVLink 渲染图】

NVSwitch 可以理解为具体的模块的芯片，NVLink就是一种总线和协议

在这里插入图片描述
NVSwitch 支持 16个GPU 在一个 NVSwitch 上（现在最新的支持64个GPU在一个NVSwitch上了），
下图只展示了8个，使得 8 个GPU可以相互进行通信：

下图：
（1）8个GPU在一个框（NVIDIA DGX-H100 server）
（2）中间是 18个 NVSwitch 连接左右两侧的 32个 server （NVIDIA DGX-H100 server，每个server都有8个 H100 的GPU），组成了 8x32=256个GPU， 每个GPU都被 nvlink 连接每个其他GPU（这种属于全连接，mesh结构）

在这里插入图片描述