8张GPU，速度只有3倍？
你买了8张H100，期待训练速度是单卡的8倍。但实际训练速度只有3-5倍。剩下的3-5倍，被"通信"吃掉了。
多卡训练中，GPU之间需要频繁通信——同步梯度、分发参数、收集结果。通信开销占总训练时间的30-60%。 也就是说，GPU花了30-60%的时间在"聊天"，而不是"计算"。
GPU集群的网络架构，决定了通信开销的大小。 网络架构越好，通信开销越小，实际训练速度越接近理论值。
网络架构的三个层次
GPU集群的网络架构分为三个层次：
层次1：GPU-GPU通信（NVLink/NVSwitch）。 一台服务器内部，GPU之间通过NVLink/NVSwitch通信。带宽最高（900 GB/s - 1.8 TB/s），延迟最低（<1微秒）。
层次2：节点-节点通信（InfiniBand/RoCE）。 不同服务器之间，GPU通过网络通信。带宽中等（400 GB/s for InfiniBand NDR），延迟较低（<5微秒）。
层次3：节点-存储通信（Ethernet/InfiniBand）。 GPU和存储系统之间的数据加载。带宽较低（100-400 Gb/s），延迟较高（>10微秒）。
NVLink/NVSwitch：单机内部的"高速公路"
NVLink是NVIDIA的GPU互连技术，让GPU之间可以直接通信，不需要经过CPU和PCIe。
H100使用NVLink 4.0，带宽900 GB/s。B100使用NVLink 5.0，带宽1.8 TB/s。NVLink的带宽是PCIe 5.0（128 GB/s）的7-14倍。
NVSwitch是将多个GPU通过NVLink全互连的交换机。 8张H100通过NVSwitch全互连，任意两张GPU之间的通信带宽都是900 GB/s。这就是"8张GPU像一个巨型GPU"的硬件基础。
没有NVLink/NVSwitch，多卡训练几乎不可能。 因为PCIe的带宽（128 GB/s）太低了，通信开销会超过80%。
InfiniBand vs RoCE：节点之间的"主干道"
InfiniBand（IB）是GPU集群的"标准网络"。 InfiniBand NDR（Next Data Rate）提供400 GB/s的单端口带宽，延迟<5微秒。InfiniBand是"专为GPU集群设计的网络"，支持RDMA（远程直接内存访问），让GPU可以直接读写远程GPU的显存，不需要经过CPU。
RoCE（RDMA over Converged Ethernet）是InfiniBand的"低成本替代方案"。 RoCE在标准以太网上实现RDMA，带宽100-400 Gb/s，延迟5-10微秒。RoCE的硬件成本是InfiniBand的1/3-1/5，但性能和稳定性不如InfiniBand。
InfiniBand vs RoCE对比：
| 网络 | 带宽 | 延迟 | 成本 | 稳定性 | 适用场景 |
|---|---|---|---|---|---|
| InfiniBand NDR | 400 GB/s | <5us | 高 | 极高 | 256+ GPU集群 |
| InfiniBand HDR | 200 GB/s | <5us | 中 | 极高 | 64-256 GPU集群 |
| RoCE 400G | 400 Gb/s | 5-10us | 中 | 中 | 8-64 GPU集群 |
| 以太网 100G | 100 Gb/s | 10-50us | 低 | 高 | <8 GPU集群 |
网络拓扑：胖树、DragonFly、Torus
网络拓扑决定了GPU之间通信的"路径"。 不同的拓扑，适合不同规模的GPU集群。
胖树（Fat Tree）： 最经典的GPU集群拓扑。所有GPU之间有多条路径，带宽均匀分布。适合64-256 GPU集群，成本中等。
DragonFly： 将GPU分组，组内全互连，组间通过高速链路连接。适合256-1000+ GPU集群，成本较低，但组间通信带宽有限。
Torus（环网）： GPU排列成环形，相邻GPU直接通信。成本最低，但远距离通信延迟高，适合小规模集群（<64 GPU）。
网络架构对训练速度的影响
以Llama 4 70B训练为例（8节点，每节点8xH100）：
| 网络架构 | 单卡训练速度 | 64卡训练速度 | 加速比 | 通信开销 |
|---|---|---|---|---|
| 理想（无通信） | 100 tok/s | 6400 tok/s | 64x | 0% |
| InfiniBand NDR | 100 tok/s | 3800 tok/s | 38x | 41% |
| InfiniBand HDR | 100 tok/s | 3200 tok/s | 32x | 50% |
| RoCE 400G | 100 tok/s | 2600 tok/s | 26x | 59% |
| 以太网 100G | 100 tok/s | 1800 tok/s | 18x | 72% |
InfiniBand NDR将通信开销控制在41%，加速比38x。以太网100G的通信开销高达72%，加速比只有18x。 网络架构的差异，直接决定了64卡的实际训练速度差2倍。
结语：网络是GPU集群的"血管"
GPU集群的网络架构，是GPU之间通信的"血管"。 血管越粗，GPU通信越快，训练速度越接近理论值。
2026年，GPU集群的网络架构标准是：
- 单机内部： NVLink 4.0/5.0 + NVSwitch（标配）
- 节点之间： InfiniBand NDR（256+ GPU）或 RoCE 400G（64-256 GPU）
- 网络拓扑： 胖树（64-256 GPU）或 DragonFly（256+ GPU）
网络架构的投资，是GPU集群的"隐形投资"。 它不直接影响单卡性能，但直接影响多卡性能。网络架构差了，你的GPU有一半在"等通信"。
数据来源：NVIDIA NVLink/NVSwitch白皮书，InfiniBand Trade Association技术规范，RoCE技术规范，作者团队多卡训练实测数据。