一张GPU装不下你的模型时
2026年，大模型越来越大。Llama 4 405B需要约810GB显存（FP16），而最大的单卡H100只有80GB显存。你需要至少11张H100才能装下Llama 4 405B。
分布式训练是唯一的出路。但多GPU训练不是"一加一等于二"——你加了11张GPU，但训练速度可能只增加了5倍。剩下的6倍，被通信开销吃掉了。
我们团队在过去一年中，从单卡训练一路升级到64卡集群，踩过了分布式训练的10大坑。以下是我们的"血泪史"。
坑1：通信开销比你想象的大
理论：8张GPU = 8倍训练速度。 实际：8张GPU ≈ 5倍训练速度。
为什么？ 在数据并行（Data Parallelism）中，每张GPU处理不同的数据，然后每步需要同步梯度（AllReduce）。同步梯度需要GPU之间通信，而通信需要时间。
在8张H100上，通信开销约占总训练时间的30-40%。 也就是说，你花在"等GPU聊天"上的时间，比你花在"真正计算"上的时间少不了多少。
优化： 使用梯度累积（Gradient Accumulation），减少同步频率。每4步同步一次梯度，通信开销降低到10%。
坑2：DeepSpeed ZeRO-3不是"免费午餐"
DeepSpeed ZeRO-3可以将模型参数、梯度、优化器状态分片到所有GPU上，让一张GPU装不下的模型得以训练。但ZeRO-3有一个代价：通信开销更高。
ZeRO-3的通信量是普通数据并行的1.5倍。 因为ZeRO-3不仅需要同步梯度，还需要在每次前向和反向传播时收集分片的参数。
建议：如果模型能放进单张GPU（或张量并行后能放进），用ZeRO-2（只分片优化器状态和梯度）。只有模型太大装不下时，才用ZeRO-3。
坑3：FSDP比DeepSpeed好？不一定
2026年，PyTorch的FSDP（Fully Sharded Data Parallel）已经非常成熟了。很多人说"FSDP比DeepSpeed好"，但我们的实测结果是：在很多场景下，DeepSpeed仍然更快。
我们的对比（Qwen 3.0 72B，8xH100）：
- DeepSpeed ZeRO-2：训练速度 120 tokens/s/GPU
- PyTorch FSDP：训练速度 110 tokens/s/GPU
- DeepSpeed ZeRO-3：训练速度 90 tokens/s/GPU
DeepSpeed ZeRO-2比FSDP快约10%，但ZeRO-3比FSDP慢约20%。 选哪个取决于你的模型是否能放进ZeRO-2。
坑4：通信和计算不能重叠
理论上，通信和计算可以重叠（Overlap）——在计算下一层的同时，同步上一层的梯度。但实践中，通信和计算的重叠率往往只有50-70%。
原因： 通信和计算的重叠需要精确的调度，但PyTorch的默认调度器不是最优的。你需要手动调整gradient_accumulation_steps和communication_interval来优化重叠率。
坑5：显存碎片化
多GPU训练时，显存不是"一块一块"分配的，而是"碎片化"的。 你可能有80GB显存，但可用的连续显存可能只有40GB。碎片化导致你无法使用全部显存，虽然"看起来够用"。
解决方案： 使用PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True（PyTorch 2.0+），启用显存碎片整理。
坑6-10（精简版）
6. NCCL环境变量没配置。 NCCL是GPU通信的底层库，需要配置NCCL_IB_DISABLE、NCCL_SOCKET_IFNAME等环境变量。配置错误会导致通信速度下降50%。
7. 数据加载成为瓶颈。 64张GPU每个step需要的数据量是单卡的64倍。如果数据加载速度跟不上，GPU会"空转"等待数据。
8. 学习率需要重新调整。 多GPU训练时，实际batch size变大了，学习率也需要相应调整。通常：学习率 = 单卡学习率 * sqrt(GPU数量)。
9. 随机种子不统一。 多GPU训练时，每张GPU的随机种子必须不同，否则它们会生成相同的数据和相同的初始化，导致训练失效。
10. 故障恢复机制缺失。 64卡训练7天，几乎一定会有一张卡挂掉。你需要checkpoint机制和故障恢复机制，否则训练会因为一张卡挂掉而全部重来。
多GPU微调的成本优化
| 模型规模 | GPU数量 | 训练方法 | 通信开销 | 最佳实践 |
|---|---|---|---|---|
| 7B | 1-2 | 数据并行 | <5% | 单卡优先，不够再双卡 |
| 13B-34B | 2-4 | 数据并行 | 10-15% | DeepSpeed ZeRO-2 |
| 70B-72B | 4-8 | 张量并行+数据并行 | 15-25% | DeepSpeed ZeRO-2 + TP |
| 235B+ | 8-16 | 3D并行 | 25-40% | DeepSpeed ZeRO-3 + TP + PP |
| 405B+ | 16-64 | 3D并行 | 30-50% | DeepSpeed ZeRO-3 + 3D并行 |
结语：分布式训练是"系统工程"
分布式训练不是"技术问题"，而是"系统工程问题"。 它需要你理解GPU通信、显存管理、数据加载、故障恢复——每一个环节都需要优化。
分布式训练的核心原则：能用单卡不用多卡，能用数据并行不用模型并行，能用ZeRO-2不用ZeRO-3。 越简单，越稳定，越便宜。
数据来源：作者团队分布式训练实战经验（2025-2026年），DeepSpeed/FSDP官方文档，NVIDIA NCCL文档。