GPU算力

同一个GPU，不同场景表现天差地别 H100是2026年最强大的AI GPU。但如果你用H100做7B模型的推理，性价比不如L40S。如果你用L40S做70B模型的训练，可能根本跑不起来。 不同的场景，对GPU的需求完全不同。 训练需要"高算力+高显存带宽+高互连速度"，推理需要"高吞吐量+低显存+低功耗"，微调需要"合理算力+大显存+低成本"。 以下是2026年针对训练、推理、微调三大场景的GPU选型指南。 场景一：训练——选H100/B100 训练对GPU的核心需求：高算力（FP16 TFLOPS）、高显存带宽、高互连速度（NVLink）。 第一梯队：NVIDIA B100。 B100是2026年最强的训练GPU。FP16算力3500 TFLOPS，显存带宽8 TB/s，NVLink 1.8 TB/s。适合训练70B+模型，8卡B100比8卡H100快60%。 第二梯队：NVIDIA H100。 2026年训练GPU的"性价比之王"。FP16算力2000 TFLOPS，显存带宽3.35 TB/s，NVLink 900 GB/s。适合训练7B-70B模型，8卡H100是2026年最主流的训练配置。 第三梯队：AMD MI400X。 大显存（192GB）是最大优势，可以单卡训练70B模型（不需要张量并行）。但ROCm生态不如CUDA，部分框架和模型不支持。 训练GPU选型建议： 训练7B模型 → 4xH100（最低配置）或 8xA100（更便宜） 训练70B模型 → 8xH100（标准配置）或 8xB100（更快） 训练405B模型 → 64xH100（最低配置）或 64xB100（更快） 场景二：推理——选L40S/A100 推理对GPU的核心需求：高吞吐量、低显存（模型量化后）、低功耗、低成本。 第一梯队：NVIDIA L40S。 2026年推理GPU的"性价比之王"。FP16算力733 TFLOPS，48GB显存，功耗300W。适合推理7B-13B模型，单卡吞吐量2800 tok/s，每小时成本$1.0。 第二梯队：NVIDIA A100。 推理GPU的"老将"。FP16算力624 TFLOPS，80GB显存，功耗400W。适合推理13B-70B模型，80GB显存可以容纳更大的模型和KV Cache。 第三梯队：NVIDIA H100。 推理GPU的"性能之王"，但性价比不如L40S。适合推理70B+模型，或者需要极低延迟（<10ms）的场景。 推理GPU选型建议： 推理7B模型 → 1xL40S（性价比最高）或 1xA100（更稳定） 推理13B-34B模型 → 1xA100（80GB显存）或 2xL40S 推理70B+模型 → 4xA100 或 4xH100 场景三：微调——选RTX 4090/A100 微调对GPU的核心需求：合理算力、大显存（容纳模型+优化器+梯度）、低成本。 ...

2026年GPU云服务：选择太多，反而不知道怎么选 2026年，GPU云服务市场已经非常成熟。AWS、GCP、Azure、阿里云、华为云——五家巨头都在争夺AI算力市场。 但GPU云服务不是"买GPU"那么简单。 不同云服务商的GPU种类、价格、可用性、附加服务（如模型市场、MLOps平台）差异巨大。选错了云服务，你可能多花30%的钱，还买不到GPU。 我们对比了5家云服务商的GPU服务，从价格、可用性、生态三个维度进行评估。 价格对比：H100谁最便宜？ 云服务商 H100（按需/时） H100（预留1年/时） H100（Spot/时） AWS $2.50 $1.50 $0.75 GCP $2.40 $1.40 $0.70 Azure $2.60 $1.55 $0.78 阿里云 ¥15（$2.1） ¥10（$1.4） ¥6（$0.85） 华为云 ¥14（$2.0） ¥9（$1.25） ¥5.5（$0.78） 价格总结： 按需：华为云和阿里云最便宜（比AWS便宜约20%） 预留1年：华为云最便宜（比AWS便宜约17%） Spot：GCP最便宜（$0.70/时） 但价格不是唯一因素。 GPU可用性往往比价格更重要——你买不到GPU，再便宜的价格也没用。 GPU可用性：能不能买到GPU？ AWS： GPU种类最全（H100、B100、A100、L40S、L4），但在热门区域（us-east-1）经常缺货。Spot实例经常被回收，不适合生产环境。 GCP： GPU可用性最好，很少缺货。GCP的TPU是独家资源（其他云服务商没有），适合TensorFlow/JAX用户。 Azure： GPU可用性一般，但OpenAI的Azure专属服务是一大优势。如果你想用GPT-5但不想用OpenAI API（数据隐私），Azure是唯一选择。 阿里云： 在中国市场GPU可用性最好，华为云次之。但国际版（阿里云国际）GPU可用性一般。 华为云： 华为昇腾GPU是独家资源，但在国际市场上可用性有限。 GPU可用性排名：GCP > AWS > Azure > 阿里云（中国）/ 华为云（中国） 生态对比：谁的服务最完善？ AWS： 生态最完善。SageMaker（MLOps平台）、Bedrock（模型市场）、EKS（Kubernetes）、Inferentia（自有推理芯片）。AWS是"全家桶"——你需要的AI服务，AWS几乎都有。 GCP： TPU是独家优势，Vertex AI（MLOps平台）很好用，但总体生态不如AWS。GCP的AI服务偏向"技术驱动"（如TPU、JAX），而不是"产品驱动"。 Azure： OpenAI的独家合作伙伴。Azure是唯一可以"合法"使用GPT-5 API而不违反OpenAI ToS的云服务。 对于深度依赖OpenAI的企业，Azure是唯一选择。 阿里云： 中国市场的AI生态最完善。PAI（机器学习平台）、灵积（模型服务）、通义（Qwen模型家族）。阿里云是中国AI云服务的"一站式"平台。 华为云： ModelArts（MLOps平台）、昇腾生态（华为自研GPU）。华为云的差异化优势是"国产化"——政府、国企、金融等行业的首选。 ...

50万美元的决策 2026年，如果你是一家AI创业公司，你面临一个50万美元的决策：租GPU，还是买GPU？ 租GPU：每月$15,000（8xH100按需），5年总成本$900,000 买GPU：一次性$200,000（8xH100），加电力、运维、折旧，5年总成本约$500,000 看起来买GPU省了$400,000。但真正的账不是这么算的。 我们帮一家AI创业公司做了完整的5年TCO（Total Cost of Ownership）分析，结论和你想的完全不一样。 租赁的"隐藏成本" 隐藏成本1：GPU涨价。 2024-2026年，H100的云租赁价格从$1.5/时涨到$2.5/时，涨幅67%。如果未来5年GPU价格继续上涨，租赁成本可能远超预期。 隐藏成本2：GPU缺货。 2024-2026年，H100在云服务商上经常缺货。你需要在多个区域、多个云服务商之间切换，才能保证GPU可用。 这增加了运维复杂度。 隐藏成本3：被"锁定"。 一旦你的系统和某个云服务商深度绑定，切换成本非常高。云服务商知道你"跑不掉"，涨价只是时间问题。 自建的"隐藏成本" 隐藏成本1：运维团队。 自建GPU集群需要一个运维团队——至少2个工程师（网络、硬件、系统）。年薪$150,000 x 2 = $300,000/年。这是自建GPU最大的成本，也是最容易被忽略的成本。 隐藏成本2：电力。 8xH100的功耗是5.6kW，加上冷却系统，总功耗约7kW。电费约$1,000/月，5年$60,000。 而且很多城市的电力容量有限，不一定能支持大规模GPU集群。 隐藏成本3：折旧。 GPU的折旧速度极快。H100在2022年发布时价值$25,000，2026年二手价值约$8,000。5年折旧率约70%。 隐藏成本4：故障。 GPU集群的故障率约5%/年。8张GPU，每年有40%的概率至少有一张卡故障。RMA（返修）周期约2-4周，期间GPU闲置。 5年TCO对比 成本项 租赁（8xH100） 自建（8xH100） 硬件成本 $0 $200,000 电力成本 包含在租赁费中 $60,000 运维人力 $0（云服务商负责） $1,500,000（5年） 网络成本 包含在租赁费中 $30,000 机房成本 $0 $60,000 GPU折旧 $0 -$140,000（残值$60,000） GPU租赁费 $900,000 $0 5年总成本 $900,000 $1,710,000 自建比租赁贵了$810,000，几乎翻倍。 原因很简单：运维人力是最大的成本。 什么时候自建比租赁便宜？ 当GPU规模超过50张时，自建开始有成本优势。 GPU数量 租赁5年成本 自建5年成本 差额 8张 $900,000 $1,710,000 租赁便宜$810,000 32张 $3,600,000 $2,400,000 自建便宜$1,200,000 128张 $14,400,000 $5,100,000 自建便宜$9,300,000 规模越大，自建的优势越明显。 因为运维团队的边际成本几乎为零——2个运维工程师可以管理8张GPU，也可以管理128张GPU。 ...

三代同堂：NVIDIA的"甜蜜烦恼" 2026年，NVIDIA的GPU产品线出现了"三代同堂"的局面：H100（2022年发布，Hopper架构）、B100（2024年发布，Blackwell架构）、GB200（2025年发布，Grace Blackwell架构）。 这对NVIDIA来说是"甜蜜的烦恼"——产品线太丰富，客户不知道该买哪个。对客户来说是"选择困难"——H100性价比高但已停产，B100是主力但很快被GB200替代，GB200性能最强但价格翻倍。 我们实测了三代GPU在训练和推理场景中的表现，下面是完整的对比和选型建议。 三代GPU的核心参数对比 参数 H100 B100 GB200 架构 Hopper Blackwell Grace Blackwell 制程 4nm 3nm 3nm FP16算力 2000 TFLOPS 3500 TFLOPS 4500 TFLOPS 显存 80GB HBM3 192GB HBM3e 192GB HBM3e 显存带宽 3.35 TB/s 8 TB/s 8 TB/s NVLink 900 GB/s 1.8 TB/s 1.8 TB/s 功耗 700W 1000W 1200W 云价格（/时） $2.5 $4.5 $6.0 购买价格 $25,000 $35,000 $45,000 每一代GPU的性能提升约50-75%，但价格也提升50-80%。 性价比基本持平——NVIDIA的定价策略非常精准，不让任何一代GPU有明显的性价比优势。 训练场景实测 Llama 4 70B训练（8卡，FP16）： GPU 训练速度 训练时间（1T tokens） GPU成本 8xH100 800 tok/s 14.5天 $7,000 8xB100 1300 tok/s 8.9天 $7,700 8xGB200 1700 tok/s 6.8天 $7,800 训练场景的结论：B100和GB200的训练速度比H100快60-110%，但总GPU成本几乎相同。 因为价格和速度同比例提升。唯一的好处是：训练时间更短，可以更快迭代。 ...

被"卡脖子"的三年 2022年10月，美国商务部禁止NVIDIA向中国出口A100和H100。2023年10月，禁令扩大到A800和H800。2025年，禁令进一步扩大到B100和GB200。 三年时间，美国对华芯片出口管制不断加码。 但这也倒逼了中国AI芯片的加速发展。2026年，华为昇腾910C和寒武纪MLU590是中国AI芯片的"双雄"——它们代表了国产GPU的最高水平。 华为昇腾910C：从"能用"到"好用" 华为昇腾910C是2026年国产AI芯片的"领头羊"。 性能： FP16算力约500 TFLOPS（H100的25%），但在实际AI训练和推理中，通过架构优化，实际性能达到H100的70-80%。在Transformer模型训练中，昇腾910C的实测性能约为H100的75%。 生态： 华为的CANN（Compute Architecture for Neural Networks）是CUDA的"替代品"。CANN 6.0在2026年已经支持了PyTorch、TensorFlow、MindSpore三大框架，API兼容性达到90%以上。但"90%兼容"意味着10%的算子需要手动适配——这是最大的工程成本。 部署： 华为昇腾已经在政府、金融、电信、能源等关键行业大规模部署。“国产化"政策是昇腾最大的护城河——很多行业不允许使用NVIDIA GPU。 价格： 单卡约¥80,000（约$11,000），是H100的44%。性价比接近H100，但生态差距导致实际使用成本更高。 寒武纪MLU590：AI芯片的"老牌劲旅” 寒武纪是中国AI芯片的"老牌劲旅"——2016年成立，比华为昇腾更早。 性能： MLU590的FP16算力约400 TFLOPS（H100的20%），但在特定场景（CV推理、NLP推理）中，通过架构优化，实际性能达到H100的60-70%。 生态： 寒武纪的Cambricon Neuware是自家的软件栈。相比华为CANN，Neuware的生态更小，支持的框架和模型更少。寒武纪的生态是它最大的短板。 部署： 寒武纪在互联网公司（如字节跳动、快手）中有一定的部署量，主要用于推理场景（非训练）。训练场景仍然以NVIDIA和华为昇腾为主。 价格： 单卡约¥50,000（约$7,000），是H100的28%。价格优势明显，但生态限制导致实际使用场景有限。 国产GPU vs NVIDIA：差距在哪里？ 差距1：算力。 国产GPU的单卡算力约为NVIDIA的20-25%，但通过架构优化（如华为的达芬奇架构），实际AI性能可以达到NVIDIA的60-80%。 差距2：显存。 昇腾910C的显存是64GB HBM2e，MLU590是48GB HBM2e。而H100是80GB HBM3，B100是192GB HBM3e。显存差距限制了国产GPU跑大模型的能力。 差距3：互连。 NVIDIA的NVLink（900GB/s-1.8TB/s）是国产GPU无法比拟的。国产GPU的片间互连速度约为NVIDIA的1/3-1/5。多卡训练和推理的通信开销更大。 差距4：生态。 CUDA生态是NVIDIA最大的护城河。国产GPU的软件生态（CANN、Neuware）虽然快速追赶，但差距仍然巨大。“能用"和"好用"之间，还有很长的路。 国产GPU的"破局"之路 路线1：架构创新。 国产GPU在制程受限的情况下，通过架构创新来弥补算力差距。华为的达芬奇架构、寒武纪的MLU架构——都是针对AI场景的专用架构，在特定任务上可以超越通用GPU。 路线2：Chiplet技术。 通过Chiplet（芯粒）技术，将多个小芯片拼接成一个大芯片。华为昇腾910C已经使用了Chiplet技术，将2个die封装在一起。Chiplet是绕过制程限制的"捷径”。 路线3：软件生态。 国产GPU的软件生态正在"两条腿走路"：一方面构建自己的生态（CANN、Neuware），另一方面兼容CUDA生态（通过转译层）。兼容CUDA是"短期策略"，构建自有生态是"长期目标"。 结语：国产GPU不是"替代品"，而是"必需品" 国产GPU不是NVIDIA的"替代品"，而是中国AI的"必需品"。 在美国对华芯片出口管制不断加码的背景下，国产GPU是唯一的选择。 2026年，国产GPU已经达到了NVIDIA的60-80%的性能水平。 虽然还有差距，但差距在快速缩小。对于大多数推理场景和部分训练场景，国产GPU已经"够用"。 国产GPU的未来，不在于"追上NVIDIA"，而在于"找到自己的市场"。 在"国产化"政策的推动下，国产GPU在中国市场有巨大的增长空间。这个市场，NVIDIA进不来。 数据来源：华为昇腾910C产品白皮书，寒武纪MLU590产品白皮书，美国商务部BIS出口管制条例（2025-2026）。

训练和推理，不是一种GPU能搞定的 2026年，很多AI团队用同一种GPU做训练和推理（通常是H100）。这是巨大的浪费。 因为训练和推理对GPU的需求完全不同。 训练需要： 高算力（FP16/BF16 TFLOPS）、高显存带宽（TB/s）、高互连速度（NVLink）、大显存（容纳模型+优化器+梯度）。 推理需要： 高吞吐量（tokens/s）、低显存（模型量化后）、低功耗（W）、低成本（$/时）。 你用H100做推理，相当于用"法拉利送外卖"——快是快，但太贵了。 你可能多花50%的钱，得到了不需要的性能。 训练GPU的需求分析 需求1：高算力。 训练需要做大量的矩阵乘法（前向传播+反向传播）。FP16 TFLOPS越高，训练越快。H100的FP16算力是L40S的2.7倍，训练速度也快2.7倍。 需求2：高显存带宽。 训练需要频繁读写显存（梯度更新、优化器状态）。显存带宽越高，训练越快。H100的显存带宽是L40S的3.9倍，这意味着数据加载速度快3.9倍。 需求3：高互连速度。 多卡训练需要GPU之间通信（梯度同步）。NVLink速度越高，通信开销越小。H100的NVLink是900 GB/s，L40S没有NVLink（只能通过PCIe通信，64 GB/s）。 需求4：大显存。 训练需要同时存储模型权重、优化器状态、梯度、中间激活。对于70B模型（FP16），全参数训练需要约560GB显存。 这需要至少7张H100（80GB），或3张B100（192GB）。 训练GPU的"最佳选择"：H100或B100。 高算力、高带宽、高互连、大显存——训练需要的所有特性，H100/B100都有。 推理GPU的需求分析 需求1：高吞吐量。 推理需要处理大量并发请求。吞吐量越高，服务的用户越多。但推理吞吐量更容易受"显存带宽"限制，而不是"计算能力"限制。 需求2：低显存。 推理时模型可以量化（FP8/INT4），显存需求大幅降低。一个7B模型（INT4量化）只需要3.5GB显存，一张L40S（48GB）可以跑10个实例。 需求3：低功耗。 推理是"持续运行"的（24/7），功耗直接影响电费。L40S的功耗是300W，H100是700W，电费差2.3倍。 需求4：低成本。 推理是"长期成本"（月度/年度），GPU租赁费直接影响利润。L40S的租赁费是$1.0/时，H100是$2.5/时，差2.5倍。 推理GPU的"最佳选择"：L40S或A100。 推理不需要H100的"极端性能"，而需要L40S的"性价比"。 训练vs推理GPU选择对比 需求 训练 推理 差异 计算能力 极高 中等 训练需要2-3倍算力 显存带宽 极高 高 训练需要3-4倍带宽 互连速度 极高 低 训练需要NVLink，推理不需要 显存容量 极大 中等 训练需要4-8倍显存 功耗 高 中低 推理功耗敏感性更高 成本 一次性 持续性 推理的长期成本更重要 最佳GPU H100/B100 L40S/A100 不同场景，不同GPU 混合集群：训练和推理分开 2026年，AI集群的最佳实践是"训练和推理分开"。 ...