2026年最让我震撼的AI论文，不是OpenAI发的，不是Google发的，是DeepSeek发的。

DeepSeek-V3的论文里有一组数据：671B总参数，采用MoE（混合专家）架构，每次推理只激活37B参数。这意味着它有671B参数的知识容量，但推理成本只有GPT-5（约2万亿参数全激活）的十分之一。同样的回答质量，十分之一的成本——这不是魔法，是工程学的胜利。

很多人看到「671B参数但只激活37B」的反应是：这不就是节省算力吗，有什么了不起？但如果你深入了解MoE的实现细节，你会发现DeepSeek做了一件极其困难的事：让MoE真正高效地工作。

MoE的前世今生：为什么之前没人做好？

MoE（Mixture of Experts）并不是新技术。Google在2017年就提出了MoE的概念，2021年发布了1.6万亿参数的Switch Transformer。但Switch Transformer有一个致命问题：训练不稳定。

MoE的核心思想是「分工合作」：把模型分成多个「专家」子网络，每个token只路由到其中一小部分专家处理。理论上，这可以用更少的算力达到更大的模型容量。但实践中，路由机制很容易出问题——某些专家被过度使用（负载不均），某些专家被闲置（死专家），最终导致训练崩溃。

Switch Transformer论文发表后，学术界和工业界尝试了各种方法来解决这个问题，包括辅助损失函数、专家dropout、随机路由等。但效果都不理想——要么训练不稳定，要么模型质量下降。

直到2024年，DeepSeek-V2用「多头潜在注意力」（MLA）和「DeepSeekMoE」架构，第一次实现了大规模MoE模型的稳定训练。2025年的DeepSeek-V3，则把这套架构推到了极致。

DeepSeek-V3的核心创新：三件套

DeepSeek-V3的MoE架构有三个关键创新，缺一不可：

第一，细粒度专家划分。 传统MoE模型通常有8-16个专家，DeepSeek-V3把专家数量增加到了256个——每个专家更小但更专业。同时，每个token激活8个专家（2个共享专家+6个路由专家），保证了每个token都能得到足够多样化的知识。

这个设计的关键在于「细粒度」。256个专家意味着每个专家只负责一个非常狭窄的知识领域，比如「Python代码生成」「法语翻译」「数学证明」等。当用户提出一个Python编程问题时，只有相关的专家被激活，其他252个专家处于休眠状态——这就是为什么671B参数只激活37B。

第二，无辅助损失的负载均衡。 这是DeepSeek-V3最核心的技术突破。传统MoE模型需要辅助损失函数来强制负载均衡，但这会损害模型质量。DeepSeek-V3提出了一种新的动态偏置调整机制，在每个训练步骤中自动调整每个专家的路由偏置，使负载自然均衡，无需额外的损失函数。

这个创新的意义，普通用户可能感觉不到，但MoE的研究者都明白——这解决了困扰MoE十年的核心问题。

第三，多token预测。 DeepSeek-V3在训练时不仅预测下一个token，还同时预测后续的2-3个token。这种多token预测训练策略，让模型在推理时能够更高效地生成文本，进一步降低了推理成本。

算力对比：数字不会说谎

让我们看一组具体的数字：

以生成1000个token的回答为例：

  • GPT-5（API）：推理成本约0.06美元（输入仅计算提示词token）
  • Claude 4（API）：约0.05美元
  • DeepSeek-V3（API）：约0.006美元
  • DeepSeek-V3（自建部署，8xH100）：约0.0008美元/token

差距是10倍到75倍。如果你是一个每天处理100万次API调用的AI应用，选择DeepSeek-V3而不是GPT-5，每年可以节省约2000万美元的推理成本。

更关键的是，这个成本差距是结构性的——不是「优化」级别的，而是「架构」级别的。GPT-5的Dense架构意味着每次推理必须激活全部参数，而DeepSeek-V3的MoE架构天然只需要激活部分参数。无论OpenAI怎么优化，Dense架构的推理成本下限都会高于MoE。

MoE的代价：不是没有缺点

但MoE不是银弹。DeepSeek-V3也有几个明显的缺点：

显存占用巨大。671B参数，即使FP8量化也需要约670GB显存，即使是推理也需要至少8张H100。对于个人开发者来说，部署门槛依然很高。

对batch size敏感。MoE模型在单请求推理时效率最高，但批量推理时因为每个请求激活的专家不同，GPU利用率会下降。对于高并发场景，需要更复杂的调度策略。

微调更复杂。MoE模型的微调比Dense模型更困难，需要特别注意专家负载均衡和路由稳定性。虽然DeepSeek提供了LoRA微调支持，但全参数微调仍然极具挑战。

开源的力量

DeepSeek-V3在2026年已经全面开源——模型权重、训练代码、推理代码全部公开。这意味着任何团队都可以基于DeepSeek-V3的架构进行二次开发。

2026年6月，已经有超过50个开源项目基于DeepSeek-V3的架构进行改进，涵盖了代码生成、医疗诊断、法律分析、金融预测等领域。这种生态效应，是GPT-5永远无法企及的。

DeepSeek-V3的真正意义，不在于它比GPT-5便宜多少，而在于它证明了：在AI领域，架构创新比算力堆叠更重要。算力可以买，但好的架构，是买不来的。