一个数学问题：671B参数，为什么只需要激活37B？

2026年6月，DeepSeek发布了V4版本。如果你只看参数规模——671B——你会觉得这是一个需要几百张GPU才能跑的巨兽。但如果你看激活参数——只有37B——你会发现它比很多70B的模型还好部署。

这背后的秘密，是DeepSeek团队在V2/V3/V4三代模型中持续迭代的两项核心技术：MLA（Multi-head Latent Attention）和DeepSeekMoE。

DeepSeek用"聪明"的架构设计，换来了"便宜"的部署成本。 这不是简单的工程优化，而是从注意力机制到专家路由的底层重构。

MLA：把KV Cache压缩到原来的1/10

大模型推理最贵的成本是什么？不是计算，而是显存。显存里最占地方的是什么？是KV Cache。

传统Multi-Head Attention（MHA）在推理时，每一层、每一个头都要缓存Key和Value矩阵。以Llama 4 405B为例，在128K上下文下，KV Cache需要约200GB显存。这就是为什么大模型推理需要那么多GPU。

MLA（Multi-head Latent Attention）的核心思路是：Key和Value不需要存储完整的矩阵，只需要存储一个低维的潜变量（latent vector），然后通过一个上投影矩阵实时重建Key和Value。

数学上，MLA将KV Cache的内存占用从 O(num_heads * head_dim * seq_len) 降低到 O(latent_dim * seq_len)，其中latent_dim « num_heads * head_dim。在DeepSeek V4中，latent_dim是512，而head_dim是128，num_heads是128。压缩比达到32倍。

实测效果：DeepSeek V4在128K上下文下的KV Cache约为6GB，而同等规模的Llama 4需要200GB。省下了194GB显存，相当于省下了2.5张H100（80GB版本）。

DeepSeekMoE：让"专家"更专

MoE（Mixture of Experts）不是新鲜事。Google的Switch Transformer、Mistral的Mixtral、Meta的Llama 4都用了MoE。但DeepSeek的MoE和其他家有一个本质区别。

传统MoE的"专家"是随机初始化的，训练过程中自动分化。这种方式的缺点是"专家"的分工不够明确，容易出现"专家冗余"——多个专家学到类似的知识，浪费了参数。

DeepSeekMoE引入了两个创新：

  1. 共享专家（Shared Expert）：所有token都会经过的通用专家，负责基础的语言理解
  2. 细粒度专家（Fine-grained Expert）：将专家切分得更细（256个专家，每个2B参数），每个token路由到8个专家

共享专家保证了下限，细粒度专家拉高了上限。 共享专家确保模型不会在简单任务上翻车，细粒度专家让模型在专业领域有更深的覆盖。

Multi-Token Prediction：一次预测多个token

DeepSeek V4还有一个容易被忽视的创新：Multi-Token Prediction（MTP）。在训练时，模型不仅预测下一个token，还预测下下个、下下下个token。这带来了两个好处：

  1. 训练效率提升：模型在相同数据量下学到的信息密度更高，相当于训练数据"扩容"了3-4倍
  2. 推理时加速：MTP可以用投机解码的方式，一次生成2-3个token，推理速度提升50-80%

MTP不是DeepSeek的原创（Meta在2024年就提出了），但DeepSeek是第一个在100B+参数规模上成功实践的团队。理论好不等于工程好，DeepSeek的工程能力才是真正的壁垒。

为什么DeepSeek能卖这么便宜？

DeepSeek V4的API价格为每百万输入token 0.14元人民币，输出token 0.28元人民币。这是GPT-4o价格的1/25。

这背后有三个原因：

  1. 激活参数少：37B激活参数意味着推理成本远低于405B的Llama 4
  2. 自建数据中心：DeepSeek自己搭建了万卡H800集群，没有云厂商的中间商差价
  3. 量化+投机解码：DeepSeek V4默认使用FP8精度+投机解码，单卡吞吐量比传统方案高3倍

DeepSeek的商业模式是：用极致的工程效率，把价格打到闭源模型无法竞争的水平。 这是典型的"破坏性创新"——不是技术更好，而是价格更低，让对手无法跟进。

结语：DeepSeek的价值不在模型，在工程

DeepSeek V4的每一项技术都不是原创（MLA是DeepSeek的原创，但灵感来自线性注意力），但DeepSeek把它们组合成了一个极致的工程方案。DeepSeek证明了一件事：开源模型不需要"发明"新技术，只需要把现有技术"做到极致"。

对于中国AI产业来说，DeepSeek的意义远超一个模型。它证明了中国团队在算力受限的情况下，依然可以通过架构创新实现世界级的性能。在被"卡脖子"的时代，这是最有力的回应。

数据来源：DeepSeek V4技术报告（2026年6月）、HuggingFace实测数据、作者团队推理成本测试。