一个7B模型，打了70B模型的脸

2026年6月，Google DeepMind发表了一篇论文《Small Models, Big Impact: When Distillation Beats Scaling》，在AI圈引起了一场小地震。

论文的核心发现很简单：在50个专业任务上（医疗诊断、法律咨询、代码审查、数学证明），一个经过精心蒸馏和数据策划的7B参数模型，在准确率上超过了未经蒸馏的70B模型，同时推理速度快10倍，部署成本低15倍。

这个发现直接挑战了"Scaling Law" —— 过去五年AI行业最核心的信念：模型越大，效果越好。

大模型的边际收益在急剧递减

“Scaling Law"是OpenAI在2020年提出的：模型性能随着参数规模、数据量、计算量的增加而呈幂律增长。这个定律驱动了过去五年的"大模型军备竞赛”：GPT-3（175B）、GPT-4（传闻1.8T）、Gemini Ultra（远超GPT-4）、Llama-4-400B。

但到了2026年，情况在变化：

GPT-5的发布被推迟了。 传闻中GPT-5的训练成本超过10亿美元，但性能提升只有GPT-4到GPT-4o的幅度，而不是GPT-3.5到GPT-4的跃升。边际收益递减已经触达了天花板。

大模型的能力提升集中在"涌现"能力上。 很多新能力（如高级推理、多步规划）在模型达到一定规模后才会出现。但在"涌现"阈值之后，继续增大模型带来的收益变得越来越小，尤其是在专业领域。

Google的论文发现了一个关键转折点： 在通用任务上，模型越大确实越好。但在专业任务上，一个用高质量专业数据蒸馏的小模型，可以超过一个用通用数据训练的大模型。

蒸馏为什么这么有效

知识蒸馏（Knowledge Distillation）不是新技术。它的核心思想是：用一个"教师模型"（大模型）的输出作为训练信号，训练一个"学生模型"（小模型）。

但Google这篇论文的蒸馏方法有三个创新：

创新一：任务特异性蒸馏。 不是蒸馏一个"通用小模型"，而是针对每个专业领域蒸馏一个"领域专家"。7B参数只学习一个领域的知识，而不是学习"所有知识"。

创新二：思维链蒸馏。 不只是蒸馏最终答案，而是蒸馏大模型的"推理过程"。教师模型在回答问题时生成的思维链（Chain of Thought），被用作学生模型的训练数据。这让小模型不仅学会了"答案是什么"，还学会了"怎么思考"。

创新三：数据质量过滤器。 用教师模型对训练数据打分，只保留教师模型"确信"的数据。去除模糊、矛盾、低质量的样本，让小模型在"干净"的数据上学习。

小模型的三大优势

优势一：推理速度。 7B模型在单张A10 GPU上的推理速度是每秒200 token，而70B模型只有20 token。对于需要实时响应的应用（客服、代码补全、游戏AI），这个差距是决定性的。

优势二：部署成本。 70B模型需要至少2张A100（FP16），成本约$4/小时。7B模型可以在单张T4上运行，成本约$0.4/小时。10倍的成本差距，在小规模场景下就是"能赚钱"和"纯烧钱"的区别。

优势三：微调成本。 全量微调70B模型需要8张A100跑几天，成本几千到上万美元。LoRA微调7B模型可以在单张消费级GPU上几小时完成，成本几十美元。这让"每个企业都有自己的AI"变得可能。

什么时候应该用小模型，什么时候应该用大模型

用小模型，当你：

  • 任务领域明确且狭窄（合同审查、医疗影像、代码审查）
  • 对延迟有严格要求（实时交互、边缘设备）
  • 预算有限（创业公司、个人项目）
  • 数据隐私要求高（模型需要在本地部署）
  • 频繁微调（需要根据新数据不断更新模型）

用大模型，当你：

  • 任务领域广泛且不确定（通用对话、创意写作）
  • 需要复杂的多步推理（数学证明、科学研究）
  • 需要"涌现"能力（In-Context Learning、Tool Use）
  • 对延迟要求不高（批处理、离线分析）
  • 预算充足（大型企业）

2026年的趋势：大模型做教师，小模型做工人

我预测2026-2027年会出现一个清晰的架构模式：

大模型（100B+）作为"教师"和"编排器"： 负责复杂推理、任务分解、质量评估。它们是"知识源"和"推理引擎"。

小模型（1-10B）作为"工人"： 负责执行具体的、明确的任务。它们是"执行器"。

一个典型的代码审查系统：大模型分析代码结构，识别潜在问题，生成审查计划。然后调用代码安全审查小模型、代码风格审查小模型、性能分析小模型，各司其职。最后大模型汇总结果，生成最终报告。

这个架构的推理成本只有纯大模型方案的1/5，但准确率反而更高。

反直觉的结论

Scaling Law没有错，但它的适用场景被误解了。Scaling Law描述的是"通用能力"的增长，而大多数商业应用需要的是"专业能力"。

对于专业能力来说，数据质量 » 模型大小。 一个用高质量专业数据微调的7B模型，在专业任务上可以轻松超过一个用通用数据训练的70B模型。

不要再问"我要用多大的模型"，而要问"我要解决什么任务，我有什么数据"。然后根据这两个答案，选择最适合的模型大小——而不是越大越好。