一个令人困惑的现象

2026年，GPT-4o在MMLU上得分超过90%，在HumanEval上超过95%，但在GSM8K上只有92%。GSM8K是什么？是美国小学生的数学应用题。

为什么一个能通过律师资格考试、能写复杂代码的AI，会在小学数学题上犯错？这个问题的答案，揭示了当前大模型在数学推理上的根本性局限。

GSM8K的设计逻辑

GSM8K（Grade School Math 8K）是2021年由OpenAI发布的评测基准，包含8500道小学数学应用题。题目格式是：一段文字描述，然后一个需要计算的问题。比如：

“Jane有12个苹果，她给了John 3个，然后又买了5个。她现在有多少个苹果？”

GSM8K的独特之处在于它要求"多步推理"——模型需要从文字中提取关键信息，然后按正确的顺序执行多步算术运算。这测试的不是"知识"，而是"推理过程"。

为什么模型会在GSM8K上犯错？

经过对数百个错误案例的分析，我们发现了模型在GSM8K上犯错的几种模式：

模式一：信息提取错误。 模型从文字中提取了错误的关键信息。比如，把"比John多3个"理解成"比John少3个"。

模式二：推理步骤遗漏。 题目需要3步推理，但模型只做了2步，跳过了关键的一步。这在多步推理题中特别常见。

模式三：计算错误。 模型在推理步骤正确的情况下，做出了错误的算术运算。这通常发生在涉及大数字或多步计算时。

模式四：过度自信。 模型对自己错误的答案非常自信，不会进行自我检查。这是数学推理和语言生成之间的本质差异——语言生成可以"模糊正确"，但数学推理必须"精确正确"。

思维链（Chain-of-Thought）的作用

2026年，思维链（CoT）已经成为解决数学推理问题的标准方法。让模型在给出答案之前先"展示推理过程"，可以显著提高准确率。

在GSM8K上，使用CoT可以将准确率从75%提升到90%以上。这是因为CoT迫使模型"慢下来"思考，减少了推理步骤遗漏和计算错误的概率。

但CoT也有局限：它不能解决"信息提取错误"的问题（因为模型在理解阶段就错了），而且CoT本身也会消耗大量token。

2026年的数学推理评测

GSM8K对2026年的最先进模型来说已经太简单了（天花板效应）。几个新的数学推理评测基准正在兴起：

MATH：大学水平的数学题，包含代数、几何、概率、数论等。远比GSM8K难。

AIME：美国数学邀请赛的题目，难度更高，需要真正的数学洞察力。

IMO-level benchmarks：国际数学奥林匹克级别的题目，目前最好的模型也只能解决不到20%。

结论

GSM8K揭示了一个重要的真相：大模型在数学推理上仍然存在根本性的局限。它们不是"理解"数学，而是"模仿"数学推理的模式。这种模仿在大多数情况下是正确的，但在需要精确推理时，仍然可能出错。

如果你关心模型的数学推理能力，不要只看GSM8K。MATH和AIME是更好的选择，但即使在这些基准上得分高，也并不意味着模型真的"理解"数学。