数学推理评测的终局：当AIME分数也被「刷」到90%以上，我们该测什么？

一场数学评测的军备竞赛

2023年，GPT-4在AIME（美国数学邀请赛）上的得分不到15%。2024年，GPT-4o得分约30%。2025年，GPT-5的推理模式得分突破60%。2026年，DeepSeek V3在R1模式下得分达到68%。

按这个速度，到2027年，AIME也将步GSM8K的后尘——所有顶级模型得分超过90%，失去区分度。

数学评测正在经历一场"基准通胀"：每年你都需要一个更难的新基准，因为去年的基准已经被"刷爆"了。

在所有AI评测维度中，数学推理是最特殊的一个。代码可以用测试用例自动验证，写作可以靠人工评判，但数学推理被广泛认为是AGI（通用人工智能）的"前哨站"——因为数学需要严格的逻辑推导，无法通过模式匹配和记忆来"蒙混过关"。

但2026年的现实是：模型确实在数学推理上取得了巨大进步，但进步的性质仍有争议。模型是在"做数学"还是在"模仿数学推理的模式"？

我们做了两个实验来区分这两种可能性。

实验一：变量替换。 将AIME题目的数字、名称、场景进行替换，保持数学结构不变。GPT-5的得分从62%下降到55%。一个真正"理解"数学的解题者不应该受到变量命名的干扰。

实验二：步骤重排。 将解答过程的关键步骤打乱顺序，要求模型重新排序。GPT-5的准确率仅48%，而人类数学专业学生的准确率是87%。这说明模型对数学推理的"逻辑顺序"理解并不牢固。

这两个实验表明：模型在数学推理上的进步，很大程度上来自对训练数据中"解题模式"的匹配，而非对数学本身的深刻理解。

数学推理评测的终极目标是形式化证明——要求模型用Lean、Coq等证明助手编写形式化证明，由机器自动验证。

2026年，即使是最强的模型，在形式化证明任务上的成功率也不到10%。形式化证明要求模型：1）理解数学定理的精确含义；2）将非形式化的数学思路转化为形式化步骤；3）在严格的逻辑框架内完成证明。这三个步骤中的每一步都是当前模型的薄弱环节。

形式化证明能力是AGI的"图灵测试"——当一个模型能自主完成数学定理的形式化证明时，真正的通用人工智能就不远了。 在此之前，所有的数学评测分数都只是"接近"而非"到达"。