MMLU的统治地位

MMLU（Massive Multitask Language Understanding）是2021年由UC Berkeley发布的评测基准，包含57个学科（从数学到法律到医学）的约14000道选择题。自发布以来，MMLU已经成为大模型评测的"黄金标准"——几乎每一篇大模型论文都会报告MMLU分数。

但MMLU真的可靠吗？2026年，随着大模型在MMLU上的分数从GPT-3的40%一路飙升到GPT-4o的90%以上，这个问题变得越来越重要。

实验一：100次重复测试

我们让GPT-4o对MMLU的完整测试集做了100次重复测试。理论上，同一个模型在同一套题上的分数应该是一致的。但实际结果令人惊讶。

GPT-4o的MMLU分数在89.2%到91.7%之间波动，标准差为0.6个百分点。这意味着，如果两个模型分别得了89.5%和90.5%，你不能确定哪个更好——这个差距可能只是随机波动。

但更令人担忧的是：约15%的题目在100次测试中至少出现过两次不同的答案。这些题目通常涉及：模糊的措辞（模型在两种解释之间摇摆）、需要主观判断的题目（如法律和伦理题）、以及有多个看似合理的选项的题目。

实验二：数据污染检测

一个更严重的问题是数据污染。MMLU的题目来自公开的考试和教科书，这些数据很可能已经被包含在大模型的训练数据中。

我们使用了一种叫做"min-k% prob"的检测方法：如果模型在生成某个选项时表现出了异常高的"确定性"（就像在"背诵"而非"推理"），那么这道题很可能被污染了。

根据这种方法，我们估计GPT-4o在MMLU上约有20-30%的题目可能受到了数据污染的影响。去掉这些题目后，GPT-4o的真实MMLU分数可能只有85-88%，而不是报告的90%+。

MMLU有哪些问题？

问题一：题目质量参差不齐。 MMLU的57个学科中，有些学科的题目质量很高（如大学数学、物理），有些则质量较低（如某些社会学科，题目过于简单或过于依赖特定教材）。

问题二：选择题的局限性。 真实世界的知识理解不是选择题。模型可以通过"排除法"或"猜测"来答对题目，而不是真正的理解。

问题三：缺乏难度分层。 MMLU没有区分基础题和高级题。一个模型如果答对了所有简单题但答错了所有难题，它的MMLU分数可能和一个全面但不特别强的模型一样。

问题四：英文中心主义。 MMLU完全是英文题目，这对非英语母语的模型不公平。

MMLU仍然有价值，但需要正确使用

尽管有这些问题，MMLU仍然是大模型评测中最有价值的基准之一。关键是正确使用它：

  • 不要只看总分，要看各学科的细分分数
  • 不要只看MMLU，要结合多个评测基准
  • 关注数据污染问题，使用污染检测方法
  • 关注模型在"困难题目"上的表现，而不是全部题目

2026年MMLU的替代品

2026年，几个新的评测基准正在挑战MMLU的地位：

MMLU-Pro：MMLU的升级版，增加了题目难度，减少了数据污染的可能性。

GPQA：Google-Proof Q&A，专门设计的"Google搜索不到答案"的题目，旨在测试真正的推理能力。

Chinese-MMLU：中文版的MMLU，覆盖了更多中国相关的知识领域。

结论

MMLU是一把"有刻度的尺子"，但它的刻度不是完全均匀的。用它来测量模型的能力，需要了解它的局限性。2026年，最大的模型在MMLU上的分数已经接近天花板，评测基准的更新换代势在必行。