2026年，一篇发表在《Nature Machine Intelligence》上的论文，揭露了一个让整个AI行业尴尬的事实：主流大模型在MMLU、HumanEval、GSM8K等10个常用基准上的高分，有30%-50%来自「数据污染」——模型在训练时「见过」了这些测试题（或其变体）。
这意味着，你在排行榜上看到的那些「95分」，可能不是「真实能力」，而是「背诵能力」。
数据污染是如何发生的
数据污染（Data Contamination）的发生机制很简单，但很难避免。
大模型的预训练数据来自「互联网规模」的数据爬取——Common Crawl、维基百科、GitHub、Reddit、Stack Overflow等。这些数据中，「不可避免地」包含了公开基准的测试题。
比如，MMLU（大规模多任务语言理解）的测试题，来自教科书、考试题库和在线教育资源。这些内容在互联网上「广泛存在」。当大模型在预训练时「爬取」了这些内容，它就在训练时「见过」了MMLU的测试题。
大模型不是「作弊」，而是「无法避免地」在训练数据中「吃」到了测试题。 预训练数据规模太大（数千亿token），根本不可能完全「清洗」掉所有基准的测试题。
2026年数据污染研究的关键发现
2026年的数据污染研究，有几个关键发现。
发现一：30%-50%的基准题目被污染。 在MMLU、HumanEval、GSM8K等10个常用基准中，至少有30%-50%的题目存在「数据污染」风险——即题目或其变体出现在模型的训练数据中。
发现二：数据污染对「高分」影响最大。 对于得分在90%以上的模型，数据污染可能贡献了10-20个百分点的「虚假提升」。对于得分在60%以下的模型，数据污染的影响较小（因为模型本身能力不足，即使「见过」题目也答不对）。
发现三：数据污染在「小模型」和「大模型」中都有发生。 数据污染不是「大模型」的专属问题。小模型（如7B参数）同样存在数据污染。但大模型因为「记忆能力」更强，数据污染对它们的影响更大。
发现四：数据污染检测方法在进步。 2026年，研究人员开发了多种数据污染检测方法——如「n-gram重叠检测」（检测测试题和训练数据的文本重叠）、「概率差异检测」（检测模型在「见过」的题目上的概率分布异常）、「对抗测试」（修改测试题，检测模型是否依赖「记忆」而不是「推理」）。
大模型评测的「信任危机」
数据污染正在引发大模型评测的「信任危机」。
如果MMLU的90分中有15分来自「背诵」，那么「真正的」MMLU得分只有75分。如果HumanEval的95%正确率中有20%来自「见过」题目，那么「真正的」HumanEval正确率只有75%。
数据污染正在让「公开基准」失去「可信度」。 当所有人都知道基准被污染了，但没有人知道「污染了多少」，基准的分数就变成了「不可靠」的信号。
2026年，大模型评测社区正在探索几种应对方案：
方案一：动态基准。 不断生成新的测试题，确保模型没有「见过」这些题。LMSYS的Chatbot Arena使用了「用户实时生成」的问题作为评测基准，保证了基准的「新鲜度」。
方案二：对抗测试。 修改测试题（如改变人名、地名、数字），检测模型的「泛化能力」而不是「记忆能力」。如果模型在「原题」上得分高，但在「变体」上得分低，说明模型「记住了」而不是「理解了」。
方案三：封闭基准。 将测试题「保密」，不公开。模型评测在「受控环境」中进行，确保模型无法「提前」看到测试题。但封闭基准的「透明度」和「可复现性」受到质疑。
大模型评测的「数据污染」问题，不是「有没有」的问题，而是「有多少」的问题。