长文本评测：1M上下文窗口是营销噱头还是真实能力？Needle-in-Haystack实验揭秘

100万token的承诺

2026年，旗舰模型的上下文窗口已经膨胀到了惊人的数字：Gemini 3 Ultra号称2M token，GPT-5支持1M token，Claude 4 Opus支持500K token。厂商们争相宣传"一次能读完《三体》三部曲"。

但宣传归宣传，实测归实测。我们花了三周时间，用多种长文本评测方法测试了这些模型的"长上下文真实利用率"，结果令人深思。

“大海捞针”（Needle-in-Haystack）测试——在长文本中随机插入一条关键信息，看模型能否在回答时准确提取——是长文本评测的经典方法。

GPT-5在1M token的完整上下文窗口内，Needle-in-Haystack的准确率达到99.2%。几乎完美。但问题在于：这个测试太简单了。它只测试"能否找到一段明显不相关的信息"，而不是"能否理解整篇长文本的复杂逻辑"。

就像考试只考"在课本第372页找到作者的名字"——满分不代表你理解了这本书。

RULER（2024年由NVIDIA提出）是更全面的长文本评测基准，包含多针检索、多跳推理、聚合问答等更复杂的任务。

在RULER上，模型的表现出现了明显分化。GPT-5在128K token以内表现优秀（综合得分85%+），但在128K-512K区间，得分骤降至62%。超过512K后，得分进一步下降到41%。

Gemini 3 Ultra在长文本上的表现更稳定，在1M token处的综合得分仍保持在68%——这是Google在长上下文架构上的优势。

Claude 4 Opus在500K上限处表现最佳（综合得分72%），但它不支持超过500K的上下文。

关键发现：模型的"有效上下文窗口"远小于其"宣称的上下文窗口"。 厂商宣传的是"理论最大值"，实际可用的是"有效工作区间"——通常只有理论值的30%-50%。

挑战一：长文档问答。 给模型一份300页的招股说明书，问它"公司的三大风险因素是什么"。GPT-5和Claude 4 Opus表现良好，Gemini 3 Ultra有时会遗漏重要信息。

挑战二：长代码库理解。 给模型一个5万行代码的仓库，要求它解释架构。所有模型都倾向于"过度概括"——给出宏观正确的回答，但遗漏关键细节。Claude 4 Opus因为Agent模式可以搜索代码库，在这方面表现最好。

挑战三：长对话历史。 模拟一个100轮对话，然后在第101轮提一个需要引用第3轮信息的复杂问题。GPT-5的表现最好，Claude 4 Opus次之，Gemini 3 Ultra有时会"遗忘"早期对话的关键细节。

不要被1M token的营销数字迷惑。 在实际使用中：