2026年，128K上下文窗口已经是大模型的「标配」。GPT-5 Turbo支持256K，Claude 4支持200K，Gemini 3 Pro支持1M，DeepSeek V4支持128K。在营销材料中，长上下文窗口被描述为「可以一次性处理整本《三体》」。

但最新的评测（Needle in Haystack 2.0、RULER、LongBench）显示了一个残酷的事实：大多数模型在超过32K上下文后，理解能力显著下降。 长上下文不是「能读」，而是「能懂」。

Needle in Haystack 2.0：大海捞针「升级版」

Needle in Haystack（大海捞针）是评测长上下文能力的经典方法：在一篇长文本中「藏」一个不相关的信息（「针」），然后问模型「针是什么」。如果模型能找到「针」，说明它「理解」了长上下文。

2026年，Needle in Haystack 2.0升级了测试难度：

测试一：多针测试。 在长文本中藏多个「针」，问模型「所有的针分别是什么」。这要求模型不仅要「找到」针，还要「区分」不同的针。

测试二：推理针测试。 针不是「直接」的信息，而是需要「推理」的信息。比如，针是「A比B大」，然后问「A和B谁大」。这要求模型不仅要「找到」针，还要「理解」并「推理」针的内容。

测试三：干扰针测试。 在长文本中藏「干扰针」——和「真正的针」相似但不同的信息。模型需要「区分」真正的针和干扰针。

2026年评测结果：

  • GPT-5 Turbo：在128K上下文中，多针测试准确率约85%，推理针测试准确率约75%。超过128K后，准确率下降明显。
  • Claude 4：在200K上下文中，多针测试准确率约80%，推理针测试准确率约70%。
  • Gemini 3 Pro：在1M上下文中，多针测试准确率约60%，推理针测试准确率约50%。1M的「长上下文」更像「营销噱头」。
  • DeepSeek V4：在128K上下文中，多针测试准确率约82%，推理针测试准确率约72%。

长上下文不是「能读10万字」，而是「能理解10万字中的关键信息」。 大多数模型在「能理解」方面，远不如在「能读」方面。

长上下文评测的「实用性」问题

长上下文评测还有一个「实用性」问题：你真的需要1M上下文窗口吗？

2026年，大多数AI应用的实际上下文长度不超过32K。一个典型的RAG应用，检索到的文档通常在10K-20K token。一个典型的AI Agent对话，历史消息通常在10K-30K token。一个典型的代码生成任务，代码库上下文通常在20K-50K token。

128K上下文窗口已经覆盖了99%的AI应用场景。 1M上下文窗口是「技术炫技」，不是「实用需求」。

长上下文评测的「正确姿势」不是「上下文越长越好」，而是「在需要的上下文长度内，理解能力越强越好」。对于大多数场景来说，32K上下文的理解能力，比128K上下文的「能读」能力更重要。