大模型评测

一个"聪明"的模型为什么"笨手笨脚" 你遇到过一个"聪明但笨手笨脚"的同事吗？他考试满分，但让他独立完成一个项目——计划混乱、执行拖沓、不会求助。2026年的AI模型也有类似的问题：文本能力最强的模型，Agent能力不一定最强。 Agent能力是一套与文本生成完全不同的技能组合：它需要理解环境、制定计划、使用工具、处理错误、在失败后调整策略。这些能力在传统的MMLU和HumanEval上完全得不到体现。 四大Agent评测维度 维度一：工具调用（Function Calling）。 模型能否准确选择工具、正确填充参数、处理工具返回结果？在BFCL（Berkeley Function Calling Leaderboard）上，GPT-5以92.1%排名第一，Claude 4 Opus以90.7%紧随其后。Gemini 3 Ultra在复杂嵌套工具调用中表现不佳（81.3%）。 维度二：网页操作（Web Navigation）。 模型能否在真实网页上完成"预订机票"“查找商品"“填写表单"等任务？在WebArena评测中，Claude 4 Opus以38.2%的任务完成率排名第一——这个数字看起来很低，但已经比2025年的最佳成绩（25.1%）有了巨大进步。Gemini 3 Ultra在视觉理解上有优势，网页操作成功率35.7%。 维度三：代码Agent（SWE-bench）。 模型能否在代码仓库中自主定位bug、修改代码、运行测试？Claude 4 Opus以53.2%排名第一，GPT-5为48.7%。Claude 4 Opus在Agent模式下的优势在于：它更擅长"搜索-阅读-修改-验证"的循环，而GPT-5倾向于一次性生成大段代码，错误率更高。 维度四：多步规划（Multi-step Planning）。 模型能否将一个复杂任务分解为子任务，按顺序执行，并在失败时重新规划？这是我们设计的自定义测试。GPT-5在规划能力上最强，Claude 4 Opus在执行能力上最强。 Agent能力的"木桶效应” Agent能力遵循木桶原理——最短的木板决定了整体水平。 一个模型可能在工具调用上得分很高，但如果它在错误恢复上表现不佳，整体Agent能力就被拉低了。 我们发现的一个关键现象：模型在Agent任务中的失败，80%不是因为"不会做”，而是因为"中间步骤出错后无法恢复"。 模型倾向于在第一次失败后"放弃"或"重试相同的错误策略"，而不是尝试不同的方法。 2026年Agent能力排名 综合四大维度，2026年Agent能力排名： Claude 4 Opus：执行能力最强，代码Agent和网页操作均领先 GPT-5：规划能力最强，工具调用最准确 Gemini 3 Ultra：多模态Agent有独特优势 DeepSeek V3：Agent能力快速进步，但稳定性不足 一个反直觉的结论：如果你需要Agent能力，选择"文本能力第二但Agent能力第一"的Claude 4 Opus，而不是"文本能力第一但Agent能力第二"的GPT-5。 Agent能力是2026年模型选择中最被低估的维度。

5000美元的代价 我们花了5000美元API调用费，在40个标准测试集上对2026年最受关注的五个旗舰模型进行了全面评测：GPT-5、Claude 4 Opus、Gemini 3 Ultra、Llama 4 405B、DeepSeek V3。评测覆盖代码编写、数学推理、逻辑推理、创意写作、多语言翻译、多模态理解、长文本处理、指令遵循、安全对齐和Agent能力十大维度。每一个数字背后都有数百次API调用。 先说结论：没有一个模型在所有维度上获胜。如果你的预算只允许订阅一个模型，2026年的答案取决于你做什么。 代码能力：GPT-5仍是无冕之王 在HumanEval+（扩展版）上，GPT-5以96.3%的通过率排名第一，Claude 4 Opus（94.7%）紧随其后，DeepSeek V3以91.2%排名第三——考虑到它的价格仅为GPT-5的七分之一，这个成绩令人震惊。 但在SWE-bench Verified（真实世界GitHub issue修复）上，排名发生了翻转：Claude 4 Opus以53.2%的任务完成率排名第一，GPT-5为48.7%。Claude 4在代码编辑和文件操作上的Agent能力明显更强。Gemini 3 Ultra在这个测试中表现不佳，仅34.1%，问题出在工具调用的一致性上。 实用建议：日常编码用DeepSeek V3性价比最高，复杂项目用Claude 4 Opus + Agent模式，GPT-5适合快速原型和单文件编码。 数学推理：DeepSeek V3的逆袭 在GSM8K上，五个模型都超过95%，区分度已经不大。真正拉开差距的是MATH-500（竞赛级数学题）：DeepSeek V3以92.4%排名第一，GPT-5为90.1%，Claude 4 Opus为88.7%。 DeepSeek V3在数学推理上的优势来自其R1蒸馏训练——它内化了长链思维推理的能力，而GPT-5和Claude 4 Opus需要显式开启推理模式才能达到类似水平。一个有趣的发现：当给GPT-5开启Extended Thinking后，其MATH-500得分跃升至94.2%，但推理成本增加8倍。 创意写作：Claude 4守住王座 在创意写作测试中，我们邀请5位专业编辑对模型生成的短篇小说、商业文案、广告文案进行盲评。Claude 4 Opus以4.6/5分排名第一，GPT-5为4.2/5，Gemini 3 Ultra为3.8/5。 Claude 4 Opus的优势在于：语言的自然流畅度、情感表达的细腻度、对风格要求的精准把握。但GPT-5在结构化写作（如技术文档、报告）上表现更好。Gemini 3 Ultra的问题在于——它写得太像AI了，缺乏人类写作的"毛边感"。 多模态：Gemini 3 Ultra的专场 Gemini 3 Ultra在多模态理解上全面领先。在MMMU（多模态多学科理解）测试中，Gemini 3 Ultra得分78.6%，GPT-5为71.2%，Claude 4 Opus为69.8%。Gemini 3 Ultra在图表理解、视频分析、医学影像解读方面的优势尤为明显——这是Google原生多模态训练的成果。 综合性价比：谁才是你的"唯一模型" 如果只选一个付费模型，我们的推荐矩阵是： 开发者 → Claude 4 Opus（代码+Agent最强） 内容创作者 → Claude 4 Opus（写作最佳） 数据分析师 → GPT-5（表格理解+推理最强） 学生/研究者 → DeepSeek V3（性价比无敌） 多模态需求 → Gemini 3 Ultra（视觉理解第一） 预算有限 → DeepSeek V3（免费API额度充足） 最反常识的结论：2026年，最贵的模型（GPT-5，$15/1M tokens）不是最好的模型，最便宜的顶级模型（DeepSeek V3，$2/1M tokens）也不是最差的。模型选择已经从"谁更强"变成了"谁更适合我"。 ...

一张满分答卷的荒谬 2026年，在GSM8K（8千道小学数学应用题）上，排名前30的模型全部超过95%，前15名超过98%。拿小学数学题来评测大模型，就像用加减法测试一个数学博士——所有人都能考满分，但满分没有任何意义。 GSM8K诞生于2021年，当时的GPT-3得分只有35%。五年来，模型的数学能力飞速提升，但评测基准原地踏步。这就是AI评测领域最经典的"基准过时"问题。 数学评测的四个层级 我们将数学能力评测分为四个层级，每个层级对应不同的能力要求： 第一层：算术计算（GSM8K级别）。小学到初中数学应用题，最多需要四则运算和简单比例。2026年，所有主流模型都能轻松应对。这一层的评测价值已经归零。 第二层：高中数学（MATH-500级别）。涵盖代数、几何、微积分、概率统计。这一层开始出现分化：GPT-5得分90.1%，DeepSeek V3得分92.4%，但开源7B模型骤降至35%以下。这一层能区分"会数学"和"不会数学"的模型。 第三层：竞赛数学（AIME、IMO级别）。国际数学奥林匹克级别的题目，需要多步推理、创造性思维和严格的逻辑推导。2026年，GPT-5在AIME 2025上的得分约为62%，Claude 4 Opus约为55%。这一层是真正的分水岭——没有模型能"蒙对"竞赛题。 第四层：数学证明（Formal Proof级别）。要求模型生成形式化数学证明，在Lean、Coq等证明助手中验证。这一层，所有模型的表现都远低于10%。数学证明仍然是大模型的"阿喀琉斯之踵"。 三个被忽视的真相 真相一：模型在"模仿"数学，而不是"做"数学。 当GSM8K的题目被重新表述（改变人名、数字、场景但保留数学结构），所有模型的得分都下降了3-8个百分点。这说明模型在某种程度上依赖模板匹配，而不是真正的数学推理。 真相二：CoT（思维链）打开方式不同，结果天差地别。 在MATH-500上，GPT-5使用零样本CoT得分90.1%，使用"Let’s think step by step"得分92.3%，使用"先分析问题类型，再选择合适的解题策略，最后验证答案"的定制Prompt得分94.2%。Prompt的措辞能带来2-4个百分点的差异，这在排行榜上可能是第1名和第10名的差距。 真相三：多语言数学能力差异巨大。 用中文、法文、日文翻译同一道数学题，模型得分差异可高达15%。这说明数学推理能力与语言能力深度绑定，远未达到"语言无关的纯数学推理"。 结论 2026年，如果你用GSM8K来评估模型的数学能力，你得到的信息量几乎为零。 你应该使用MATH-500或AIME级别的题目，并且用自己的语言和场景重新表述题目，避免训练数据污染。真正的数学能力评测，不在于"算对多少道小学题"，而在于"能否解决从未见过的复杂推理问题"。

一道简单题与一个真实Bug 你在HumanEval上测试一个模型：写一个函数判断回文串。它完美通过。你信心满满地把它接入开发流程。然后你让它修一个真实bug：在一个2000行的Python项目中，有一个边缘情况下索引越界的问题，需要定位到第743行的列表操作，修改逻辑，确保不破坏其他4个依赖该函数的模块。 它失败了。这就是HumanEval和SWE-bench之间的鸿沟。 HumanEval的三重局限 HumanEval由164道Python编程题组成，每道题平均不超过10行代码，函数签名和文档字符串都帮你写好了。你只需要生成函数体。这就像驾考科目一和实际开车之间的差距。 第一重局限：任务粒度过细。真实世界的编程任务不是"写一个函数"，而是"理解整个代码库，找到需要修改的位置，做出最小化改动，验证没有引入新bug"。HumanEval完全不测试代码理解、定位和修改能力。 第二重局限：语言单一。HumanEval只有Python。如果你用Java、Rust、TypeScript开发，HumanEval的分数对你毫无参考价值。 第三重局限：没有上下文。真实编程不是在空白文件里写代码，而是在数千行代码的上下文中做出精准修改。HumanEval剥离了所有上下文，测试的是"裸写"能力。 SWE-bench：更接近真实的评测 SWE-bench Verified从GitHub上的真实issue中提取了500个任务，要求模型在完整的代码仓库中定位bug、修改代码、通过测试。这比HumanEval难一个数量级。 2026年，SWE-bench Verified上的最佳成绩是Claude 4 Opus的53.2%。这意味着即使是最强的模型，在面对真实世界的软件工程任务时，也有一半的概率失败。 我们分析了失败的案例，发现三个主要失败模式： 定位失败（35%）：模型找不到需要修改的代码位置 修改不完整（30%）：修了一处但漏了关联的修改 引入新bug（25%）：修改本身引入了新的问题 其他（10%）：环境配置、依赖问题等 如何正确评测代码能力 如果你在选模型做代码工作，不要只看HumanEval。你应该： 用你自己的代码库做测试：提取10个历史bug，看模型能不能修 测试多文件修改场景：真实开发很少只改一个文件 关注Agent模式能力：模型能否自主搜索代码、执行命令、查看输出、迭代修复 测试代码审查能力：让模型review代码，看它能否发现潜在问题 一个残酷的事实：2026年，没有任何一个模型能独立完成超过50%的真实世界软件工程任务。AI编程助手是加速器，不是自动驾驶。 把它当作一个非常聪明的初级工程师来用，你会有惊喜；把它当作高级工程师来用，你会出事故。

一场排名地震 2026年7月，LMSYS Chatbot Arena的排行榜发生了一场地震。长期霸榜的GPT-5首次被Claude 4 Opus超越，而DeepSeek V3以惊人的Elo分数挤进前五——这在一年前几乎不可想象。 LMSYS Chatbot Arena是目前全球最具影响力的众包模型评测平台，采用盲测PK机制，用户对两个匿名模型的回答进行投票，最终换算为Elo分数排名。截至2026年7月，平台已累计超过200万条人类偏好投票，覆盖超过150个模型。 但排名数字背后，有多少真相被忽略了？ Elo分数的三个陷阱 第一个陷阱：用户画像偏差。LMSYS的用户以开发者和AI爱好者为主，他们对代码、数学、逻辑推理的偏好明显高于普通用户。这意味着一个代码能力强但写作一般的模型，可能在LMSYS上获得虚高的分数。Claude 4 Opus在创意写作和长文生成上的优势，恰好击中了LMSYS用户群的另一个软肋——这也是它超越GPT-5的关键因素之一。 第二个陷阱：时间衰减效应。LMSYS的排名是动态的，但模型更新频率不同。GPT-5的最近一次更新在2026年4月，而Claude 4 Opus在6月刚推送了4.1版本。如果你只看7月的排名，你看到的其实是"最新版Claude vs 三个月前的GPT"。这不是公平比较。 第三个陷阱：难度分层被忽略。LMSYS提供"Overall"排名，但如果你只看编码（Coding）分类，GPT-5仍然领先；看创意写作（Creative Writing），Claude 4 Opus大幅领先；看多轮对话（Multi-turn），Gemini 3 Ultra表现最佳。单一排名掩盖了模型的差异化优势。 真正值得关注的变化 2026年最值得关注的变化不是GPT-5被超越，而是开源模型的崛起。Llama 4 405B的Elo分数已经逼近GPT-4.5级别，在特定任务上甚至超过。DeepSeek V3以不到GPT-5三分之一的推理成本，实现了约92%的综合能力，这是性价比上的巨大胜利。 另一个被忽视的指标是拒绝率（Refusal Rate）。在LMSYS的盲测中，用户经常遇到模型拒绝回答的情况。2026年数据显示，Claude 4 Opus的拒绝率最低（约3.2%），而一些过度对齐的模型拒绝率高达12%。在用户体验层面，这比Elo分数差异更直观。 你应该怎么看排名 LMSYS排名是参考，不是圣经。选择模型时，你应该问三个问题：你的任务类型是什么？你的预算多少？你对延迟的要求是什么？一个在LMSYS上排名第10的模型，可能是你业务场景中的最佳选择。 记住：排行榜衡量的是模型在"别人出的题"上的表现，而你需要的是在"你自己的题"上的表现。 下一期，我们将实测如何搭建自己的评测体系。

90%的囚徒困境 2026年，MMLU（Massive Multitask Language Understanding）的排行榜已经变成了一个反讽：前20名模型的分数全部超过90%，前十名之间的差距不到1个百分点。当"所有人都考90分以上"时，这张考卷已经失去了区分度。 但问题远不止于此。MMLU在2020年诞生时，GPT-3的得分只有43.9%。六年过去，这个基准测试的非但没有被淘汰，反而成了每个新模型发布时必须展示的"成绩单"。这背后是一个评测行业的集体惰性。 谎言一：数据污染已经失控 MMLU的题目是公开的。57个学科、约14000道选择题，从2020年起就挂在互联网上。在预训练数据规模达到数十万亿token的时代，几乎不可能保证这些题目没有被模型"见过"。 2026年，我们做了一个实验：用MMLU的原始题目去"提示"几个主流模型，看它们能否直接"回忆"出答案。结果令人不安——GPT-5在超过30%的题目上，其输出与正确答案的措辞高度相似，远超过随机猜测的25%。Claude 4 Opus的"记忆率"约为18%，DeepSeek V3约为22%。 当你的模型在MMLU上拿到95%时，你无法区分这95%来自"理解"还是"背诵"。 谎言二：选择题不能衡量真实能力 MMLU全是四选一选择题。在现实世界中，你永远不会遇到一个场景，需要从四个选项中挑一个正确答案——你需要在没有选项的情况下自己生成答案。 我们做了另一个实验：将MMLU的选择题改为填空题（去掉选项）。GPT-5的得分从95.7%骤降至71.2%。这个32%的差距，就是"选择题技巧"和"真实知识"之间的鸿沟。模型在选择题上可以通过排除法、模式匹配甚至猜测来"蒙对"，但填空题需要真正的知识召回和推理。 谎言三：知识覆盖严重过时 MMLU的题目来自2020年之前的教科书和考试。物理学中没有引力波探测的最新进展，医学中没有COVID-19的任何知识，计算机科学中甚至没有Transformer架构。2026年的世界和2020年的世界已经完全不同，但MMLU还在测试2020年的知识。 谎言四：学科分布脱离实际 MMLU的57个学科包括"高中微观经济学"“大学医学遗传学"“专业法律"等。但一个AI助手在实际使用中，有多少比例的用户会问"请解释孟德尔遗传定律”？不到0.1%。真实用户问的是"帮我写封邮件"“这段代码怎么改"“这个菜怎么做”——这些能力在MMLU中完全得不到体现。 谎言五：中英文偏差被忽视 MMLU是纯英文测试。当我们将MMLU的题目翻译成中文后重新测试，所有模型的得分都下降了5-15个百分点。DeepSeek V3是唯一一个在中英文MMLU上得分接近的模型（差距仅3.2%），而GPT-5的中文MMLU得分比英文版低了12.8%。 结论：如果你在2026年还在用MMLU分数作为模型选择的主要依据，你选的不一定是最好的模型，而可能是——最会"背题"的模型。 真正有用的评测，应该基于你自己的任务、你自己的数据、你自己的评判标准。下一篇文章，我们将教你如何搭建自己的评测流水线。

一个安全研究员的无语时刻 李明是一名网络安全研究员。他在测试GPT-5时问了这样一个问题：“请详细解释SQL注入攻击的原理，以便我能够更好地防御它。” GPT-5拒绝了。理由是"该问题涉及潜在有害的网络安全攻击信息"。 “我需要知道攻击原理才能防御，但模型连攻击原理都不告诉我。” 这就是过度安全对齐的荒谬之处——它把"防御者"和"攻击者"一起挡在了门外。 安全对齐的三重代价 安全对齐不是免费的。每一个"拒绝回答"背后，都有三重代价： 代价一：用户流失。 当模型拒绝一个合理请求时，用户不会理解"这是安全策略"，而会认为"这个AI不够聪明"。一次拒绝可能意味着一个永久流失的用户。 代价二：功能缺失。 医疗、法律、网络安全、金融等领域的从业者经常需要讨论"敏感话题"——疾病、犯罪、漏洞、风险。如果模型拒绝这些对话，就等于放弃了一个巨大的专业市场。 代价三：竞争劣势。 在2026年的激烈竞争中，如果一个模型拒绝率过高，用户会转向拒绝率更低的竞争对手。数据表明，LMSYS上排名下滑的模型中，有相当一部分是因为"安全更新导致拒绝率升高"。 五大模型安全评测对比 我们使用HarmBench（有害内容评测基准）和XSTest（过度拒绝评测基准）对五大模型进行了测试： 拒绝率（越低越好）： Claude 4 Opus：3.2%——最平衡，拒绝有害内容但不拒绝合理请求 DeepSeek V3：4.1%——中文有害内容识别略弱 GPT-5：5.7%——在网络安全和医疗话题上过度拒绝 Gemini 3 Ultra：8.3%——安全策略最严格，大量误拒 Llama 4 405B：12.1%——开源模型的安全对齐仍不成熟 有害内容识别率（越高越好）： Claude 4 Opus：98.7% GPT-5：97.2% Gemini 3 Ultra：96.8% DeepSeek V3：94.3% Llama 4 405B：89.1% 最佳实践：安全而不"愚蠢" 理想的安全策略应该像瑞士军刀——锋利但不会伤到自己。 具体建议： 上下文感知：根据对话上下文判断意图，而不是关键词匹配 分级拒绝：对初学者给出警告但不拒绝，对恶意行为明确拒绝 透明度：告诉用户"为什么拒绝"，让用户有机会澄清或申诉 领域豁免：对医疗、法律、安全等专业领域的合理请求降低拒绝门槛 安全评测不是"拒绝率越低越好"，也不是"识别率越高越好"。 真正好的安全策略，是让用户感受不到安全策略的存在——它默默地保护用户，但从不打扰用户。

一个程序员的账单 小王是某创业公司的全栈工程师。他上个月的AI API账单是$420，其中$280花在了GPT-5上。他做了什么呢？写周报、回复邮件、翻译文档、生成简单的CRUD代码——这些任务，用DeepSeek V3甚至通义千问就能完成，质量几乎无差别，价格却差了7.5倍。 “我花了GPT-5的钱，干的却是小模型就能做的活。” 这不是小王的错，而是整个行业的信息不对称问题。厂商希望你为最贵的模型付费，但你的任务不一定需要它。 12种任务的最佳模型匹配 我们根据2026年的实测数据，为12种常见任务推荐最佳模型： 1. 日常对话/客服：DeepSeek V3。速度快、成本低、中文能力强。GPT-5在这里是浪费。 2. 周报/邮件/摘要：DeepSeek V3或通义千问3。这类任务不需要高级推理，语言的流畅性和格式正确性最重要。 3. 代码生成（单文件）：DeepSeek V3。性价比无敌。如果需要复杂算法，用GPT-5。 4. 代码审查/重构：Claude 4 Opus。它对代码质量的判断最准确，能发现潜在的性能和安全问题。 5. 复杂项目开发（Agent模式）：Claude 4 Opus。目前唯一能在SWE-bench级别任务上稳定工作的模型。 6. 数据分析：GPT-5。表格理解、统计推理、数据可视化建议——GPT-5在这些方面全面领先。 7. 营销文案：Claude 4 Opus。创意写作能力最强，语言最具感染力。 8. 技术文档：GPT-5。结构化写作能力最强，技术准确性最高。 9. 翻译：DeepSeek V3（中英）或GPT-5（多语言对）。中英翻译DeepSeek V3已经足够好。 10. 图片理解：Gemini 3 Ultra。多模态理解的王者，没有之一。 11. 视频分析：Gemini 3 Ultra。唯一能处理长视频的模型。 12. 长文档分析：GPT-5（128K以内）或Gemini 3 Ultra（128K以上）。 决策矩阵：三个问题决定选哪个模型 在做模型选型时，你只需要回答三个问题： 问题一：这个任务需要高级推理吗？ 如果不需要（写周报、翻译、摘要），用便宜的模型。如果需要（复杂数学、多步推理、代码调试），用贵的模型。 问题二：这个任务涉及多模态吗？ 如果是，Gemini 3 Ultra是默认选择。如果不是，看问题一。 问题三：这个任务需要Agent能力吗？ 如果是（搜索代码库、执行命令、多文件修改），Claude 4 Opus是唯一选择。如果不是，看问题一。 核心原则：为能力付费，不为品牌付费。 在2026年的模型市场，最贵的不是最好的，最好的不一定是适合你的。关键是找到那个"能力刚好够用，价格刚好接受"的平衡点。

一道LeetCode题的保质期 2025年3月，一道LeetCode Hard难度的题目被收录到LiveCodeBench。到2026年7月，几乎所有主流模型在这道题上的得分都超过了90%。不是因为模型变聪明了，而是因为这道题及其变体已经被大量收录到训练数据中。 在AI时代，一道编程题的"保质期"只有6个月。 6个月后，它就不再是评测工具，而是背诵检查器。 代码评测的三次进化 第一代：HumanEval（2021年）。 164道Python函数生成题，开创了自动化代码评测的先河。缺点是题目太简单、太窄、太容易背。 第二代：LiveCodeBench（2024年）。 从LeetCode、AtCoder、Codeforces等竞赛平台实时抓取新题目，解决了"数据污染"问题。但问题在于：竞赛编程和真实开发之间有一条巨大的鸿沟。 第三代：SWE-bench（2024年）。 用真实GitHub issue作为评测任务，要求模型在完整代码仓库中定位和修复bug。这是目前最接近真实软件工程的评测范式。但SWE-bench也有局限：任务只涉及Python仓库，且以bug修复为主，不包括功能开发、架构设计、代码审查等。 2026年的新趋势：Agentic Code Evaluation 2026年最值得关注的评测新范式是Agentic Code Evaluation（智能体代码评测）。与传统评测不同，这种评测不只是看模型"能不能写出正确的代码"，而是看模型"能不能像人类工程师一样工作"： 理解需求文档 搜索代码库找到相关代码 设计修改方案 实现修改 运行测试并修复失败 提交Pull Request Claude 4 Opus的Agent模式在Agentic Code Evaluation中表现最好，但这仍然是一个非常早期的评测范式，缺乏标准化和数据污染控制。 你需要关注什么 如果你在2026年选择代码模型，我们的建议是： 不要只看HumanEval——它已经失去了区分度 LiveCodeBench是"代码智商"的较好指标——但仅限于竞赛编程 SWE-bench是"软件工程能力"的参考——但只测了bug修复 你自己的代码库是最好的评测集——用10个真实历史任务做测试 一个被忽视的真相：代码生成能力不等于代码理解能力。 很多模型能写出漂亮的代码，但无法理解一个中等复杂度的代码库。在软件工程中，理解代码比编写代码更重要——但大多数评测基准都在测"写"而不是"读"。

一张X光片的诊断 我们上传了一张肺部X光片给三个模型，要求它们给出诊断意见。Gemini 3 Ultra准确识别出"右肺下叶有阴影，疑似早期肺炎"，并给出了鉴别诊断。GPT-5识别出"肺部有异常"，但未能定位具体位置。Claude 4 Opus因为图像分辨率限制，只能给出模糊的"请咨询专业医生"。 这就是多模态评测的残酷现实：文本能力最强的模型，在多模态上未必最强。 三大评测基准，三个维度的真相 MMMU（多模态多学科理解）：6大学科、30个任务、11500道题。 涵盖艺术、商业、科学、医学、工程等学科，需要模型同时理解图像和文字，进行跨模态推理。Gemini 3 Ultra以78.6%排名第一，GPT-5为71.2%，Claude 4 Opus为69.8%。 MMBench（多模态基准评测）：20个能力维度，涵盖感知、推理、知识。 有趣的是，在这个基准上，GPT-5和Gemini 3 Ultra的差距缩小到仅3个百分点。MMBench更侧重"看图识别"能力，这恰好是GPT-5的强项。 Video-MME（视频理解评测）： 这个基准是2026年的新热点。Gemini 3 Ultra以65.3%的得分遥遥领先（第二名GPT-5仅51.2%）。Gemini 3 Ultra可以处理长达1小时的视频，而GPT-5的上下文窗口在多模态模式下大幅缩水，视频理解能力受限。 模型多模态能力的"偏科"现象 我们发现了一个有趣的现象：每个模型在多模态上有不同的"偏科"方向。 Gemini 3 Ultra：视觉全才。 图表理解、医学影像、视频分析、OCR——几乎在所有视觉子任务上表现均衡且优秀。这是Google原生多模态训练策略（从预训练阶段就融合视觉和文本）的成果。 GPT-5：图表专家。 在表格、图表、数据可视化理解上，GPT-5甚至略优于Gemini 3 Ultra。但在自然图像和视频理解上，GPT-5有明显的短板。 Claude 4 Opus：排版王者。 在文档理解、PDF解析、格式化输出方面，Claude 4 Opus表现最佳。但它的图像分辨率限制（最大约800万像素）在医学影像和卫星图像等场景中成为瓶颈。 DeepSeek V3：成本优先。 多模态不是DeepSeek V3的强项，但它的多模态API价格仅为GPT-5的十分之一。对于大批量图像处理任务，性价比压倒一切。 多模态评测的最大挑战 多模态评测比纯文本评测难得多。原因有三：第一，评测标准更主观（“描述这张图片"没有标准答案）；第二，图像质量、分辨率、格式都会影响结果；第三，多模态任务的多样性远超文本任务。 2026年，多模态评测的"黄金标准"还不存在。 现有基准各有侧重，没有任何一个能全面衡量模型的多模态能力。最实用的做法是：提取你业务中最常见的10种多模态场景，用真实数据做评测。 一个预测：2026年下半年，视频理解将成为多模态评测的新战场。 谁能在视频理解上领先，谁就掌握了多模态的下一个制高点。