一张X光片的诊断

我们上传了一张肺部X光片给三个模型，要求它们给出诊断意见。Gemini 3 Ultra准确识别出"右肺下叶有阴影，疑似早期肺炎"，并给出了鉴别诊断。GPT-5识别出"肺部有异常"，但未能定位具体位置。Claude 4 Opus因为图像分辨率限制，只能给出模糊的"请咨询专业医生"。

这就是多模态评测的残酷现实：文本能力最强的模型，在多模态上未必最强。

三大评测基准，三个维度的真相

MMMU（多模态多学科理解）：6大学科、30个任务、11500道题。 涵盖艺术、商业、科学、医学、工程等学科，需要模型同时理解图像和文字，进行跨模态推理。Gemini 3 Ultra以78.6%排名第一，GPT-5为71.2%，Claude 4 Opus为69.8%。

MMBench（多模态基准评测）：20个能力维度，涵盖感知、推理、知识。 有趣的是，在这个基准上，GPT-5和Gemini 3 Ultra的差距缩小到仅3个百分点。MMBench更侧重"看图识别"能力，这恰好是GPT-5的强项。

Video-MME（视频理解评测）： 这个基准是2026年的新热点。Gemini 3 Ultra以65.3%的得分遥遥领先（第二名GPT-5仅51.2%）。Gemini 3 Ultra可以处理长达1小时的视频，而GPT-5的上下文窗口在多模态模式下大幅缩水，视频理解能力受限。

模型多模态能力的"偏科"现象

我们发现了一个有趣的现象：每个模型在多模态上有不同的"偏科"方向。

Gemini 3 Ultra：视觉全才。 图表理解、医学影像、视频分析、OCR——几乎在所有视觉子任务上表现均衡且优秀。这是Google原生多模态训练策略（从预训练阶段就融合视觉和文本）的成果。

GPT-5：图表专家。 在表格、图表、数据可视化理解上，GPT-5甚至略优于Gemini 3 Ultra。但在自然图像和视频理解上，GPT-5有明显的短板。

Claude 4 Opus：排版王者。 在文档理解、PDF解析、格式化输出方面，Claude 4 Opus表现最佳。但它的图像分辨率限制（最大约800万像素）在医学影像和卫星图像等场景中成为瓶颈。

DeepSeek V3：成本优先。 多模态不是DeepSeek V3的强项，但它的多模态API价格仅为GPT-5的十分之一。对于大批量图像处理任务，性价比压倒一切。

多模态评测的最大挑战

多模态评测比纯文本评测难得多。原因有三：第一，评测标准更主观（“描述这张图片"没有标准答案）；第二，图像质量、分辨率、格式都会影响结果；第三，多模态任务的多样性远超文本任务。

2026年，多模态评测的"黄金标准"还不存在。 现有基准各有侧重，没有任何一个能全面衡量模型的多模态能力。最实用的做法是：提取你业务中最常见的10种多模态场景，用真实数据做评测。

一个预测：2026年下半年，视频理解将成为多模态评测的新战场。 谁能在视频理解上领先，谁就掌握了多模态的下一个制高点。