多模态评测基准：当AI开始「看」世界，我们怎么考它？

从"读"到"看"

2023年，AI主要是"读"——处理文本。2026年，AI已经能"看"——理解图片、视频、音频、图表。

但评测一个AI的"视力"远比评测"阅读能力"复杂。一段文字的含义是相对确定的，但一张图片的含义可以是多重的。这给多模态评测基准的设计带来了独特的挑战。

MMBench：2023年发布，包含约3000道多选题，覆盖20个能力维度（从物体识别到场景理解）。2026年仍然是多模态评测的"黄金标准"之一。

MME：2023年发布，包含14个子任务，覆盖感知和认知两个层面。MME的独特之处在于它的"对抗性设计"——有些题目故意设计得很容易让模型犯错。

MMMU：2024年发布，多模态多学科理解评测。覆盖30个学科，需要模型综合理解文本和图片信息。这是目前最难的"大学水平"多模态评测。

Video-MME：2025年发布，视频理解评测。测试模型对长视频（30分钟以上）的理解能力，包括事件识别、时序推理、人物关系理解等。

AudioBench：2025年发布，音频理解评测。测试模型对语音、音乐、环境声音的理解能力。

挑战一：主观性。一张图片的含义可以是多重的。一张"一个人在雨中奔跑"的照片，可以解读为"锻炼"、“赶时间”、“伤心”、“自由”。哪种解读是"正确"的？这取决于上下文。

挑战二：文化依赖性。图片的理解高度依赖文化背景。一张"红灯笼"的图片，中国人会联想到春节，但其他文化背景的人可能没有这个联想。

挑战三：粒度的不确定性。对一张图片的描述，应该有多详细？“一只猫"是正确答案，但"一只坐在窗台上的橙色虎斑猫在阳光下打盹"也是正确答案。评测标准需要明确"需要多详细”。

挑战四：多模态融合的复杂性。多模态评测不只是"看图说话"，而是需要模型综合理解文本、图片、音频、视频等多种模态的信息。这种"跨模态推理"的评测难度远高于单一模态评测。

挑战五：评测成本高。多模态评测通常需要人工评估（因为自动化评测很难捕捉多模态理解的细微差别），这大大增加了评测的成本和时间。

多模态Agent评测：测试模型在多模态环境中执行任务的能力，如"看图购物"、“看图导航”、“看视频学习”。

跨模态检索评测：测试模型在不同模态之间建立联系的能力，如"根据文字描述找图片"、“根据图片找相关视频”。

多模态安全评测：测试模型是否会从多模态输入中产生有害内容，如对图片中的人物产生偏见性描述。

实时多模态评测：测试模型对实时视频流、实时音频流的理解能力，这对于自动驾驶、机器人等应用至关重要。

多模态评测基准是AI评测领域最活跃、最具挑战性的方向之一。2026年，多模态评测正在从"看图说话"的简单评测，进化为"多模态推理"的复杂评测。但这条路还很长——多模态评测的"主观性"和"文化依赖性"问题，短期内还看不到完美的解决方案。