2026年,计算机视觉领域正在发生一场静悄悄的革命。这场革命没有Sora那样的聚光灯,没有GPT-5那样的发布会,但它的影响可能比两者都更深远。
这场革命的名字叫「开放词汇检测」(Open-Vocabulary Detection, OVD)。
在传统的计算机视觉中,一个目标检测模型只能识别它「见过」的类别——你在COCO数据集上训练模型,它就能识别80个类别;你在ImageNet上训练,它就能识别1000个类别。你想让模型识别一个新类别?重新标注数据,重新训练模型。
但在2026年,这个「闭集」范式正在被彻底打破。开放词汇检测让AI可以检测任何你用自然语言描述的物体——不需要额外训练,不需要额外标注,只需要你告诉它「找什么」。
你说「找一只戴着红色围巾的白色猫」,它就能找到。你说「检测所有有裂缝的瓷砖」,它就能检测。你说「找画面中所有看起来悲伤的人」,它就能尝试。
这不仅仅是「技术升级」,这是「范式革命」。
闭集检测的「天花板」
要理解开放词汇检测的意义,先要理解传统「闭集检测」的局限。
传统的目标检测模型(如YOLO、Faster R-CNN、DETR)遵循一个基本假设:世界上的物体类别是有限的、已知的、固定的。 训练时定义好类别列表(比如「人、车、狗、猫、椅子」),推理时只能识别这些类别。
这个假设在2026年已经严重限制了CV的应用:
局限一:长尾问题无解。 世界上有数以万计的物体类别,但大多数类别的训练样本极少。你可以在COCO上训练80个类别的检测器,但现实世界中有多少种「椅子」?办公椅、电竞椅、躺椅、吧台椅、轮椅、婴儿餐椅……每一种都有不同的外观。闭集模型无法泛化到这些长尾类别。
局限二:新类别需要重新训练。 工业场景中,产线换了新产品,检测模型就要重新训练。医疗场景中,发现了新的病灶类型,需要重新标注和训练。这种「硬编码」的灵活性,在真实世界中是不可接受的。
局限三:无法理解「组合概念」。 闭集模型可以识别「人」和「红色」和「衣服」,但无法理解「穿红色衣服的人」。它可以把「人」和「自行车」分开检测,但无法理解「骑自行车的人」。这些组合概念需要重新定义类别。
局限四:无法适应开放世界。 自动驾驶汽车在道路上会遇到各种「意想不到」的物体——散落的货物、掉落的树枝、路边的动物尸体。闭集模型无法处理这些「未知的未知」。
闭集检测的「天花板」,不是精度的天花板,而是灵活性的天花板。 而开放词汇检测,正在打破这个天花板。
开放词汇检测的技术路线
2026年,开放词汇检测的技术路线已经基本清晰。核心思路是:利用视觉-语言模型(VLM)将对文本的理解和对图像的理解对齐到同一个语义空间。
路线一:Grounding DINO系列。 IDEA研究院在2024年发布的Grounding DINO,是开放词汇检测的里程碑式工作。它的核心思想是:将目标检测的「类别分类」问题,转化为「文本-图像匹配」问题。你不是在「猫、狗、车」三个类别中做分类,而是在「这张图片中的这个区域,和文本描述’一只橙色的猫’匹配吗?」这个问题上做判断。
Grounding DINO 2(2026年发布)在开放词汇检测上的表现已经接近甚至超越了传统的闭集检测器。在LVIS(1203个类别)上,Grounding DINO 2的零样本检测AP达到45.2%,而传统闭集模型(如DETR)在完全训练后也只有约48%。这意味着:开放词汇检测器在不经过任何目标数据集训练的情况下,已经接近了闭集检测器的全监督性能。
路线二:CLIP + 检测器。 这是最直观的思路——用CLIP作为「视觉-语言编码器」,将其嵌入到目标检测框架中。OWL-ViT(Google, 2023)、RegionCLIP(Microsoft, 2022)、Detic(Meta, 2022)都走的是这条路。2026年,这条路线已经非常成熟,但在细粒度定位上不如Grounding DINO。
路线三:SAM + 文本。 Meta的SAM(Segment Anything Model)在2023年展示了「分割一切」的能力,但SAM本身不理解「语义」——它不知道分割出来的区域是什么。2026年,SAM 2结合文本编码器,实现了「开放词汇分割」——不仅分割一切,还能告诉你分割的是什么。你可以说「分割出所有汽车」,SAM 2就能做到。
路线四:通用视觉-语言架构。 GPT-5 Vision、Gemini 2.0 Vision、Claude 4 Vision等通用多模态模型,在2026年也具备了强大的开放词汇检测能力。虽然它们不是「检测专用模型」,但对于很多应用场景来说,「发一张图给GPT-5 Vision,让它描述图中有哪些物体」,已经足够好用了。
2026年开放词汇检测的「最佳实践」:Grounding DINO 2做检测+SAM 2做分割。 先用Grounding DINO 2找到「所有汽车」的位置(bounding box),再用SAM 2对每个位置进行像素级分割。这个组合在2026年已经成为开放词汇视觉任务的「标准管线」。
开放词汇检测正在「吃掉」哪些场景
开放词汇检测不是「实验室玩具」,2026年它已经在多个场景中落地。
场景一:工业质检的「零样本」部署。 传统的工业质检,每换一个新产品就要重新标注数据、重新训练模型。2026年,基于开放词汇检测的质检系统,只需要描述「你要检测什么缺陷」——「检测PCB板上桥接的焊点」「检测玻璃表面的划痕」「检测布料上的污渍」——AI就能开始工作。一家深圳的工业视觉公司告诉我,使用开放词汇检测后,新产线的部署时间从3周缩短到2天。
场景二:自动驾驶的「开放世界」感知。 自动驾驶的传统感知模型只能检测「白名单」中的物体(车、人、自行车、交通标志等)。2026年,开放词汇检测让自动驾驶系统可以识别「白名单之外」的物体——路面上散落的货物、被风吹倒的树木、正在过马路的动物。虽然这些检测结果还不能直接用于规划控制,但它们可以作为「异常警告」触发安全响应。
场景三:遥感图像分析。 卫星图像中有无数种物体——不同类型的建筑、车辆、船只、农田、森林。传统的遥感目标检测模型只能识别预定义的类别。2026年,开放词汇检测让遥感分析变得极其灵活——你可以用自然语言查询「找到所有带有游泳池的建筑」「检测所有停泊在港口的集装箱船」「标记所有被洪水淹没的区域」。
场景四:电商和内容审核。 电商平台需要检测商品图片中的「违规内容」——logo侵权、违禁品、不当内容。传统的做法是训练特定的违规检测模型,但违规类型不断变化。2026年,开放词汇检测让内容审核系统可以灵活地检测「任何违规内容」——只要用自然语言描述规则即可。
场景五:机器人的「指令理解」。 家庭服务机器人需要理解「把桌上的红色杯子拿给我」——这需要检测「桌子」「红色」「杯子」。2026年,开放词汇检测+开放词汇分割,让机器人可以将自然语言指令直接映射到视觉场景中的物体。
开放词汇检测的「三个未解难题」
尽管进展惊人,2026年的开放词汇检测仍有三个关键挑战。
挑战一:细粒度识别。 「检测一只狗」很容易,「检测一只哈士奇」也不难,但「检测一只西伯利亚哈士奇和阿拉斯加雪橇犬的杂交后代」就很难了。开放词汇检测在「粗粒度」类别上表现很好,但在「细粒度」类别(如狗的品种、鸟的种类、车的型号)上仍然不如专门的细粒度识别模型。
挑战二:幻觉和误检。 开放词汇检测模型有时会「看到」不存在的物体——你让它找「金色的苹果」,它可能把「黄色的橘子」标注为「金色的苹果」。这种「幻觉」问题在2026年仍然没有完全解决,尤其是在复杂场景和模糊描述下。
挑战三:推理效率。 开放词汇检测模型通常比闭集模型更大、更慢。Grounding DINO 2的推理时间约为YOLOv10的5-10倍。对于实时场景(如自动驾驶、工业高速检测),推理效率仍然是一个瓶颈。
开放词汇检测的下一个战场
2026年,开放词汇检测的竞争正在从「能检测」转向「能理解」。
从检测到理解: 不只是检测「有什么物体」,而是理解「物体之间的关系」「场景中正在发生什么」「物体的状态是什么」。例如:「检测所有正在交谈的人」「找到没有被正确安装的零件」「标记所有看起来危险的场景」。
从2D到3D: 开放词汇检测从2D图像扩展到3D点云和3D场景。2026年,OpenScene、LERF等3D开放词汇方法,可以在3D场景中检测和定位任意物体。
从图像到视频: 开放词汇检测从静态图像扩展到视频流。不仅检测「视频中有什么」,还能跟踪「这些物体在视频中如何移动和变化」。
从通用到专用: 在通用开放词汇检测的基础上,针对特定领域(医疗、工业、遥感)进行轻量级适配,获得领域专用的开放词汇检测能力。
结语:CV的「iPhone时刻」
闭集检测是CV的「功能机时代」——每个模型只能做预设的几件事,换一个任务就要换一个模型。开放词汇检测是CV的「智能机时代」——一个模型可以做任何你描述的事情,灵活性和通用性实现了质的飞跃。
2026年,开放词汇检测正在从「研究热点」变成「生产工具」。如果说2023年是「大语言模型的元年」,那么2026年可能是「开放词汇视觉的元年」。
CV的未来,不是识别更多类别,而是理解任何概念。