一个物理问题
你是怎么知道"推杯子会掉下桌子"的?你不需要有人教你这个——你小时候可能推过杯子,看到了结果。或者你见过别人推杯子,或者你通过"物理直觉"推断出来的。
AI如何"学会"同样的物理?2026年的答案是:通过观看海量视频,学习"下一帧预测"。
金句:世界模型的核心思想极其简单——预测未来。 如果你能准确预测下一秒会发生什么,你就"理解"了世界。
三大技术组件
组件一:视频Tokenizer(编码器)。 视频是像素的序列——一个1080p视频每秒有约6000万像素。直接处理像素太昂贵了。视频Tokenizer将视频"压缩"成一个紧凑的"潜在表示"(latent representation)——就像把一本书压缩成摘要。2026年,最流行的视频Tokenizer是VQ-VAE的变体,能将视频压缩100-1000倍。
组件二:Transformer(时序预测器)。 将压缩后的视频序列输入Transformer,让它预测"下一帧的潜在表示"。Transformer的自注意力机制天然适合处理时序数据——它可以学习"物体A在移动,它将撞到物体B"这样的时序关系。
组件三:扩散模型(Diffusion Model)。 将Transformer预测的"下一帧潜在表示"解码为像素。扩散模型从噪声出发,逐步"去噪"生成清晰的图像。Sora使用扩散模型作为解码器,这就是为什么它能生成如此逼真的视频。
为什么世界模型会"物理幻觉"?
世界模型产生的"物理幻觉"(物体消失、重力异常)有三个原因:
原因一:数据偏差。 训练数据中的视频大多是"正常"场景——物体在桌子上,不会突然掉下去。模型很少看到"物理上不可能"的场景,所以它没有学会"什么是不可能的"。
原因二:累积误差。 世界模型是"自回归"的——每一帧基于前一帧生成。如果某一帧出现微小误差,这个误差会累积放大,最终导致"物理崩溃"。
原因三:缺少物理归纳偏置。 人类大脑天生带有"物理归纳偏置"——我们天生"知道"物体不会突然消失,重力永远向下。当前的AI没有这种先验知识,完全从数据中学习。
2026年的新方向:JEPA
Yann LeCun提出的JEPA(联合嵌入预测架构)是2026年世界模型研究的新方向。JEPA不是在"像素空间"中预测未来,而是在"抽象表示空间"中预测——预测"物体的位置"而不是"像素的颜色"。这让预测更高效、更准确。
结论:世界模型是AI"理解物理"的关键技术。 2026年,世界模型仍然在"视频生成"和"物理模拟"之间摇摆。但方向是明确的:从"像素预测"到"状态预测",从"观看世界"到"理解世界"。