AMI Labs 冯雁：AI 迈向现实世界，世界模型不可或缺 | ICML 2026

30 0 0

文章摘要

在ICML 2026大会上，学者冯雁系统阐述了AI智能体迈向现实物理世界所必需的核心技术与发展路线。未来物理世界AI主要呈现两大形态：嵌入可穿戴设备的主动式辅助智能体，以及部署于自动驾驶和机器人等自主系统中的执行智能体。这两类智能体均需内化一套可因果推理的物理认知框架，以具备对物理世界演化的精准预测能力。

当前主流的大语言模型和视觉语言模型因依赖文本等间接数据学习，无法准确预测实际物理力，且其优化目标易导致幻觉产生，难以跨越到物理世界落地的泛化鸿沟。在世界模型的构建上，生成式路线试图通过预测每个像素来理解世界，而联合嵌入预测架构则追求因果正确性。JEPA通过预测潜空间中的抽象表征来忽略无关细节，在物理世界落地场景中展现出参数更小、推理更快且鲁棒性更强的天然结构性优势。

沿此技术脉络，研究团队取得了多项关键突破。针对机器人执行智能体，相关模型实现了高效的视觉表征学习与动作规划。针对可穿戴辅助智能体，团队提出了视觉语言世界模型及VL-JEPA架构。该架构通过在嵌入空间中联合编码视觉与文本信息，实现了低延迟、零样本的实时动作跟踪与状态理解，显著提升了设备端的计算效率与主动协助能力。此外，团队还发布了大规模动作数据集以推动学术生态建设。

随着AI智能体在现实世界中自主性的增强，其引发的伦理与安全问题日益凸显。持续开启的感知设备带来了隐私风险，而智能体的类人交互容易导致用户的过度信任与情感依赖，这要求在模型设计阶段必须平衡用户参与度并建立防操纵机制。