智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式

66 0 0

文章摘要

智源研究院于2024年10月发布的悟界·Emu3是全球首个基于”Next-Token Prediction”的原生多模态世界模型，实现了图像、文本、视频的统一处理。一年后升级的Emu3.5在自回归架构基础上引入”Next-State Prediction”范式，模拟人类自然学习方式，获得可泛化的世界建模能力。该模型突破传统多模态系统将理解与生成割裂的局限，通过统一框架实现对物理动态、时空演化和长时程因果关系的预测。

Emu3.5展现出三大核心能力：高层级意图理解与规划、动态世界模拟、泛化交互基础。其创新性体现在三个方面：自回归设计实现多模态数据统一处理，大规模强化学习技术在多模态领域的首次应用，以及从Emu3到Emu3.5的性能显著跃升。这些突破验证了多模态领域存在类似语言模型的Scaling范式可能性。模型训练采用两阶段预训练策略，消耗超过10T Token数据，其中视觉-语言交错数据包含6300万条、总时长790年的多样化视频内容。

技术实现上，Emu3.5通过三项关键创新取得突破。首先是原生多模态强化学习系统，构建具备通用性、任务特异性和统一性的综合奖励机制，避免单一奖励过拟合。其次是推理加速技术DiDA，将自回归模型的推理速度提升20倍，使其性能媲美扩散模型。最后是340亿参数规模的模型架构设计，在保持高效的同时实现多任务统一处理。这些技术创新使模型能够精准呈现复杂动作序列，完成交互式场景探索与问题操作。

该研究的理论基础源自对人类学习本质的重新思考。研究团队认为，人类认知建立于多模态体验而非纯文本输入，视频数据因其时空连续性成为理想的世界知识载体。与主流组合式架构相比，Emu系列的自回归设计更接近通用智能系统特征，在具身智能等场景展现出根本性优势。当前模型仅利用不足1%的互联网公开视频数据，预示着巨大的性能提升空间。

从应用视角看，Emu3.5标志着多模态世界模型进入产品化阶段。其价值不仅体现在技术指标上，更在于开创性地融合算法创新、工程架构优化和数据训练范式突破。这种综合性创新路径得益于智源研究院独特的组织形态，为跨维度研发提供了必要条件。模型展现出的因果推理和长时序一致性能力，为解决机器人操作等现实难题提供了新思路，可能开辟大模型发展的新赛道。