3D 还是 2D？哥大李昀烛：通用机器人基础模型需要走向「中间地带」| ICRA 2026

45 0 0

文章摘要

在ICRA 2026学术会议上，哥伦比亚大学学者针对具身智能领域真实物理交互数据采集成本极高且模型评估困难的核心痛点，提出将结构化世界模型作为机器人策略训练与评估的可扩展数据引擎。该研究开辟了一条融合纯端到端大模型与纯物理引擎优势的中间路线，旨在突破机器人基础模型的数据瓶颈。

在策略评估方面，研究团队利用3D高斯溅射与结构化世界模型，为复杂的柔性物体构建了高精度数字孪生系统。该系统实现了仿真与现实的高度对齐，使得大规模的并行策略评估成为可能，有效解决了真实机器人测试效率低下的问题。通过严格控制测试协议与初始状态的一致性，数字仿真环境在成功率预测上与真实环境表现出极高的线性相关性，能够准确筛选出最佳的模型检查点，并支持复杂操作任务的可靠验证。

在策略训练方面，团队开发了无需真实机器人参与的交互式世界模拟器。该模拟器能够根据动作指令稳定生成包含复杂物理交互的多视角视频，证明了纯人工智能构造的视频预测模型完全能胜任长周期的柔性物体交互任务。实验表明，在覆盖的多种任务和策略架构中，世界模拟器生成的虚拟轨迹在训练价值上与真实轨迹效果高度接近，成功实现了零真实数据条件下的真机零样本落地。

针对未来技术的发展愿景，研究强调了三维表征和物理结构在机器人领域的长期价值。将3D物理先验与海量二维数据学习进行深度融合，用简洁有效的物理先验约束和组织大规模数据学习，是赋予机器人真实物理世界结构化理解能力的关键方向。这种结合方式不仅保留了物理法则的严谨性，还充分发挥了数据驱动的表达能力，为具身智能的规模化发展提供了切实可行的技术路径。