上海AI Lab王靖博：人形机器人，从「盲动」走向「感知驱动」丨GAIR 2025

68 0 0

文章摘要

第八届GAIR全球人工智能与机器人大会聚焦前沿技术探索，上海人工智能实验室王靖博博士在”数据&一脑多形”专场分享了人形机器人控制与交互策略的最新研究。他指出，人形机器人具备天然通用性优势：现实环境围绕人类需求构建，互联网存在海量人类行为数据，相关研究能反哺人机交互安全等领域。

研究核心在于解决Sim2Real迁移难题。团队通过集成化环境构建（含台阶、吊顶等复杂地形）和创新性感知方案，显著提升了运动策略的迁移成功率。关键技术突破包括：采用体素化点云表征环境，压缩信息量的同时保留关键几何特征；在仿真中引入机器人本体激光雷达自扫描，使传感器数据分布更贴近真实世界；开发预判式控制策略，使机器人能提前感知地形变化并规划动作，而非依赖碰撞后的力反馈。

在感知与控制融合方面，研究对比了RGB相机、深度相机和激光雷达的优劣。体素化表征方案有效解决了传统方法存在的噪声敏感、信息冗余等问题。实验显示，改装后的系统具备全向运动能力，在台阶、吊顶等场景中表现出色。特别值得注意的是，加入本体自扫描显著缩小了Sim2Real性能差距，使仿真与真实环境中的表现趋于一致。

行为基础模型构建是另一重要突破。通过引入”行为隐变量”，系统能根据环境和任务动态调整控制策略。该模型支持任务无关和任务相关两种隐变量形式，后者通过四阶段训练框架（数据重构、代理训练、控制模式设计、师生学习）实现技能快速迁移。测试表明，模型不仅能完成基础运动跟踪，还可实现全身遥操作和复杂动作组合，如回旋踢需要根部运动与关键点隐变量的线性配合。

针对交互任务，团队提出生成式模仿学习框架，采用对抗性运动先验约束动作合理性。通过分离式编码器设计、多样化环境构建和专属任务掩码，模型展现出强大的零样本适应能力。在复合任务（如复杂地形搬运）中，方法通过技能模块复用和参数冻结策略，收敛速度优于现有技术40%以上。为提升Sim2Real效果，研究还对物体属性及观测误差进行域随机化处理，并整合6D位姿估计等先进感知技术。

未来发展方向包括扩大模型容量、探索离线监督学习等更高效的数据利用方式。当前成果已证明，融合感知的预判式控制能显著提升人形机器人在非结构化环境中的自主性，为通用具身智能系统的实现提供了重要技术路径。