复旦可信具身智能研究院&上海交大：给自动驾驶装上可检索的「空间记忆」丨CVPR 2026

23 0 0

文章摘要

自动驾驶系统在夜间、雨雾或复杂路口等低能见度场景中，常因实时传感器受限而难以准确理解道路空间。针对这一瓶颈，研究团队提出引入离线地理信息作为可检索的空间记忆，通过车辆实时位姿检索对应位置的街景与卫星图像，并与车载视觉特征进行深度融合。为支撑该架构，团队构建了nuScenes-Geography扩展数据集，采用全景投影策略优化存储效率，并专门设计可靠性估计模块动态评估地理数据的匹配度与时效性，从而有效规避数据过期、定位偏差或道路变更带来的误导风险。

地理图像的核心价值在于补充静态道路结构信息，而非替代实时动态感知。实验数据表明，该方法对在线建图与占用预测任务提升显著，模型在低曝光与遮挡条件下能够精准恢复车道线、人行道及可行驶区域等细节。同时，地理先验为世界模型提供了真实的空间结构约束，大幅抑制了长视频生成过程中的道路漂移与背景幻觉。相比之下，该机制对车辆与行人等动态目标的三维检测增益微弱。在端到端规划环节，地理信息虽未显著优化轨迹拟合精度，却在夜间及恶劣气象条件下有效降低了碰撞率，验证了其在提升系统安全冗余方面的实际效用。

自动驾驶技术正从单一依赖实时传感器，向实时感知结合历史空间记忆的新范式演进。这种检索增强机制打破了传统感知模型的时空局限，使车辆在感官受限时仍能依据道路原有拓扑进行稳健决策。该工作不仅明确了外部地理数据在各类驾驶任务中的适用边界，也为高阶自动驾驶应对长尾场景、构建可靠世界模型提供了可拓展的底层技术路径，未来可通过融合车队历史数据进一步强化空间理解能力。