把Waymo玩成GTA游戏!全生成式的车辆行驶轨迹视频合成器来了

把Waymo玩成GTA游戏!全生成式的车辆行驶轨迹视频合成器来了

 

文章摘要


【关 键 词】 全生成式新视角合成车辆模拟图像编辑高效渲染

中科院自动化所团队提出了一种名为FreeVS的全生成式新视角合成方法,该方法能够渲染真实场景中任意车辆行驶轨迹下的视频,无需进行耗时的场景重建过程。FreeVS通过从稀疏点云投影中恢复相机成像的生成管线,类似于Inpainting模型,基于稀疏但可靠的点云投影点补全目标图像。在训练过程中,生成模型学习基于给定帧的三维先验生成邻近帧的相机成像,即使训练数据中驾驶车辆大多走直线,也能学习相机视角的横向移动。在测试阶段,图像信息染色的场景三维点云被投影至任意所需视角,以控制图像生成结果。

FreeVS能够在真实场景中模拟车辆移动,包括变线行驶、撞向行人、大Z型前进等,并且能够对场景内容进行编辑,如替换场景车辆或定制车辆运动。与基于重建的方法相比,FreeVS在新车辆运动轨迹下几乎不受图像模糊、伪影等现象困扰。此外,FreeVS还能合成虚拟相机位置上的成像,而基于重建的方法难以应对虚拟相机位置上全部观测的缺失。总的来说,FreeVS提供了一种新颖的全生成式新视角合成方法,能够在无需场景重建的情况下,高效高质地渲染大量新相机视图。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1129字 | 5分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★☆☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...