逼真到恐怖!小姐姐挤眼挑眉五官乱飞,3D化身全新算法秒杀谷歌

AIGC动态3周前发布 AIera
113 0 0
逼真到恐怖!小姐姐挤眼挑眉五官乱飞,3D化身全新算法秒杀谷歌

 

文章摘要


【关 键 词】 3D头像神经网络高斯点云表情捕捉虚拟交互

研究人员提出了一种全新的算法NPGA,通过利用高斯点云神经网络模型,能够生成高质量、高保真的3D头像。该算法的一个关键创新是采用神经参数化头模型(NPHM),捕捉人脸的细微表情变化,使得3D数字化身能够逼真模拟人类表情。此外,研究人员还引入了“拉普拉斯项”来增强化身的表现力。

在实验评估中,NPGA在自我重现任务中展现出相较于之前SOTA模型的显著提升,约为2.6PSNR。这一技术的应用前景广阔,涵盖电影、游戏、AR/VR远程会议以及元宇宙等多个领域

传统上,3D头像的生成往往采用网格3DMM,但NPGA通过高斯点云方式使得渲染更加高效和逼真。研究团队指出,底层表达空间对于虚拟人的质量至关重要,不仅影响可控性,还决定了细节清晰度的上限。

为了提升模型的准确性,团队使用了NeRSemble数据集,这是一个包含多视角视频的数据集,用于追踪和提取身份和表情代码。尽管研究主要关注头部重建,忽略了躯干部分,但NPGA在重建头部动作和表情方面已取得显著进步,相较于之前的数据集表现更加逼真。

综上所述,NPGA算法在3D头像生成领域实现了重大突破,其高保真、可控的虚拟化身逼真到足以让人怀疑是否与真人交谈,为未来虚拟交互体验带来了新的可能性。

网易AI智能绘画

原文和模型


【原文链接】 阅读原文 [ 4156字 | 17分钟 ]
【原文作者】 新智元
【摘要模型】 glm-4
【摘要评分】 ★★★★★

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...