西湖大学修宇亮：数字人重建，慢慢都会变成基础模型的微调任务 | GAIR 2025

66 0 0

文章摘要

在第八届GAIR全球人工智能与机器人大会上，西湖大学助理教授修宇亮分享了远兮实验室在高精度数字人重建领域的三项突破性进展。UP2You技术将传统数字人建模时间从4小时压缩至1.5分钟，通过创新性地将”脏数据”转化为多视角正交图片，实现了重建效率的质的飞跃。该技术的核心优势在于重建质量随输入图片数量增加而稳定提升，即使面对手机相册等非专业拍摄的杂乱图像也能获得理想效果。

ETCH技术解决了从穿着服装的三维扫描中还原解剖学准确人体结构的难题。通过定义衣服与皮肤间的等变紧度向量，该技术首次实现了服装厚度与人体形态的精确建模，避免了传统方法将服装直接视为皮肤导致的体型失真问题。这项获得ICCV Highlight Paper的工作，仅需几秒即可完成精确的人体拟合，为虚拟试衣、医疗仿真等领域提供了新工具。

Human3R系统实现了15FPS实时动态重建，首次在单张商用GPU上同步完成场景重建与人体姿态预测。该技术突破性地将传统多阶段流程整合为单模型前馈式处理，借鉴CUT3R的骨干网络并新增人体回归分支，通过视觉提示调优策略实现高效训练。系统能够准确重建复杂场景中多人交互的连续动作，为行为理解、虚拟制作等应用开辟了新途径。

修宇亮指出，数字人重建正逐步演变为基础模型的微调任务。随着通用3D重建模型的强大，越来越多的专业问题正在被解决。远兮实验室的三个工作分别从数据预处理、解剖学建模和系统集成三个维度推进了该领域发展：UP2You实现了非专业数据的有效利用，ETCH建立了服装与人体的精确映射关系，Human3R则验证了端到端一体化解决方案的可行性。

这些技术突破背后反映了数字人研究的新趋势：从静态建模转向动态交互，从孤立对象转向场景融合，从专业采集转向日常数据。修宇亮展望未来，数字人技术将向”Everything, Everyone, Everywhere All at Once”的方向发展，实现人、场景、物体的同步重建与交互。远兮实验室将持续聚焦与人相关的多维研究，包括面部表情、服装仿真、肌肉骨骼建模等方向，推动数字人技术向更真实、更智能、更实用的方向发展。