浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型

AIGC动态6个月前发布 AIGCOPEN
1,031 0 0
浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型

 

文章摘要


【关 键 词】 3D模型技术创新高效生成材质优化应用广泛

浙江大学、蚂蚁集团和深圳大学联合推出了一款名为MaPa的创新模型,该模型能够通过文本直接生成高分辨率、具有物理光照和超真实材质的3D模型。这一技术突破有助于提升游戏、VR、AR和影视等行业的开发效率。

MaPa模型在无参考图像的情况下,生成的模型材质、分辨率和局部细节方面,优于其他模型如TEXTure、Text2tex和Fantasia3D。其关键创新点包括分段图像生成、3D材质分组和材质图优化。

在分段图像生成过程中,MaPa将3D网格细分为多个小分段,类似于分解画作,使得每个小分段的细节能够独立处理。通过选择合适的视角,并使用预训练的2D扩散模型ControlNet生成与3D分段对齐的2D图像。

针对3D模型材质生成中的组织和管理难题,MaPa采用“材质分组”模块,利用GPT-4v模型智能识别和分组相似材质的3D分段,同时通过材质颜色相似性分析进一步提升材质的一致性。

材质图优化模块则是从预建的材质图库中检索最相似的材质图,并利用可微渲染模块对材质图参数进行优化。通过最小化生成的3D模型与渲染出的2D图像之间的差异,提高了材质的真实感,同时保持了渲染的效率。

由于3D模型架构的复杂性,MaPa采用连续迭代的方法,为模型的每个部分生成一致且真实的材质,即便是复杂的3D模型架构也能轻松应对。这一系列技术创新,使MaPa在3D模型生成领域展现出广阔的应用前景。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1388字 | 6分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 glm-4
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...