Stability.ai开源3D模型,仅需0.5秒就能快速生成

AIGC动态4个月前发布 AIGCOPEN
521 0 0
Stability.ai开源3D模型,仅需0.5秒就能快速生成

 

文章摘要


【关 键 词】 3D生成Stable Fast 3D性能提升AIGC开发模型对比

开源大模型平台Stability.ai推出了一款名为Stable Fast 3D(SF3D)的3D生成模型,该模型能够以极快的速度从图片生成高质量的3D模型。用户仅需0.5秒即可完成生成,生成的模型包括UV展开网格、材质参数以及具有减少照明烘焙的反照率颜色等。SF3D的开源地址和huggingface链接分别提供了模型的访问和集成方式。

相较于传统3D重建模型,SF3D在性能上进行了显著提升。传统模型通常输出低分辨率的Triplane表示,导致高频和高对比度纹理场景中出现混叠伪影,而SF3D基于TripoSR架构,通过引入新模块改进输出质量,增强的Transformer网络能够预测更高分辨率的三平面,有效减少混叠伪影。

SF3D还从PointInfinity获得灵感,通过避免在更高分辨率三平面标记上的自注意力,实现了复杂度与输入大小的线性关系,生成了96×96分辨率、1024通道的三平面。此外,SF3D通过“Material Net”网络预测整个物体的单一金属和粗糙度值,以增强反射对象的输出网格外观和渲染时的模型材质。

为了稳定训练并防止网络崩溃,SF3D采用了概率预测方法,通过预测Beta分布的参数并最小化对数似然来训练网络。同时,SF3D引入了“Light Net”网络来预测输入图像中的光照,使用高分辨率Triplane预测球形高斯照明图,解决了光照变化导致的问题。

在性能评估方面,SF3D选择了GSO和OmniObject3D作为主要数据集,并与OpenLRM、TripoSR、LGM、CRM、InstantMesh和ZeroShape等知名3D模型进行了综合对比。结果显示,SF3D在重建准确形状、产生更详细纹理以及视觉质量方面均优于当前主流3D模型。

SF3D的推出为3D生成领域带来了新的突破,其快速生成高质量3D模型的能力,将为AIGC开发者生态和市场研究带来积极影响,推动大语言模型(LLM)在3D领域的应用落地。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1035字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...