字节跳动、浙大推出Coin3D:用几何代理,控制3D模型生成

AIGC动态5个月前发布 AIGCOPEN
829 0 0
字节跳动、浙大推出Coin3D:用几何代理,控制3D模型生成

 

文章摘要


【关 键 词】 3D模型交互控制几何代理模型生成技术创新

由字节跳动和浙江大学研究人员联合开发的创新模型Coin3D,通过引入几何代理的方式,实现了对3D模型生成过程的交互式控制和指导。该模型的创新之处在于用户可以通过简单的几何形状来引导3D模型的生成,并对生成的模型进行细节调整和再生,从而提高生成模型的质量和符合度。

Coin3D的核心模块之一是3D适配器,其设计灵感来源于体积多视图扩散模型,通过将用户在3D建模软件中构建的简单形状集合转化为3D控制体积,实现了对扩散生成过程的3D感知控制。3D适配器接收两个关键输入:代理形状样本的特征体积和多视图图像融合体积,通过去噪迭代和自注意力机制,确保生成的3D对象与代理形状保持一致。

为了解决直接从多视图图像重建3D模型可能遇到的质量问题,Coin3D采用了体积-SDS技术,在模型重建阶段利用代理引导的特征体积,通过评分蒸馏采样过程中有效利用受控的3D上下文,显著提高了网格重建的保真度和一致性。这使得生成的3D模型不仅符合用户的预期形状,而且在细节上更加精致和准确。

此外,Coin3D还提供了交互式特定编辑功能,允许用户在不破坏整体结构的前提下,自由地对3D模型的任意部分进行调整和创新。用户可以通过调整代理形状的尺寸、位置、组合方式等,快速构建出模型的大致轮廓,然后指定想要修改的模型部分,系统会自动识别这部分与代理形状相对应的区域,确保编辑的自然过渡和风格一致性。

研究人员使用CLIP分数、ImageReward和GPTEvals3D等指标对Coin3D的性能进行了评估。实验结果表明,Coin3D在整体指标上表现最佳,证明了基于几何代理的条件控制能够显著提升3D模型生成的质量。这一研究成果为3D模型生成领域带来了新的突破,有望推动相关技术和应用的进一步发展。

论文链接:https://arxiv.org/abs/2405.08054

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1582字 | 7分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...