AI如何从0生成3D模型

qq50846030

前言

近日，AIGC的火又烧到3D模型范围了，各大公司都开始或自研、或合作的形式研究如何生成3D模型。但目前无从知晓他们的进展和实现细节，只能通过一些公开的文章和项目了解下3D模型生成算法的现状。今天特意给大师带来有源码且斗劲新的实现。


项目链接：
https://zero123.cs.columbia.edu/
源码：

https://github.com/cvlab-columbia/zero123

正文

此文是由哥伦比亚大学以及丰田研究所共同完成，在上文的项目链接里可以试用体验。

简单概括就是基于单个 RGB 图像生成新视角的图像，然后进行3D重建。生成框架潜力很大，外接了Stable Diffusion后就有可能直接生成美术资源。



核心模块还是我们的老伴侣Diffusion Model






图中展示了Dall-E-2,但完全可以换成Stable Diffusion，直接从0（文字）到3（模型）。




和之前的方式对比，进步显著，假以时日3Der也要经历冲击了（第二列是真实模型，第三列是本文算法的算法，后面两列是之前的算法效果）。