AI如何从0生成3D模型
前言近日,AIGC的火又烧到3D模型范围了,各大公司都开始或自研、或合作的形式研究如何生成3D模型。但目前无从知晓他们的进展和实现细节,只能通过一些公开的文章和项目了解下3D模型生成算法的现状。今天特意给大师带来有源码且斗劲新的实现。
项目链接:
https://zero123.cs.columbia.edu/
源码:
https://github.com/cvlab-columbia/zero123
正文
此文是由哥伦比亚大学以及丰田研究所共同完成,在上文的项目链接里可以试用体验。
简单概括就是基于单个 RGB 图像生成新视角的图像,然后进行3D重建。生成框架潜力很大,外接了Stable Diffusion后就有可能直接生成美术资源。
核心模块还是我们的老伴侣Diffusion Model
http://pic2.zhimg.com/v2-c716718016cce099fbef90b610b4ac91_r.jpg
图中展示了Dall-E-2,但完全可以换成Stable Diffusion,直接从0(文字)到3(模型)。
http://pic4.zhimg.com/v2-a78fdaf1b5e821eaca59740a154fb8cf_r.jpg
和之前的方式对比,进步显著,假以时日3Der也要经历冲击了(第二列是真实模型,第三列是本文算法的算法,后面两列是之前的算法效果)。
页:
[1]