单卡30秒跑出虚拟3D老婆！文本生成3D高精度数字人，毛孔细节清晰

莫籽安 · 发表于 2023-5-9 15:25:26

房屋萧箫发自凹非寺
量子位 | 公众号 QbitAI

ChatGPT给AI行业注入一剂鸡血，一切曾经的不敢想，都成为如今的基操。
正持续进击的Text-to-3D，就被视为继Diffusion（图像）和GPT（文字）后，AIGC范围的下一个前沿热点，得到了前所未有的存眷度。
这不，一款名为ChatAvatar的产物低调公测，火速收揽超70万浏览与存眷，并登上抱抱脸周热门（Spaces of the week）。

△ChatAvatar也将撑持从AI生成的单视角/多视角原画生成3D风格化角色的Image to 3D技术，受到了广泛存眷
现行beta版本生成的3D模型，能够直接连同PBR材质下载到当地。不仅效果不错，更重要的是免费可玩。有网友惊呼：

有够酷的，感觉能很便捷地生成本身的数字孪生了。

由此吸引不少网友纷纷试用并贡献脑洞。有人拿这款产物和ControlNet结合，发现效果细腻写实到有些出乎意料。

这款使用起来几乎零门槛的Text-to-3D东西名叫ChatAvatar，由国内AI草创公司影眸科技团队打造。
据了解，这是全球首款Production-Ready的Text to 3D产物，通过简单的文本，例如一个明星的名字、或是某个想要的人物长相，就能生成影视级的3D超写实数字人资产。
效率也非常高，平均仅需30秒，就能做出一张以假乱真的脸——甚至是你本身的。

未来，生成范围还将拓展到其他三维资产。
而且该模型带有规整的拓扑、带有4k分辩率的PBR材质，同时带有绑定，可以直接接入Unity、Unreal Engine和Maya等制作引擎的出产管线中。
所以，ChatAvatar到底是怎样一个3D生成东西？背后究竟用到了什么技术？
30秒完成一次“画皮”

亲身体验ChatAvatar的玩法发现，可以说是真·零门槛。
具体而言，只需以对话的形式，在官网上用大白话向ChatBot描述本身的需求，就能按需生成3D人脸，并覆盖一张贴合模型的真实“人皮”。
对话全流程里，按照用户需求，ChatBot会进行引导，尽可能细节地了解用户对所需模型的想法。

体验过程中，我们向ChatBot描述了这样一个想要生成的3D形象：

点击左侧的Generate按钮，平均10s不到，屏幕上就呈现按照描述生成的9种分歧3D人脸的初始雏形。
随意选择此中一种后，会基于选择继续优化模型和材质，最后呈现覆盖皮肤后的模型渲成果，并展现分歧光影下的衬着效果——这些衬着在浏览器内实时完成：

用鼠标拖动，还能旋转头部，并放大看更细节的局部效果，毛孔和痘痘都清晰可见：

值得一提的是，如果用户是个提示工程高手，直接在左侧框中输入prompt，同样可以完成生成。
最后，一键下载，就能获得一个可直接接入制作引擎并被驱动的3D数字头部资产：

虽然beta版本还没上线发型功能，但整体而言，最后生成的3D数字人资产与描述内容已经有高匹配度。
官网上还陈列了许多ChatAvatar用户的生成资产，分歧人种、分歧肤色、分歧春秋，喜怒哀乐，美丑胖瘦，各式边幅包罗万象。

总结一下ChatAvatar这款产物生成3D数字人资产的效果亮点：
首先是使用简便；其次是生成跨度大，且五官可改，还能生成与面部贴合的面具、纹身等，譬如这样：

按照官方宣传片介绍，ChatAvatar甚至可以进一步生成超出人类范围的角色，如阿凡达等影视作品中的角色：

最重要的是，ChatAvatar解决了3D模型与传统衬着软件存在的兼容性问题。
这意味着，ChatAvatar生成的3D资产可以直接接入游戏和影视出产流程。
当然，在正式接入工业流程之前，首轮公测，ChatAvatar已经吸引了数千名艺术家和专业美术人员参与，推特相关话题受到近百万的浏览与存眷。
随随便便一条推文，浏览量都能破50k。

积攒了多量“自来水”不是没有原因，看看3D的爱因斯坦之脸，试问谁不说一句真的很像？

要是和ControlNet结合，生成效果不亚于单反相片直出：

已经有不少用户体验后，开始畅想将这个Text-to-3D东西大规模应用在游戏、影视等工业应用上了。
据了解，用户反馈会成为ChatAvatar团队快速迭代和更新的重要依据，形成数据飞轮，以便及时提供更加完整和贴近需求的功能。
事实上，对于此前的3D行业设计师或公司来说，大部门AI文字转3D应用并非效果不好，但实际落地到工业设计流程上，还是有不少难度。

此次ChatAvatar能如此出圈，背后究竟有什么技术上的原因？
符合财富要求的3D资发生成，究竟难在哪？

都说AI要替代人类，事实上仅仅就Text-to-3D范围，就并非那么容易替代。
最大的难点，在于让AI生成的东西从尺度上符合财富对3D资产的要求。
这里面的财富尺度怎么理解？从专业3D美工设计的视角来说，至少有三个方面——
质量、可控性和生成速度。
首先是质量。尤其是对于强调视觉效果的影视、游戏行业来说，要想生成符合管线要求的3D资产，拓扑规整度、纹理贴图的精度等“行业潜法则”，都是AI产物第一道必需迈过去的坎。
以拓扑布局的规整度为例，这里本质上指的是3D资产布线的合理度。
对于3D资产来说，拓扑的规整度，往往直接影响物体的动画效果、改削措置效率和贴图绘制速度：
据行内3D美工设计介绍，手工重拓扑的时间成本往往比制作3D模型本身更高，甚至按倍数以计。这意味着即使AI模型生成的3D资产再炫酷，如果生成的拓扑规整度达不到要求，成本就无法从底子上得到降低。更别提纹理精度。

△影眸科技的ChatAvatar项目在生成质量、速度以及尺度兼容上对比先前的工作都有明显的提升
以目前游戏、影视行业遍及要求的PBR贴图为例，包含的反射率贴图、法线贴图等一系列贴图，相当于2D图像PSD文件的“图层”，是3D资产流水线出产必不成少的条件之一。
然而，目前AI生成的3D资产往往是一个“整体”，少有能按要求单独生成符合财富环境的PBR贴图的效果。
其次是可控性，对于生成式AI而言，如何让生成的内容更加“可控”，是CG财富对于这项技术提出的又一大体求。
以大众所熟知的2D财富为例，在ControlNet呈现之前，2D AIGC行业一直处在一种“半摸黑前进”的状态。
也就是说，AI能生成指定类此外物体画面，却无法生成指定姿态的物体，生成效果端赖提示工程和“玄学”。
而在ControlNet呈现后，2D AI图像生成的可控性获得了突飞大进的提升，然而对于3D AI而言，要想生成对应效果的资产，很大程度上依旧得依靠专业的提示工程。
最后是生成速度。对比3D美工设计而言，AI生成的优势在于速度，然而如果AI衬着的速度和效果无法与人工匹敌的话，那么这项技术依旧无法给财富带来收益。
以当前在AI技术上颇受欢迎的NeRF为例，其财富化落地就面临速度和质量的兼容性难题。
在生成质量较高的情况下，基于NeRF的3D生成往往需要相当漫长的时间；然而如果追求速度，即使是NeRF生成的3D资产便完全无法投入财富使用。
但即使解决了这个问题，如安在不损掉精度的前提下让NeRF与传统CG行业的主流引擎兼容仍然是一个巨大的问题。
从上面的财富尺度化流程不难发现，大部门AI文本转3D应用落地存在两大瓶颈：
一个是需要手动完成提示工程，对于非AI专业人士、或不了解AI的设计师来说不够友好；另一个是生成的3D资产往往不符合财富尺度，即使再都雅也无法投入使用。
针对这两点，ChatAvatar给出了两点具体有效的解决方案。
一方面，ChatAvatar实现了除手动输入提示工程外的第二条道路，也是更适合普通人的一条捷径：通过“甲方模式”直接对话描述需求。
团队官方推特介绍称，为了实现这一特性，ChatAvatar基于GPT的能力，开发了一种对话描述转人像特征的方式。
设计师只需要不竭和GPT聊天，描述本身想要的“感觉”：

GPT就能自动辅佐完成提示工程，将成果输送给AI：

换而言之，如果说ControlNet是2D行业的“Game Changer”，那么对于3D财富来说，能实现文本转3D的ChatAvatar，无异于行业的游戏法则改变者。
另一方面更为重要，那就是ChatAvatar能完美兼容CG管线，即生成的资产在拓扑布局、可控性和速度上都符合财富要求。
这不仅意味着生成3D资产之后，下载的内容可以直接导入各种后期制作软件进行二次编纂，可控性更强；
同时，生成的模型和高精度材质贴图，还能在后期的衬着中达到极为传神的衬着效果。
为了实现这样的效果，团队为ChatAvatar自研了一个渐进式3D生成框架DreamFace。

此中的关键，在于训练该模型用的底层数据，即影眸科技基于“穹顶光场”采集到的世界首个大体量、高精度、多表情的人脸高精度数据集。
基于这个数据集，DreamFace可以高效地完成产物级三维资产的生成，即生成的资产带有规整的拓扑、材质，带有绑定。
DreamFace主要包罗三个模块：几何体生成，基于物理的材质扩散和动画能力生成。

△生成的资产驱动衬着的效果
通过引入外部3D数据库，DreamFace能够直接输出符合CG流程的资产。
上述两大技术瓶颈的解决，本质长进一步加速了AIGC大水下，“生成”将代替“搜索”的时代趋势——
影眸团队认为，“生成”将成为新一代数字资产的获取方式。
此前，我们需要找到一张符合需求的图片或者资产时，凡是会使用搜索引擎进行查询。
ChatAvatar项目主页上展示的巨大的“搜索框”和整齐的资产卡片，看似搜索引擎，但实际上是一种与搜索截然分歧的资产查找方式。

△ChatAvatar项目主页
影眸科技CTO张启煊对此介绍：

以前，如果我们需要一张插图，可能要在多个图库中反复搜索，或是通过Photoshop合成、手绘等较复杂的方式才能得到成果。但在Stable Diffusion等技术呈现后，你只需要通过文字描述想要的图像，就能直接生成符合需求的成果。
这对于传统的资产库来说是一个巨大的冲击。而ChatAvatar的方针，正是用3D生成替代传统的搜索式3D资产库。

AIGC范围的下一个前沿热点

ChatGPT一石激起千层浪，进入AI 2.0时代之后，人们的目光也投向包含图像、视频、3D等信息的多模态AI。
仅就3D生成范围而言，无论是影视还是游戏行业，3D内容出产和消费市场已经拥有足够大的规模，但在制作层面却因技术难度遭遇掣肘。
譬如，文本事域大行其道的Transformer，在3D生成范围的使用还相对有限。
去年夏天，当文生图范围因Diffusion Model取得成就后，人们开始等候文字生成3D有同样惊艳的表示。一旦生成式AI的3D创作技术成熟，VR、视频等的内容创作都将起飞。

△扩散模型Midjourney5.1生成的“梵高风摄影”
事实上，无论是科技巨头还是草创公司，的确都在朝Text-to-3D这个标的目的暗暗发力。
去年9月，谷歌发布了基于文本提示生成3D模型的FreamFusion，声称不需要3D训练数据，也不需要改削图像扩散模型。紧随其后，Meta也推出可以从文本一键生成视频的Make-A-Video模型。
后来的Text-to-3D的AI模型队伍中，还先后呈现了英伟达Magic3D、OpenAI最新开源项目Shap-E等，本年8月将举办的计算机图形顶会SIGGRAPH 2023所展示的论文，也有多篇与Text-to-3D有关。
影眸科技有关文本指导的渐进式3D生成框架DreamFace的论文，就是此中之一。
而ChatAvatar，也是目前为止最集中在3D数字人资产标的目的的生成式模型产物。
其背后的AI草创公司影眸科技，2020年孵化自上海科技大学MARS尝试室，成立后获得奇绩创坛与红杉种子的两轮投资。
公司专注于专注于计算机图形学、生成式AI的研究与产物化。2021年，AIGC还未掀起巨浪之时，公司就已经推出国内首个AIGC ToC绘画应用Wand，产物一度登顶AppStore分区榜首。

而这个颇具前瞻性，且已在业内小有名气的团队，平均春秋只有25岁。
将首个商业化场景具体锚定在数字人后，ChatAvatar是他们乘AIGC春风在该标的目的的最新进展。
作为一个新推出的产物，ChatAvatar在兼容性、完成度和精度等产物效果层面，都超出了影眸团队预期。然而在吴迪口中，行至此处的过程“很狼狈”。
主要原因不外乎“缺人”一事。目前，影眸已经在多类别3D生成技术上取得了进展，下一步还打算推出“3D生成大模型”。

△影眸科技将于5月上线首个多模态跨平台3D搜索引擎Rodin，打通Sketchfab等多个3D资产平台，撑持以文搜3D、以图搜3D甚至以3D搜3D。搜索引擎只是Rodin的初级形态，影眸将把Rodin打造为3D生成大模型。
需要持续向前推进，就需要更多的工程化团队、技术美术和拥抱生成式AI的产物人才插手团队。作为一个以研发为布景主基调的团队，这样的人才仍然紧缺。
“人是万物的尺度，”吴迪暗示道，“我们需要更多志同道合的人插手，共同敦促3D范围的创新成长。”
可以看到，ChatAvatar背后技术从无到有的搭建，揭示了一家AI草创公司的不竭创新；而从这家公司对人才的巴望以小见大，更揭示着AIGC浪潮下，每一个细分范围想要从水下浮出水面的心。
你愿意拥抱生成式AI，成为Text-to-3D范围的Game Changer吗？
—完—
@量子位 · 追踪AI技术和产物新动态
深有感到的伴侣，欢迎附和、存眷、分享三连վ'ᴗ' ի ❤

lq780120 · 发表于 2023-5-9 15:25:37

人手1个孙燕姿，来，给大爷唱个《布拉格城堡》[doge]

殇情☆ · 发表于 2023-5-9 15:26:23

看起来像加了prompt输入的facegen modeller，一个拉滑块捏脸工具。facegen已经有二十年历史了。

		自动登录	找回密码
密码			立即注册

单卡30秒跑出虚拟3D老婆！文本生成3D高精度数字人，毛孔细节清晰

本帖子中包含更多资源