NVIDIA 推出可将2D视频转换为3D模型的全新AI模型

1358072804

NVIDIA Research展示了 Neuralangelo，这是一种新的 AI 模型，可将 2D 视频转换为细腻的3D模型，“生成建筑物、雕塑和其他现实世界物体的传神虚拟复成品。”

艺术家可以将生成的资产导入设计应用法式，对其进行编纂以用于艺术、视频游戏开发、机器人技术和工业数字孪生品。

“Neuralangelo 提供的3D重建功能将为创作者带来巨大好处，辅佐他们在数字世界中模拟重建真实世界，”研究高级主管兼研究论文的共同作者Ming-Yu Liu 说。“该东西最终将使开发人员能够将详细的对象——无论是小型雕像还是大型建筑物——导入到视频游戏或工业数字孪生品的虚拟环境中。”





您可以在上面的演示中看到它是如何工作的，此中 NVIDIA 展示了该模型如何重现米开朗基罗的大卫以及重建建筑物的内部和外部。



Neuralangelo 基于即时神经图形原语工作，这是 NVIDIA Instant NeRF背后的技术，可将2D图像转换为3D模型。



使用从分歧角度拍摄的物体或场景的2D视频，这个模型会选择几个帧。一旦确定了每一帧的相机位置，Neuralangelo就会创建场景的大致3D表示，然后优化衬着以锐化细节。生成可以在其他软件中使用的3D对象或大型场景。



Neuralangelo是 NVIDIA Research将于6月18日至22日在计算机视觉和模式识别 (CVPR) 会议上展示的众多项目之一。其论文涵盖的主题包罗姿势推算、3D重建和视频生成。

对这方面感兴趣的伴侣可以查看https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/以获取更多信息哦。

网络颜色

搞个无名的雕塑试下行不行