伯克利人工智能研究院的一支团队,刚刚详细介绍了一项将平面图像转制为 3D 模型的新技术。虽然听起来并不新鲜,但最新进展已能通过单张图产出极高分辨率的 3D 模型。随着后续研究与进步,其有望将任何一张图片,转制为细节丰富和超级实用的三维模型。研究人员解释到:通常情况下,3D 重建需要用到卷积神经网络(简称 CNN)来预测任意给定对象在三维空间中的形状,因此需要通过 CAD 模型对神经网络进行训练。
神经网络可以学习各种类型的对象,但由于预测量方面的局限性,其通常输出得相当粗糙。于是研究人员们从低分辨率模型开始着手,借之产出更高分辨率的模型,但其最初还是源于一张平面图像。
论文中写到:“我们利用了对象表面的二维本质,从低分辨率中预判一个表面,然后分层预测高分辨率”。该团队将他们的方法称作‘分层表面预测’(简称 HSP),从预测一个给定物体的低分辨率体积像素(voxels)开始这个流程。
分层表面预测(HSP)偏离了传统的卷积神经网络(CNN)方法,基于自由空间、边界、以及占用空间 3 个方面对每个立体像素进行分类。如此这般,系统就能够预测更高分辨率的元素,最终产出高分辨率的体积像素网格。
上图所示的图像,展示了该 3D 模型生成和细化分析过程。比如从一架飞机的平面图像开始,将之逐渐精炼到一个更加详细的成品。
最终我们看到的,不仅仅是一个基本的三维飞机形状,而是连引擎和机翼都能清晰呈现出来。
[编译自:SlashGear , 来源:Berkeley]