康奈尔计算学院院长Kavita Bala：「元宇宙」算什么？上帝之眼或将通过 AI 诞生( 三 ) 在今年斯坦福HAI实验室的春季

文章图片
图注：端到端的管线
在理想情况下，我们有某种已经学习到的表征，在拍下照片后，我们能够辨认出照片上的物体都具有什么材料属性，具有什么材料参数，也能得知三项有关不同散射的参数：光在介质中传播了多远，散开了多少，散射时物质的反照率是多少等等。
而我们现在拥有很不错的基于物理的渲染器，可以模拟光射到物体表面的整个物理过程，我认为我们已经有创建这种管道的能力了。
如果把基于物理的渲染器和习得表征结合起来，得到这个端到端的管道，再将输出图像和输入图像进行匹配并使得损失最小化，如此一来我们就能得到材料属性（即上图最中间的materialπ）。
要有效地做到这一点，我们需要将学习和物理有效结合起来，把世界上的物理渲染过程颠倒过来，努力得到逆参数。

文章图片
但是，对于形状和材料的恢复是很困难的，以上流程要求渲染引擎R是可微分的，最近的很多研究都在研究这个问题。
想要就能像电影里的场景一样复原一个商品的视觉效果，我们需要有一个可微分的渲染管线，即是说我们需要能够微分关于想要恢复的属性的损失。以下是一个恢复材料和几何形状的例子，我们可以用链式法在表面边缘上进行简单取样，从而获取我们需要的信息。

文章图片
然后我们就能得出如下图的一个复原物体视觉效果的流程。首先我们可以用手机对想要复原的物体拍摄一系列图片，然后对图片进行初始化，并对材料和形状进行优化，再通过可微分渲染进行再次优化，最终该物体就可以呈现逼真的模拟效果，可以运用在增强现实/虚拟现实等应用中。

文章图片
在视觉模拟当中，次表面散射是一个非常重要的现象，下图是一张多位艺术家的作品，叫做Cubes（方块）。这些其实是用98种食物做成的边长为2.5cm的方块。 98种食物的每一种表面都不尽相同，十分复杂，这激起了我们的探索兴趣。

文章图片
由于食物的表面非常复杂，所以在复原材料的属性时必须要考虑到次表面散射，这方面的具体内容将会在我们稍后发布的论文中呈现，我们已经开发了一种全微分渲染管道。我们利用这种管道恢复的是以次表面散射为核心的材料属性。最后我们复原了这两种水果不同的材料和形状，成功呈现了奇异果和火龙果方块的视觉效果。

文章图片
图注：复原奇异果和火龙果方块的流程
在以上研究中，我们运用了学习和物理相结合的方式，并总结出了以下3点重要性。
理解视觉现象；
在复原物体的视觉效果前，先对其呈现的视觉效果进行预判；
用户控制。

文章图片
3世界尺度的视觉发现还记得电影里主角走在街上，他看着橱窗里的商品，然后视觉界面就告诉他他所看到物体的一切信息的场景吗？
这就是细粒度对象识别（Fine-grainedobjectrecognition），是计算机视觉中的一个很大的研究领域，细粒度对象识别在在产品识别方面、房地产业等许多行业都得到了应用。