康奈尔计算学院院长Kavita Bala：「元宇宙」算什么？上帝之眼或将通过 AI 诞生在今年斯坦福HAI实验室的春季

文章图片
在今年斯坦福HAI实验室的春季会议上，康奈尔计算机学院院长KavitaBala以“视觉外观和理解：从微米分辨率到世界级”为题，就她在数字化现实世界方面的研究进行了精彩的演讲。编译｜王玥
编辑｜陈彩娴这几年我的研究主要关注视觉外观和理解，从微米分辨率到世界级。在我开始演讲之前，我先给大家展示一个很有趣的例子，这部电影里主角和世界互动的视觉界面很有意思。
大家能够看到，当这个人在现实世界中行走时，他的视觉界面上出现了一系列文字。主角是一个汽车迷，所以视觉界面向他展示了这辆车的丰富信息：

文章图片
仅仅需要一张照片，视觉界面就能告诉你这辆车的全部信息。我们需要计算机视觉和视觉理解领域的研究来推动这种技术的实现。
主角继续走，当走近这些模特时，你会发现她们并不是真人，尽管她们看起来十分逼真。想要达到这样的技术，我们就需要研究逼真外观（RealisticAppearance）。

文章图片
然后主角走到一个购物橱窗面前，他看到了橱窗里的所有商品。这次他的视觉界面向他展示了里面商品的所有信息，甚至会模拟一个佩戴该商品的效果，不需要真正触碰，主角就可以体验到商品。

文章图片
想要达到我给大家展示的这段视频的效果，我们需要一种叫做“逆图形（inversegraphics）”的技术，才能把商品的所有属性数字化，从而与之互动。
我展示这些例子是为了向大家展示我们正在开发的各种技术，大家想必已经听过很多关于增强现实/混合现实的内容，我刚才提到的都是现在推动增强现实发展的技术。今天我将重点讲解其中的视觉技术。
一个模型看起来非常真实，以至于你无法区分其到底是真的还是假的，这就是计算机图形学领域中的逼真外观；这个领域还有另一个方向，就是拍下一个物体的照片，我们如何去理解这张照片上物体的所有属性；接着我们可以在此基础上继续发展，从而理解这个世界的属性。
这就是我今天要讲的三大内容：
【康奈尔计算学院院长Kavita Bala：「元宇宙」算什么？上帝之眼或将通过 AI 诞生】基于物理的视觉外观模型（Physics-BasedVisualAppearanceModels）
逆图形（InverseGraphics）
世界尺度的视觉发现（World-ScaleVisualDiscovery）
1基于物理的视觉外观模型让我们先从基于物理的图形讲起。
首先我想介绍一个著名的测试：康奈尔盒子（Cornellbox）测试，其旨在通过将渲染场景与同一场景的实际照片进行比较来确定渲染软件的准确性。我给大家展示的两张图，一张是人为渲染的，另一张是真的——其实左边是真实的场景，右边是虚拟的图片。

文章图片
多年来人们致力于创造出这个测试检测不出来真假的图片。不过真实的世界并不像康奈尔盒子里面的图片那么简单，真实的世界里有许多种材料，比如这张图里展示的织物、皮肤、树叶、食物，等等。人们不断地与这个世界互动，判断自己所看到的是否真实。当我们想要模拟出下方左图这个模特的逼真视觉效果时，如何表现这些复杂的材料便是一个很大的挑战，这也是我研究了多年的问题。