上科大、IEEE Fellow 虞晶怡：我眼中的城市元宇宙｜第四届中国人工智能安防峰会( 二 ) 作者|李溪编辑|余快2021年12月

文章图片
2018年上海第一届进博会，我们展示了一个技术，叫“亿万像素的上海” ，照片可以进行实时无穷尽地推进。
可能大家都去过上海，但绝大部分的人没有去过东方明珠的塔尖（因为去的话就会被就地拘留）。这幅图片是140亿像素的上海，我可以随时随地做实时渲染，也可以推进到东方明珠的塔尖，你甚至可以看到塔尖上有几根天线。
这个系统是如何完成的？通过光场相机系统，用很多相机拍摄后进行拼接，再进行渲染。我们不希望这个渲染是在集群上进行的，因为云端渲染非常昂贵，而是在手机等便携终端上，比如刚才的示范样片就是在小米电脑上进行实时渲染。

文章图片
我们当时利用了计算成像的算法技术，其实就是把图像进行分级的分割和存储，最后在存储之后，就能够非常快地索引到每一个部分的模块，这个文章发在TVCG上。
这项技术最近有很多进展，过去一年，有很多基于深度学习的方法，能把整个图像压缩在一个网络之中。
计算成像另一个优势是，不但能做超高清的成像，还能做超高速的成像。

文章图片

文章图片
十年前我做了一项工作，叫“超高速下的编码快门成像”（CodedShutterImaging：Ultra-HighSpeed），我拍摄了高速运动的车辆，试图通过图像的逆问题把图像恢复出来，比如高清恢复车牌。
传统的快门在高速运动下为什么做不了？

文章图片
在传统快门高拍摄的过程中，整个快门就是关和开，如果把这个问题映射到傅里叶域，首先面临的是图像卷积的问题，它等于是用模糊的（也就是低频的）卷积核卷积了一张清晰的图像，整个图像的高频成分会被损坏，更糟糕的是逆卷积非常难，因为这是基本的数学问题。

文章图片
Sincfunction有一个弊端，首先它的高频部分会发生非常猛烈的振荡。其次，它会多次切入零点，如此，这个乘积就无法做除法，因为到处都是0点，那怎么求解这个问题？十年前我们就开始想如何解决这个问题。

文章图片
第一种方式是快门随机地开/关，图像同样会被模糊掉。但为什么这个随机的开/关能使得“去模糊”的方法做得更好？因为随机开/关，等价于每次开的时候是sinc函数，但因为它的位置不一样，等于把不同的sinc函数在里面叠加，其结果就是这个频谱非常好看，因为同时在这个位置出现0的可能性非常低，我的目标是在频域里不希望出现0点，出现0点没办法除。有了这个频谱之后，用编码成像的方法对图像进行恢复，结果恢复得很好。

文章图片
举个例子，这是一幅编码成像的图片，是我的同事在MIT拍摄的。大家可以猜一下这辆红色小轿车是什么型号？是哪个厂出的？绝大部分的人会猜测它是奥迪，也有人说是TOYOTA ，但其实这个车通过编码成像，恢复出来的是大众的车牌。在过去这些年，编码成像得到了长足发展，在高速成像、散焦成像上都能通过编码成像得到更好的图像，过去几年很多高质量的图像都是通过编码成像技术获得。

上科大、IEEE Fellow 虞晶怡：我眼中的城市元宇宙 ｜第四届中国人工智能安防峰会( 二 )

上科大、IEEE Fellow 虞晶怡：我眼中的城市元宇宙｜第四届中国人工智能安防峰会( 二 )