光速图像识别了解一下：低于1纳秒的那种 | Nature Alex发自凹非寺量子位|公众号

Alex发自凹非寺
量子位|公众号QbitAI比深度神经网络速度还快的是什么？
或许光子DNN可以回答这个问题。

文章图片
现在，美国研究者开发的一个光子神经网络(photonicdeepneuralnetwork ， PDNN) ，让图像识别仅需1纳秒。
1纳秒是什么概念？它等于10-9秒，这与最先进的微芯片单时钟周期（最小的时间单位）相当。
此外，研究者测试发现， PDNN对图像进行2分类和4分类的准确率分别高达93.8%和89.8% 。
诚然，如今的大型多层神经网络高效且运算能力很强，但其也受到硬件的限制，往往需要消耗大量的电力资源等。
而宾夕法尼亚大学的工程师们研发的PDNN ，能够直接分析图像，不需要时钟、传感器或大型存储模块，以有效降低耗能。
这项研究成果的相关论文在6月1日登上了Nature杂志。
光子DNN比传统DNN更快和传统DNN相比，光子DNN的原理和性能有何不同？
先来看看传统DNN：
图a是传统DNN的结构示意图，包括一个数据排列单元，然后是输入层、几个隐藏层，和一个提供分类输出的输出层。
图b展示了传统N输入神经元的结构：输入的线性加权和，通过一个非线性激活函数，产生神经元的输出。

文章图片
图c和图d分别是一个PDNN芯片的神经网络示意图和N输入神经元结构。
首先在一个5×6光栅耦合器上形成输入图像，然后将其排列成4个重叠的子图像，子图像的像素被传送到第一层神经元，形成一个卷积层。
后面的神经元与它们的前一层完全连接，该网络产生2个输出，可最多为4种图像信息分类。
对于这些神经元，其输入的都是光学信号。

文章图片
在每个神经元中，线性计算是通过光学方式进行的，而非线性激活函数是通过光电子方式实现的，从而可使分类时间低于570ps（=0.57ns）。
论文的通讯作者，电气工程师FiroozAflatouni对这个PDNN的性能补充描述道：它每秒可以对近18亿张图像进行分类，而传统的视频帧率是每秒24至120帧。
这里的PDNN芯片电路被集成在仅9.3mm2的面积内，不需要时钟、传感器以及大型存储模块。
一个激光器被耦合到芯片内，为各个神经元提供光源；该芯片包含两个5×6的光栅耦合器，分别作为输入像素阵列和校准阵列。

文章图片
不过，均匀分布的供给光每个神经元光提供了相同的输出范围，显然这将允许将其扩展到更大规模的PDNN 。
光子DNN芯片的图像分类测试研究者们让这个PDNN微芯片识别手写字母。
一组实验测试了PDNN芯片的二分类性能：需要对共计216个“p”和“d”字母组成的数据集进行分类。
该芯片准确率高于93.8% 。（（92.8%+94.9%）/2）

文章图片
另一组实验测试了PDNN芯片的四分类性能：需对共计432个“p”、“d”、“a”、“t”字母组成的数据集进行分类。
该芯片分类准确率高于89.8% 。

文章图片
这些结果表明，即使有更多的类（如分四类情况），且存在打印机引起的变化和噪声， PDNN芯片仍取得了较高的分类精度。
为了比较这个PDNN和传统DNN的图像分类准确性，研究者还测试了在Python中使用Keras库实现的190个神经元组成的DNN ，结果显示：它在相同图像上的分类准确率为96% 。