利用宇宙的能力来处理数据！“物理网络”远胜深度神经网络轮到物理学家来揭示神经网络

文章图片
轮到物理学家来揭示神经网络的本质了：他们在尝试让宇宙为我们处理数据。
作者|CharlieWood
编译|王
编辑|岑峰
在一个隔音的板条箱里有着一个世界上最糟糕的神经网络。在看到数字6的图像后，这个神经网络会暂停片刻，然后显示出自己识别出的数字：0 。康奈尔大学的物理学家兼工程师PeterMcMahon主导了这个神经网络的开发，他不好意思地笑着说，这是因为手写的数字看起来很潦草。一位从NTT研究所来访问McMahon实验室的博士后LoganWright说，这个设备通常会给出正确的答案，不过他也承认，出错也很常见。
尽管表现平平，但这种神经网络是一个开创性的研究。研究人员把板条箱翻了过来，露出的不是电脑芯片，而是一个话筒，话筒朝着固定在扬声器上的钛板倾斜。不同于运行在0和1的数字世界中的神经网络，这个设备是以声音原理运行的。当赖特给出一个数字的图像时，图像的像素被转换成音频，然后扬声器振动钛板，使得实验室里充满了微弱的叽叽喳喳声。也就是说进行“读取”操作的是金属回声，而不是运行在硅芯片上的软件。这款设备的成功让人觉得难以置信，就连其设计者也不例外。
McMahon说：“无论震动金属的作用是什么，都不应该与对手写数字进行分类有任何关系。 ”
今年1月，康奈尔大学的研究小组在《Nature》杂志上发表了一篇论文，标题是“反向传播训练的深度物理神经网络（Deepphysicalneuralnetworkstrainedwithbackpropagation）” 。这篇论文介绍了这种设备的原始阅读能力，这给McMahon和其他人带来了希望，这告诉他们，该种设备进行多次改进后可能会给计算带来革命性的变化。

文章图片
当谈到传统的机器学习时，计算机科学家发现神经网络越大越好。具体原因可以参见下图中的文章，这篇叫做“计算机科学家证明为什么越大的神经网络表现越好（ComputerScientistsProveWhyBiggerNeuralNetworksDoBetter）”的文章中证明了：如果希望网络能够可靠地记住其训练数据，那么过度参数化不仅有效，而且还需要强制性执行。

文章图片
文章地址：https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks-do-better-20220210/
一个神经网络中填充更多的人工神经元(存储数值的节点) ，可以提高其区分腊肠犬和达尔马提亚犬的能力，也可以使其成功完成无数其他模式识别任务。真正巨大的神经网络能够完成写论文（如OpenAI的GPT-3）、画插图（比如OpenAI的DALL·E、DALL·E2和Google的Imagen），以及更多让人细思极恐的高难度任务。有了更多的计算能力，更伟大的壮举也便成为可能。这种可能性鼓励着人们努力开发更强大、更高效的计算方法。
McMahon和一群志同道合的物理学家拥护一种非常规的方法：让宇宙为我们处理数据。
McMahon说：“许多物理系统自然能够比计算机更高效或更快地进行某些计算。 ”他以风洞为例：当工程师们设计一架飞机时，他们可能会把蓝图数字化，然后花几个小时在超级计算机上模拟机翼周围的空气流动。或者，他们也可以把飞行器放在风洞里看看能不能飞起来。从计算的角度来看，风洞可以立即“计算”飞机机翼与空气的相互作用。