利用宇宙的能力来处理数据！「物理网络」远胜深度神经网络( 三 ) 轮到物理学家来揭示神经网络

文章图片
论文地址：https://arxiv.org/abs/1709.03698在数学中，函数将输入（通常是x值）转换为输出（曲线在这个位置的y值或高度）。在特定类型的神经网络中，层数越多效果越好，因为函数不那么参差不齐，更接近于某种理想曲线。这项研究引起了McMahon的思考。也许通过一个平稳变化的物理系统，人们可以避开数字方法中固有的阻塞。诀窍在于找到一种驯化复杂系统的方法——通过训练来调整它的行为。 McMahon和他的合作者选择钛板作为这样一个系统，因为钛板的许多振动模式以复杂的方式混合传入的声音。为了使平板像神经网络一样工作，他们输入一种编码输入图像的声音（例如手写的6）和另一种表示突触权重的声音。声音的峰值和波谷需要在正确的时间撞击钛板，以便设备合并声音并给出答案——例如，一个新的声音在六毫秒内最响，代表“6”的分类。
文章图片
图注：康奈尔大学的一个研究小组训练了三种不同的物理系统来“读取”手写数字：从左到右分别是一个振动的钛板、一个晶体和一个电子电路。图源：左图中图为康奈尔大学RobKurcoba摄；右图为Quanta杂志CharlieWood摄。该小组还在一个光学系统中实现了他们的方案——输入图像和权重被编码在两束由晶体混合在一起的光束中——以及一个能够类似地变换输入的电子电路中。原则上，任何具有拜占庭行为的系统都可以如此，但是研究人员相信光学系统具有特殊的前景。晶体不仅能极快地混合光线，而且光线还包含了关于世界的丰富数据。 McMahon想象他的光学神经网络的微缩版本有一天会成为自动驾驶汽车的眼睛，能够识别停车标志和行人，然后将信息输入汽车的计算机芯片，就像我们的视网膜对进来的光进行一些基本的视觉处理一样。然而，这些系统的致命弱点在于，训练它们需要回归数字世界。反向传播涉及到反向运行神经网络，但是底片和晶体不能轻易地分解声音和光。因此，该团队为每个物理系统构建了一个数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确的答案。通过这一训练，这块钛板学会了对手写数字进行分类，正确率为87% 。而上图中的电路和激光的精度分别达到93%和97% 。研究结果表明“不仅标准的神经网络可以通过反向传播进行训练， ”法国国家科学研究中心（CNRS）的物理学家JulieGrollier说， “这太美了。 ”该研究小组的振动钛板还没有使计算的效率接近大脑的惊人效率，这个设备甚至不及数字神经网络的速度。但McMahon认为他的设备十分惊人，因为这种设备证明了人不只可以用大脑或电脑芯片来思考。 “任何物理系统都可以是神经网络。 ”他说。 3学习部分另一个的难题是——如何让一个系统完全自主学习。德国马克斯·普朗克光科学研究所的物理学家FlorianMarquardt认为，有一种方法是建造一台倒着运行的机器。去年，他和一个合作者在论文“基于Hamiltonian回波反向传播的自学习机器（Self-learningMachinesbasedonHamiltonianEchoBackpropagation）”中提出了一个可以在这样的系统上运行的反向传播算法的物理模拟。
文章图片
论文地址：https://arxiv.org/abs/2103.04992为了证明这是可行的，他们用数字技术模拟了一种类似于McMahon设备的激光装置，将可调的权重编码在一种光波中，与另一种输入波（编码，比如图像）混合。他们使输出更接近正确的答案，并使用光学组件来分解波，反转这个过程。 “神奇的是， ”Marquardt说， “当你用相同的输入再一次尝试设备时，输出倾向于更接近你想要的位置。 ”接下来，他们正在与实验人员合作建立这样一个系统。但是专注于反向运行的系统限制了选择，所以其他研究人员将反向传播完全抛在了后面。因为知道大脑学习的方式不是标准的反向传播，所以他们的研究没有受到打击，反而更进一步。 “大脑不是反向传播的， ”斯塞利尔说，当神经元A与神经元B交流时， “传播是单向的。 ”