利用宇宙的能力来处理数据！「物理网络」远胜深度神经网络( 四 ) 轮到物理学家来揭示神经网络

文章图片
图注：CNRS的物理学家JulieGrollier实现了一种物理学习算法，被视为反向传播的一种有希望的替代方案。图源：ChristopheCaudroy2017年， Scellier和蒙特利尔大学的计算机科学家YoshuaBengio开发了一种称为平衡传播的单向学习方法。我们可以这样了解其运作方式：想象一个像神经元一样的箭头网络，它们的方向表示0或1 ，由作为突触权重的弹簧连接在网格中。弹簧越松，连接的箭头就越不容易对齐。首先，旋转最左边一行的箭头，以反映手写数字的像素，然后在保持最左边一行的箭头不变，让这种扰动通过弹簧扩散出去转动其他箭头。当翻转停止时，最右边的箭头给出了答案。关键是，我们不需要通过翻转箭头来训练这个系统。相反，我们可以在网络底部连接另一组显示正确答案的箭头，这些正确的箭头会使上面这组箭头翻转，整个网格就进入了一个新的平衡状态。最后，将箭头的新方向与旧方向进行比较，并相应地拧紧或松开每个弹簧。经过多次试验，弹簧获得了更聪明的张力， Scellier和Bengio已经证明，这种张力相当于反向传播。 “人们认为物理神经网络和反向传播之间不可能存在联系， ”Grollier说， “最近情况发生了变化，这非常令人兴奋。 ”关于平衡传播的最初工作都是理论性的。但在一篇即将发表的文章中， Grollier和CNRS的物理学家JérémieLaydevant描述了该算法在D-Wave公司制造的量子退火机器上的执行。该装置有一个由数千个相互作用的超导体组成的网络，它们可以像弹簧连接的箭头一样，自然地计算出“弹簧”应该如何更新。然而，系统不能自动更新这些突触权重。 4实现闭环至少有一个团队已经收集了一些部件来构建一个用物理学来完成所有繁重工作的电子电路，其能完成的工作有思考、学习和更新权重。宾夕法尼亚大学的物理学家SamDillavou说：“我们已经能够为一个小系统闭合回路。 ”
文章图片
图注：宾夕法尼亚大学的物理学家SamDillavou修补了一个可以在学习过程中自我修改的电路。 Dillavou和合作者的目标是模仿大脑，大脑才是真正的智能，其是一个相对统一的系统，不需要任何单一结构来发号施令。 “每个神经元都在做自己的事情， ”他说。为此，他们构建了一个自学习电路，在这个电路中作为突触权重的是可变电阻，神经元是电阻之间测量的电压。为了对给定的输入进行分类，这个电路将数据转换为施加到几个节点上的电压。电流通过电路，寻找耗散能量最少的路径，并在稳定时改变电压。答案就是指定输出节点的电压。该想法的创新在于具有挑战性的学习步骤，为此他们设计了一种类似于均衡传播的方案，称为耦合学习（coupledlearning）。当一个电路接收数据并“猜出”一个结果时，另一个相同的电路从正确答案开始，并将其纳入其行为中。最后，连接每一对电阻的电子器件会自动比较它们的值，并调整它们，以实现“更智能”的配置。这个小组在去年夏天的预印本（参加下图）中描述了他们的基本电路，这篇名叫“去中心化证明，物理驱动学习（DemonstrationofDecentralized,Physics-DrivenLearning）”的论文中显示这个电路可以学习区分三种类型的花，准确率达到95% 。而现在他们正在研发一款更快、功能更强的设备。
文章图片
论文地址：https://arxiv.org/abs/2108.00275即便是这种升级也无法击败最先进的硅芯片。但建造这些系统的物理学家们怀疑，与模拟网络相比，尽管数字神经网络如今看起来很强大，但最终也会显得缓慢和不足。数字神经网络只能扩大到一定程度，否则就会陷入过度的计算，但更大的物理网络只需要做自己就好。 “这是一个非常大的、快速发展的、变化多端的领域，我深信一些非常强大的计算机将会用这些原理制造出来。 ”Dillavou说。原文链接：