利用宇宙的能力来处理数据！“物理网络”远胜深度神经网络( 四 ) 轮到物理学家来揭示神经网络

3
学习部分
另一个的难题是——如何让一个系统完全自主学习。
德国马克斯·普朗克光科学研究所的物理学家FlorianMarquardt认为，有一种方法是建造一台倒着运行的机器。去年，他和一个合作者在论文“基于Hamiltonian回波反向传播的自学习机器（Self-learningMachinesbasedonHamiltonianEchoBackpropagation）”中提出了一个可以在这样的系统上运行的反向传播算法的物理模拟。

文章图片
论文地址：https://arxiv.org/abs/2103.04992
为了证明这是可行的，他们用数字技术模拟了一种类似于McMahon设备的激光装置，将可调的权重编码在一种光波中，与另一种输入波（编码，比如图像）混合。他们使输出更接近正确的答案，并使用光学组件来分解波，反转这个过程。 “神奇的是， ”Marquardt说， “当你用相同的输入再一次尝试设备时，输出倾向于更接近你想要的位置。 ”接下来，他们正在与实验人员合作建立这样一个系统。
但是专注于反向运行的系统限制了选择，所以其他研究人员将反向传播完全抛在了后面。因为知道大脑学习的方式不是标准的反向传播，所以他们的研究没有受到打击，反而更进一步。 “大脑不是反向传播的， ”斯塞利尔说，当神经元A与神经元B交流时， “传播是单向的。 ”

文章图片
图注：CNRS的物理学家JulieGrollier实现了一种物理学习算法，被视为反向传播的一种有希望的替代方案。图源：ChristopheCaudroy
2017年， Scellier和蒙特利尔大学的计算机科学家YoshuaBengio开发了一种称为平衡传播的单向学习方法。我们可以这样了解其运作方式：想象一个像神经元一样的箭头网络，它们的方向表示0或1 ，由作为突触权重的弹簧连接在网格中。弹簧越松，连接的箭头就越不容易对齐。
首先，旋转最左边一行的箭头，以反映手写数字的像素，然后在保持最左边一行的箭头不变，让这种扰动通过弹簧扩散出去转动其他箭头。当翻转停止时，最右边的箭头给出了答案。
【利用宇宙的能力来处理数据！“物理网络”远胜深度神经网络】关键是，我们不需要通过翻转箭头来训练这个系统。相反，我们可以在网络底部连接另一组显示正确答案的箭头，这些正确的箭头会使上面这组箭头翻转，整个网格就进入了一个新的平衡状态。最后，将箭头的新方向与旧方向进行比较，并相应地拧紧或松开每个弹簧。经过多次试验，弹簧获得了更聪明的张力， Scellier和Bengio已经证明，这种张力相当于反向传播。
“人们认为物理神经网络和反向传播之间不可能存在联系， ”Grollier说， “最近情况发生了变化，这非常令人兴奋。 ”
关于平衡传播的最初工作都是理论性的。但在一篇即将发表的文章中， Grollier和CNRS的物理学家JérémieLaydevant描述了该算法在D-Wave公司制造的量子退火机器上的执行。该装置有一个由数千个相互作用的超导体组成的网络，它们可以像弹簧连接的箭头一样，自然地计算出“弹簧”应该如何更新。然而，系统不能自动更新这些突触权重。
4
实现闭环
至少有一个团队已经收集了一些部件来构建一个用物理学来完成所有繁重工作的电子电路，其能完成的工作有思考、学习和更新权重。宾夕法尼亚大学的物理学家SamDillavou说：“我们已经能够为一个小系统闭合回路。 ”