大脑模拟AI学习策略，这项逼近反向传播的研究登上《自然-神经科学》机器之心报道编辑：陈萍、杜

机器之心报道
编辑：陈萍、杜伟
大脑是如何近似反向传播算法的？发表在《自然-神经科学》的一篇论文，研究者找到了可以生活在活体大脑并进行实时工作的等价物，他们提出的大脑学习算法模型可以模拟反向传播过程。
每当人类或机器学习更好地完成一项任务时，总会留下一系列的物理变化，比如人类大脑中的细胞或机器学习算法中的数值会发生相应的变化，这些变化是提高其性能的基础。但是，大脑或机器等系统如何准确地计算出需要做出哪些改变并不简单，在这个问题中，大脑或人工智能系统必须查明其pipeline中错误的原因，然后做出必要的改变，这一过程可称之为信用分配问题。

文章图片
更简单地说：这好比一场推卸责任的游戏，需要找出哪部分出错了。
在机器学习（ML）领域， AI工程师使用「反向传播」这种强大算法解决了机器的信用分配问题，该算法在1986年随着GeoffreyHinton、DavidRumelhart和RonaldWilliams的工作而普及。现在，反向传播算法在最成功的AI系统（深度神经网络）中为网络学习提供了主要的学习动力。
【大脑模拟AI学习策略，这项逼近反向传播的研究登上《自然-神经科学》】现在看来，机器学习可以采用反向传播解决信用分配问题，那么大脑中有没有等价的机制解决信用分配问题呢？
今年5月发表在《自然-神经科学》上的一篇论文《Burst-dependentsynapticplasticitycancoordinatelearninginhierarchicalcircuits》中，研究者们终于找到了可以生活在活体大脑中并进行实时工作的等价物。

文章图片
这篇论文由来自加拿大渥太华大学的RichardNaud以及麦吉尔大学的BlakeRichards等研究者参与撰写，他们揭示了一种新的大脑学习算法模型，该模型可以模拟反向传播过程。

文章图片
麦吉尔大学的BlakeRichards（左）和渥太华大学的RichardNaud（右），他们提出了一个新的大脑学习模式，最终可以解决人类大脑的信用分配问题。
Naud表示：「这篇论文的主要目标是表明机器正在进行的学习方式可以通过生理过程来逼近。」
来自柏林洪堡大学的实验神经科学家MatthewLarkum表示：「来自更理论化方面的想法可以推动比较困难的实验得以进行，在我看来，这篇论文超越了这一标准，这在生物学上是合理的，可能会带来很大的影响。」
然而，人类和机器实现信用分配问题的过程并不完全相同。对于机器来说，当训练一个识别图像的深度神经网络时，它会分成两个阶段进行：首先是前向传播，然后是反向传播，期间网络会进行「学习」这一过程。在第一阶段，输入层中的神经元编码图像的特征并将其传递，然后隐藏层中的神经元执行计算并将它们的结果传递到输出层，输出层对输出图像进行预测。比如输入一张狗的图像，模型预测出来是一张猫，这时反向传播算法通过调整连接神经元的权重来解决问题，使得模型预测结果是一只狗。

文章图片
反向传播示意图。
大脑如何逼近反向传播？
几十年来，研究人员一直试图弄清楚大脑是如何执行类似反向传播操作来解决信用分配问题的。反向传播本身在生物学上是不合理的，因为真正的神经元不可能停止处理来自外部的信息，以等待反向传播。如果大脑是这样工作的，那我们的视觉、听觉或其他感官就会丧失。