大脑模拟AI学习策略，这项逼近反向传播的研究登上《自然-神经科学》( 二 ) 机器之心报道编辑：陈萍、杜

Naud和Richards的新模型可以解决这个问题，他们通过对神经元之间进行相互交流的传统理解做了一个简单的改变来实现。我们知道神经元就像比特一样，只有两个输出，要么向另一个神经元发送电活动的尖峰信号（spikeofelectrical），要么不发送，即1或0 。但神经元也可以快速连续地发送「突发（burst）」尖峰信号。事实证明，这种方式可以改变神经元之间的连接，并使「突发」成为解决信用分配问题的一种选择。

文章图片
突发相关的可塑性规则。
在新模型中，该团队认为神经元会突发第三个输出信号，即神经元不停地发送「突发」信号1 ，这些信号相隔很近，实际上信号就变成了2 。 2不是对外部信息进行编码的，而是充当「教学信号」，告诉其他神经元根据电路顶部产生的误差，是加强还是削弱它们之间的连接。
但要想让这个教学信号在不「暂停」感官处理的情况下解决信用分配问题，研究者的模型还需要另一个关键部分。他们提出，神经元的顶部和底部有不同的间隔空间，它们以完全不同的方式处理神经代码。「我们的模型表明你真的可以有两个信号，一个上升信号和一个下降信号，它们可以相互传递，」Naud说。

文章图片
突发相关的可塑性可以解决异或（XOR）任务中的信用分配问题。
研究者假设，在神经元顶端接收输入信号的树状分支只监听突发信号——内部教学信号，以调整神经元之间的连接并减少误差。调整自上而下进行，就像在反向传播中一样，因为在他们的模型中，顶部的神经元正在调节其下方神经元发送突发信号的可能性。
研究者表示，当网络有更多的突发时，神经元往往会增加其连接的强度，而当突发信号不那么频繁时，连接的强度往往会降低。这个思路是这样的，突发信号告诉神经元它们应该在任务期间处于活跃状态，以加强它们之间的连接，这样做可以减少误差，而如果没有突发信号，则告诉神经元它们应该处于非活动状态并且可能需要削弱它们之间的连接。

文章图片
周期性和反馈连接的突发依赖可塑性通过线性化和调整反馈来促进基于梯度的学习。
与此同时，神经元底部的分支将突发信号视为单个尖峰信号，即正常的外部信号，这使得信号能够继续在回路中向上发送感官信息而不受干扰。
「现在回想起来，这个想法似乎是合乎逻辑的，」苏黎世大学和苏黎世联邦理工学院的计算神经学家Jo?oSacramento表示。
这项研究有什么意义？
过去，其他研究者也试图采用类似的逻辑。 20年前，来自宾夕法尼亚大学的KonradKording以及奥斯纳布吕克大学PeterK?nig提出了一个双室（two-compartment）神经元学习架构。但是该提案缺乏与生物学相关的许多具体细节，而且这只是一个提案，他们无法证明这个双室神经元学习架构是否能真正的解决信用分配问题。
Kording表示，当时他们只是缺乏测试这些想法的能力。他认为RichardNaud以及BlakeRichards等人的研究是很了不起的工作。
如今借助算力， Naud、Richards和他们的合作者成功地模拟了他们的模型，其中突发神经元（burstingneurons）扮演了学习规则的角色。他们表明，突发神经元解决了XOR经典任务中的信用分配问题，该任务需要学习在两个输入之一为1时做出响应。此外，研究结果还表明，使用他们的突发规则构建的深度神经网络可以近似反向传播算法在具有挑战性的图像分类任务上的性能，不过该研究仍有改进的余地。