一个神经元顶5到8层神经网络，深度学习的计算复杂度被生物碾压了( 二 ) 机器之心报道编辑：杜伟、陈

如下图2所示，具有7个隐藏层、每层包含128个特征图的时间卷积网络（TCN）忠实地捕获了一个L5PC（layer5pyramidalneuron）模型。

文章图片
在下图3中，研究者展示了没有N-甲基天冬氨酸（NMDA）突触的L5PC神经元，它能够被具有单个隐藏层（包含128个隐藏单元）的深度神经网络忠实地捕获。其中A为L5PC模型示意图、B为类比的深度神经网络。

文章图片
现在已经了解了单个神经元的计算复杂度，如下动图所示，左边的椎体神经元依赖树突状的分支，这些分支会受到信号的影响。在神经元决定是否发送spike信号之前，信号变化会导致局部电压变化，表现为神经元颜色的变化（红色表示高电压，蓝色表示低电压）。这一spike出现了3次，如右侧单个分支的轨迹所示，颜色代表树突从顶部（红色）到底部（蓝色）的位置。

文章图片
来自贝勒医学院的计算神经科学家AndreasTolias表示，这种结果建立了从生物神经元到人工神经元的桥梁。但研究者表示，这还不是一个直接的对应关系（生物神经元到人工神经元）。
MichaelLondon认为「神经网络中的层数与网络的复杂性之间的关系并不明显，所以我们不能说网络层数从四层增加到五层复杂度会增加多少。我们也不能说需要1,000个人工神经元就意味着生物神经元的复杂度恰好是生物神经元的1,000倍。最终，即使在每一层中使用指数级的人工神经元，最终也有可能形成只有一层的深层神经网络——但这可能需要更多的数据和时间来让算法学习。」
研究者尝试了很多架构，几乎都失败了。他们还公开了代码，以鼓励其他研究人员找到更少层的解决方案。但是，找到一种能够模仿神经元且准确率高达99%的深度神经网络是非常困难，研究者相信他们的结果为进一步的研究提供了有意义的比较。
TimothyLillicrap认为，这可能提供了一种新的方法，将图像分类网络（通常需要50层以上）与大脑联系起来。如果每个生物神经元都像一个五层人工神经网络，那么一个50层的图像分类网络可能相当于一个生物网络中的10个真实神经元。
此外，该研究还希望他们的结果将改变SOTA人工智能深度网络架构。「我们呼吁替换深度网络技术，使其工作方式更接近大脑，这一实现过程是将深度网络中的每个简单单元替换为代表神经元单元，而这种神经元单元本身就是有深度的，」Segev表示。在这种替代方案中， AI研究人员和工程师可以插入一个五层深度网络作为「迷你网络」，用来取代每一个人工神经元。
各路专家学者如何看
【一个神经元顶5到8层神经网络，深度学习的计算复杂度被生物碾压了】但有些人怀疑这是否真的有利于AI 。「我认为这是一个悬而未决的问题，这种做法是否存在实际的计算优势，」来自冷泉港实验室的神经科学家AnthonyZador表示道。这项工作为测试奠定了基础。
除了AI应用之外，该研究还加深了人们对树突状树和单个神经元强大计算能力的共识。早在2003年，三名神经科学家展示了锥体神经元的树突树可以进行复杂的计算，通过将其建模为两层人工神经网络。在这项新研究中，研究者探索了金字塔神经元的哪些特征激发了5到8层深度神经网络的复杂性。他们得出结论，这来自树突树，树突表面接收化学信使的特定受体——这一发现与先前研究者在该领域的研究一致。