单个神经元也能实现DNN功能，图像分类准确率达98% | Nature子刊 Alex发自凹非寺量子位|公众号

Alex发自凹非寺
量子位|公众号QbitAI
人工神经网络的尽头是一个神经元？

文章图片
——没准儿还真有可能。
当前，最先进的AI系统通过创建多层神经网络来模仿人类大脑，旨在将尽可能多的神经元塞进尽可能小的空间。

文章图片
可惜，这样的设计需要消耗大量的电力等资源，而产生的输出结果与强大且“节能”的人脑比起来相形见绌。
最近，柏林工业大学的研究小组提供了一个新思路：把任意大小的深度神经网络折叠成单神经元，这个神经元具有多个延时反馈回路。

文章图片
关于研究成果的论文发布于Nature子刊。
这个“单个神经元的AI大脑”概念的提出，无疑给神经网络的发展指明了一个新方向。
下面就来看看这是一项怎样的研究吧！
具体方法
研究团队设计了一种多层前馈深度学习神经网络的完全时间折叠的方法（Fit-DNN）。
Fit-DNN的诞生主要受到“folded-in-time”概念的启发，即：使用单一的延迟环路配置和输入数据的时间复用来模拟环形拓扑结构。
传统的深度神经网络由多层神经元组成，以前馈结构耦合。
如果用一个神经元来实现传统DNN的功能，需要保留各层的逻辑顺序，同时找到一种方法来顺序化层内的操作。
这只能通过在时间上分割以前同时进行的过程来实现：单个神经元在正确的时间接受正确的输入，依次模拟每一层的各个神经元。
传统的相邻层之间的连接，转变成单个神经元在不同时间的连接，即：层间连接变成了延迟连接。
在不同时间对同一神经元进行不同的加权，权重由反向传播算法确定。
这类似于单个客人通过快速切换座位并说出每个部分，来模拟大型餐桌上的对话。

文章图片
Fit-DNN的核心由一个具有多个延迟和调制反馈的单一神经元组成，上图展示了其结构：
标着字母f的黑色圆代表神经元，它在t时的信号为x(t)；这个信号是数据J(t)、偏移量b(t)和反馈信号之和。
可调节的元素用方块表示：数据信号由输入向量u产生，蓝色方块中的矩阵包含输入权重。偏置系数产生灰色方块中的偏置信号。每个反馈环路实现一个延迟和一个时间调制，来产生反馈信号。
最后，使用输出权重矩阵从信号x(t)中获得输出。
【单个神经元也能实现DNN功能，图像分类准确率达98% | Nature子刊】注意，为了获得数据信号J(t)和输出，需要进行适当的预处理或操作后处理。
与传统多层层经网络的等效性
单神经元的Fit-DNN在功能上真的可以等同于多层神经网络吗？
如下图所示， Fit-DNN可以将具有多个延迟环的单个神经元的动态性转化为DNN 。

文章图片
图a展示了信号x(t)的时间演化可以分为长度为T的时间间隔，每个间隔模拟一个隐藏层；实线上的黑点表示节点， θ代表节点分离值。
图b表示原始的时间轨迹被切割成长度为T的区间，在各区间内，节点根据其网络位置被标记。
图c由图b的旋转所得，在此基础上增加了一个输入和一个输出层。
这些连接是由节点之间的动态依赖关系决定的，这些依赖关系可以根据θ的值精确计算。