单个神经元也能实现DNN功能,图像分类准确率达98% | Nature子刊( 二 )


当节点分离值θ较大时 , 网络节点之间将形成熟悉的多层DNN形状 。
不过 , 当节点分离值θ较小时 , 每个节点的状态都依赖于前一个节点 , 而不是完全独立 。 这些额外的“惯性“连接在图c中用黑色箭头表示 。
虽然研究者们用D=2N-1延迟环路恢复了一个全连接的DNN , 但模拟测试表明 , 这并不完全符合要求 。
实际上 , 用更少的延迟环路就可以获得足够的性能 。 在这种情况下 , Fit-DNN将实现一种特殊类型的稀疏DNNs 。
可见 , 在一定条件下 , Fit-DNN可以完全恢复一个没有卷积层的标准DNN , 此时 , 它的性能与多层DNN相同 。
单神经元的Fit-DNN将前馈多层神经网络的拓扑复杂性 , 通过延迟环结构折叠到时域 。
这个延迟系统本身就拥有一个无限大的相空间 , 因此 , 只要有一个带反馈的神经元就足以折叠整个网络 。
Fit-DNN的计算机视觉功能测试
研究人员使用Fit-DNN进行图像降噪 , 即:从噪声版本中重建原始图像 。
他们把强度为1的高斯噪声加入Fashion-MNIST数据集的图像中 , 并将高斯噪声视为值在0(白色)和1(黑色)之间的向量 。
然后截断阈值0和1处剪切所得的向量条目 , 以获得有噪声的灰度图像 。
单个神经元也能实现DNN功能,图像分类准确率达98% | Nature子刊
文章图片
如上图所示 , a行包含来自Fashion-MNIST数据集的原始图像;b行为带有额外高斯噪声的相同图像 , 这些噪声图像作为训练系统的输入数据 。 c行表示获得的原始图像的重建结果 。
可见 , Fit-DNN的图像恢复效果不错 。
不过Fit-DNN真正的问题是 , 时间循环的单个神经元是否能产生与数十亿个神经元相同的输出 。
为了证明Fit-DNN和时间状态下的计算能力 , 研究人员选了五个图像分类任务:MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100 , 以及SVHN 。
单个神经元也能实现DNN功能,图像分类准确率达98% | Nature子刊
文章图片
实验对比了隐藏层的节点数不同时(N=50 , 100 , 200 , 400) , Fit-DNN在上述任务中的表现 。
结果表示 , 对于相对简单的MNIST和Fashion-MNIST任务 , 单个神经元取得了很高的准确率 。
但对于更具挑战性的CIFAR-10、CIFAR-100和SVHN任务 , 单个神经元的准确率较低 。
值得注意的是 , 这里的Fit-DNN只使用了权重矩阵可用对角线的一半 。 如果增加节点的个数N , 将有效地提高性能 。
研究团队
单个神经元也能实现DNN功能,图像分类准确率达98% | Nature子刊
文章图片
感兴趣的读者可以戳下面的链接继续深入了解 。
IngoFischer是论文的共同作者之一 。 他取得了菲利普斯·马尔堡大学获得半导体物理领域博士学位 , 后在欧洲多国的大学中担任工程和物理学的博士后研究员、助理教授和全职教授 。
经典的多层神经网络 , 如火爆全球的GPT-3 , 目前已有750亿个参数 , 比其前身GPT-2的参数量要多100倍 。
据估计 , 仅仅训练一次GPT-3就需要相当于丹麦126个家庭一年使用的电力 , 或者约等于开车往返一次月球的耗能 。
柏林团队的研究人员认为 , Fit-DNN可以对抗训练强大神经网络所需能源成本的上升 。
科学家们相信 , 随着技术的发展 , 该系统可以扩展到从悬浮在时间中的神经元创建“无限数量的“神经元连接 。
感兴趣的读者可以戳下面的链接继续深入了解 。
论文链接:https://www.nature.com/articles/s41467-021-25427-4.pdf参考链接:https://thenextweb.com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans
brain-with-only-one-neuron-could-surpass-humans