为了克服现下大型神经网络模型一跑就要大量耗电的弊端|神经拟态芯片与人脑设计( 二 ) 为了克服现下大型神经网络模

瑞士苏黎世联邦理工学院的神经拟态工程研究者夏洛特·弗伦克尔说：「模拟态体现了人脑运算模式的核心之美。成功效仿人脑的这一关键方面，将是神经拟态运算的主驱动因素之一。」
2011年，海德堡大学的一组研究人员开始开发一种既有模拟态又有数码态的神经拟态芯片，为神经科学实验模拟大脑。

文章图片
此后，团队又发布了新一版的芯片「BrainScaleS-2」，其中每个模拟神经元都模拟了脑细胞的输入-输出电流和电压变化。
不过，由于材质的导电质性不同于真人脑，芯片在速度上要比人脑快1000倍。

文章图片
在这项新的工作中，通过将芯片纳入算法的训练过程，脉冲神经网络可以学习如何纠正BrainScaleS-2芯片上的电压差别。
为了处理器件失配的问题，团队还专门为脉冲神经网络开发了全新的方法，将芯片用梯度替代法这种学习方法与计算机交互。
梯度替代法通过持续改变神经元之间的连接，来尽量减少神经网络在执行任务中的错误数量（类似于非脉冲神经网络使用的反向传播）。

文章图片
【为了克服现下大型神经网络模型一跑就要大量耗电的弊端|神经拟态芯片与人脑设计】梯度替代法能够在计算机上的训练过程中纠正芯片的不完善之处。
首先，让脉冲神经网络利用芯片上模拟神经元的不同电压执行一项简单的任务，并将电压的记录发回计算机。
然后，让算法自动学习如何最好地改变其神经元之间的连接，以便仍能与模拟神经元很好地配合，在学习的同时持续更新芯片上的神经元。
最终，当训练完成后，脉冲神经网络就能在芯片上顺利地执行任务了。

文章图片
研究人员表示，他们的神经网络在语音和视觉任务上，达到了与在计算机上执行任务的顶级脉冲神经网络相同的准确性。
换句话说，该算法准确地了解到它需要做哪些改变来克服器件失配的问题。
苏塞克斯大学的计算神经科学家托马斯·诺沃特尼表示：「这个系统正如预期的那样具有令人印象深刻的能效：运行所消耗的能量比标准处理器少1000倍左右。」
然而，弗伦克尔指出，神经拟态芯片仍然需要在为类似的语音和视觉识别任务而特别优化的硬件面前证明自己。
诺沃特尼也指出，这种方法可能难以扩展到大型的实际任务，因为它仍然需要在计算机和芯片之间来回搬运数据。
团队的终极目标则是让脉冲神经网络可以自始至终地在神经拟态芯片上训练和运行，而不需要借助传统计算机。
不过，设计并生产所需的新一代芯片可能要数年的时间。
作者介绍弗里德曼·曾克

文章图片
瑞士苏黎世弗雷德里希米歇尔生物医疗研究所的神经计算科学家。主研究方向为仿生的脉冲神经网络的学习、记忆、信息处理过程，以及机器学习与神经计算科学的交汇。约翰内斯·希密尔

文章图片
德国海德堡大学物理学院专用集成电路实验室主任、电子视觉研究组负责人。研究方向是混合态超大规模集成电路系统的信息处理应用，特别是仿生神经网络模型的模拟应用方向。参考资料：