芯片|日本超级计算机是全球第一了，今天又成功发明了新的加速器芯片科学重器|it芯片|重器

文章图片

日本科学家发明了一种新的加速器芯片，名为Hiddenite ，可以在计算隐藏神经网络时达到最先进的精度，并且计算负担更低。 Hiddenite芯片采用了所提出的片上模型构造，即权重生成和超级任务扩展的结合，大大减少了外部存储器访问，从而提高了计算效率。
深度神经网络DNN是人工智能AI的一种复杂机器学习体系结构，需要大量参数来学习预测输出。然而， DNN可以被删减，从而减少计算负担和模型大小。日本科学家们特别使用了一种隐式神经网络HNN算法，该算法对初始化的随机权重使用的是AND逻辑和一个称为超级任务的二进制掩码。
超级任务由top最高分数定义，表示未选择的连接和已选择的连接分别为0和1 ， HNN有助于从软件方面降低计算效率。这位科学家解释说：“减少外部内存访问是降低功耗的关键。目前，实现高推理精度需要大型模型。但这增加了对负载模型参数的外部内存访问，我们开发Hiddenite的主要动机是减少这种外部内存访问。我们的研究将在即将召开的2022年国际固态电路大会ISSCC上发表，这是一场展示集成电路成就巅峰的国际盛会。 ”
【芯片|日本超级计算机是全球第一了，今天又成功发明了新的加速器芯片】“Hiddenite”代表隐式神经网络推理张量引擎，是第一款HNN神经芯片， Hiddenite架构提供了三个好处，可以减少外部内存访问并实现高能效首先，它提供了通过使用随机数生成器重新生成权重的片上权重生成，这样就不需要访问外部存储器和存储重量。第二个好处是提供了片上超级任务扩展，这减少了加速器需要加载的超级任务数量。 Hiddenite芯片提供的第三个好处是高密度四维并行处理器，该处理器在计算过程中最大限度地重复使用数据，从而提高效率。
另一位团队科学家解释说：“此外，我们还引入了一种新的隐式神经网络训练方法，称为分数蒸馏，其中传统的数据蒸馏权重被蒸馏到分数中，因为隐式神经网络从不更新权重。分数蒸馏的精度与二元模型相当，同时为它解释了二元模型的大小。 ”基于hiddenite架构，该团队利用台湾半导体制造公司TSMC的40纳米工艺设计、制造和测量了一个原型芯片。该芯片只有3毫米x3毫米，可以同时处理4096个MAC（乘法和累加）操作。它达到了最先进的计算效率水平，每瓦特功率每秒高达34.8万亿或万亿次运算TOPS ，同时将模型传输量减少到二值化网络的一半。