市场分析：AI如何再次点燃人们对硬件的兴趣( 四 ) 长期以来

Graphcore已经融资超过6.8亿美金，客户中包括美国能源部太平洋西北国家实验室、阿贡实验室和桑迪亚实验室。 Toon表示， Graphcore的系统已经被用于训练蛋白质折叠模型和气候建模。
总部位于波士顿的LightMatter公司正在致力于解决互连问题（互连是将集成电路上的组件相互连接起来的布线）。随着处理器达到理论上的最大速度，移动字位的路径开始成为瓶颈，尤其是当多个处理器同时访问内存的时候。 Forrester分析师Gualtieri说：“相比互连来说，现在芯片都不算是瓶颈了。 ”

文章图片
LightMatter使用光子而不是电子来以低功耗的方式实现高速互连性能。照片：LightMatter
LightMatter的芯片在一个AI平台中使用纳米光子波导，据称该平台在低能耗的封装中同时实现了高速和大带宽，本质上是一个光通信层，可以连接多个其他处理器和加速器。
LightMatter公司首席执行官NickHarris在电子邮件中表示：“AI结果的质量取决于能够同时支持非常大、非常复杂的模型，同时实现非常高的吞吐量响应，这两者我们都可以实现。这种芯片适用于任何可以使用线性代数完成的操作， ”其中包括覆盖了大多数的AI场景。
LightMatter已经融资1.13亿美金，该公司重点强调了在能源效率方面的优势，这也许会和那些非常依赖GPU模型训练的企业组织产生共鸣，因为Nvidia的新型H100芯片最大功耗达到了惊人的700瓦。
Forrester分析师Gualtieri说：“相比互连来说，现在芯片都不算是什么瓶颈了。 LightMatter可能具有非常巨大的颠覆力。 ”
独角兽
没有哪家初创公司像SambaNova那样引起了如此多的兴趣和投资。 SambaNova拥有11亿美金的融资和50亿美金的市值，让人们对SambaNova的软硬件集成平台寄予厚望，而且SambaNova称，可以在数据中心一直到边缘的任何地方运行AI和其他数据密集型应用。
SambaNova的DataScale硬件平台使用专为机器学习和深度学习定制设计的7纳米芯片，该芯片可重新配置的数据流架构运行着一个AI优化的软件堆栈，其硬件架构旨在最大限度上减少内存访问，从而减少互连瓶颈。
Dekate说：“SambaNova的处理器可以针对AI或者高性能计算工作负载进行重新配置，旨在以更高的性能处理大规模矩阵运算任务， ”这对于那些具有可变工作负载的客户来说是一个好处。
SambaNova公司产品高级副总裁MarshallChoy表示，他们正在采取一种全新的方法，因为CPU、GPU甚至FPGA“确实非常适合于交易系统和ERP等确定性软件” 。然而，机器学习算法是概率性的，这意味着结果是无法提前知晓的。 “为此需要一种完全不同类型的硬件基础设施， ”他说。
SambaNova的平台把1TB高速双倍数据速率同步内存固定到处理器上，最大限度地减少了互连问题。 Choy说：“我们基本上可以用增加20倍的片上内存来弥补DDR控制器的延迟问题，这对用户来说是透明的，这让我们能够训练更高参数计数的语言模型和最高分辨率的图像，而无需图像分块或者是向下采样。 ”
Tiling是图像分析中使用的一种技术，通过把图像切割成更小的块、分析每个块然后重新组合，来降低对计算能力的需求。向下采样则是在训练数据的随机子集上训练模型，以节省时间和计算资源。

文章图片
SambaNova的Choy：“我们正在帮助人们做他们以前做不到的事情。 ”图片来源：SambaNova
SambaNova称，这么做的结果就是，系统不仅比基于GPU的系统更快，而且能够解决更大的问题。 Choy说：“如果你尝试用512个立体图像训练GPU模型，结果会出现内存不足的错误；你就是无法做到，而现在，我们让人们能够做他们以前做不到的事情。 ”