特斯拉Dojo超算细节大公开!涉及指令集结构、数据格式等( 二 )


每个芯片有354个Dojo处理节点和440MB的静态随机存储器 。
D1芯片测试完成后 , 随即被封装到5×5的Dojo训练瓦片(Tile)上 。
这些瓦片每边有4.5TB/s的带宽 , 每个模组还有15kW的散热能力的封盖 , 减掉给40个I/O的散热 , 也就是说每个芯片的散热能力接近600W 。
瓦片也包含了所有的液冷散热和机械封装 , 这和Cerebras公司推出的WES-2芯片的封装理念类似 。
特斯拉Dojo超算细节大公开!涉及指令集结构、数据格式等
文章图片
演讲最后结束时 , 特斯拉工程师EmilTalpes表达了如下观点:
我们最终的目标是追求可扩展性 。 我们已经不再强调CPU中常见的几种机制 , 像是一致性、虚拟内存、全局查找目录 。 只因为当我们扩展到非常大的系统时 , 这些机制并不能很好地随之扩展 。
相反 , 在整个网格中我们依靠的是那种快速、分散的SRAM存储 , 这样能够得到更高数量级的互连速度支持 。