机器人|很突然、很惊艳，马斯克公布特斯拉人形机器人，自研超算Dojo亮相( 二 )

文章插图
Karpathy 还提到了数据标注问题。他指出，外包给第三方公司的手动标签并不是最佳选择，本着垂直整合的精神，特斯拉选择建立自己的标注团队。一开始，特斯拉使用的是 2D 图像标签。最终，特斯拉转向了 4D 标签，可以在向量空间中进行标注。但是这还不够，自动标注技术得到了发展。
文章插图
有太多的标签需要完成标注，而让人们手动来完成是不可能的。特斯拉自动驾驶软件负责人 Ashok Elluswamy 展示了道路和道路上的其他物品是如何从一辆正在行驶的汽车中「重建」出来的。这有效地让特斯拉能够更快地标记数据，同时允许车辆即使在存在遮挡的情况下也能安全准确地导航。甚至在对比度过高，摄像头采集的图像不够清晰时，特斯拉还使用神经网络对画面进行了增强。
文章插图
Ashok 指出，这些策略最终帮助特斯拉将雷达从 FSD 和 Autopilot 套件中淘汰，并采用了纯视觉模型。雷达 + 摄像头系统与纯视觉之间的比较显示了该公司当前的战略有多精细。同时他也谈到了仿真如何帮助特斯拉开发其自动驾驶系统。尽管特斯拉专注于现实世界的数据，但它也使用仿真。特斯拉利用一个新的仿真程序 (用他们自己的话说，就是 Autopilot 扮演玩家的视频游戏) 来测试边缘情况和其他可能遇到的问题。
文章插图
神秘超算 Dojo：革命性架构DOJO，这次特斯拉 AI 日的最大看点，最终也没有让人失望。2020 年 8 月，马斯克表示，该公司正在研发一款名为「Dojo」的神经网络训练超级计算机，将主要处理从特斯拉汽车在路上获得的海量视频数据。马斯克发推称：「Dojo V1.0 还未完成，估计还需要一年的时间。不仅仅是芯片本身的研发难度，能效和冷却问题也非常的难。」几个月后，马斯克又补充道：「Dojo 采用我们自研的芯片和为神经网络训练优化的计算架构，而非 GPU 集群。尽管可能是不准确的，但是我认为 Dojo 将会是世界上最棒的超算。」今天，特斯拉终于揭开了 Dojo 计算机芯片的神秘面纱。它采用了创新的架构，将算力分布在复杂的网络构造中，实现了极高的算力、高带宽、低延迟的网络吞吐量。
文章插图
Dojo 的设计是从芯片开始从头做起的。Dojo 的训练 CPU 属于 ASIC 芯片，专注于人工智能训练，采用 7 纳米制程，可以实现 1024GFLOPS 的 BF16 算力，在芯片周围的四向都有 4TB/s 的传输带宽。
文章插图
特斯拉宣称它的效率超过了现有的 GPU 和 TPU，其主要的优势是在带宽上。
文章插图
Dojo 用所有力量做一件事：使自动驾驶汽车成为可能。它是一个纯粹的机器学习机器，以现有芯片和服务器的思路看，它的规格堪称「疯狂」：首先把 50 万个训练节点集合在一起，每个区块都有 9 petaflops 的算力，每秒 36 TB 的区块外带宽。
文章插图

文章插图
但这只是 Dojo 的冰山一角。在应用时，120 个这样的 D1 芯片区块被整合为一个 ExaPOD，顾名思义，它有每秒超过 1 亿亿次的运算能力（10 的 18 次方），这是目前世界上最快的 AI 训练计算机。与业内其他产品相比，在同样的成本上，ExaPOD 的性能要高 4 倍，能耗比高 1.3 倍，占用空间缩小了 5 倍。「我们很快就会组装起第一台这样的服务器，这样的设备可以无限链接。」特斯拉 Dojo 项目负责人 Ganesh Venkataramanan 表示，Dojo 有望成为地球上最强大的超级计算机之一。