深度学习起源于电子管计算机时代。|ai深度学习在机器翻译领域展现了它的才华( 二 ) 深度学习起源于电子管计算机

为了探索这个问题，麻省理工学院的科学家从1000多篇深度学习研究论文中收集了数据。他们的研究警告说，深度学习面临着严峻的挑战。

文章图片
以图像分类为例。减少图像分类错误带来了巨大的计算负担。例如，在图形处理单元(GPU)上训练深度学习系统的能力在2012年首次被证明。这是通过AlexNet模型完成的。
然而，使用两个GPU需要5到6天的训练。到2018年，另一个模型NASNet-A的错误率是AlexNet的一半。尽管如此，它使用了1000多倍的计算量。
芯片性能的提升是否跟上了深度学习的发展?一点也不。 NASNet-A的计算能力增加了1000多倍，其中只有6倍的改进来自于更好的硬件。其余的是通过使用更多的处理器或运行更长的时间来实现的，但成本更高。
实际数据比他们的计算要多得多
理论上，要将性能提高K倍，我们需要4K以上的数据。然而，在实践中，计算至少需要一个9K的因数。这意味着，要将错误率减半，需要500倍以上的计算资源。
这是相当贵的，而且是非常贵的。训练一个错误率低于5%的图像识别模型将花费1000亿美元。它消耗的电力产生的碳排放量相当于纽约市一个月的碳排放量。

文章图片
如果训练一个错误率低于1%的图像识别模型，成本甚至会更高。
到2025年，最优图像识别系统的错误率将降低到5% 。然而，训练这样一个深度学习系统将产生相当于纽约市一个月的二氧化碳排放量。

文章图片
在深度学习的前沿领域，计算成本的负担已经变得非常明显。机器学习智库OpenAI花费了400多万美元进行设计和培训。企业也开始回避深度学习的计算成本。
欧洲一家大型连锁超市最近放弃了基于深度学习的系统。这个系统是用来预测哪些产品会被购买。该公司的高管得出结论，培训和运行该系统的成本太高。