有道云笔记|AI越来越强，但我们快要养不起了( 二 ) 网易|Linux|操作系统

深度学习路在何方
面对不断上升的经济和环境成本，深度学习领域迫切地需要在计算量可控的前提下，提高性能的方法。研究人员为此进行了大量研究。

一种策略是，使用为深度学习专门设计的处理器。在过去10年中，CPU让位给了GPU、现场可编程门阵列和应用于特定程序的集成电路。这些方法提高了专业化的效率，但牺牲了通用性，面临收益递减。长远看来，我们可能需要全新的硬件框架。另一种减少计算负担的策略是，使用更小的神经网络。这种策略降低了每次的使用成本，但通常会增加训练成本。二者如何权衡取决于具体情况。比如广泛应用的模型应当优先考虑巨大的使用成本，而需要不断训练的模型应当优先考虑训练成本。元学习有望降低深度学习训练成本。其理念是，让一个系统的学习成果应用于多个领域。例如，与其分别建立识别狗、猫和汽车的系统，不如训练一个识别系统并多次使用。但是研究发现，一旦原始数据与实际应用场景有微小的差异，元学习系统的性能就会严重降低。因此，全面的元学习系统可能需要巨大的数据量支撑。
一些尚未发现或被低估的机器学习类型也可能降低计算量。比如基于专家见解的机器学习系统更为高效，但如果专家不能辨别所有的影响因素，这样的系统就无法与深度学习系统相媲美。仍在发展的神经符号等技术，有望将人类专家的知识和神经网络的推理能力更好地结合。正如罗森布拉特在神经网络诞生之初所感受到的困境，今天的深度学习研究者也开始面临计算工具的限制。在经济和环境的双重压力下，如果我们不能改变深度学习的方式，就必须面对这个领域进展缓慢的未来。我们期待一场算法或硬件的突破，让灵活而强大的深度学习模型能继续发展，并为我们所用。
（据《环球科学》编译：郑昱虹）
本文来自：科技日报数字报