谷歌大牛Jeff Dean单一作者撰文：深度学习研究的黄金十年( 二 ) 选自D?DALUS作者：JeffDean机器之

为了使深度学习和计算变得更容易，研究人员开发了开源软件框架，如今，开源框架帮助大量的研究人员、工程师等推进深度学习研究，并将深度学习应用到更广泛的领域。
早期的一些框架包括Torch、Theano、DistBelief、Caffe等，还有谷歌在2015年开发、开源的TensorFlow ，它是一个允许表达机器学习计算的框架，并结合了Theano和DistBelief等早期框架的想法。到目前为止， TensorFlow已被下载超过5000万次，是世界上最受欢迎的开源软件包之一。
TensorFlow发布的一年后， PyTorch于2016年发布，它使用Python可以轻松表达各种研究思想而受到研究人员的欢迎。 JAX于2018年发布，这是一个流行的面向Python的开源库，结合了复杂的自动微分和底层XLA编译器， TensorFlow也使用它来有效地将机器学习计算映射到各种不同类型的硬件上。
TensorFlow和PyTorch等开源机器学习库和工具的重要性怎么强调都不为过，它们允许研究人员可以快速尝试想法。随着世界各地的研究人员和工程师更轻松地在彼此的工作基础上进行构建，整个领域的进展速度将加快！
研究成果激增
研究不断取得进步、面向ML硬件（GPU、TPU等）的计算能力不断增强、开源机器学习工具（Tensor-Flow、PyTorch等）被广泛采用，这一系列进展使得机器学习及其应用领域的研究成果急剧增加。其中一个强有力的指标是发布到arXiv上关于机器学习领域的论文数量， arXiv是一个广受欢迎的论文预印本托管服务， 2018年发布的论文预印本数量是2009年的32倍以上（每两年增长一倍以上）。通过与气候科学和医疗保健等关键领域的专家合作，机器学习研究人员正在帮助解决对社会有益、促进人类进步的重要问题。可以说我们生活在一个激动人心的时代。
科学和工程应用激增
计算能力的变革性增长、机器学习软硬件的进步以及机器学习研究成果的激增，都使得机器学习应用在科学和工程领域的激增。通过与气候科学和医疗健康等关键领域的合作，机器学习研究人员正在帮助解决对社会有益并促进人类发展的重要问题。这些科学和工程领域包括如下：
神经科学
分子生物学
医疗健康
天气、环境和气候挑战
机器人
可访问性
个性化学习
计算机辅助的创造性
重要的构建块
Transformers
计算机系统的ML
每个细分的详细内容请参考原文。
机器学习的未来
ML研究社区正在出现一些有趣的研究方向，如果将它们结合起来可能会更加有趣。
首先，研究稀疏激活模型，比如稀疏门控专家混合模型（Sparsely-GatedMoE），展示了如何构建非常大容量的模型，其中对于任何给定的实例（如2048个专家中的两至三个），只有一部分模型被「激活」。
其次，研究自动化机器学习（AutoML），其中神经架构搜索（NAS）或进化架构搜索（EAS）等技术可以自动学习ML模型或组件的高效结构或其他方面以对给定任务的准确率进行优化。 AutoML通常涉及运行很多自动化实验，每个实验都可能包含巨量计算。
最后，以几个到几十个相关任务的适当规模进行多任务训练，或者从针对相关任务的大量数据训练的模型中迁移学习然后针对新任务在少量数据上进行微调，这些方式已被证明在解决各类问题时都非常有效。
一个非常有趣的研究方向是把以上三个趋势结合起来，其中在大规模ML加速器硬件上运行一个系统。目标是训练一个可以执行数千乃至数百个任务的单一模型。这种模型可能由很多不同结构的组件组成，实例（example）之间的数据流在逐实例的基础上是相对动态的。模型可能会使用稀疏门控专家混合和学习路由等技术以生成一个非常大容量的模型，但其中一个任务或实例仅稀疏激活系统中总组件的一小部分。