机器学习|在“谷歌大脑”工作的一年，我都学到了些什么？( 二 )

我举一个例子：几年前，谷歌大脑团队的许多人意识到，机器学习工具更接近于编程语言而不是库，由于这一事实，重新设计他们的工具将释放出更高的生产力。管理层并没有命令工程师去研究这个问题的特定解决方案。相反，几个小团队有机地形成了，每个团队都以自己的方式来解决这个问题。TensorFlow 2.0、Swift for TensorFlow、JAX、Dex、Tangent、Autograph和MLIR都是同一个愿景的不同角度。有的彼此直接冲突，但每一个都因为另一个的存在而得到改进，团队之间经常分享笔记，并在可能的情况下复用对方的解决方案。这些工具中的很多完全有可能不会成为什么更有前途的实验，但也有可能至少有一个是突破性的。

文章插图

TF 2.0、Swift for TensorFlow和JAX，由谷歌大脑内部的独立子团队开发，是通往同一个愿景的不同路径，一种令人愉快、富有表现力和性能的机器学习编程语言。
我猜测，谷歌大脑所处的类似PARC的环境，对TensorFlow的诞生起到了重要作用。2015年底，谷歌将TensorFlow开源，免费向全世界开放。TensorFlow很快就受到了巨大的欢迎。斯坦福大学和其他大学的讲师在他们的课程中使用它（例如，我的朋友Chip Huyen创建了一门名为TensorFlow for Deep Learning Research的斯坦福课程），世界各地的研究人员使用它来运行实验，公司使用它来训练和部署现实世界中的模型。今天，以标星数来衡量，TensorFlow是Github上众多百万公共软件仓库中第五大最受欢迎的项目。
然而，至少对于TensorFlow来说，谷歌大脑超强的创造力、超强的生产力和 “失控”的文化是一把双刃剑。在为共同的未来开辟自己的道路的过程中，TensorFlow的工程师们发布了许多有着相似目的的功能。随后，这些功能中的许多被去掉，而选择了更有前途的功能。虽然这个过程可能选择了好的功能（比如tf.data和Eager Execution），但它让我们的用户感到沮丧和疲惫，他们需要努力才能跟上。

文章插图

谷歌TPU，是机器学习的硬件加速器。在谷歌大脑的时候，我创建了一个自定义的TensorFlow操作，让TPU核心之间的计算更容易负载平衡。
谷歌大脑至少在一个方面与PARC不同：与PARC不同的是，PARC臭名昭著地未能将其研究商业化，而谷歌则将在谷歌大脑中孵化的项目生产化。例如谷歌翻译、BERT语言模型（为谷歌搜索提供信息）、TPU（谷歌租给外部客户的硬件加速器，并在内部用于各种生产项目）和谷歌云AI（将AutoML作为服务出售）。从这个意义上说，谷歌大脑是拉里·佩奇的自然延伸，他希望与那些想做 “疯狂的世界性突破的事情 ”的人合作，同时 “一只脚踏进工业界”（正如佩奇在接受沃尔特·艾萨克森采访时所说）。
离开谷歌大脑去读博士是很困难的。我已经习惯了这些好处，而且我也很欣赏这个团队离研究工作很近。最重要的是，我喜欢和一个大型团队一起围绕着TensorFlow 2.0工作，我热衷于打造更好的工具，为更好的头脑服务，但我也喜欢研究提供的创造性表达。
经常有人问我，为什么要报考博士项目，而不干脆让自己参与谷歌大脑的的研究。这就是原因：时代潮流除了深度学习和强化学习之外，几乎没有其他话题的空间。事实上，在2018年，谷歌将 “谷歌研究”重塑为 “谷歌人工智能”，将research.google.com重定向为ai.google.com。(这一品牌重塑可以理解地引起了一些人的注意。似乎这一改变在最近某个时候被悄悄地收回了，Google Research的品牌已经复活了）虽然我对机器学习很感兴趣，但我不相信今天的人工智能远比电和火更重要，我希望在一个更加智力多元化的环境中接受训练。