深度学习也有武林大会！八大科技巨头：我的“流派”才能实现AGI 新智元报道来源：AIM编辑：好

文章图片
新智元报道
来源：AIM
编辑：好困瘦瘦
【新智元导读】每周都有大量人工智能（AI）和机器学习（ML）的新研究工作、工具、数据集、模型、库和框架被发布。而这背后的AI实验室其实都在悄咪咪地推广自己的「流派」。
?
?深度学习研究就像武林大会？
【深度学习也有武林大会！八大科技巨头：我的“流派”才能实现AGI】没想到，这些看起来啥都搞的科技公司和AI实验室其实，都有一个自己深耕的「流派」。

文章图片
DeepMind
作为Alphabet的子公司， DeepMind可以说是强化学习的代名词。
从AlphaGo到MuZero以及最近的AlphaFold2 ， DeepMind一直在寻求强化学习方面的突破。
AlphaGo是一个打败专业人类围棋选手的计算机程序。它结合了先进的搜索树和深度神经网络。
MuZero除了在围棋、国际象棋和象棋上达到了AlphaZero的水平之外，同时还掌握了一系列视觉上非常复杂的Atari游戏。
而MuZero在训练的时候没有任何外部的经验，只知道游戏的规则。

文章图片
https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules
这些神经网络将围棋棋盘的描述作为输入，并通过不同的层进行处理，这其中则包含了数百万个神经元般的连接。
模型通过一个「策略网络」选择下一步棋，并通过另一个「价值网络」预测游戏的赢家。

文章图片
此外， DeepMind还推出了一个能够预测蛋白质结构的系统：AlphaFold 。
2018年， AlphaFold在国际蛋白质结构预测竞赛（CASP）上首次亮相，在98只参赛队伍中排名第一！
而第二代AlphaFold的突破在于，预测所有原子的3D结构，更快更准确地预测出蛋白质结构。

文章图片
目前， DeepMind团队将AlphaFold应用到20296种蛋白质，占人类蛋白质组的98.5% 。
AlphaFold几乎是预测了人类蛋白质组里以单个蛋白为单位的空间三维结构，而且结果相当精确！这本身就是结构生物学上的一大突破。

文章图片
OpenAI
GPT-3是全球谈论最多的Transformer模型之一。

文章图片
对于即将推出的语言模型GPT-4 ，虽然规模不会比GPT-3更大，但是会更加侧重代码的生成能力。

文章图片
最近， OpenAI推出了OpenAICodex ，一个将自然语言翻译成代码的AI系统。
它是GPT-3的衍生版本，其训练数据既包含自然语言，也包含数十亿行公开来源的源代码，包括公共GitHub存储库的代码。

文章图片
目前， GPT-3的竞争对手还包括EleutherAIGPT-j、BAAI的WuDao2.0和谷歌的SwitchTransformer等。
总而言之， OpenAI希望通过一系列Transformer模型实现AGI 。
Facebook
Facebook通过基础的、开放的科学研究，让跨领域的自监督学习技术改善其产品中的图像、文本、音频和视频理解系统。
基于自监督学习的预训练语言模型XLM-R ，利用RoBERTa架构改善了Instagram和Facebook上的多语仇恨言论分类器。