文章插图
文章插图
也就是说,AlphaCode的代码能力媲美在Codeforces上参加过测试的几乎一半程序员(2300名)。按照一个初级程序员月薪2万的算法,AlphaCode有望每年替全球人类资本家省下5.52亿的人力成本,使一半程序员失业……
不过,DeepMind团队当时也明确指出了:AlphaCode目前只适用于竞争类编程比赛。
不可否认,这也是继DeepMind发布Alpha Go、AlphaZero与AlphaFold之后的又一研究突破,极大地增加了其Alpha系列的传奇色彩。但与该系列的其他工作(如AlphaGo打败世界围棋冠军)相比,AlphaCode的性能似乎并不突出,
目前正在清华大学朱军门下担任博士后研究员的Tea Pearce对AlphaCode的技术原理十分感兴趣,对DeepMind的这篇31页论文进行仔细阅读后,制作了一个短视频发表在油管上,从系统概述、测试阶段、数据集的预训练与微调、Transformer模型的训练过程与Transformer架构等维度对AlphaCode的细节进行了较为详细的讲解。
视频地址:https://www.youtube.com/watch?v=YjsoN5aJChA
与OpenAI之前开发的GPT-3一样,AlphaCode也是基于Transformer模型,只不过前者侧重于言生成,后者则强调对顺序文本(如代码)的解析。
下面AI科技评论对该短视频进行了简单整理:
简而言之,这些挑战的目标就是编写一些代码,为示例的测试案例与一组隐藏测试案例提供符合预期的输出。如果你的代码通过了所有测试,那么你就解决了这个问题。
根据DeepMind的介绍,AlphaCode在Codeforces网站所举办的编码挑战中取得了与普通用户相媲美的成功率。
在DeepMind团队所发表的“Competition-Level Code Generation with AlphaCode”一文中,他们给出了一个高级的概要图(如下)。如图所示,AlphaCode的核心组件仍然是Transformer语言模型,其余单独组件也是旧的。
文章插图
- 刚刚,马斯克当选美国工程院院士!智源张宏江博士入选外籍院士
- 图分析|TigerGraph CEO许昱博士:图分析正在达到广泛采用的临界点|探路2022
- 半导体|为何要进口设备?清华大学半导体项目落地:国际先进、自主产权
- 真相|清华虚拟学生翻车,欺骗大众是AI合成,背后真相浮出水面
- 本文转自:法治潮阳我是好奇博士很高兴认识你们...|今天睡三四个小时,明天睡十几个小时,能不能补回来?
- ibm|国货之光华为成长系列二:任正非在华为为何不看重北大清华高材生
- 半导体|恭喜,无锡!清华半导体大项目!
- 旷视|3位清华学霸,手握1400多科研人员,3年烧钱142.5亿,却没挣到钱
- 高材生|在华为任职的高材生,大多都是来自哪个学校的?是清华还是北大?
- 3位清华学霸,带领1400人搞研发,三年半亏146亿,烧出AI独角兽