多大获杰出论文奖，田渊栋、陆昱成获荣誉提名，ICML 2021奖项公布机器之心报道机器之心编辑部

机器之心报道
机器之心编辑部
刚刚， ICML2021揭晓了本届杰出论文奖和杰出论文荣誉提名奖，来自多伦多大学、谷歌大脑的研究获得了杰出论文奖，包括田渊栋、陆昱成在内的多位学者获得了杰出论文荣誉提名奖。此外，高通副总裁MaxWelling和Hinton学生郑宇怀合著的研究获得了本次大会的时间检验奖。
近日，机器学习国际顶级会议ICML2021以线上方式举行，本次会议共收到5513篇论文投稿，其中1184篇被接收，接收率为21.5% ，与上一年持平。

文章图片
ICML2021程序主席张潼（香港科技大学教授）和MarinaMeila（华盛顿大学教授）在线上直播中公布了本次大会提交和接收论文的一些详细数据。首先，下图为2017至2021年ICML会议的论文提交与接收变化曲线：

文章图片
ICML2021提交论文所属领域主要包括算法、深度学习（DL）、理论、应用、强化学习（RL）、社会层面、优化和概率方法（按比例从高到低排列）。

文章图片
ICML2021按论文所属领域的接收率分布如下，其中理论论文接收率最高，随后依次为强化学习（RL）、概率方法、社会层面、优化、算法、应用和深度学习。

文章图片
在ICML2021的所有接收论文中，哪些关键词是高频出现的呢？如下图所示， RL出现频率最高，随后依次是noise、planning、Bandits、MonteCarlo、Redution、Flow、Private和Provable 。

文章图片
在会议上， ICML2021大会公布了杰出论文奖和杰出论文荣誉提名奖的获奖结果，同时也公布了此次大会时间检验奖的结果。
来自多伦多大学和谷歌大脑的论文《UnbiasedGradientEstimationinUnrolledComputationGraphswithPersistentEvolutionStrategies》获得了此次会议的杰出论文奖，此外共四篇论文获得了杰出论文荣誉提名奖，其中包括康奈尔大学博士生陆昱成、Facebook人工智能研究院研究员田渊栋等人参与的研究。

文章图片
值得注意的是， ICML2021官网公布的奖项和直播时程序主席公布的奖项出现不一致的情况，机器之心以直播中程序主席公布的奖项信息为准。

文章图片
官网公布的杰出论文。
杰出论文奖
获得本次ICML杰出论文奖的研究者来自多伦多大学和谷歌大脑，他们提出了一种在展开计算图中高效学习和优化参数的无偏梯度方法，并在实验中展现出了相较于其他方法的优势。

文章图片
论文地址：http://proceedings.mlr.press/v139/vicol21a/vicol21a.pdf论文作者：PaulVicol、LukeMetz、JaschaSohl-Dickstein机构：多伦多大学、谷歌大脑目前，展开（unrolled）计算图应用在很多场景中，包括训练RNN、通过展开优化微调超参数和训练可学习优化器等。但是，在这类计算图中优化参数的方法存在着高方差梯度、偏差、更新缓慢以及大量内存使用等诸多问题。
在本文中，研究者提出了一种名为PersistentEvolutionStrategies（PES）的方法，它可以将计算图分成一系列截断的展开，并在每次展开后执行基于进化策略的更新步骤。 PES通过在整个展开序列上累积校正项来消除这些截断的偏差。 PES可以实现快速参数更新，具有低内存使用、无偏差以及合理的方差特征。实验表明， PES在合成任务上展现出了与其他梯度估计方法的优势，并在训练可学习优化器和微调超参数方面具有适用性。