今年的海德堡论坛,Raj Reddy、Sanjeev Arora、LeCun 与 Bengio 都讲了些什么?( 四 )


但最终当其他人组织ICLR时 , 我们并不能去告诉程序委员会该如何组织会议 , 因为他们是志愿的角色 。 所以评审过程又逐渐地越来越接近于更传统的模式 , 除了OpenReview得以保留 。
而现在 , 其他会议也都转换到这种模式 , 包括NeurIPs和ICML , 我认为这是一个进步 。 在开放性的另一个方面 , 我认为Yoshua和我对激发AI社区研究的的快速发表产生了重大影响 。 有这样一句话:早发表 , 多发表 。 论文可能有错误 , 但是没关系 , 有机会纠正 。
提问:Yoshua , 结合你在ICLR的经验 , 对于那些除了自己的研究之外还参与组织工作的年轻研究人员 , 你有什么要做和不要做的建议?
YoshuaBengio:我先就Yann的回答再补充一些背景 。 机器学习研究者社区几十年来在开放科学和开放出版方面一直是积极分子 , 我和Yann一直在推动ICLR 。
在1999年左右 , 《机器学习期刊》(MachineLearningJournal)的委员会发生了一场小革命 , 委员会成员和研究者包括我自己在内都在推动更多的开放获取 , 但是谈判并没有成功 , 委员会的很大一部分成员离开了 。 我们创办了现在机器学习旗舰期刊——TheJournalofMachineLearningResearch(JMLR) , 是社区管理的非营利组织 。
有时科学上的需要和科学家寻求的真理价值观以及为社会做一些积极的事情 , 并不总是与利润最大化相一致 。 我认为有理想的年轻人 , 例如发起ClimateChangeAI(CCAI)的小组 , 在会议上申请组织研讨会 , 通常是年轻人新群体将精力投入到这些事情中 。 有时他们可以自己创办一个会议 , 要做到这一点需要付出工作和努力 , 需要召集一大批关心这个话题的人 。
YannLeCun:谷歌学术显示 , 自2013年以来 , ICLR在所有出版机构影响力排名中已经位列第七位 , 领先于PNAS , 这是非常了不起的 , 这要归功于完全开放的评审过程 。
4环保的AI与低碳大模型提问:现在模型越来越大、越来越复杂 , 而大模型会消耗更多的能量和资源 。 随着时间的推移 , 这会导致气候越来越糟糕 , 而且模型似乎不会停止变大 。 在尝试构建更高效的模型时 , 是否有任何工具、程序或其他措施来防止这种情况发生呢?
SanjeevArora:我们可以从训练和部署两方面来看 , 在部署阶段 , 我们可以使模型更加紧凑 , 但在训练方面 , 我们确实倾向于把模型做得越来越大 。
YannLeCun:其实分三类 , 有研究培训、生产培训以及部署 。 部署是迄今为止最大的能源消耗源 。 有一篇非常有趣的论文 , 是谷歌的员工做出了某种预测 , 预测关于在谷歌这样的在线服务中花费在AI上的能源与其他所有能源的比例是多少 。 事实上比例不是很大 。 所以能源消耗的数字正在变大 , 但它变大的速度不是很快 。 目前 , 这个数字大概是15-20% , 而且不会超出这个范围 , 因为受到了经济的限制 , 而且所有那些大公司都在能源上花费了大量的钱 , 这意味着他们有巨大的动力去节省能源 。
BeenKim:蒸馏是一个可以关注的关键词 。 蒸馏可以将复杂网络变得更小、更易于理解、更稀疏 。 稀疏网络也是一个值得关注的关键词 。 而且我还想补充一下 , 在制作、部署模型的时候 , 在像谷歌这样的公司中 , 简化模型这一点是非常重要的 。 因为模型越复杂就越难维护 , 更难理解 , 即便对我们来说也很难 。 因此 , 我们一直在努力把模型做得更好、更简单 。
YannLeCun:有非常庞大的工程师团队投入所有精力去做这个工作 , 他们的努力使得部署中的推理更加高效 。
提问:有一个相关的问题是 , 我们如何确保有相关的激励措施使人工智能的进步能够直接解决气候危机方面的问题?