还在苦恼怎么给优化器调整更好的参数吗?现在|让ai自己调整超参数,谷歌大脑新优化器火了( 二 )


文章图片
巴特 , 也有网友认为耗费4000个TPU月来训练VeLO , 计算量成本过大:
虽然这个进展很重要 , 但它甚至都快赶上GPT-3的训练量了 。
还在苦恼怎么给优化器调整更好的参数吗?现在|让ai自己调整超参数,谷歌大脑新优化器火了
文章图片
目前VeLO已经开源 , 感兴趣的小伙伴们可以去试试这个新的AI优化器 。 OneMoreThing
前段时间 , 一位哈佛博士生提了个有意思的想法 , 得到不少人赞同:
更多论文的作者们也应该像演职员表一样 , 公开自己在论文中的工作内容 。
还在苦恼怎么给优化器调整更好的参数吗?现在|让ai自己调整超参数,谷歌大脑新优化器火了
文章图片
KareemCarr是生物统计学领域的博士生 , 作者贡献在生物论文中比较常见 , 不过之前在AI论文中见得不多 。
现在 , 这篇谷歌大脑论文的作者们也这样做了 , 谁写的论文、谁搭建的框架一目了然:
还在苦恼怎么给优化器调整更好的参数吗?现在|让ai自己调整超参数,谷歌大脑新优化器火了
文章图片
不知道以后会不会成为机器学习圈的新风气(手动狗头) 。