LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意作者｜李梅编辑

作者｜李梅
编辑｜陈彩娴
前几天刚跟马斯克吵完架的GaryMarcus ，又双叒叕跟人吵起来了，这次的吵架对象是YannLeCun 。
一向喜欢给深度学习泼冷水的Marcus ，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：

文章图片
事情是这样的。
几天前，有人在推特上发帖问:在机器学习中，最优雅美丽的idea是什么？感觉数学家和物理学家经常谈论美学，但我们却很少，为什么？

文章图片
于是网友们都来认真答题：多重权重更新算法（multiplicativeweightsupdate）、核技巧（kerneltrick）、降维（dimensionreduction）、一些凸优化方法（convexoptimization）、变分推理（variationalinference）、熵和信息论等等。

文章图片
大家还就机器学习研究的美学性讨论了起来。有人认为，机器学习理论家其实也在谈论优雅这个东西，尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利：之所以很少有人谈论美学，是因为机器学习重在应用，而不是像纯粹数学那样「毫无价值」。
谷歌大脑的研究员ChrisOlah也来转贴评论说：
ML的优雅是一种生物学的优雅，而非数学或物理的那种优雅。梯度下降创造了令人难以置信的结构和行为，正如进化创造了令人敬畏的自然复杂性。
文章图片
LeCun表示：梯度下降？这我熟！
近4年来，我一直试图让我许多更注重理论的同事相信梯度下降所具有的不可思议的力量。
文章图片
LeCun在1989年发表的那篇论文，就是通过使用梯度下降的方法训练了CNN进行图像识别，梯度下降后来成为计算机视觉研究的基础理论。
LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道：「我们在ML中学到的最重要的东西是什么？」LeCun回答说：「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。
LeCun这个「仇」记得还挺久......
那么，「梯度下降」是最优雅的ML算法吗？有人赞成有人反对。
毫无疑问GD是过去十年来我们在AI领域所看到的所有进步背后的核心驱动力。
文章图片
GD很了不起， ...但这并不是AI 。
文章图片
LeCun正忙着与网友进行友好交流， Marcus也来了。有讨论深度学习的地方，怎能没有我Marcus的身影？
的确。但重要的是，令人难以置信的力量≠无穷的力量。要意识到（梯度下降）的极限，才能知道下一步要做什么来获得进步。
文章图片
LeCun一看：所以你的意思是要抛弃梯度下降了？？
1.基于梯度的优化是学习的一个要素，而不是人类级人工智能的一整套组件。2.未来会有什么方案可能替代基于梯度的优化？你是相信（a）无梯度优化不好？，还是（b）优化本身不好？

文章图片
对此， Marcus表示很委屈：我的意思是DL需要「补充」，而不是「替换」！