前谷歌大脑科学家称梯度下降为机器学习中最优雅idea，LeCun大赞( 二 ) 丰色发自凹非寺量子位|公众号

首先在他看来，机器学习中的很多理论应用到神经网络中都可以“发现”非常漂亮的图像，比如用梯度下降得到的分组卷积图。

文章图片
“看起来很像一些早期生物有没有？”
小哥惊呼自己从中感受到了自然科学家感受过的美，因此觉得机器学习的美也是生物学的美。
除此之外，他还觉得：
训练大模型就像是到一个偏远的岛屿去观察那里的生物。

文章图片
因此“每个模型的结构都有着自己的魅力世界，等待我们去观察和发现” 。
（就是说，怎么突然升华起来了。）
顺理成章，他将梯度下降法比作生物学中的进化，认为它们都是通过简单的过程就能产生具有高度复杂性的东西。
而且他思来想去，觉得还是生物学是用来类比的最佳范例，因此机器学习也可以从其中获得启发。
小哥这些言论一出，每一条都收到了几十到上百的点赞，但更多的人表示有点匪夷所思，不敢苟同。其中就包括大名鼎鼎的“嘴炮”马库斯。
他很直白地表示，你说梯度下降很牛没错，但它和生物学基本没什么联系吧。

文章图片
与此同时也有网友反驳道，就拿反向传播机制来说，我们的大脑根本都不存在这个东西，怎么能说机器学习和生物学很像呢？

文章图片
“我觉得梯度下降还是一个数学问题，和进化无关；并且我还得说一句，数学之美远超进化和生物学之美，更别提梯度下降比进化聪明了几个数量级呢。 ”有人进一步回怼。

文章图片
反对声是七嘴八舌……
小哥眼看情况愈演愈烈，楼越堆越高，按耐不住，出来解释了。
他称，自己这个类比确实不完美，可能也存在表述不准确的原因。但无论如何，这些结论都不涉及解释人工神经网络的生物学合理性。除此之外，一切都是他的直觉感受，大家随意接受和反驳就好。
好吧，这就是一个开放问题，经不经得起推敲还很难说。
只得说他提出来的梯度学习最优雅确实目前点赞次数最多的一个答案。
那么，我们还是回到问题本身，看看除了梯度下降，还有什么机器学习理论被大家奉为“至美”吧。
还有哪些idea很优雅？一位即将进入华盛顿大学读博士的学生认为是“高斯过程“（GaussianProcess,GP），对他来说，这是构建模型过程中最精粹的“精髓” 。
一位就职于Zoom的AI从业者表示，深度学习的框架和系统中有太多优雅的东西了：
往低了说， GPU加速操作算一个；
往高了说，可微分编程/Pytorch的自动求导（autograd）/反向传播都可以算这个范围内；

文章图片
来自YoshuaBengio的MILA实验室的一位研究员则表示，当然是机器学习中的扩展定律(scalinglaws)了， “那种简单到惊掉人下巴的美！”
一位拥有博士学位的网友：“我也觉得答案太多了，硬要我说，我选激活函数和ConNet架构。因为它们归根结底和矩阵和微积分很像。 ”
还有人的答案是：置信传播算法（beliefpropagation）、流形学习（manifoldlearning）、bottleneckz自动编码器、神经网络中的不变性和等变性编码等等。