LeCun论文被指“洗稿”?LSTM之父发文怒怼:抄我的还标原创( 三 )


(II)H-JEPA:预测世界的非生成层次架构在多个抽象级别和多个时间尺度上学习表示的模型 。
(III)一系列非对比自我监督学习范式 , 产生同时提供信息和可预测的表示 。
(IV)使用H-JEPA作为不确定性下分层规划的预测世界模型的基础 。
对此 , Schmidhuber也按照LeCun列出的这四个模块一一校对 , 并给出了与他论文中有重合的点 。
文章最后 , 他表示这篇文章的重点不是攻击发表的论文或是其作者所反映的想法 , 关键是这些想法并不像LeCun的论文中写的那样「原创」 。
他说 , 这些观点的提出中许多都有着我和我的同事的努力 , LeCun现在所提出的他的「Mainoriginalcontribution」其实与我几十年来研究的贡献密不可分 , 我希望读者自己判断我的评论的有效性 。
从LSTM之父到……
其实 , 这位大爷声称别人抄袭他的成果也不是第一回了 。
早在去年9月 , 他就在博客上发文表示 , 现在引用最多的神经网络论文成果 , 都是建立在我实验室完成的工作之上的:
「LSTM不用说了 , 其他还有今天鼎鼎大名的开创性工作比如ResNet , 比如AlexNet、GAN、Transformer , 都和我的工作有关系 。 有些工作的第一版就是我做出来的 , 但是现在这些人不讲武德 , 引用不规范 , 搞得这些成果现在的归属认知有问题 。 」
虽然大爷气性很大 , 但不得不说JürgenSchmidhuber这么多年来确实有些意难平 。
同为AI领域的前辈级人物 , 开创性成果没少做 , 但获得的声誉和认可度似乎总与期望值有很大差距 。
尤其是在2018年 , 深度学习三巨头:YoshuaBengio、GeoffreyHinton、YannLeCun荣获图灵奖时 , 就有不少的网友发出了质疑:图灵奖为什么没颁给LSTM之父JürgenSchmidhuber?他也是深度学习领域的大家啊 。
LeCun论文被指“洗稿”?LSTM之父发文怒怼:抄我的还标原创
文章图片
时间回到2015年 , 当时Bengio、Hinton和LeCun三位大神联手在Nature上发了一篇review , 题目直接就叫《DeepLearning》 。
文章从传统的机器学习技术讲起 , 总结了现代机器学习的主要架构和方法 , 描述了训练多层网络架构的反向传播算法 , 以及卷积神经网络的诞生 , 分布式表示和语言处理 , 以及递归神经网络及其应用等等 。
LeCun论文被指“洗稿”?LSTM之父发文怒怼:抄我的还标原创
文章图片
不到一个月后 , Schmidhuber就在自己的博客上发文进行了批评 。
LeCun论文被指“洗稿”?LSTM之父发文怒怼:抄我的还标原创
文章图片
Schmidhuber表示 , 这篇文章让他非常不爽 , 因为全文多次引用三位作者自己的研究成果 , 而对于其他先驱人物对深度学习更早的贡献则只字不提 。
他认为 , 获得图灵奖的「深度学习三巨头」俨然成了贪他人之功 , 以为己利的鸡贼、借助江湖地位互相吹捧 , 压制老前辈的学阀 。
2016年 , JürgenSchmidhuber又在NIPS大会的Tutorial上和「GAN之父」IanGoodfellow正面交锋 。
当时 , Goodfellow正讲到GAN与其他模型相比较时 , Schmidhuber便站出来提问打断 。
LeCun论文被指“洗稿”?LSTM之父发文怒怼:抄我的还标原创
文章图片
Schmidhuber的问题很长 , 大概说了两分钟 , 主要内容是强调说自己在1992年就已经提出来PM , 接着说了一大堆它的原理、实现过程等等 , 最后图穷匕见:你说说你的GAN和我的PM有没有相似之处?
Goodfellow也不示弱:你说的问题我们之前在邮件里已经交流过很多次了 , 我也早就公开回应过你了 , 不想在现在的场合浪费听众的耐心 。
等等 , 等等……