2022年,PyTorch在AI顶会的占比已经上80%了

在2021年的各大顶会中 , 使用PyTorch的论文数量已经是使用Tensorflow的至少3倍以上 , 而这一差距还在持续扩大 。
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
从早期的学术框架Caffe、Theano , 到后来的PyTorch、TensorFlow , 自2012年深度学习再度成为焦点以来 , 很多机器学习框架成为研究者和业界工作者的新宠 。 2018年底 , 谷歌推出了全新的JAX框架 , 其受欢迎程度也一直在稳步提升 。 很多研究者对其寄予厚望 , 希望它可以取代TensorFlow等众多深度学习框架 。 不过 , PyTorch和TensorFlow仍是ML框架领域的两大实力玩家 , 其他新生框架的力量暂时还无法匹敌 。 而PyTorch和TensorFlow之间则是此消彼长的关系 , 力量对比也在悄悄发生着变化 。 2019年10月 , 康奈尔大学本科生、曾在PyTorch团队实习的HoraceHe曾对PyTorch和TensorFlow在学界的使用情况进行了数据统计 。 结果显示 , 研究者已经大批涌向了PyTorch , 不过当时看来 , 业界的首选仍然是TensorFlow 。 如下图所示 , 从2019年中期开始 , 在统计的各大顶会中 , PyTorch从使用率指标上就已完成了对TensorFlow的反超 。
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
2022年,PyTorch在AI顶会的占比已经上80%了】数据收集时间:2019年10月 。 当时的开发者社区曾热议:未来 , 谁能在ML框架之争中迎来「高光时刻」?两年后 , HoraceHe再次给出了更新后的统计结果 。 截止目前 , EMNLP、ACL、ICLR三家顶会的PyTorch的占比已经超过80% , 这一占比数字在其他会议中也都保持在70%之上 。 短短两年间 , TensorFlow的生存空间又大幅缩小 。
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
具体到每一家顶会 , 作者也在图表中展示了详细数据:以CVPR为例 , 在CVPR2018之前 , TensorFlow的使用率还高于PyTorch , 而在下一年 , 局势立即逆转 。 CVPR2019的PyTorch使用率为22.72%(294篇) , TensorFlow的使用率变为11.44%(148篇);到了CVPR2020 , 这两个数字分别变成了28.49%(418篇)和7.7%(113篇) 。
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
在ICML、ICLR、NeurIPS这些会议中 , 依旧是同样的竞争形势:
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片

PyTorch一骑绝尘 , TensorFlow则持续下跌 。 在ICLR2022中 , PyTorch使用率为32.20%(1091篇) , TensorFlow跌到了6.14%(208篇) , 拉开了五倍的差距 。
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
所以 , 退守一方的TensorFlow , 怎么就到了今天这个地步?在Hackrnews社区 , 这一话题引发了开发者的热议:「在学术出版中 , 能够将你的工作与SOTA进行比较是非常关键的 。 如果你所在地区的其他人都使用某个框架 , 那么你也应该这样做 。 过去几年 , Pytorch是我关注最多的框架了 。 」「但Tensorflow的一个亮点是静态图表 。 随着模型变得更加密集 , 并且需要不同的部分并行执行 , 我们在PyTorch的运行模型中看到了一些挑战 。 」
2022年,PyTorch在AI顶会的占比已经上80%了
文章图片
在这位开发者看来 , 如果想并行地做很多事情 , Tensorflow还是有一些特性是其他产品无法比拟的 。 这完全取决于你在做什么 。 还有人说 , Tensorflow的式微是因为出现了策略上的失误 。 「我认为Tensorflow在学术界做出了一个糟糕的举动 , 因为它在早期版本中使用起来非常困难 。 当然 , 它的性能总是比PyTorch好 , 但当你是一个工作负担很重的博士生时 , 你就不太关心你的代码是否高效 , 而更关心你的代码是否能work 。 有人说PyTorch的调试相对轻松 , 所以那些早期的模型用了PyTorch发表 , 后来很多人也就来到了PyTorch 。 」