MIT新研究:过去80年,算法效率提升到底有多快?( 二 )


对于大型计算问题 , 43%的算法系的效率提升带来的收益 , 不低于摩尔定律带来的收益 。
在14%的问题中 , 算法效率提升的收益远超硬件性能提升的收益 。
对于大数据问题 , 算法效率提升收益特别大 , 因此近年来 , 这一效果与摩尔定律相比越来越明显 。
当算法系从指数复杂度过渡到多项式复杂度时 , 情况出现了最大的变化 。
所谓指数复杂度算法 , 就像一个人猜密码锁的密码一样 。 如果密码盘上只有一位数 , 那么任务很简单 。 如果像自行车锁一样 , 表盘是4位数 , 估计你的自行车很难有人偷得走 , 但仍然可以一个个试 。 如果是表盘是50位的 , 就几乎不可能破解了 , 需要的步骤太多了 。
MIT新研究:过去80年,算法效率提升到底有多快?
文章图片
图3基于渐近时间复杂度计算的110个算法系效率提升的年平均速度分布 , 其中问题规模为:(a)n=1000 , (b)n=100万 , (c)n=10亿 。 硬件性能提升线表示从1978年到2017年 , SPECInt基准性能的平均年增长率
这类问题也是计算机面对的难题 , 随着问题的规模越来越大 , 很快就会超过计算机的处理能力 , 这个问题光靠摩尔定律是解决不了的 。
解决之道在于找到多项式复杂度的算法 。
研究人员表示 , 随着摩尔定律终结这个话题越来越多地被提及 , 我们需要将未来的解决方案的重点放在算法的效率提升上 。
MIT新研究:过去80年,算法效率提升到底有多快?
文章图片
图4前导常数在算法性能提升中的重要性评价
研究结果表明 , 从历史上看 , 算法效率的提升带来的收益是巨大的 。 不过二者之间存在着频度的差异 , 摩尔定律带来的提升是平滑而缓慢的 , 而算法效率的提升是阶梯式的跃进 , 但出现没那么频繁 。
本文通讯作者尼尔·汤普森说:
这是业界第一篇说明算法效率提升速度的论文 。 通过我们的分析 , 可以得出算法改进后 , 使用同样的算力可以完成多少任务 。
随着问题的规模不断增大 , 比如达到数十亿或数万亿个数据点 , 算法效率的提升带来的收益 , 比硬件性能的提升更重要 , 而且重要得多 。
在我们开始逐步为算力不足发愁的时代 , 在摩尔定律越来越显出疲态的今天 , 这一发现可能为未来解决超大型计算问题开辟一条新的思路 。
参考链接:
https://news.mit.edu/2021/how-quickly-do-algorithms-improve-0920
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9540991