算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法( 二 )


算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法
文章插图
当然,也有读者指出,这篇论文还存在一些待解决的问题:
①论文用的是VGG16模型,但没有在Transformer等更经典的模型(如BERT)中进行实验;②虽然对矩阵乘法进行了加速,但毕竟只是近似算法,意味着潜在的精度损失;③没有在GPU中测试评估结果。
算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法
文章插图
但他仍然认为,这不失为一篇非常有意思的研究。
作者介绍算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法
文章插图
Davis Blalock,MIT的计算机系博士生,致力于研发快速机器学习算法,他认为速度是衡量机器学习模型的一个非常重要的因素。
算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法
文章插图
John Guttag,MIT计算机系教授,研究方向是机器学习、AI和计算机视觉,目前的研究项目集中在医疗AI和医学成像上。
值得一提的是,这两位研究人员,此前还炮轰过神经网络中的剪枝算法。
算法|矩阵乘法无需相乘,速度提升100倍,MIT开源最新近似算法
文章插图
他们针对其中的81种算法进行了横向对比,发现“没有明确证据表明,这些算法在10年内,对任务效果有明显改善”。
研究一作Davis Blalock还认为:
这些改进都是所谓的“微调”,而不是科研人员声称的“核心创新”,甚至有些改进方法可能根本就不存在。
在对AI模型进行效率提升上,两位作者确实是很严格了。
项目地址:
https://github.com/dblalock/bolt
论文地址:
https://arxiv.org/abs/2106.10860
参考链接:
[1]https://mp.weixin.qq.com/s/VK2W9zD83ddSzYSLLS21UQ
[2]https://news.ycombinator.com/item?id=28375096
— 完 —
量子位 QbitAI · 头条号签约