萧箫发自凹非寺量子位报道 | 公众号 QbitAI在不做乘加操作（multiply...|矩阵乘法无需相乘，速度提升100倍，MIT开源最新近似算法( 二 ) 萧箫发自凹非寺

文章图片
对比计算速度的话， MADDNESS的点积速度就能比现有最快方法快两倍左右。

文章图片
当然，也有读者指出，这篇论文还存在一些待解决的问题：
①论文用的是VGG16模型，但没有在Transformer等更经典的模型（如BERT）中进行实验；②虽然对矩阵乘法进行了加速，但毕竟只是近似算法，意味着潜在的精度损失；③没有在GPU中测试评估结果。

文章图片
但他仍然认为，这不失为一篇非常有意思的研究。
作者介绍

文章图片
DavisBlalock ， MIT的计算机系博士生，致力于研发快速机器学习算法，他认为速度是衡量机器学习模型的一个非常重要的因素。

文章图片
JohnGuttag ， MIT计算机系教授，研究方向是机器学习、AI和计算机视觉，目前的研究项目集中在医疗AI和医学成像上。
值得一提的是，这两位研究人员，此前还炮轰过神经网络中的剪枝算法。

文章图片
他们针对其中的81种算法进行了横向对比，发现“没有明确证据表明，这些算法在10年内，对任务效果有明显改善” 。
研究一作DavisBlalock还认为：
这些改进都是所谓的“微调” ，而不是科研人员声称的“核心创新” ，甚至有些改进方法可能根本就不存在。
在对AI模型进行效率提升上，两位作者确实是很严格了。
项目地址：
https://github.com/dblalock/bolt
论文地址：
https://arxiv.org/abs/2106.10860
参考链接：
[1]https://mp.weixin.qq.com/s/VK2W9zD83ddSzYSLLS21UQ
[2]https://news.ycombinator.com/item?id=28375096
—完—
量子位QbitAI·头条号签约
【萧箫发自凹非寺量子位报道 | 公众号 QbitAI在不做乘加操作（multiply...|矩阵乘法无需相乘，速度提升100倍，MIT开源最新近似算法】来源：量子位

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI在不做乘加操作（multiply...|矩阵乘法无需相乘，速度提升100倍，MIT开源最新近似算法( 二 )

萧箫发自凹非寺量子位报道 | 公众号 QbitAI在不做乘加操作（multiply...|矩阵乘法无需相乘，速度提升100倍，MIT开源最新近似算法( 二 )