万字长文!DeepMind科学家总结2021年的15个高能研究( 三 )


万字长文!DeepMind科学家总结2021年的15个高能研究
文章图片
另外 , 还有一些其他路线来提高效率 , 例如创建更有效的优化器以及稀疏度的量化方法 。
当模型不能在标准硬件上运行 , 或者成本过于昂贵时 , 模型的可用性就会大打折扣 。 为了保证模型在不断扩大的同时 , 模型部署也能使用这些方法并且从中获益 , 模型的效率需要不断进步 。
下一步的研究中 , 人们应该能够更加容易地获得和使用有效的模型和训练方法 。 与此同时 , 社区将开发更有效的方法 , 来与大型模型接口 , 并有效地适应、组合或修改它们 , 而不必从头开始预先训练一个新模型 。
6基准测试
最近机器学习和自然语言处理模型的能力迅速提高 , 已经超过了许多基准的测量能力 。 与此同时 , 社区用于进行评估的基准越来越少 , 而这些基准来自少数精英机构 。 每个机构的数据集使用情况表明 , 超过50%的数据集都可以认为来自12个机构 。