2021年 ， Dean,J.等人在论文《LargeScaleDistributedDeepNetworks》中提出了一种将Adam优化器存储在8-bit的方法 ， 同时在使用32-bit格式时保持整体性能不变 。 2020年 ， Sun,X.等人在论文《Ultra-LowPrecision4-bitTrainingofDeepNeuralNetworks》中提出了更激进的精度降低 ， 其中开发了处理4-bit表示的特定路径 。
收敛加速
另一种加速大规模深度学习模型的方法是减少节点之间的通信时间以及在适当局部最小值收敛所需的epoch数量 。
【大规模神经网络最新文献综述：训练高效DNN、节省内存使用、优化器设计】关于通信成本的降低 。 在将梯度在计算节点之间迁移之前对它们进行压缩已经出现了不同的方法 ， 具体有三类 ， 分别是分裂（sparsification）、量化（quantization）和低秩（low-rank）方法 。

• 2022年最新焦俊艳高清写真集
• Mojo Vision推出最新的增强现实隐形眼镜原型
• 事关清明出行！昆明地铁发布最新提示
• 高通骁龙|网传三星Galaxy S23系列明年发布，搭载高通最新的骁龙8 Gen2！
• AR|眼控用户界面，Mojo Vison公布最新Mojo Lens AR隐形眼镜原型
• 荣耀play|覆盖十多款机型！ColorOS 12系统最新升级适配计划公布
• 应用商店|建议友商跟进！国产系统应用商店自带64位专区：最新旗舰机专属
• 一加|一加10R最新渲染图曝光：天玑8100+150W快充
• 裁员|京东大规模裁员，零售中台成重灾区，互联网寒冬是否到来？
• 苹果|苹果最新版iOS特性一览：耗电Bug终于修复了