品玩10月12日讯，微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型（MT-NLG），这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括5300亿个参数，与现有最大的模型GPT-3相比，参数数量是其3倍。
【 meg微软和NVIDIA共同推出迄今为止训练的最大的语言模型】训练这样的大型模型涉及各种挑战，沿着所有的人工智能轴线进行了许多创新和突破。例如，通过紧密合作，英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合，实现了前所未有的训练效率。
微软与NVIDIA建立了高质量的自然语言训练语料库，其中包含数千亿个标记，并共同开发了训练配方，以提高优化效率和稳定性。

文章插图

• 微信|个人收款码与商业收款码有什么不一样
• m都是大片！微软 Skype 支持将必应 Bing 图片设为通话虚拟背景
• 芯片|上市仅4个月，跌价1000元，微云台主摄+6nm芯片+4400mAh
• 显示器|微信新功能开始！长语音可以暂停
• 短信|关于5G消息，中国移动取得新进展，微信该做准备了
• 打脸！华为在美国，用专利把英特尔、苹果、微软、高通打败了
• 微信上线“语音暂停”功能
• 微信聊天最令人头疼的场景是什么？一定有人会说是对方发来一连串语音还都是超过30秒的长消息...|终于！微信上线万众期待的新功能！网友：总算等到了
• 爱奇艺|车澈的爱奇艺往事
• 微信小程序|小红书的付费推广获取流量方式有哪些？平台的4种主要营销工具都在这里了