只不过有的会主要处理图像 ， 有的主要处理文本 ， 或者二者兼具 。
还有在大多数情况下 ， 都会有一个专家来处理所有包含文本表示的图像patch 。

文章图片
除了性能上的提升 ， 使用稀疏化模型的好处还体现在降低计算成本上 。
因为“多专家”的模式意味着 ， 尽管多设了很多子模型 ， 模型容量显著增加 ， 但是实际计算成本并没有明显变化 。
如果一次任务中只使用了一个子模型 ， 那它的成本和标准Transformer的差不多 。
比如LIMoE-H/14总共有5.6B参数 ， 但是通过稀疏化 ， 它只会使用每个token的675M参数 。
OneMoreThing稀疏化模型一直是谷歌深度研究的一个方向 ， 已经提出了MoE、GLaM在内的多个模型 。
这次LIMoE也不是谷歌第一次魔改MoE 。
去年6月 ， 他们提出了V-MoE ， 是一种新型的视觉架构 ， 今年已将全部代码开源 。
参考链接：
https://ai.googleblog.com/2022/06/limoe-learning-multiple-modalities-with.html—完—
量子位QbitAI·头条号签约

• 融入机器学习，让Chrome浏览器更“懂”你
• 全国大学英语四六级 | 近10万考生刷脸进场，看“零替考”利器如何大展身手
• 支付宝|支付宝：“三零服务” 继续免费 收钱码提现免费延长三年
• kubernetes|python学习笔记——基础篇
• 机器学习|3年时间败光120亿，“曾为自己代言”的陈欧，现在过得还好吗？
• 特斯拉|无人零售-以干货解忧，用流量思维创业
• 零售业|马云“预言”还挺准？新模式开始全国兴起，愿你能在其中
• 持续落后的美国高通，终于低头向中国芯片学习，推出多丛集设计
• 热搜！今日零点开始，知网开放个人查重，1.5元/千字！研究生学位论文免费查3次
• 小米|线下新零售订单大涨58%！小米618全渠道交易额破102亿