二值化每个特征，微软用1350亿参数稀疏神经网络改进搜索结果( 四 ) 选自Microsoft博客机器之心编译

文章图片
图4：计算分片中的ObjectStoreCoproc与数据分片之间进行会进行交互，以检索特征嵌入并运行神经网络。数据分片存储特征嵌入表并支持来自每个Coproc调用的查找请求。
由于在ObjectStore上运行的大多数工作负载都专门进行存储查找，因此将MEB计算分片和内存中数据分片放在一起可以最大限度地利用多租户集群中ObjectStore的计算和内存资源。分片分布在多台机器上的设计还能够精细控制每台机器上的负载，以便让MEB的服务延迟降低到几毫秒内。
支持更快的搜索，更好地理解内容
研究者发现像MEB这样非常大的稀疏神经网络可以学习与基于Transformer的神经网络互补的细微关系。这种对搜索语言理解的改进为整个搜索生态系统带来了显著的好处：
由于改进了搜索相关性， Bing用户能够更快地找到内容和完成搜索任务，减少重新手动制定查询或点击下一页的操作；因为MEB能够更好地理解内容，发布商和网站管理员可以获得更多访问其资源的流量，并且他们可以专注于满足客户，而不是花时间寻找有助于排名更高的关键字。一个具体的例子是产品品牌重塑， MEB模型可能能够自动学习新旧名称之间的关系，就像「Hotmail」和「MicrosoftOutlook」那样。如果用户要使用DNN为业务提供动力，微软的研究者建议尝试使用大型稀疏神经网络来补充这些模型。特别地，如果拥有大量用户交互历史流并且可以轻松构建简单的二值化特征，则尤其应该使用这种方法。同时他们还建议用户确保模型尽可能接近实时地更新。