贝叶斯深度学习：一个统一深度学习和概率图模型的框架( 三 ) 作者|王灏整理|维克多人工智能

文章图片
实验结果如下图所示， Recall@M指标表示，我们的方法大幅度超越基准模型。在评分矩阵更加稀疏的时候，我们模型性能提高幅度甚至可以更大。原因在于，矩阵越稀疏，模型会更加依赖内容信息，以及从内容提取出来的表示。

文章图片
推荐系统性能提升能够提升企业利润，根据麦肯锡咨询公司的调查，亚马逊公司中35%的营业额是由推荐系统带来的。这意味着推荐系统每提升1%个点，都会有6.2亿美金的营业额提升。

文章图片
小结一下，到目前为止，我们提出了概率型的深度模型作为贝叶斯深度学习框架的深度模块，非概率型的深度模型其实是概率型深度模型的特例。针对深度的推荐系统提出层级贝叶斯模型，实验表明该系统可以大幅度推荐系统的效率。
其他应用设计
文章图片
给定一个图，我们知道边，并了解节点的内容。此图如果是社交网络，其实就是表示着用户之间的朋友关系，节点内容就是用户贴在社交平台上的图片或者文本。这种图关系，也可以表示论文的标题、摘要、引用等等联系。

文章图片
我们的任务是希望模型能够学习到节点的表达，即能够捕获内容信息，又能够捕获图的信息。
解决方案是基于贝叶斯深度学习框架，设计关系型的概率自编码器。深度模块专门负责处理每个节点的内容，毕竟深度学习能够在处理高维信息是有优势的；图模块处理节点节点之间的关系，例如引用网络以及知识图谱复杂的关系。

文章图片
在医疗领域，我们关注医疗监测。任务场景是：家里有小型雷达，会发射信号，设计的模型希望能够根据从病人身上反射的信号，发现病人是否按时用药、用药的次序是否正确。问题在于：用药的步骤非常复杂，需要理清顺序。
基于贝叶斯深度学习概率框架方法，用深度模块处理非常高维的信号信息，用图模块对在医疗专有知识进行建模。
值得一提的是，即使对于不同应用的同一模型，里面的参数具有不同的学学习方式，例如可以用MAP、贝叶斯方法直接学习参数分布。
对于深度的神经网络来说，一旦有了参数分布，可以做很多事情，例如可以对预测进行不确定性的估计。另外，如果能够拿到参数分布，即使数据不足，也能获得非常鲁棒的预测。同时，模型也会更加强大，毕竟贝叶斯模型等价于无数个模型的采样。
下面给出轻量级的贝叶斯的学习方法，可以用在任何的深度学习的模型或者任何的深度神经网络上面。

文章图片
首先明确目标：方法足够高效，可通过后向传播进行学习，并“抛弃”采样过程，同时模型能够符合直觉。我们的关键思路是：把神经网络的神经元以及参数，看成分布，而不是简单的在高维空间的点或者是向量。允许神经网络在学习的过程中进行前向传播、后向传播。因为分布是用自然参数表示，该方法命名为NPN（natural-parameternetworks）。