2021图机器学习有哪些新突破？麦吉尔大学博士后梳理展望领域趋势( 二 ) 选自Medium作者：MichaelGalkin机器

文章图片
与vanillaGNN的主要区别：等式3和4将物理坐标添加到消息传递和更新步骤中。图源：Satorras,Hoogeboom,andWelling
另一种选择是合并原子之间的角度，就像Klicpera、Becker和Günnemann在GemNet中所做的那样。这可能需要将输入图转换为折线图，例如边图，其中来自原始图的边变成折线图中的节点。这样，我们就可以将角度作为新图中的边缘特征。

文章图片
GemNet在包括COLL、MD17和OpenCatalyst20分子动力学任务上取得了不错的成绩，显然，等变GNN才刚刚起步，我们将在2022年看到更多进步！
分子的生成模型
由于几何深度学习，整个药物发现领域在2021年实现了大幅的跃进。药物发现的众多关键挑战之一是生成具有所需属性的分子（图）。这个领域很广阔，这里只提到模型的三个分支。
归一化流
Satorras、Hoogeboom等人应用上述等变框架创建了E(n)等变归一化流，能够生成具有位置和特征的3D分子。

文章图片
Shi、Luo等人研究了在给定2D图形的情况下生成3D构象异构体（即3D结构）的问题。模型ConfGF估计了原子坐标对数密度的梯度场。这些字段是旋转平移等变的，作者想出了一种方法将这种等变属性合并到估计器中。 Conformer采样本身是通过退火朗之万动力学采样完成的。

文章图片
RL方法
该方法是以一种非常非科学的方式描述的，这些方法通过逐步附加「构建模块」来生成分子。可以根据这些方法对构建过程的调节方式对其进行广义分类。
例如， Gao、Mercado、Coley以可合成性为构建过程的条件，即是否可以在实验室中实际创建这种分子。为此，他们首先学习了如何创建构建块的合成树（一种模板）。

文章图片
YoshuaBengio领导的Mila和斯坦福团队提出了一个更通用的框架，他们引入了生成流网络（GFlowNets）。这很难用几句话来概括：首先，当我们想要对不同的候选者进行采样时， GFlowNets可以用于主动学习案例，并且采样概率与奖励函数成正比。此外，团队最近的NeurIPS'21论文展示了GFlowNets应用于分子生成任务的用处。 EmmanuelBengio的博客文章更详细地描述了该框架并提供了更多的实验证据：http://folinoid.com/w/gflownet/
GNNs+组合优化&算法
2021年，对于这个新兴的子领域来说是重要的一年。
Xuetal在ICLR’21的论文中研究了神经网络的外推，并得出了一些亮眼的结论。基于算法对齐的概念，作者表示， GNN与动态规划（DP）可以很好地对齐（如下图所示）。事实上，将经典Bellman-Ford算法寻找最短路径的迭代和通过GNN的信息的聚合组合步骤做比较，会发现很多共同点。
此外，作者表明，在建模特定DP算法时，为GNN选择合适的聚合函数至关重要，例如，对于Bellman-Ford ，需要一个最小聚合器（min-aggregator）。作者StefanieJegelka在2021年深度学习和组合优化研讨会上细致讲述了这项工作的主要成果：https://www.youtube.com/watch?v=N67CAjI3Axw

文章图片
为了更全面的介绍这个领域，还需要重点介绍Cappartetal在IJCAI’21上的一项研究，该调查涵盖了GNN中的组合优化。这篇文章首次出现了神经算法推理蓝图，后来Veli?kovi?和Blundell的Patterns中的立场文件也对此进行了描述。