2021图机器学习有哪些新突破？麦吉尔大学博士后梳理展望领域趋势选自Medium作者：MichaelGalkin机器

选自Medium
作者：MichaelGalkin
机器之心编译
机器之心编辑部
图机器学习领域的热门趋势和重大进展。
又一年又接近尾声，还有三天我们就要告别2021年了。
各个AI领域也迎来了年度总结和未来展望，今天来讲一讲AI圈始终大热的图机器学习（GraphML）。
2021年，图机器学习领域涌现出了成千上万篇论文，还举办了大量的学术会议和研讨会，出现了一些重大的进展。 2022年，图机器学习领域又会在哪些方面发力呢
Mila和麦吉尔大学博士后研究员、专注于知识图谱和图神经网络（GNN）研究的学者MichaelGalkin在一篇博客中阐述了他的观点。在文中，作者对图机器学习展开了结构化分析，并重点介绍了该领域的主要进展和热门趋势。作者希望本文可以成为图机器学习领域研究者的很好的参考。

文章图片
本图由ruDALL-E生成。
作者主要从以下12个部分进行了详细的梳理：
图Transformers+位置特征等变GNNs分子的生成模型GNNs+组合优化&算法子图GNN：超越1-WL可扩展和深度GNN：层数100及以上知识图谱利用GNN做很酷的研究新的数据集、挑战和任务课程和书籍库和开源如何保持更新图Transformers+位置特征
GNN在（通常是稀疏的）图上运行，而GraphTransformers(GT)在全连接图上运行，其中每个节点都连接到图的其他节点。一方面，在节点数为N的图中，图的复杂度为O(N^2) 。另一方面， GT不会过度平滑，这是长程消息传递的常见问题。全连接图意味着你有来自原始图的真边和从全连接变换添加的假边，你需要进行区分。更重要的是，你需要一种方法来为节点注入一些位置特征，否则GT不会超过GNN 。
今年最流行的两个图transformer模型为SAN和Graphormer 。 Kreuzer、Beaini等人提出的SAN采用拉普拉斯算子的top-k特征值和特征向量。 SAN将光谱特征与输入节点特征连接起来，在许多分子任务上优于稀疏GNN 。

文章图片
Ying等人提出的Graphormer采用空间特征。首先，节点特征丰富了中心编码；然后，注意力机制有两个偏置项：节点i和节点j之间的最短路径距离；依赖于一条可用最短路径的边缘特征编码。

文章图片
Graphormer实现了2021年GraphML大满贯：OGBlargeChallenge和OpenCatalystChallenge夺得冠军
等变GNN

文章图片
等方差有何独特之处，让GeoffreyHinton如此赞美？
一般来说，等方差被定义在某些转换组上，例如， 3D旋转形成SO(3)组，特殊正交以3D的形式组合。等变模型在2021年掀起了ML的风暴，在图机器学习中的许多分子任务中尤其具有突破性。应用于分子时，等变GNN需要一个额外的节点特征输入，即分子物理坐标的一些表征，这些表征将在n维空间中旋转/反射/平移。

文章图片
在等变模型中，尽管变换的顺序不同，但我们都能到达相同的最终状态。图源：Satorras,Hoogeboom,andWelling
Satorras、Hoogeboom和Welling提出了EGNN、E(n)等变GNN ，其与普通GNN的重要区别在于向消息传递和更新步骤添加物理坐标。等式3将相对平方距离与消息m相加，等式4更新位置特征。 EGNN在建模n体（n-body系统、作为自动编码器和量子化学任务（QM9数据集）方面显示出令人印象深刻的结果。