上海交通大学王宇光：几何深度学习和图神经网络的研究进展和趋势( 二 ) 机器之心报道机器之心编辑部

文章图片
图神经网络特征提取模块可以写成图卷积的模式，与传统的CNN卷积类似，只不过在图上定义卷积不如CNN直观，不能用空间域窗口的方式平移得到，但是可以仿照傅里叶卷积的模式，定义图卷积的模块。这种卷积被证明和传统CNN具有相似的特征提取功能，共享了参数，并保持了重要的图结构性质，从而在图神经网络的学习中起到了很好的特征提取作用。其中一个很重要的模块是由谱图神经网络衍生出来的经典GCN模型，如果写成谱图的形式就是Laplacian正则化的过程。

文章图片
如果我们想设计更好的，具有更强的鲁棒性或者更好抗噪能力的GNN ，可以在正则化中再做一个更新，比如说引入一些小波变换、L1正则等。事实上人们设计了一些具有多尺度多层分析能力的图卷积模块，并且引入了Shrinkage技术等对信号进行过滤、对数据进行压缩，这些在实践中都得到了比较好的验证。

文章图片
但图神经网络有时候还不够用，因为随着任务的复杂，特别是涉及复杂系统、海量数据的研究或者高阶任务的预测（例如轨迹预测等新型任务），传统的图神经网络还不够。
人们又考虑是不是能够在图学习中利用更多的拓扑信息或结构信息，因此就导出了一种超越神经网络的单纯复形网络的消息传递模式，主要克服了图神经网络的三个缺陷。第一是图神经网络在建模多个节点相互作用的时候并没有那么有效；第二是在检测高阶结构（比如二阶拓扑结构）时，图神经网络由于只考虑了关系，即连接节点的边而并没有考虑环或者面的信息和特征，因此GNN不能完成高阶任务；第三是不能有效地处理高阶信号，例如预测从某一点到另一点的轨迹信息。

文章图片
单纯复形网络和传统的消息传递模式很类似，只不过在传递的过程中不仅考虑了两个节点之间边的连接，还考虑了高阶结构（比如三角形或多边形）中的拓扑结构。把这些加入到消息传递模式中，就形成了单纯复形消息传递模式。

文章图片

文章图片
这样的模式可以更好地完成一些复杂任务，而且事实证明它们的表达能力比传统的图神经网络更强。在一些特殊任务（例如轨迹预测任务）上，同等条件下比图神经网络的效果好很多。
关于未来的趋势有很多个角度可以讲，这里稍微列几个大家可能感兴趣或者比较重要的方向。
首先，图神经网络原来是一个图结构数据，是一种离散化的结构，但是数学工具往往是坐落在连续空间上的，所以近来大家考虑将微分几何的一些方法引入到GNN中，包括新型等变GNN的架构，利用对称性等工具，以更好地理解和利用深度学习模型中图结构性质的不确定性。
这里有一些值得关注的点，包括利用对称性形成更有效的学习模型；应用最优传输的思想；在表示学习中使用微分几何的一些概念，特别是人们对理解关系数据的几何，并利用这些见解学习欧氏几何或非欧几何的表示有很浓厚的兴趣。由此产生了许多采用特定几何进行编码的架构，比如一种利用双曲几何的GNN模型，由2019年首次引入，最近又有了新的进展。此外，过去一年里提出了大量涉及双曲几何的新型模型和架构，以捕获更复杂的图数据中的结构特征。另一个思路则是利用等方差或者对称形式的几何信息构建图神经网络。