深度学习|从分歧走向融合：图神经网络历经了怎样的演化之路？网易

文章图片

文章图片

AI领域在近十年的进展神速，随着机器学习、深度学习的迭代，语音、图像、自然语言处理逐渐取得了很大的突破。集结了这些能力的智能设备越来越聪明，一些语音设备与人交流的越来越顺畅，自动驾驶、虚拟数字人等代表着最前沿的AI能力的应用也走向了落地。
在AI发展的过程中，基础的理论研究阶段，经常使用的是一些语音、图像、文本都很简单的序列或者网格数据，对于深度学习来说，这些简单的结构化数据很好处理。然而在AI应用的落地实践与产业应用中，非结构化的数据不少，从数据的角度来看，相比于图像和文本非结构的图类型数据分布更加广泛图结构也更加复杂。例如社交网络、知识图谱、复杂的文件系统等。

【深度学习|从分歧走向融合：图神经网络历经了怎样的演化之路？】相比于简单的文本和图像，这种网络类型的非结构化数据处理非常复杂：图的大小是任意的，其拓扑结构复杂，没有像图像一样的空间局部性；图经常是动态变化的，包含着多模态的特征，没有可以参考的节点与顺序。
那么对于这类产业实际的问题，我们该如何建模？能否将深度学习进行扩展并建模该类非欧数据呢？这些问题促使了图神经网络的出现与发展。
十七年的万水千山
图神经网络 (GNN)的概念最早是Marco Gori等人在2005年提出的，发表在论文《The Graph Neural Network Model》。
在此之前，处理图数据的方法是在数据的预处理阶段将图转换为用一组向量表示。这种处理方法对于一些图丰富的数据来说弊端明显，会丢失很多结构信息，得到的结果严重依赖于对图的预处理。 GNN的提出能够将数据处理的过程直接架构在图数据之上，不仅是拓展了已有的神经网络模型，也可以提高图数据处理的精度。
2009年Franco Scarselli博士在其论文中定义了图神经网络的理论基础， Scarselli 和 Micheli 等人继承和发展了 GNN 算法，并做了一定程度的改进。早期阶段的 GNN 主要是以 RNN 为主体框架，通过简单的特征映射和节点聚集为每个节点生成向量式表达，不能很好地应对现实中复杂多变的图数据。
针对此情况， YannLeCun的学生Bruna等人提出将 CNN 应用到图上，通过对卷积算子巧妙的转换，提出了基于频域和基于空域的图卷积网络（GCN），并衍生了许多变体。

GCN的提出可谓是图神经网络的“开山之作” ，它首次将图像处理中的卷积操作简单的用到图结构数据处理中来。降低了图神经网络模型计算的复杂度，此前在图网络计算过程中的拉普拉斯矩阵的计算从此成为过去式。
不过这个阶段的图卷积网络还有明显的弊端：扩展性比较差，在实际的落地中，需要处理的图都是工程领域中的大图， GCN并不能处理大图。再者就是GCN在各种实验中，被验证使用2层卷积GCN效果最好，这也意味着其只能局限于浅层的应用，如果深入使用其他残差连接等trick方式，只能勉强保存性能不下降，并不能提高应用计算的性能。
为了解决GCN的两个缺点问题， GraphSAGE模型被提了出来。这个模型是2017年斯坦福大学提出的一种基于图的inductive（归纳）学习方法。 GraphSAGE可以利用采样机制，很好地解决GCN必须要知道全部图的信息问题，克服了GCN训练时内存的限制。模型的参数数量与图的节点个数无关，可以处理更大的图，并且即使对于未知的新节点，也能得到其表征。