深度学习|从分歧走向融合:图神经网络历经了怎样的演化之路?( 二 )


当然GraphSAGE模型也有一些缺点 , GraphSAGE的采样没有考虑到不同邻居节点的重要性不同 , 而且聚合计算的时候邻居节点的重要性和当前节点也是不同的 。 这也导致GraphSAGE在处理一些数据权重差异较大的图中 , 存在偏颇和局限 。
图注意力网络(GAT)随之诞生 , 专门解决GNN聚合邻居节点过程中不同的邻居节点权重不同的问题 。 图注意力网络借鉴了Transformer模型中的注意力机制 , 在计算图中会根据邻居节点特征的不同来为其分配不同的权值 。 GAT训练GCN无需了解整个图结构 , 只需知道每个节点的邻居节点即可 , 计算的速度快 , 可以在不同的节点上进行并行计算也可以对未见过的图结构进行处理 , 既能处理有监督任务也能处理无监督任务 。
在图神经网络发展的过程中 , 为了解决图网络计算过程中的精度与拓展问题 , 一代又一代的新模型被不断提出 。 在提出后的十几年里被不断扩展 , 先后发展出了图卷积网络、 图注意力网络、图自编码器、图生成网络和图时空网络等多个子领域 。
在这其中 , 图卷积网络GCN、GraphSAGE、图注意力网络GAT可谓是图神经网络发展脉络过程中的重要经典 , 也是发展过程中的重要节点 。 图神经网络衍化生成的各类模型 , 在处理非结构化数据时的出色能力 , 使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破 。
产业多领域的“开花结果”
在图神经网络的发展历程中 , 前文提及过其衍生的五个子领域 , 在这五个子方向中 , 近几年最火热的方向可谓是图卷积神经网络(GCN)与图注意力网络(GAT)的发展了 。
GCN的起势得益于多层神经网络中卷积神经网络的发展 。 2015年微软研究院152层的ResNet的声名鹊噪 , 神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层 。 极大的消除了深度过大的神经网络训练困难问题 , 验证了其在堆叠多层上训练的有效性 , 所以近几年图卷积神经网络也顺势成为研究热点 。
GCN在图像分类、目标检测、语义分割、视觉问答等领域的应用 , 已被陆续发表在CVPR、ICCV、ECCV、NeurIPS等计算机视觉与神经网络的顶级会议中 , 成为各大计算机领域顶会常被刷到的“熟脸” 。

在应用实践方面 , 比如在生物医疗领域 , 从药物分子的研发到蛋白质分子结构预测 , 从视觉推理到开放性的阅读理解问题 , 从自动驾驶系统感知层中的3D点云数据学习到交通流量的预测等 , 都可以看到图神经网络广阔的应用前景 。
在音影娱乐领域 , 以我们熟悉的音乐平台网易云为例 , 不同于一般的聊天文本或图片 , 音乐的数据为各类跨域数据 , 维度非常多 。 再叠加上巨量的用户应用 , 传统的机器学习方法训练效率大受限制 , 变得十分低效 。
而图神经网络技术的约束性较小 , 可以把每个用户当做点 , 用户的标签作为边 , 在此基础上建模分析 , 能更高效地表征、筛选某一类用户 。 网易云运用百度飞桨的PGL图神经网络能力 , 挖掘用户的特征、歌曲的特征、用户对歌曲的行为特征 , 实现精准的音乐推荐 。 百度飞桨的PGL图神经网络可以支持网易音乐超大规模数据的极低成本全图存储、灵活子图检索、高效图学习等 , 能够自如的处理网易百亿级别的大规模数据 。

在交通领域 , 滴滴出行研究了一种基于时空多图卷积神经网络的网约车需求量预测模型 。 通过分析区域之间复杂的时空依赖关系 , 对网约车需求量进行准确预测 , 指导车辆的调度 , 提高车辆的利用率 , 减少等待时间 , 并在一定程度上缓解了交通的拥堵 。