模型|首篇NLP图神经网络综述来了! 127页文档让你全面了解这个领域( 二 )

2
NLP中基于图的算法
本节首先从图的角度回顾 NLP 问题，详细论述了为什么要从图的角度处理NLP问题以及带来的益处。然后简要介绍一些具有代表性的传统的基于图的解决 NLP 问题的方法。例如，基于随机游走的图算法，图聚类方法，图匹配的方法，以及label propagation的方法在NLP上的应用。但这些传统的基于图的方法在NLP领域有其局限性，比如表征能力弱以及没有统一的学习架构。
3
图神经网络
在前一节中已经说明了用于不同 NLP 应用的各种传统的基于图的方法。作为一篇self-inclusive的文章，读者可以在本章节学习到GNN的基本基础和方法。本章节将GNNs分解成为graph filter和graph pooling两部分分别对图神经网络基础进行介绍。Graph filtering部分介绍了spatial-based, spectral-based, attention-based以及recurrent-based 图卷积模型。Graph pooling则分别介绍了flat pooling和hierarchical pooling.
4
NLP的图构建方法
在上一节中，本文讨论了给定图输入后 GNN 的基本基础和方法。不幸的是，对于大多数 NLP 任务，典型的输入是文本序列而不是图。因此，为了充分利用 GNN 的强大力量，如何从文本序列构建图输入就成为了一个要求很高的步骤。本节中重点介绍了两种主要的图构建方法，即静态图构建和动态图构建，用于在各种NLP任务中构建图结构化输入。
静态图部分介绍了dependency graph， constituency graph， AMR graph，knowledge graph, topic graph 等图构建方法, 如下图所示：

文章插图

（a）Depedency and constituency graph

文章插图

(b) AMR graph

文章插图

(c) Knowledge graph

文章插图

(d) Topic graph动态图部分介绍了依据similarity metric learning 和graph sparsity来构造隐式图结构的过程，如下图所示：
5
NLP图表示学习
在上一节中，本文介绍了各种图构建方法，本节则将讨论对已构建好的图利用各种图表示学习技术进行学习和特征提取，用于各种 NLP 任务。图表示学习的目标是找到一种方法可以通过机器学习模型将图结构和其属性的信息合并到低维嵌入中。一般来讲，从原始文本数据构建的图要么是同构图，要么是异构图。因此，在第 5.1 节中，本文将讨论同构图的各种图表示学习方法，包括原始同构图的场景和一些从异构图转换的场景。在第 5.2 节中将讨论用于多关系图的基于 GNN 的方法。在第 5.3 节中，则将讨论用于处理异构图的基于GNN的方法。
6
基于编码器-解码器模型的图神经网络
这一章节我们讨论GNNs for NLP模型中的经典架构：编码器-解码器。传统的NLP模型也多采用该架构，例如Seq2Seq模型。许多研究工作都在开发基于 GNN 的编码器-解码器框架，包括 Graph-to-Tree 和 Graph-to-Graph 模型。本节首先介绍了典型的 Seq2Seq 模型，然后讨论针对各种 NLP 任务的各种基于图的编码器-解码器模型。
下图就是基于图的编码器-解码器模型的整体架构示例，其中包含了Graph2Seq和Graph2Tree模型，输入和输出来自JOBS640数据集。下图展示了所有编码器-解码器结构的细节图。图中像S1，S2这样的节点代表子树节点，新的分支从这生成。