上海交通大学王宇光：几何深度学习和图神经网络的研究进展和趋势机器之心报道机器之心编辑部

机器之心报道
机器之心编辑部
【上海交通大学王宇光：几何深度学习和图神经网络的研究进展和趋势】3月23日，在机器之心AI科技年会上，上海交通大学自然科学研究院和数学科学学院副教授、上海人工智能实验室成员王宇光老师发表了主题演讲《几何深度学习和图神经网络的研究进展和趋势》。

文章图片
以下为王宇光在机器之心AI科技年会上的演讲内容，机器之心进行了不改变原意的编辑、整理：
大家下午好，我是上海交大自然科学研究院的王宇光。今天主要给大家介绍一下几何深度学习和图神经网络的研究进展，以及未来的技术趋势。
我们知道几何深度学习是用于处理不同对象的深度神经网络，其结构和传统CNN相似，只是处理的对象发生了变化。
传统CNN处理的可能是图片数据，在数学上是由格点像素值组成的平面2D数据，如果有多个channel则可能是张量数据，但往往不考虑像素之间的相互关系，不考虑各个格点之间的相互连接。而几何深度学习的重要数据对象是图结构数据或者更广义的3D点云数据等，结构数据区别于原始图片数据的一个重要特点是不仅有节点（节点对应原来图片的像素），还有节点之间的相互连接。以经典的图结构——分子数据结构为例，分子由原子构成，原子可以看作图的节点，原子之间的化学键可以看作图中边的权值，这就构成了图结构数据。这种数据结构广泛存在于应用中，图结构数据比图片数据多考虑了节点之间的连接。
对于图分类问题或回归问题，各个样本的尺寸和结构可能是不尽相同的，这就导致传统CNN方法不适用于新型图结构数据的学习、预测任务。
几何深度学习实际上是这几年才发展起来的，特别是从2021年开始大家才广泛关注几何深度学习和图神经网络，因为2021年AlphaFold实现了对蛋白质结构的准确预测，准确率可以达到95%以上。这样高精度而且非常快速的预测工具，是基于一些几何深度学习的模块。这项工作被Science评为2021年十大科学进展之最。图神经网络广泛应用于其他领域，例如它对一些数学定理的证明或发现起到了很好的作用，特别是去年发表在Nature上的一个用GNN辅助科学证明的算法，由DeepMind与几位科学家合作完成，引起了数学圈很大的轰动。
深度学习理论，特别是关于几何深度学习和图神经网络的理论，和传统深度学习理论比较类似，研究重点主要包括以下几个方面：
深度学习的表达能力，涉及到很多的数学理论，当然也可能涉及一些物理的解释；
例如，学习理论、调和分析、统计学对于研究深度学习的泛化能力非常重要；
深度学习主要依赖于反向传播算法，所以最优化理论也是一个重要的研究工具；
一些特别有效的算法的设计基本原理，也依赖于诸多数学理论。
图神经网络是几何深度学习的一部分，研究具有结构属性、拓扑性质的数据的学习和预测任务。图神经网络的每一个特征提取层都会对节点的特征和连接的特征进行更新，这种更新模式被叫作消息传递模式。
消息传递模式指的是要更新某一个点的特征，需要考虑周边和它相连的点的特征，这里就要用到推进函数。推进函数通常是由一个网络对节点和周边节点关系的刻画。然后用另一个网络整合周边节点信息，接着加和到这个节点本身的特征中，这两步更新模式就构成了一个基本的消息传递模式。