本文介绍六篇有关知识图谱预训练的优秀论文 ， 大致上可分为两类 ， 生成学习模型和对比学习模型 。 其中GPT-GNN模型是生成学习模型 ， 模型灵感来源于自然语言处理中的GPT模型；GCC ， GraphCL ， DGI ， InfoGraph和Multi-View这五篇属于对比学习模型 。 30页完整汇报ppt获取请关注公众号【AI机器学习与知识图谱】回复关键字：知识图谱预训练

文章图片
一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具 。 然而 ， 训练GNN模型通常需要大量的特定任务的标记数据 ， 而获取这些数据往往非常昂贵 。 利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法 ， 然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务 。 ContrastiveLearning对比学习：自监督学习方案常用的两种方式 ， 一种是生成式学习 ， 另一种就是对比学习 。 对比学习主要利用了样本间的约束信息构造辅助任务 ， 通过构建正样本和负样本 ， 然后度量正负样本的距离进行自监督学习 。 对比学习的关键就在于如何合理定义正负样本 ， 也是难点所在 。
GenerativeLearning生成式学习：生成式方法以自编码器为代表 ， 在自编码器中对数据样本编码成特征再解码重构 ， 以此来学习样本的特征表达 。
二、PAPERPPT

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

• 机箱|玩家力量旗舰系列！微星Z690 CARBON WIFI D5主板深度体验
• 硬盘|华为路由与交换知识分享—交换行为
• 笑话：生活中大家有用过哪些高级的化学知识？看他们分享的我笑了
• 大数据|大数据扫黄，是如何发现“你”的？网友：看完涨知识了
• 逆熵、时间钳形，祖父悖论，刷《信条》前必备的3个物理知识
• iqoo10|刚才看了一下iQOO10系列的预约情况
• iPhone14|iPhone 14系列最新曝光，果真用上大传感器了，后置模组明显增大
• 本文转自：人民网国际欧亚科学院院士、中国科学院大数据挖掘与知识管理重点实验室主任石勇在会...|国际欧亚科学院院士石勇：“双碳”目标催生数字经
• 本文转自：光明网7月23日|好看视频泛知识短视频创作大赛在济南启动
• 小米科技|40分贝主动降噪 36小时超长续航 荣耀亲选耳机Earbuds X3系列发布