CIKM 2021 | 假新闻有“两幅面孔”：整合模式和事实信息的虚假新闻检测( 四 ) 第30届ACM信息与知识管理国际会

文章图片
2.基础模型
我们使用了六种基于文本的方法作为基础模型。基于模式信息的模型包括Bi-LSTM（作为文本编码器广泛出现在本任务模型中，如[11-13]）、EANN-Text[14]和BERT-Emo[6] ，基于事实信息的模型包括DeClarE[15]、EVIN[16]和MAC[17] 。当这些模型被作为Pref-FEND内的检测模型时，我们会使用保留了适当维度的高层特征作为其输出。
3.性能比较
3.1单偏好比较
为了与上述基础模型公平比较，我们使用了一个简化版本Pref-FEND ，即保留HetDGCN部分和两个偏好分布读出，但是检测部分只有一个分支。由表可知， Pref-FEND能够提高上述模型的性能，这说明引入偏好信息可以减缓原始基础模型被非偏好信息干扰导致的泛化性问题。

文章图片
3.2融合模型比较
我们提出Pref-FEND的最终目的还是希望整合两类模型。我们的实验基于两种组合：Bi-LSTM+DeClarE（基础组合）、BERT-Emo+MAC（进阶组合）。由于本领域还没有这类组合式基线，我们比较了常见的最后一层融合（Last-layerFusion）和预测值平均(LogitsAverage) 。由表可知，相比于基本融合方法， Pref-FEND可以带来更好的性能。同时，与单偏好模型比较可知，融合模型可以进一步提升检测效果。

文章图片
4.偏好分布分析
4.1哪些词项更受青睐？
为了观察两种偏好分布有何不同，我们分析了分布中常被青睐的高频词。对每个帖子（来自Weibo验证和测试集），我们首先根据偏好得分，将词项分入模式偏好组和事实偏好组，并找出所有帖子中各组高频出现的词项进行人工分析。

文章图片
我们观察到：
模式偏好词集中，标点符号和否定词相对重要，其它词项多与自我表达有关（“认为”、“可能”、“有点”）。
事实偏好词集中，证据相关词和实体相关词更容易被关注，例如表示材料和动作的“视频”、“网页”、“图片”、“声明”、“揭露” ，以及表示城市或位置的词。
两种偏好分布在人称代词的选择上非常不同：这可能是最有趣的一点。模式偏好分布更关注复数人称代词（“我们”、“他们”、“你们”），而事实偏好分布更关注单数人称代词（“他”、“它”、“你”）。我们推测，这是因为拥有明显假新闻模式的帖子经常讨论某些群体或怂恿读者行动起来，而进行事件描述的帖子通常会与具体的人或事物有关。
4.2案例分析

文章图片
我们观察了三条被Pref-FEND（使用Bi-LSTM和DeClarE作为基础模型）成功判断的假新闻。第一条传达了强烈的情绪信号（如“helplessly”和“aggressive”），更容易被模式偏好模型关注，因此Bi-LSTM判断正确，而DeClarE判断错误。第二条包含了大量的地点信息和事件描述，对使用了证据文本的事实偏好模型更加友好，因此DeClarE判断正确，而Bi-LSTM判断错误。两种单偏好模型都将第三条预测为真新闻，这可能是由于非偏好信息对这些模型的负面影响，而Pref-FEND通过偏好建模，对单偏好模型（模块）进行了一定的引导，有效缓解了上述现象。
4结论与未来工作展望
本文提出了偏好感知框架Pref-FEND ，用于整合基于模式信息和事实信息的虚假新闻检测模型。学习得到的偏好分布可以引导模型更加关注其理想情形下的偏好部分，并减轻非偏好部分的干扰。在新构建的中文微博和英文Twitter数据集上的实验表明， Pref-FEND中的偏好学习可以帮助模型更加聚焦，既能提高单偏好（pattern-basedorfact-based）模型的性能，也能提高联合（pattern-and-fact-based）模型的性能。在下一步工作中，我们将关注如何增强偏好分布生成与具体检测模型之间的交互，以及如何将该框架扩展到多类、多偏好情景中。此外，寻找更好的先验或脱离手工设计先验的引导，也有希望提高模型的泛化性和灵活性。