华为杨浩:小知识驱动大数据,构建知识可认知的 AI 应用( 三 )


这套架构Transformers的效果很好 , BLEU可以达到41.8 , 并且Transformer训练时长缩短不少 , 这一点对工业用途很友好 。
神经网络机器翻译经过了三轮迭代已经足够好了 , 但是它还存在命名实体、Topic、Document以及Consistency等等问题 , 解决的方案是将我们的模型在大数据上进行训练 , 形成一个BigData+Smallknowledge的Bigknowledge概念 。
而后面的话 , 随着神经网络机器翻译的发展 , 你可以认为有一批数据在大数据上训练的模型 , 而我们接下来有一个理想 , 就是BigData , BigData加上Smart能够真正形成BigKnowledge的概念 。
NMT知识体系
华为杨浩:小知识驱动大数据,构建知识可认知的 AI 应用】NMT知识体系可以分为四部分 , 全局知识、领域知识、模型知识以及多模态知识 。 全局知识的最典型的模式是显式知识 , 最常用的是知识图谱 。
华为杨浩:小知识驱动大数据,构建知识可认知的 AI 应用
文章图片