萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021( 四 )


萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
其中 , 目标领域特征综合考虑了领域向量和行为向量 。 与生成器类似 , 团队基于用户在d_t的特征表示u_t , 计算物品e_i的点击概率p如下:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
生成器&判别器优化
模型判别器的优化如下:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
生成器则是基于REINFORCE强化学习进行优化:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
团队还提出一项MMDloss , 目的是让生成器产生的物品和真实物品不完全一致(否则会干扰判别器的训练) , 具体如下:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
MMDloss基于推荐系统的特质设计:在推荐系统中 , 绝大多数物品其实并未被曝光 , 团队假设所有未被用户点击的物品均为负例;和点击物品特别相似的fakeclickeditems , 也有很大概率同样被用户点击(例如不同自媒体号发表的同一主题的新闻/视频等) , 这也是推荐系统item-CF的本质 。
因此 , 团队选择加入MMDloss , 使得GAN能够生成更加多样化的、相似但又不完全一样的物品作为判别器的负例 。
最后 , 综合三项loss获得最终AFT的loss , 如下:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
AFT模型的判别器被部署于线上 , 更多模型和线上细节可参考论文第三和第四部分 。
实验结果
团队在公开数据集和微信看一看数据集上进行了实验 , 结果表明 , 模型在多领域推荐上获得了显著提升:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
△图3:AFT离线结果
此外 , 论文也在微信看一看多个线上推荐场景进行了A/B实验 , 也同样获得了显著的提升:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
△图4:AFT线上实验结果
消融实验也证明了模型各个模块的有效性:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
△图5:AFT消融实验
最后 , 论文也进行了详尽的模型参数分析 , 探索了不同maskratio和fakeclickeditemnumber对模型效果的影响:
萧箫 整理自 KDD 2021量子位 报道 | 公众号 QbitAI这年头|用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021
文章图片
△图6:AFT参数实验
模型已用到微信里
整体来说 , 这篇论文针对多领域推荐任务 , 提出了一个对抗特征转移的AFT模型 。 它基于domain-specificmaskedencoder加强了跨领域特征交互 , 设计了一种two-stepfeaturetranslation , 能够显式可解释地对多领域下用户不同粒度的偏好、物品和领域进行建模 。
目前 , AFT模型已部署于微信看一看多领域推荐模块中 , 我们日常用微信看一看时 , 就会用到这个模型 。
对于未来 , 团队表示十分看好基于对抗和知识表示学习的跨领域特征交互思路 , 计划展开进一步探索 。
参考文献:
[1]BordesA,UsunierN,Garcia-DuranA,etal.Translatingembeddingsformodelingmulti-relationaldata[C]//NeuralInformationProcessingSystems(NIPS).2013:1-9.
[2]CovingtonP,AdamsJ,SarginE.Deepneuralnetworksforyoutuberecommendations[C]//Proceedingsofthe10thACMconferenceonrecommendersystems.2016:191-198.
[3]DettmersT,MinerviniP,StenetorpP,etal.Convolutional2dknowledgegraphembeddings[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2018,32(1).
[4]DziugaiteGK,RoyDM,GhahramaniZ.Traininggenerativeneuralnetworksviamaximummeandiscrepancyoptimization[J].arXivpreprintarXiv:1505.03906,2015.