社交平台、短视频平台等公共网络场所|instagram首次推出两大反网络暴力功能( 二 ) 社交平台、短视频平台等公共

文章图片
“我们基于对于用户切实体验的累积观察，与算法团队一起，从情感倾向性、亲密关系、文本特征三方面入手，训练出能够识别阴阳怪气的算法模型。
目前‘瓦力’对阴阳怪气评论文本的识别准确率，已非常接近社区最大公约数，比很多人工判断都更准。 ”知乎运营总监孙达云表示。
所谓“社区最大公约数”指的是社区共识，即长久积淀下来知乎和用户共同认可的一种公约，知乎称之为知友们对价值判断的最大公约数，比如“知乎不让骂人” ，比如“对优质内容的界定”等。
知乎在过去多年中所累积的“举报”等带有用户筛查性质的行为语料和丰富的社区管理经验，使得知乎得以迈出关键一步：用社区最大公约数作为判定尺度。
在算法方面，通过400多个前沿的深度学习模型识别过亿内容，现在的知乎平台，可以智能地进行倾向性识别、爆照识别、风险图片识别等等。
02制止网络暴力背后的AI技术：自然语言处理
在人类无法兼顾的海量信息中， AI技术的介入显然为制止网络暴力提供了一条捷径。
想要对评论、弹幕这样成千上万的非结构化语言数据进行分析，自然语言处理（NLP）就成为研究者必须面对的核心AI技术。
作为AI的一个子领域，自然语言处理致力于让计算机也能够理解和处理人类语言，使计算机更接近于人类对语言的理解。
事实上，人类读写文字的历史已经有几千年了，我们的大脑在理解自然语言方面积攒了大量的经验。
当我们阅读文字时，很快就能明白其中的含义，并感受到这些东西引发的情感。
但是想让机器也拥有人类对语言的理解和情感，是一件非常困难的事情。之所以自然语言处理技术被誉为“人工智能皇冠上的明珠” ，一方面表明了它的重要性，另一方面也显现出了它的技术难度。
如今，深度学习的兴起，让自然语言处理技术得以进一步发展，让机器能够自动学习语言特征，掌握更高层次、更加抽象的语言特征，目前已广泛应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。
在生活中，从语音助手Siri、微软小冰、小爱同学，到语音输入、谷歌翻译、水军检测等，随处可见自然语言处理技术。
那么，在制止网络暴力方面，自然语言处理技术是如何应用的？具体而言，涉及以下几个方向：情绪解析
情绪极值：以50分为分界，对整体正负面情感特征打分；
十二种细节情绪：根据Plutchik情感轮理论体系，识别语义中12种不同细节情绪；
情绪值/浓度：计算出语句的情绪浓度，即反映了特定情感的激烈程度；
情感关键词：从文本中智能识别并提炼对文本整体情绪影响最大的关键信息。
基于情绪解析引擎，可以针对某条内容所表达的情绪极值以及十二种细节情绪进行全量分析，从而详细了解千万条评论内容中网民们的整体情绪分布；
其次，还可根据时间段来看随着时间的推移网友们对这件事的态度的变化，即是否还是那么厌恶/喜欢；
再者，结合第三方数据——如用户地域、性别等信息，还可以对不同人群的肖像进行更精细地刻画。文本观点提取
基于知识图谱以及字词间的相似度计算，高度精炼、概括每段话的核心表达观点。
例如：“喜欢这个妆容，但是口红颜色太深了” ，观点1：妆好；观点2：口红深。
对海量评论进行观点提取，可以精准、高效地总结不同网民对于同一件事件所表达出的不同观点，并可以对其进行归类和比较，帮助分析人员在第一时间获取用户的关注热点信息或是用户最反感的主要问题等关键信息。文本相似度判断