你说ChatGPT|chatgpt「克星」来了

你说ChatGPT , 它写的东西逼真到傻傻分不清?
没关系!
现在 , 它的“克星”来了——
一位华人小哥专门搞了这么一个网站 , 专门鉴别文字到底是出自于AI还是人类 。
你只需要把相应的内容粘进去 , 几秒内就能分析出结果 。
比如这段:
它:“妥妥的人类~”
你说ChatGPT|chatgpt「克星」来了】至于这段:
它:“就知道是AI 。 ”
如此神器一出 , 可谓迅速俘获大家的芳心 。
你说ChatGPT|chatgpt「克星」来了
文章图片
这不 , 直接把服务器都给挤崩喽(好在还有个备用的) 。
你说ChatGPT|chatgpt「克星」来了
文章图片
这下 , 那些用ChatGPT写作业的“熊孩子”也要惨啦?是人还是ChatGPT?GPTZero:看我的
这个网站名叫GPTZero 。
它主要靠“perplexity” , 即文本的“困惑度”作为指标来判断所给内容到底是谁写的 。
NLP领域的朋友们都知道 , 这个指标就是用来评价一个语言模型的好坏的 。
在这里 , 每当你喂给GPTZero一段测试内容 , 它就会分别计算出:1、文字总困惑度
这个值越高 , 就越可能出自人类之手 。
你说ChatGPT|chatgpt「克星」来了
文章图片
2、所有句子的平均困惑度
句子越长 , 这个值通常就越低 。
你说ChatGPT|chatgpt「克星」来了
文章图片
3、每个句子的困惑度
通过条形图的方式呈现 , 鼠标悬浮到各个方块就可以查看相应的句子是什么(这里就两块 , 因为我此时输入的测试内容就俩句子) 。
你说ChatGPT|chatgpt「克星」来了
文章图片
之所以要绘制这样的条形图 , 作者也作出了解释:
根据最新的一些研究:人类书写的一些句子可能具有较低的困惑度(前面说过 , 人类的困惑度是比较高的) , 但随着继续写 , 困惑度势必会出现峰值 。
相反 , 用机器生成的文本 , 其困惑度是均匀分布的 , 并且总是很低 。
除此之外 , GPTZero还会挑出困惑度最高的那个句子(也就是最像人写的):
你说ChatGPT|chatgpt「克星」来了
文章图片
规则就是这些 , 接下来实际测一测 。 测试1:成功
首先来一段最新的英文新闻(目前还不支持测中文):
你说ChatGPT|chatgpt「克星」来了
文章图片
将它粘贴进测试框(需注意每句至少5个单词 , 建议每段能有10个句子 , 结果会更准一些) 。
很快 , GPTZero计算出这段文字的总文字困惑度为27 , 句子平均困惑度为171.2 , 每条句子的困惑度图长这样:
你说ChatGPT|chatgpt「克星」来了
文章图片
以及困惑度最高的句子的值为476 。
看这个结果 , 估计你也猜出了GPTZero的答案:
是人类写的 。
你说ChatGPT|chatgpt「克星」来了
文章图片
答对了 。 测试2:失败
来一段ChatGPT的 。
你说ChatGPT|chatgpt「克星」来了
文章图片
将内容粘贴进测试框 , 得出这段文字的总文字困惑度为31 , 句子平均困惑度为76.67 , 每条句子的困惑度图长这样:
你说ChatGPT|chatgpt「克星」来了
文章图片
以及困惑度最高的句子的值为99 。
看起来 , 每项困惑度值都和上面那段差距都挺大的 , 应该能猜出来是AI写的吧 。