你说ChatGPT|chatgpt「克星」来了( 二 )


不过遗憾的是 , GPTZero无法给出答案 , 还希望我们再多加一点文字试试 。
你说ChatGPT|chatgpt「克星」来了
文章图片
显然 , 这段话字数够多 , 但句子不够多 , 无法让GPTZero一眼识破ChatGPT的“伪装” 。 测试3:成功
那我们再来一段ChatGPT的试试 。
你说ChatGPT|chatgpt「克星」来了
文章图片
这回内容够长 , 句子也够多 。
果然没问题了 , GPTZero直接答对:
你说ChatGPT|chatgpt「克星」来了
文章图片
好像确实摸出来一点门道:
那就是字多的同时 , 句子数量也一定要多 , 至少5句 , 好让GPTZero通过直方图的分布加码识别 , 最后的准确率就可以提高一些 。
另外还需要提的是 , 我们发现在挑战失败的情况中 , 除了上面这种识别不出来的时候 , 也有直接识别错误的——
比如把AI写的判断成人写的:
你说ChatGPT|chatgpt「克星」来了
文章图片
你说ChatGPT|chatgpt「克星」来了
文章图片
把人写的新闻判断成AI的:
你说ChatGPT|chatgpt「克星」来了
文章图片
你说ChatGPT|chatgpt「克星」来了
文章图片
这种情况按照上面所说的窍门 , 再多加点内容可能就能将结果扳回来 。
(注意是可能哈 , 就上面这段新闻 , 我们把所有内容都粘进去了 , 它也说不行 , 还说要再多来点 。 )普林斯顿华人小哥出品
创建该网站的 , 是一个22岁的华人小哥EdwardTian , 来自加拿大多伦多 。
目前是美国普林斯顿CS专业大四学生 , 辅修认知科学和新闻学 , 对软件工程、机器学习等有浓厚的兴趣 。
你说ChatGPT|chatgpt「克星」来了
文章图片
他现在微软实习 , 曾在BBC、贝灵猫等公司撰写过科技稿件 , 还曾加入到地图工具Representable的创始团队 。
学习期间 , 他曾来到清华大学参加为期四周的城市研究研讨会 。
据他表示 , 这个应用程序是新年假期在咖啡店完成的 。
之所以想要开发这款应用程序 , 简而言之就是因为有太多ChatGPT炒作 , 人类应该知道有哪些是AI写的文章 。
目前仍处于准系统阶段 , 预计在接下来几周内改进模型和分析 。
除此之外 , 他还透露 , 正在测试由学生撰写的新闻文章数据集 , 并希望最终能发表论文 。 更多ChatGPT杀手
事实上 , 也不只有这位小哥看ChatGPT不顺眼了 。 还有其他人类组织也相应开发了AI文本检测器 , AKAChatGPT杀手 。
大体思路也都差不多 , 那就是“用魔法打败魔法” , 用AI写的东西来训练新AI 。
前阵子 , OpenAI自己联合哈佛等高校机构联合打造了一款检测器:GPT-2OutputDetector 。
你说ChatGPT|chatgpt「克星」来了
文章图片
作者们先是发布了一个“GPT-2生成内容”和WebText(专门从国外贴吧Reddit上扒下来的)数据集 , 让AI理解“AI语言”和“人话”之间的差异 。
随后 , 用这个数据集对RoBERTa模型进行微调 , 就得到了这个AI检测器 。 其中人话一律被识别为True , AI生成的内容则一律被识别为Fake 。
(RoBERTa是BERT的改进版 。 原始的BERT使用了13GB大小的数据集 , 但RoBERTa使用了包含6300万条英文新闻的160GB数据集 。 )
另一位早年代表选手 , 也因为这次新进展再次被提及 。