又一篇超百名作者的 AI 论文问世!442位作者耗时两年发布大模型新基准 BIG-bench……( 三 )


又一篇超百名作者的 AI 论文问世!442位作者耗时两年发布大模型新基准 BIG-bench……
文章图片
当手动检查模型输出时 , 团队发现 , 模型在一定规模后开始生成电影标题 , 在更大的规模下会开始识别表情符号的语义 , 并且在某些情况下以最大的规模输出正确的答案 。 一个有代表性的例子如下图所示:
又一篇超百名作者的 AI 论文问世!442位作者耗时两年发布大模型新基准 BIG-bench……
文章图片
图注:根据精确的任务指标 , 在emoji_movie识别上的表现会显得很突然或渐进 。
此外 , 他们发现 , 模型的编程能力十分主观 。 即使是通过具体的任务进行量化 , 语言模型的能力和跨规模的轨迹也比我们所想的要主观得多 。
再联想这两天吵得如火如荼的「AI是否具备人格」……
大家怎么看?
参考链接:
https://arxiv.org/pdf/2206.04615.pdf
https://github.com/google/BIG-bench
https://twitter.com/jaschasd/status/1535055886913220608/retweets/with_comments又一篇超百名作者的 AI 论文问世!442位作者耗时两年发布大模型新基准 BIG-bench……
文章图片
雷峰网雷峰网