计算机|AI做题家卷疯了！高数考试正确率81% 竞赛题成绩超过计算机博士( 三 ) 高数|AI|AI做题家卷疯了！高数

物理上，Minerva可以求中性氮基态（Z = 7）电子的总自旋量子数这样的大学水平题目。

文章图片

生物和化学上，Minerva凭借语言理解能力也可以做各种选择题。
以下哪种点突变形式对DNA序列形成的蛋白质没有负面影响？

文章图片

以下哪种是放射性元素？

文章图片

以及天文学：为什么地球拥有很强的磁场？

文章图片

【计算机|AI做题家卷疯了！高数考试正确率81% 竞赛题成绩超过计算机博士】在机器学习方面，它通过解释“分布外样本检测”的具体含义，从而正确了给出这个名词的另一种说法。

文章图片

……
不过，Minerva有时也会犯一些低级错误，比如把等式两边的√给消了。

文章图片

除此之外，Minerva会出现的推理过程错误但结果对的“假阳性”情况，比如下面这种，有8%的可能性。

文章图片

经过分析之后，团队发现主要的错误形式来自计算错误和推理错误，只有小部分来自题意理解错误和在步骤中使用了错误的事实等其他情况。
其中计算错误可以轻易通过访问外部计算器或Python解释器解决，但其他种类的错误因为神经网络规模太大就不太好调整了。

文章图片

总的来看，Minerva的表现让很多人感到惊艳，纷纷在评论区求API（可惜谷歌目前并没有公开计划）。

文章图片

有的网友想到，加上前几日让GPT-3解题正确率暴涨61%的“哄一哄”大法，它的准确率或许还可以再提高？

文章图片

不过作者的回应是，哄一哄方法属于零样本学习，再强恐怕也比不上带4个例子的少样本学习。

文章图片

还有网友提出，既然它可以做题，那么能不能反过来出题？

文章图片

事实上用AI给大学生出题这件事，MIT已经联合OpenAI在做了。
他们把人类出的题和AI出的题混在一起，找学生来做问卷调查，大家也很难分清一道题是不是AI出的。