语言AI原来知道自己的回答是否正确!伯克利等高校新研究火了( 二 )

语言AI原来知道自己的回答是否正确!伯克利等高校新研究火了
文章图片
在训练初期 , 研究团队比较倾向于自然语言训练方式 , 但结果并不显著 , 由此转向价值导向方式 , 不过研究团队同时表示 , 最终对AI模型的训练还将回归自然语言方法 。
在经过训练之后 , 研究团队发现 , 语言AI模型可以很好的预测P(IK) , 并且在不同类型的问题中 , 这种预测能力具有部分通用性 。
不过 , 研究团队也发现 , 在某些类型的问题 , 比如算术问题 , 语言AI模型在OOD校准时有一些困难 。
对于这一学术成果 , 研究团队表示 , 将来的方向 , 是将这些成果 , 推广到语言AI模型不模仿人类文本的前提下 , 自我学习和事实推理领域 。
作者介绍语言AI原来知道自己的回答是否正确!伯克利等高校新研究火了
文章图片
论文通讯作者JaredKaplan博士 , 是一位理论物理学家 , 同时也是一位机器学习专家 , 现担任霍普金斯大学助理教授 , 主要研究领域 , 机器学习研究 , 包括神经模型的缩放规律以及GPT-3语言模型 。
语言AI原来知道自己的回答是否正确!伯克利等高校新研究火了
文章图片
共同通讯作者SauravKadavath , Anthropic公司研究员 , 现在加州大学伯克利分校EECS专业攻读硕士学位 , 主要研究领域是机器学习 , 大规模语言学习等 。
参考链接:
https://arxiv.org/abs/2207.05221
—完—
语言AI原来知道自己的回答是否正确!伯克利等高校新研究火了】量子位QbitAI·头条号签约