达摩院|重大突破!阿里达摩院创全球新纪录:AI“读图会意”首次超越人类

从阿里云官方获悉,近日,国际权威机器视觉问答榜单VQA Leaderboard出现关键突破,阿里巴巴达摩院以81.26%的准确率创造了新纪录,让AI在“读图会意”上首次超越人类基准。
近10年来,AI技术保持高速发展。然而在视觉问答VQA(Visual Question Answering)这一涉及视觉-文本多模态理解的高阶认知任务上,AI始终未取得超越人类水平的突破。
【 达摩院|重大突破!阿里达摩院创全球新纪录:AI“读图会意”首次超越人类】
达摩院|重大突破!阿里达摩院创全球新纪录:AI“读图会意”首次超越人类
文章插图

自然语言技术与计算机视觉交融,是多模态领域重要的前沿研究方向。其中,VQA是AI领域难度最高的挑战之一,对研发通用AI具有重要意义。
VQA的任务是根据给定图片及自然语言问题,生成正确的自然语言回答。
例如下面这张图,图中玩具人的IP出自哪部电影?AI先提取了问题关键信息——玩具人;再根据常识做出回答——星球大战。

达摩院|重大突破!阿里达摩院创全球新纪录:AI“读图会意”首次超越人类
文章插图

在首届VQA挑战赛上,AI的最高准确率仅能达到55%。今年8月,达摩院以81.26%的准确率创造VQA Leaderboard全球纪录,首次超越人类基准线80.83%。
这是VQA测试以来,AI第一次超过人类水平,是标志性的重大突破。

达摩院|重大突破!阿里达摩院创全球新纪录:AI“读图会意”首次超越人类
文章插图