主攻|龚克:将可解释性作为下阶段AI研究的主攻方向
目前,人工智能技术已深入到各行各业的应用之中,加快推动传统产业数字化转型。7月8日,在以“智联世界·众智成城”为主题的2021世界人工智能大会上,南开大学原校长、中国新一代人工智能发展战略研究院执行院长龚克分享了他关于人工智能发展的看法。
龚克表示,近年来,AI作为一个通用技术正越来越多得和实体经济相融合;与此同时,AI正成为科学研究的一个重要工具。“这些进展的背后,是AI算法的进步,过去三年间,有关算法的研究在持续发展,并且应用领域越来越广泛。”他说道。
此前曾有观点提及,人工智能发展面临着六大瓶颈,分别是数据瓶颈、泛化瓶颈、能耗瓶颈、预义鸿沟瓶颈、可解释性瓶颈和可靠性瓶颈。目前,在龚克看来,AI算法在三大瓶颈上都已取得重要突破。
首先,在数据瓶颈方面,当代人工智能主要是由大数据驱动,因而数据可获得性、数据质量以及数据标注成本等是制约人工智能发展的一大因素。“但在过去一年内,它已经取得了比较明显的进展,比如,当前被大量使用的GPT-3的推出,使得数据领域有了一个非常强大的工具。”龚克说。
据介绍,GPT-3是迄今为止全球规模最大的预训练语言模型,在许多自然语言处理数据集上均具有出色的性能,包括翻译、问答和文本填空任务,还包括一些需要即时推理或领域适应的任务等,已在很多实际任务上大幅接近人类水平。龚克称,未来在图像等其他方面,像GPT-3这种预训练模型的推出指日可待。
另外,深度残差收缩网络以及基于对比学习的自监督学习模型的推出也解决了数据质量和成本的问题。具体而言,深度残差收缩网络通过注意力机制,可注意到重要的特征,再通过软阈值函数将不重要特征置为零,从而加强深度神经网络从含噪声信号中提取有用特征的能力;基于对比学习的自监督学习模型可使用大量无标签数据进行训练,解决了当前数据标注所需要的大量人力及成本问题。
其次,能效瓶颈方面也有突破,且国内外已有不少值得关注的进展。比如,不久前来自MIT、维也纳工业大学、奥地利科技学院的团队仅用19个类脑神经元就实现了控制自动驾驶汽车,而常规的深度神经网络则需要数百万神经元。
再如,去年清华大学计算机系张悠慧团队等提出了“类脑计算完备性”概念以及软硬件耦合的类脑计算系统层次结构,通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性,扩展了类脑计算系统应用范围使之能支持通用计算。龚克称,这一“完备性”新概念的提出,推动了类脑计算,对类脑系统存在的软硬件紧耦合问题而言是一个突破性方案,可使类脑方案应用到不同场景,这是非常重要的进展。
再者,在可解释性瓶颈方面,龚克称,随着人工智能的快速应用,人们对可信任的人工智能呼声越来越高,而要使人工智能性能可信任,首先就要让它做到可解释。如果在可解释方面取得突破,那么就可以突破它的可靠性问题等。
在过去一年,业内在可解释领域已有进展。比如,从几何角度来理解深度学习,提出生成对抗网络 (GANs)的最优传输(OT) 观点。“它通过几何的映射找到了生成对抗网络中的生成器和判决器之间的关系,进而找到了模型坍塌的原因,并提出了一个改进模型,这不能说是在解决可解释瓶颈上获得了突破,但是是一个非常有意义的进展。”龚克说道。
再如,2020年7月,柏林技术大学和康奈尔大学的研究团队发表了公平无偏的排序学习模型FairCo,该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等,基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法,并实现了排序性能的提升,受到了业界广泛关注。
- m都是大片!微软 Skype 支持将必应 Bing 图片设为通话虚拟背景
- 红米手机|天玑1200手机将升级换代?红米真我两款机型降价,最低1599元
- 大屏|尺寸直追笔记本 曝国产厂商将推出高刷大屏旗舰平板
- 40K:Battle|VR动作射击游戏「Warhammer 40K:Battle Sister」即将登陆Steam
- PSVR|Resolution Games将大力支持开发PSVR 2游戏
- 苹果|成像升级:iPhone 14 Pro/Pro Max或将配置4800万像素镜头
- 卢照邻 战城南
- 自驾游|儿子将母亲忘在服务区 开出40公里仍不知 网友:心大
- 一个时代的结束!中国移动:10086 App将于1月30日起
- 百度|传英伟达加大GeForce RTX 3050供应力度,大量供货将在春节后到来