如何应对AI可解释性危机，解释和验证更应关注哪个？当前人工智能落地应用的繁荣

【如何应对AI可解释性危机，解释和验证更应关注哪个？】当前人工智能落地应用的繁荣很大程度上来自于机器学习（MachineLearning）尤其是深度学习（DeapLearning）的技术发展，但智能背后空茫的无法理解不可解释始终让人们质疑人工智能是否必须可解释才能用于一些高风险场景，尤其是在医疗保健、金融和政府等关键领域。
深度学习即深度神经网络（DeapNeuralNetwork），其特征在于无需经过特点人为干预设计就能自主从大量数据中学习并构建规律体系。然而在AI深度学习模型输入数据和输出结果之间，在复杂结构层级的人工神经网络中，是大量人类难以理解的代码和数值，无法准确解释AI在特定情况下做出特定预测的缘由。
这就是很多人听说过的“AI可解释性危机” 。
3月23日，《Fortune》在一篇文章中指出，人工智能存在可解释性危机，但它可能不是你想的那样。在其文章末尾更是表达了“当谈到现实世界中的人工智能时，我们应该关心的不是解释而是验证”的观点。
所以，对可解释人工智能的追求有什么问题呢？
“我们认为，通过当前的可解释性方法建立信任的愿望代表了一种虚假的希望：即个人用户或受人工智能影响的用户能够通过审查解释（即特定于该单个决定的解释）来判断人工智能决策的质量。那些使用此类系统的人可能误解了当代可解释性技术的能力——它们可以在一般意义上产生对人工智能系统如何工作的广泛描述，但对于单个决策，这些解释是不可靠的，或者在某些情况下，只能提供肤浅的解释水平。 ”近日，麻省理工学院计算机科学家MarzyehGhassemi ，澳大利亚机器学习研究所放射科医生兼研究员LukeOakden-Rayner和哈佛大学公共卫生学院流行病学系研究员AndrewBeam在医学杂志《柳叶刀数字健康》上发表的一篇论文中写道。

文章图片
为机器学习决策产生人类可理解的解释的尝试通常分为两类：固有可解释性和事后可解释性。
对于输入数据复杂性有限且易于理解的机器学习模型，量化这些简单输入与模型输出之间的关系称为固有可解释性。比如从一开始就训练AI来识别某种疾病的原型特征，像肺部存在“毛玻璃”图案，然后告诉医生它认为检查的图像与原型的匹配程度有多接近。
这看起来直观简单，但作者发现，这也很大程度上取决于人类的解释——是否选择了正确的原型特征，并在得出结论时对每个特征进行了适当的加权。
即使是固有可解释模型也会因存在无法识别的混杂因素而难以真正生效。更别说在许多现代人工智能用例中，数据和模型过于复杂和高维，不能用输入和输出之间的简单关系来解释。
事后可解释性思路是通过各种途径剖析其决策过程。一种流行的事后可解释性形式称为热图，热图突出图像的每个区域对给定决策的贡献程度，并且具有说明性，常用在医学成像模型中。

文章图片
图说：用于检测胸部X光肺炎的深度学习模型的事后解释方法生成的热图
（根据深度神经网络，较亮的红色表示重要性级别较高的区域，较深的蓝色表示重要性级别较低的区域）
但Ghassemi等研究发现，本应解释为什么AI将患者归类为肺炎的热图，即使是图中“最热区域”（最影响判断区域）也包含着在医生看来有用和无用的信息，简单地定位该区域并不能准确揭示模型认为有用区域的确切内容。