PNAS新研究：剑桥学者发现，有些 AI 模型无法被计算( 二 ) 作者|Ailleurs编辑|陈彩娴近日

2
分类理论：计算稳定NN的算法的存在条件
针对上述问题，作者团队提出了一种分类理论，描述了达到一定准确度（且稳定）的神经网络可以被算法计算的充分条件。
他们从一个线性方程组欠定系统的经典逆问题出发：
在这里， A∈Cm×N表示采样模型（mpan>
基于定理1和定理2（定理详情见论文），他们指出这样一个悖论性问题：
存在从训练数据到合适的神经网络的映射，但没有训练算法（即使是随机的算法）可以从训练数据中计算神经网络的近似值。
对此，该论文的其中一位作者Hansen做了一个类比：「可能存在一种蛋糕，但却不存在制作它的配方」。他认为，问题不在于「配方」，而是在于制作蛋糕所必须的「工具」，有可能无论你使用什么搅拌机，都无法制作出想要的蛋糕，但在某些情况下，也有可能你自家厨房里的搅拌机就足够了。
那么是在什么情况下呢？研究团队对计算神经网络的算法进行了分类，解释了什么条件下计算神经网络的算法才会存在（这也可以类比为：哪些蛋糕可以用具有物理设计可能性的搅拌机来制作）：
定理2
计算神经网络的算法是否存在取决于期望的精度。对于任意正整数K>2和L ，存在良态问题类，同时有以下情况：
a）不存在随机训练算法（即便是随机的算法）能以超过50%的概率计算出具有K位精度的神经网络；
b）存在一种确定的训练算法，可以计算具有K-1位精度的神经网络，但需要大量的训练数据；
c）存在一种确定的训练算法，可以使用不超过L个训练样本计算具有K-2位精度的神经网络。
这表明，一些基础性的、本质性的障碍阻止了神经网络被算法计算。这也是为什么一些场景中存在稳定而准确的神经网络，但深度学习仍会出现「幻觉」的原因。
3
FIRENETs：平衡稳定性与准确性
神经网络的稳定性与准确性之间存在权衡问题，一个稳定的神经网络在逆问题中的性能表现往往是有限的。这在图像重建中尤其突出，当前深度学习重建图像的方法会出现不稳定性，这体现在：
1）在图像或抽样域中的一个微小扰动就可能在重建图像中产生严重的伪影；
2）图像域中的一个微小细节可能会在重建图像中被洗掉（缺乏准确性），导致潜在的漏报。
这类线性逆问题导致深度学习方法在稳定性与准确性之间的不平衡，使得任何图像重建方法都无法在不牺牲准确性的情况下保持较高的稳定性，反之亦然。
为了解决这个问题，研究团队引入一种「快速迭代重启网络」（FIRENETs）。经证明与数值验证， FIRENETs十分稳定。他们发现：在特定条件下，比如在MRI中，有一些算法可以为方程1中的问题计算稳定的神经网络。
关键是，他们证明了FIRENETs对扰动具有鲁棒性，甚至可用来使不稳定的神经网络变得稳定。
FIRENETs对扰动具有鲁棒性
在稳定性测试中，团队将FIRENETs与V.Antun等人（2020）开发的AUTOMAP网络进行对比。如下图中的上行所示， AUTOMAP网络重建很不稳定，导致图像完全变形。下行则是使用FIRENETs网络的重建结果。即使在最差的重建结果中，它仍然保持稳定。

文章图片
这证明了由FIRENETs算法所计算的神经网络在小波中稀疏的图像中，在对抗扰动方面具有稳定性，而且同时能够维持一定的准确性。
FIRENETs的稳定器作用
同时， FIRENETs也起到了一个稳定器的作用。比如在下图中，将来自AUTOMAP的重建输入到FIRENETs ，结果显示， FIRENETs修正了AUTOMAP的输出并将重建加以稳定化。