安全|AI之下如何安全？数字化|车间|广西智能工厂|广

演讲者：唐家渝瑞莱智慧RealAI 副总裁
大家下午好，很高兴能有这个机会跟大家分享一下我们在AI时代发现的一些安全的问题和相应的解决方案的探索。
人工智能时代大家都说有三大主要的支撑，算力、算法、数据。因为有了大数据，所以我们才能去不断训练出更好的算法。在这个数据支撑的时代，有非常多的安全风险，这里我们举个例子，比如这两张图，在人看起来都是雪山，这里是阿尔卑斯山的一角，但是在机器看来，会把右边这张图认为是一只狗的图像，这是因为我们在图上加上人眼不可见的噪声以后，模型在提取特征以后，把它识别错了。这样的问题不仅出现在数字世界图像上，在线时生活中也会出现，例如我们曾经在2019年时就把手机的人脸识别解锁功能攻破，到今年我们利用一副面孔攻破了多个品牌的几十部手机。不仅是人脸识别这样的算法，目标检测就是我们常常用到的安防的场景上同样有这样的问题，这里展示到的是我们在不同的光纤角度包括一些运动的情况下，对于安防系统攻击的演示，只要在特定的车、人身上有特定的干扰图像后，我们的监控算法就实效了。这一类问题我们称之为对抗样本攻击问题，另外一类问题叫模型后门攻击问题，其实就是攻击者通过对训练数据的修改，在这个其中植入了后门。这里我们举到的例子，比如日常生活中我们用的很多的内容审核的模型，左边这张图，大家会认为它是一个爆恐的图片，能进行正常的审核，右边因为有一个植入的后门黄色色块，就会认为这是个正常的图片，逃过了审核。这样的问题在当前主流的深度学习的模型中是一直存在的。比如这里是通过在标识牌上粘贴黑色图像，把限速标识识别成了停车标识。

文章插图
前面可能大家比较好奇这些问题是如何产生的，这里我们用一个比较浅显的例子跟大家介绍一下基本的原理。比如大家知道深度学习是通过自动化发现和学习这些数据中的特征，去学习相关的分界或者人脸识别相关的功能。机器学习通过学习这些数据，会自动学习出一个模型的边界，可能在模型的边界一侧它认为是A类，另一侧认为是B类，因为它看到的数据不够多，或者它本身学习到的特征并不够准确，跟真实的分界可能是有偏差的。当有一个新的样本出现时，我们只需要在这个样本上添加一些可能人看起来并不会特别明显或者看不到的色差以后，它就会是这个样本落在这个模型分界的右边以及真实分界的左边，这个模型就将它识别出错了。如果这些训练出的数据里被投入了一些有意的误导的特征，举个例子，比如这里要去识别分类这些图像是什么东西，比如在花个类别所有的左下角都加了一个紫色的色块，当一个新的图像出现时，这个模型就会认为紫色的色块是花非常显著的特征，在任何一个图像的时候就会把它认为是花，这就是被成功植入了后门。
以上是大概原理，不仅是从模型本身，因为深度学习的可解释性和黑盒性带来的问题，同时我们在使用AI的过程中，因为要用到大量的数据，会引出数据泄露的风险。比如今年315，大量门店在不经用户同意的情况下采集了大量的人脸照片，这些人脸照片或多或少已经在黑产上流出了。黑产上有什么用，比如这里我们拿到一张图像，可以利用这张图像去驱动它生成各种各样的动作的视频，相信看到这个视频大家也比较熟悉，比如我们在网上进行开户、刷脸支付，需要做这样的动作，这样确实会造成实际的金融安全的风险。右边这个例子也是我们跟一家金融客户去沟通时对他们实际的业务系统构造的攻击的案例。