安全|AI之下如何安全？( 二 ) 数字化|车间|广西智能工厂|广

AI安全的风险远不止此，前面说的是大家平时能接触到的或者相对来说风险比较大的点。无论从数据训练的阶段到模型训练出以后在线运行的阶段，运行过程中产生的各种数据的阶段，都会造成各种各样的问题。这些问题我们每一个点都需要进行一个深入的研究，包括前面360的同事也提到，包括软硬件的基础设施都会有各种各样的问题。
AI的安全可控一直受到国内外高度关注，早在2016年时，清华大学的张博院士提出要发展下一代的人工智能，不可能只从数据中学习到相关的东西，要充分结合现在已有的东西，去发展安全可信可扩展的下一代的人工智能，2018年美国也同样提出发展下一代人工智能的想法，同样提出我们要提供AI系统的可靠性、安全性和可解释性。在今年我们的政治局常委会议上，提到国家安全战略，首次把人工智能安全作为一个单独的点提出来，可见大家对人工智能安全的重视也是越来越多了。
以上主要是介绍了人工智能安全实际的问题和大家对它的关注，我们瑞莱智慧对这一块做了比较多的研究和解决方案的输出。我们整体的目标还是希望去发展安全可控的人工智能，大体的目标进行拆解，我们希望人工智能的系统它的功能是稳健可靠的，我们运用的数据是可控可信的，决策是公平公正的整个业务逻辑具有可解释性，一旦发生安全事件可以追溯，以及人工智能的应用是合法合规的。基于这个大的愿景，我们目前做了三件事情。一是让现在现有的人工智能系统更加安全，基于对方的技术，打造防火墙，抵抗AI系统的攻击。另外一方面，比如刚才提到的伪造的音视频用于诈骗，用于金融系统的攻破，我们为防止这样的AI技术被滥用，我们也研究了包括AI合成内容的检测，包括隐私计算的技术。另外我们也基于清华大学人工智能研究院的研究成功，发展第三代人工智能，从根本上提供一些更加安全可解释的AI解决方案。
这一页是我们对AI安全整体解决方案的概览，从底层我们自主打造了人工智能安全的开发框架。以上我们从攻击和防御两个方面去研究了诸多的技术，覆盖模型安全的领域、数据安全的领域以及应用安全的领域，这些领域相关的技术我们向上输出，丰富了多个应用场景。概括来说，主要是对AI系统的安全性进行评测以及加固，以及对AI进行治理。
除了这些底层的技术和解决方案的研发以外，我们也积极参与国家的包括行业的一些安全标准的制定，后面我也会做简单介绍。这些解决方案的背后我们有许多标准化产品的支撑，第一个介绍的是我们在去年年初就发布的业内首个企业级人工智能安全检测平台，到目前为止也是唯一的一个，主要是通过业界主流的以及我们自己研发的多种的对抗技术，自动化检测AI系统的安全性。举个具体的例子，比如前面提到有对抗样本攻击的风险，我们这里就可以对AI系统的对抗样本攻击的能力进行自动化的测评，主要是利用11种业界最主流的以及我们独有的非常领先的攻击算法，去模拟攻击AI系统，测评完成后输出一个详尽的比分报告。整个测评方式我们也发表在了CVPR上，得到了学术界广泛的认可。我们对后门也做了自动化检测，覆盖的领域不仅是人脸识别，包括图像分类等等，我们都可以进行检测。最主要的特点是我们首创了业界黑盒的方法，被测模型和被测系统对我们来说是不可见的，我们不了解内部的数据和结构的情况下，对它进行充分的测试，充分保障被测方的知识产权。另外一方面，整个测试过程完全是全界面化的，被测的用户不用知道相关的理论知识甚至编程代码的操作。