安全|AI之下如何安全?( 三 )


我们针对目前应用最广泛的人脸识别的系统提供的人脸安全防火墙,主要是针对一些新型的攻击。比如大家听说了像活体检测,防假体攻击,主要是防照片这样的东西绕过人脸识别。我们对于人脸识别的防范更近一步,进一步扩展到针对AI模型本身的理论上的攻击,包括对抗样本的攻击,以及现在AI越来越生成逼真的深度伪造的视频检测。整个技术我们目前已经应用在多个场地,从落地的情况来看,攻击拒绝率达到98%以上,整个技术还是非常领先的。
安全|AI之下如何安全?
文章插图
第三块是前面介绍的应用可控的问题,提到数据安全的问题,我们相应推出了全景式的数据安全和隐私保护的计算平台,实现数据的可用和不可见。整体方案有多个优势,包括实施非常简易,有业界先进的运算性能,计算过程透明安全。这里尤其要提到的是打造的自动化编译的引擎,比如像现在大家使用联邦学习的框架,需要把传统的机器学习算法进行人工改写,改写成联邦环境下可以使用的,我们基于底层的改造,把所有的过程完全的自动化,我并不需要专有的知识,可以把以前的机器学习模型自动化编译为在联邦环境下可以使用的模型,大大降低了应用的成本。
第四块是我们近期推出的业界首个实战化、体系化AI攻防演习的平台,我们的AI安全靶场。这个靶场顾名思义就是我们构造现实的AI的应用场景对应的多个场景的模型,去开展AI攻击与防御有效性的评估和对抗攻防的演习,非常直观,在对抗演习的过程中,大家可以以练代学,在这个过程中提升相关人员的AI安全能力。在对战过程过程中,大家可以通过实战检测到安全状态,对目前已有的安全漏洞进行弥补,改进现有系统的安全性。这里的靶场我们综合了我们的研究成果以及清华大学联合研发的AI对抗攻防基准这样的成果,去提升白盒攻击、黑盒攻击在这上面的能力。
这里是几个前面介绍产品落地的案例,首先是跟头部支付厂商合作的案例,我们利用了我们领先的AI对抗的攻击算法,发觉现有支付的算法中人脸识别中存在的安全漏洞,发觉以后提供相应的安全性提升的方案,助力他们去发展更加安全的大家平时用到的刷脸支付。另外一块是跟国家电网集团合作的案例,电网会利用自动化的模型去识别郊外的场景是不是有危险品出现,比如烟火、吊车等,这些可能会干扰高压线安全的。利用我们的平台去对他们的模型进行安全性测评以后,发现他们的模型漏洞还是非常大的,像这里展示的一张图,可能我们看动图没有任何变化,但实际上它加入了人眼不可见的噪声,使这个模型识别出错了,检测不出危险情况。另外一块,后续通过对抗训练等方式,帮助他提升这个模型的鲁棒性。
我们提供的AI安全能力还是得到了业界的广泛认可的,从最顶层的学术论文,得到了多个图灵奖得主的引用,包括在国际国内AI安全的竞赛中都获得了几乎都是冠军。在开源生态领域我们也积极去建设,我们也办了多届AI安全对抗的比赛。我们的代表性客户,包括蚂蚁金服、华为、国家电网。AI安全是非常新的东西,也是国家层面非常关注的东西,我们也积极参与国家级多个AI项目。
AI安全是个非常新的领域,相关领域的标准还是比较缺乏的,我们也积极参与了AI安全评测标准的制定,包括去年工信部的揭榜挂帅测评的工作,我们也负责算法安全标准制定的部分,针对百度、腾讯、商汤人脸识别等头部的厂商进行产品算法安全性的测试和择优。
以上成果都基于我们有一个业务领先和技术领先的团队,最后简单介绍一下我们团队的情况。我们的团队是孵化自清华大学人工智能研究院的,是作为清华大学官方的产学研落地的企业孵化出来的,在2018年6月,清华成立了人工智能研究院,在同年第二个月就孵化了我们公司。目前已经在政务、金融、能源等多个领域进行了落地,提供金融风控、智慧理财、人脸识别系统性的安全性检测提升的多种解决方案。整个团队目前也吸纳了头部公司多个获得过多种奖项的比较头部的同事和同学,整个团队目前接近200人,有大概一半的同事具有硕士和博士以上的学历,大概三分之一的同事是来自于清华和北大的同学。核心团队深耕技术领域数十年,整个团队发表了百余篇顶刊的论文。从产业落地方向来看,我们获得了包括政府、产业和市场广泛的认可,我们累计获得的荣誉接近80余项,值得一提的是,今年的世界互联网大会上我们也获得了世界互联网领先科技成果,当时全世界只有14家,我们是唯一一家创业公司,同期的领先成果包括华为的鸿蒙、北斗、高通的5G等等。