【金陵读书】人工智能：AI时代的网络安全（2022.6.18）【金陵读书】初探AI安全（20

文章图片
【金陵读书】初探AI安全（2022.6.18）
参加方式：腾讯会议
会议主题：金陵读书-周六晚
会议时间：2022/06/1818:30-21:00(GMT+08:00)中国标准时间-北京
点击链接入会，或添加至会议列表：
https://meeting.tencent.com/dm/J4kYvTYyfvfD
【【金陵读书】人工智能：AI时代的网络安全（2022.6.18）】标题：初探AI安全
摘要：AI（ArtificialIntelligence）随着大数据时代的降临正在以极快的速度发展，智能家居、无人驾驶、“刷脸”支付深刻改变了我们的生活方式。而安全作为和众多行业交叉的一个领域，同样也被AI深刻的改变着。但是和其他领域不同的是， AI和安全是一个相互碰撞的过程——黑客可以利用AI发起网络攻击、黑客可以对AI发起攻击、安全研究者可以利用AI防范网络攻击、安全研究者可以对AI施加保护，本次沙龙将和大家一起揭开AI安全的神秘面貌。
主讲：汪潇文东南大学博士，主要研究方向：物联网安全， AI安全
主持人：金陵客

文章图片
人工智能与信息安全：新的革命与挑战

文章图片
人工智能的应用
在自然语言处理领域，基于人工智能技术的语言模型更深层次加深了计算机对语言处理的理解。例如谷歌于2019年推出的Transformer模型[5] ，其在推荐系统，用户行为分析，机器翻译等语言文本任务领域被广泛应用。
在游戏对抗领域，主流的人工智能技术是强化学习[6,7] ，由于游戏有明确的规则，利用强化学习算法可以使智能体(计算机)在自我对弈中找到最优解。近年来，强化学习技术开始“出圈” ，逐渐被应用到各种行业中，如机器人控制、自动驾驶等领域。
人工智能自身的安全性
以深度神经网络为代表的人工智能技术由于其算法复杂，参数众多，需海量数据驱动等特性使得其自身具有众多安全缺陷，这些缺陷主要发生在两个阶段：AI模型的训练阶段以及应用阶段。其中训练阶段攻击者主要利用AI模型的数据驱动特性，针对训练数据以及训练所使用的算法发起攻击[10] ，使AI模型偏离原本的训练目的。在应用阶段，攻击者主要利用AI模型本身特性来诱导模型作出错误推断。我们分别从攻击手段和防御手段两个角度来阐述在两个阶段中人工智能自身的安全性问题。

文章图片
?防御手段
使用可信任的数据集以及云托管平台。训练前应用检测机制，检查数据集是否被污染。设置准确度阈值，在每个训练周期后使用该阈值测试模型，若测试结果发生巨大变化，则极有可能存在数据污染。尽量使用离线训练，一方面攻击者无法从离线训练中得到即时反馈，另一方面也提供了审查数据的机会。

文章图片

文章图片
?防御手段
可在AI模型的训练集中增添一些被干扰过的数据，使模型对含有噪声的样本更加具有鲁棒性。或使用网络蒸馏技术，在同一个训练集上训练多个不同的AI模型，最后使用这些模型的平均值作为输出，此种方法需要大量的资源，但也有更高的精确度与较高的鲁棒性。在模型成型之后，亦可对输入的数据进行一定的去除噪声预处理(如使用高斯平滑滤波器等)来达到防御对抗样本的目的。