漏洞|人工智能偏见很猖獗！漏洞赏金可以拿住它( 二 ) 工业|大数据|解决方案|宁夏|工

我总是感到惊讶的是，在那些有理由说的公司的要求下，有多少bug赏金存在。"看，这就是我们为阻止算法伤害而做的所有事情。" 但当然，一个公司不希望被人耻笑，不希望专有系统被探查和可能被复制。
弗朗索瓦：有很多很好的研究。一个公司要怎样才能真正准备好引进这些东西？当然，还有一个意愿问题。比如，目标客户是否愿意听到他们的孩子有多难看？你的公司在感情上准备好了吗？但是，还有一个整体的组织准备的问题。我们非常喜欢并引起我们共鸣的一个比喻是。仅仅说 "我将拥有数据 "是不够的。你需要的是真正拥有分析数据的系统，能够处理和有意义地使用这些信息。
政策界能做什么？计算机诈骗和滥用算法。和法院的解释基本上反对这种研究。另一方面，这已经成为生活的事实，黑客和公司已经学会了与对方共处-，很多时候是通过合同条款。
弗朗索瓦：如果你从事的是保护独立安全研究人员的工作，你所做的很多事情和很多正在帮助的机构实际上也可能会帮助那些做算法伤害研究的人。现在，这并不意味着他们所有的法律问题都会被涵盖，但我认为有很多东西可以学习。我们认为也很有趣的是，当你看一下[网络安全]bug赏金的历史，其中一个重要时刻是国防部运行自己的项目。我们认为这很有趣! 公共机构也可以运行自己的算法危害赏金吗？
肯维：美国法律中有一些具体的规定，为安全研究人员提供了一定程度的保护。例如，存在的[数字千年版权法]豁免，我认为有一些例子，类似的豁免或类似的规定可以有意义地支持算法伤害研究人员的法律安全。但是，政府如何激励或创建机构来支持这种参与，我认为这可能是一个在未来几年内广泛存在的问题。
跟我说说具体的吧。你认为谁是算法伤害的bug赏金研究员或黑客？这是一个21岁的CS专业学生，在星期四晚上晚餐前在她的宿舍里工作吗？

文章插图
弗朗索瓦：我认为最让我们兴奋的是这个想法，如果你创建一个实践社区，你将接触到非常不同的人。因此，比如说，我们决定，在整个新冠疫情流行中被部署在学校的一些监控软件是一个很好的目标，鼓励人们在其中找到算法的危害。你很可能最终会有那些一直非常烦恼的教授，他们确实有一点计算机科学背景。你最终会和那些真正非常关心这些问题的学生在一起。你最终会遇到那些从逆向工程技能出发来研究它的人。
关于人工智能的危害，只要你有一个项目或系统的想法，它们就会进入。训练数据显然可以是高度歧视性的。你如何确保你真的识别了危害？
弗朗索瓦：安全不是你在设计和部署一个产品的最后才撒下的东西。它伴随着产品的整个生命周期，包括思考一旦你的产品被部署到世界上就会出现的新问题，而这种想法确实转化为算法危害的空间。因此，当人们考虑算法伤害时，有时会过分强调训练数据层面上发生的事情。有时你会听到人们[说]，如果一个模型有问题，那是因为训练[数据]不好。而实际上，与网络安全事件的发生方式类似，问题可能出现在人工智能或机器学习生命周期的不同时刻。
你预计这些类型的报告最终应该在哪里落地？是算法的开发者本身吗？监管机构？研究人员的社区？或者是媒体和公众？
弗朗索瓦：这些是你可以设计的不同方式。我认为在一天结束时，有许多不同的利益相关者确实从这些人工智能危害的可见性中受益。当然，采访人员们已经做了很好的工作，揭露了其中一些首次大规模的人工智能危害。我们也考虑到了供应商本身。这对运营商来说是非常有帮助的。而且对同行也有帮助。