漏洞|人工智能偏见很猖獗!漏洞赏金可以拿住它

漏洞|人工智能偏见很猖獗!漏洞赏金可以拿住它
文章插图
人工智能的算法偏见问题日益突出,有偿修复bug或许可以缓解这一问题。
与网络安全大师Camille Fran?ois的问答,内容涉及她对bug赏金的新研究,以及希望它们能帮助减少人工智能的危害。
20世纪90年代可能有很多关于我们应该如何解决2020年人工智能的带来危险的预测。
那时,一些公司发现他们实际上可以通过激励独立的 "白客 "安全研究人员的工作来使自己更安全,这些人将寻找问题并在一个看起来很像有道德操守的的黑客。这就是bug赏金的做法如何成为今天网络安全的基石。
在周四公布的一篇研究论文中,研究人员Josh Kenway、Camille Fran?ois、Sasha Costanza-Chock、Inioluwa Deborah Raji和Joy Buolamwini认为,公司应该再次邀请他们最热心的批评者加入,这次是通过对可能源自其人工智能系统的危害进行赏金。
曾为法国首席技术官提供咨询的富布赖特学者弗朗索瓦,在美国参议院对俄罗斯试图影响2016年大选的调查中发挥了关键作用,他通过算法正义联盟发布了这份报告,该联盟成立于2016年,"结合艺术和研究,阐明了人工智能的社会影响和危害"。该组织的创始人Buolamwini和其他与AJL有关的人长期以来一直致力于揭露特别是面部识别技术中的种族偏见。
弗朗索瓦和肯维向议定书明确表示,如果程序不培养一个多样化的bug修复社区,包括来自计算机科学以外的社区,那么世界上所有减少人工智能危害的努力都是徒劳的,如果公司还没有准备好 "消化 "信息,他们应该纳入反馈,使其真正影响人工智能系统的构思、开发、部署和维护。
监管也是关键,内部人员提到。
本采访经过编辑,以保证长度和清晰度。
对于不熟悉的人来说,请谈一谈bug悬赏和网络安全研究。
弗朗索瓦:bug悬赏是信息安全领域的一种传统做法,通过这种做法,你可以奖励黑客发现并向受影响的组织披露bug。如果你看看所有这些大公司,他们通常都有一个bug赏金计划。
广义的bug赏金,在过去的25、30年里,已经成为网络安全研究、bug测试和信息安全的一个重要组成部分,听起来是这样吗?
弗朗索瓦:是的。
那么,为什么要把这个想法应用于潜在的算法偏见中?为什么现在是做这个的时候?
弗朗索瓦:我们在这方面写了大约100页研究。[笑]这个项目开始是因为Joy和我都对这个想法感兴趣。我看到,在算法偏见中,你有这些非常有才华的人,他们不遗余力地寻找和记录这些伤害,但A)更多时候,它最终是无偿劳动,这是一个问题,B)真的[没有]任何形式的保护他们的系统,[有]经常来自行业的非常对抗性的反应。这让我想到了在[bug悬赏]专业化之前,黑客们所处的情况。所以我在想。也许我们可以从网络安全中寻找灵感,了解如何更好地支持、保护以及如何为真正重要的劳动支付报酬。
我们在哪里已经看到过这种情况?你用Twitter[它有一个与它的图像抓取算法中的潜在偏见有关的错误赏金]作为案例研究。你提到了谷歌的一个项目,这个项目已经存在几年了,它收到了大约1000份报告,记录了数据滥用的证据,比如第三方在使用谷歌数据时没有遵守合同条款。
弗朗索瓦:我们记录的例子谈到了[传统的]bug bounties(bug修复奖金),这些bug bounties被延伸到了我们所说的社会技术问题。事实上,我们最先研究的是那些数据滥用赏金,这似乎是一个行业对大问题和大丑闻的回应,比如剑桥分析公司。
我们也看到了一些非常有趣的例子,但并不那么明显。因此,我们谈到了一点关于Rockstar Games正在做的事情,有一个赏金,谈到不正确使用[禁止作弊者]的算法。我认为这是一个好的趋势,但我认为它也值得更多的研究和更多的讨论,围绕着最佳做法。