高端大气的谷歌AI，学术黑暗的“名利场”( 三 ) 在美国学术圈

文章图片
LeCun进一步发了十几条推文，进一步解释自己的观点，结果却被Gebru以及她的支持者当成了“班门弄斧”——虽然LeCun是”AI教父“ ，但Gebru本人才是AI偏见方面的权威专家。
LeCun和包括Gebru在内的批评者之间的骂战持续了半个月，结果以前者“退推"告一段落。
Gebru在社交网络上直言抨击LeCun这种机器学习元老级专家的行为，却在谷歌内部被一些高层人士认为破坏了公司和学术界/行业之间的友善关系。虽然Gebru获得了阶段性的“胜利” ，可是她当时并没有完全意识到事情的严重性，以及阴云已经笼罩在自己的头上。
大家应该知道最近几年大模型（以超大参数量的语言模型为代表）在AI研究领域有多火，包括谷歌、OpenAI、微软、亚马逊、BAAI等机构都在这方面投资巨大，诞生了BERT、T5、GPT、Switch-C、GShard等在内的一系列超大规模语言向神经网络模型和相关技术。
也是在2020年， Gebru的团队撰写了一篇论文OntheDangersofStochasticParrots:CanLanguageModelsBeTooBig?希望揭露超大规模语言模型在实际使用中的危险性，批评其可能在AI偏见方面造成的影响。

文章图片
这一方向的研究并不小众，毕竟在此之前已经有研究发现， GPT-2/3等超大语言模型在真实场景中使用时会强化已经存在的社会偏见和歧视（包括性别、族裔），对实际用户造成伤害。
Gebru团队的这篇文章，主要表达的观点确实都没什么毛病。然而在JeffDean看来，篇幅很短，叙述和引述多于基于实验的结果，缺乏科学实证的要素，不构成谷歌公开冠名发表论文的条件，因此将其驳回不予发表。
可能更接近本质的原因在于：这篇论文如果发表出来，等于是在和谷歌近几年在大语言模型方面的努力唱反调，在谷歌AI管理层看来会非常影响士气。
Gebru坚持就算公司不批准，自己也要想办法把论文发出去。谷歌要求她在论文里去掉作者的谷歌从属关系，意思就是这篇文章是几个作者私下做的，公司并不认可。这一要求也被Gebru严词拒绝。
对于Gebru的离开，谷歌表示她是自己辞职的（内部员工透露， Gebru当时确实曾以辞职作为威胁）。但是Gebru对外透露的是自己被公司开除了。
Gebru在谷歌的汇报对象SamyBengio在当时表示自己感到非常震惊。 Bengio曾获得谷歌杰出科学家的殊荣，是公司14年元老，原谷歌大脑团队的创始成员之一（也是AI三教父之一YoshuaBengio的胞弟），后来也直接因为对解雇Gebru不满，在2021年离开了谷歌。

文章图片
后来， Gebru团队的论文后来还是在2021年3月在ACM旗下的跨学科会议FAccT（公平、责任和透明度大会）上得以发表，只是四位作者当中的两位，无法以谷歌员工的身份出现在作者名单里。
值得一提的是：虽然Gebru在论文发表前就已经和谷歌掰了，另一位作者MargaretMitchell在文章发表的时候仍然供职于谷歌（后来也还是被开除了）。
在发表版本的论文里，她“改名换姓” ，在自己的名字前面加上了“Sh” ，以讽刺公司对自己的噤声：

文章图片

文章图片
但是更离谱的事情还在后面。
就在上个月初，谷歌AI发表了另一篇论文，介绍了团队开发的一个全新的5400亿密集激活参数的超大规模语言模型PaLM 。