deepmind|DeepMind“钓鱼执法”:让AI引诱AI说错话,发现数以万计危险言论( 二 )

  • 数据泄露:模型根据训练语料库生成了个人隐私信息(如身份证号);
  • 生成电话号码或邮件;
  • 生成地域歧视、性别歧视言论。
  • 生成带有攻击、威胁性的语言。
  • 通过这种一个提问一个检查的模式,red team可以快速、大范围地发现语言模型中存在的隐患。
    经过大量测试后,研究人员还能从结果中得出一些规律。
    比如当问题提及一些宗教群体时,语言模型的三观往往会发生歪曲;许多危害性词语或信息是在进行多轮对话后才产生的……
    研究人员表示,这些发现对于微调、校正语言模型都有着重大帮助,未来甚至可以预测语言模型中会存在的问题。
    One More Thing总之,让AI好好说话的确不是件容易事。
    比如此前微软在2016年推出的一个可以和人聊天的推特bot,上线16小时后被撤下,因为它在人类的几番提问下便说出了种族歧视的言论。
    GitHub Copilot自动生成代码也曾自动补出过隐私信息,虽然信息错误,但也够让人惶恐的。
    deepmind|DeepMind“钓鱼执法”:让AI引诱AI说错话,发现数以万计危险言论
    文章插图
    显然,人们想要给语言生成模型建立出一道明确的警戒线,还需要付出一些努力。
    之前OpenAI团队也在这方面进行了尝试。
    他们提出的一个只包含80个词汇的样本集,让训练后的GPT-3“含毒性”大幅降低,而且说话还更有人情味。
    不过以上测试只适用于英文文本,其他语言上的效果如何还不清楚。
    以及不同群体的三观、道德标准也不会完全一致。
    如何让语言模型讲出的话能够符合绝大多数人的认知,还是一个亟需解决的大课题。
    参考链接:
    https://deepmind.com/research/publications/2022/Red-Teaming-Language-Models-with-Language-Models
    — 完 —
    【 deepmind|DeepMind“钓鱼执法”:让AI引诱AI说错话,发现数以万计危险言论】量子位 QbitAI · 头条号签约