语言模型|可能失控？人工智能语言能力提高引发担忧( 二 ) 人工智能|研究人员|研究中心

元宇宙平台公司说，它开放了数据、代码和研发日志，因此外部研究人员可以更容易地通过研究现实中的人们是如何写文章和沟通的来帮助识别和减轻该模型沾染的偏见，纠正其学到的有毒言论。
皮诺说：“这件事很难。我们敞开自己，准备迎接大量的批评。我们知道，这个模型会说一些我们不会感到自豪的事。 ”
虽然大多数公司都制定了其内部的人工智能防护措施，但梁副教授说，现在需要的是更广泛的相关规范，以指导研究和决策，比如何时将新模型公之于众。
这些模型需要很高的计算能力，以至于只有大公司和政府才能负担得起，这可不是什么好消息。例如， “大科学”项目能够训练其模型，是因为该项目可以访问法国强大的超级计算机“让·扎伊” 。
2018年，谷歌推出一种名为BERT的系统，使用一种将句子中的词语进行比对从而预测语义和语境的技术，这让追求更大、更智能的人工智能语言模型的趋势取得了重大飞跃，并且这些模型可以通过大量文本进行“预训练” 。但真正给人工智能世界留下深刻印象的是GPT-3 。 GPT-3是总部设在旧金山的开放人工智能研究中心在2020年发布的，很快就由微软获得了该模型的独家授权。
GPT-3带来了创新实验方面的繁荣，因为通过付费获得访问权限的人工智能研究人员把GPT-3当作一个沙盒来测试人工智能的性能——尽管没有关于其训练数据的重要信息。
纠正模型“偏见”
开放人工智能研究中心在一篇研究论文中广泛描述了相关训练来源，并公开报告了它为应对该技术可能被滥用所做的努力。
但“大科学”项目联合负责人托马·沃尔夫说，开放人工智能研究中心没有提供它如何过滤这些数据的细节，也没有向外部研究人员提供有关处理过的数据的访问权限。
同时担任抱抱脸公司首席科学官的沃尔夫说：“所以，我们实际上无法分析GPT-3在训练时接收到的数据。最近这波人工智能技术浪潮的核心更多地是聚焦数据集而不是模型。最重要的是数据，而开放人工智能研究中心对其使用的数据极其讳莫如深。 ”
沃尔夫说，开放语言模型所使用的数据集有助于人类更好地理解模型的偏见。他说，与只在美国接受英语文本训练的模型相比，接受阿拉伯语训练的多语言模型就不太可能对伊斯兰教发表攻击性言论或产生误解。
谷歌的LaMDA是目前最新的人工智能实验模型之一。该模型在回答问题时给人留下了如此深刻的印象，以至于一名谷歌工程师说它正在接近于有意识——这一说法导致他上个月被停职。