数据中心|数据中心“吃掉”三峡大坝和葛洲坝:科技巨头也得拉闸限电?( 四 )


常见的一种训练语言神经网络的方法是,从维基百科和新闻媒体网站下载大量文本,然后把一些词语遮挡起来,并要求 AI 猜测被遮挡起来的词语 。刚开始的时候,AI 会全部搞错,但是,经过不断地调整后,AI 会逐渐学习数据中的模式,最终整个神经网络都会变得非常准确 。
前文提到的 “BERT 模型”——基于变换器的双向编码器表示技术(Bidirectional Encoder Representations from Transformers,简称 BERT),这是一项由 Google 提出的自然语言处理(NLP)的预训练技术 。
该模型使用了来自维基百科和其他文章的 33 亿个单词,而且在整个训练期间,BERT 读取了该数据集 40 次 。相比之下,一个 5 岁的孩子学说话只需要听到 4500 万个单词,比 BERT 少3000倍 。
之所以有以上这些强烈的对比是因为:
在开发模型期间,上述训练过程需要反复多次 。因为研究人员需要将神经网络调整到最优,即确定神经元的个数、神经元之间的连接数以及各个权重 。他们需要反复尝试很多组合,才能提高神经网络的准确度 。然而,人类的大脑不需要寻找最佳结构,经过几亿年的进化,人类大脑已具备这种结构 。
正是基于这样的背后复杂因素,开发先进的AI模型,才会在数据中心产生大量的电能消耗和碳排放 。
(五)科技巨头节电的“工程”与“理论”使命
科技巨头的耗电问题,已成为社会各界人士探讨的重要话题,同时也让当事企业面临不少监管和舆论的挑战 。
此时的科技巨头们,在承担社会责任的同时,也应承担起工程和理论两端的技术使命,其一是通过已有的IT工程方法,进一步降低数据中心的能耗浪费 。其二在理论层,研究出更低功耗的芯片,并推动具备推理能力的AI基础研究的发展,让技术更精益、更高效 。
【数据中心|数据中心“吃掉”三峡大坝和葛洲坝:科技巨头也得拉闸限电?】技术的向善,一种善是赋能,让社会和生活更加美好 。而另一种善,是进化,让技术本身变得更加绿色 。