文本|多模态、万亿参数、生成语音，吴恩达回顾人工智能2021( 三 ) 芯片|云途|eps|电动尾门|mcu|亿元

TransGAN是一个生成对抗网络，包含Transformer，以确保每个生成的像素与之前生成的像素一致。它在衡量生成图像与训练数据的相似性方面取得了先进成果。
Facebook的TimeSformer使用该架构来识别视频剪辑中的操作。它解释视频帧的顺序不是文本中通常的单词序列。它的性能优于卷积神经网络，在更短的时间内分析和更少的功率下分析较长的片段。
Facebook、谷歌和加州大学伯克利分校的研究人员在文本上训练了GPT-2，然后冻结了其自注意和前馈层。他们能够针对广泛的领域对其进行微调，包括数学、逻辑问题和计算机视觉。
DeepMind发布了AlphaFold 2的开源版本，该版本使用Transformer根据蛋白质的氨基酸序列预测蛋白质的3D形状。该模型激发了医学界在推动药物发现和揭示生物洞察力方面的潜力。
新闻背后：Transformer于2017年首次亮相，并迅速彻底改变了语言建模思路。它的自注意机制能跟踪序列中每个元素与所有其他元素的关系，不仅适合分析单词序列，还适合分析像素、视频帧、氨基酸、地震波等序列。
基于Transformer的大型语言模型已经占据了中心位置，作为新兴基础模型的示例，在大型无标签语料库上预训练的模型，可以在数量有限的标签示例中为专门任务进行微调。Transformer在各种领域工作良好这一事实，可能预示着基于Transformer的基础模型超越了语言领域。
现状：深度学习的历史中，出现了一些迅速普及的想法：ReLU激活函数、Adam优化器、注意力机制，以及现在的Transformer。过去一年的发展表明，这种架构仍处于发展阶段。
五、政府制定法律各国政府纷纷拟定或颁布新法规，以控制自动化的社会影响。
发生的事：随着人工智能对隐私、公平、安全和国际竞争的潜在影响变得越来越明显，各国政府加大了监管力度。
驱动故事：人工智能相关法律往往反映了世界不同政治秩序的价值观，有利于社会公平和个人自由之间的某种平衡。
欧盟起草了基于风险类别禁止或限制机器学习应用的规则，将禁止实时人脸识别与社会信用系统。控制重要基础设施、协助执法和根据生物识别技术识别人员的系统需要提供详细的文件，证明其安全，并接受持续的人工监督。规则草案于4月发布，必须经过包括修正案在内的立法程序，可能至少再过12个月才能实施。
从明年开始，中国互联网监管机构将执行有关推荐算法和其他它认为扰乱社会秩序的人工智能系统的法规，包括传播虚假信息、助长成瘾行为和危害国家安全的系统。企业在部署可能影响公众情绪的算法之前必须获得批准，那些违反规则的企业将面临禁令。
美国政府提出了一项人工智能权利法案，该法案将保护公民免受侵犯隐私和公民权利的系统的影响。政府将在1月15日之前收集公众对该提案的意见。在联邦之下，一些美国城市和州限制人脸识别系统，纽约市通过了一项法律，要求对招聘算法进行偏见审计。
联合国人权事务高级专员呼吁成员国暂停人工智能的某些使用，包括侵犯人权、限制基本服务的获取和利用私人数据的使用。
新闻背后：人工智能社区可能正在就监管达成共识。最近对534名机器学习研究人员的调查发现，68%的人认为部署应该更加强调可信度和可靠性。受访者通常更信任欧盟或联合国等国际机构，而不是国家政府。
现状：在中国之外，大多数人工智能相关法规正在等待批准。但零散的提案表明，人工智能从业者必须根据各种国家制度调整工作。