指数|智源NLP重大研究方向发布“智源指数”，全面系统评测机器中文语言能力( 三 )

多样性文本复述方面，北京大学王选计算机研究所研究员、智源研究员万小军团队的科研成果实现了两个“业界首个”：成功构建了业界首个面向学术文献领域的文本复述数据集ParaSCI，提出了多样化语句复述模型DivGAN，并提出业界首个篇章复述模型-CoRPG。该系列研究分别为文本复述领域提供了基础数据资源、方法模型以及新的思路，从而推动文本复述技术的应用落地。
预训练大模型方面，为突破预训练语言模型（Pretrained Language Model, PLM）的高计算成本、高设备需求、难应用适配等瓶颈问题，清华大学副教授、智源青年科学家刘知远等提出了面向PLM的全流程高效计算框架，并基于此框架构建了以中文为核心的超大规模预训练语言模型CPM-2，具有1980亿参数，覆盖多语言、兼顾语言理解和语言生成的功能，并研制了BMInf、OpenPrompt等配套开源工具。
赵鑫、韩先培、张家俊等7位青年科学家，也带来关于预训练模型、多模态语言等方面的最新成果分享，带来新一代学者的前沿思考。
包括NLP方向在内，智源研究院于2019年4月启动的“智源学者计划”，目前已在人工智能的数理基础、人工智能的认知神经基础、机器学习、智能信息检索与挖掘、智能体系架构与芯片等几大研究方向汇聚了近百位一流人工智能学者，鼓励支持学者进行自由探索。
目前，智源研究院坚持“自由探索+目标导向”并重，取得了“悟道”大模型等多项首发、原创级重大成果，已累计支持——发表国际人工智能顶会顶刊论文1470余篇，申请中国专利82件，获得发明专利授权49件，登记软件著作权24项。
接下来，悟道大模型仍将是智源研究院的助推研究方向。在接受媒体采访时，孙茂松教授提到认同大模型发展将进入冷静期的判断，大模型发展现在到了两万亿的参数，再往上发展，单纯的规模扩大有没有意义，但是大模型展现出很多奇妙的、深刻的性质，下一步应该研究，如果把这里面几个问题搞清楚了，有可能让大模型作为一个引子，引出更深刻的模型上的问题，直着走差不多了，但是把大模型消化透，有可能会有比较大的峰回路转。
“奇妙的性质现在还没有得到很好的解释，这个东西搞明白了，对脑科学的研究基本能覆盖，”孙教授说，“因为研究人脑有很多限制，但是研究神经网络人工脑，人工脑所有参数对我们都是透明的，检测也是非常精准的，脑的研究没有这些好的条件。这块如果这个问题研究透了，可能会有更深层次的发展。”
结语：中文NLP评测任重道远正如戴琼海院士在演讲中所言，如果说自然语言处理是人工智能皇冠上的一颗明珠，建立科学的评价标准就需要寻找这颗明珠的本身，如果方向错了走的越远、偏离越多，很有可能找不到。
近十年里智能语言处理突飞猛进，特别是超大规模预训练语言模型等技术的突破，英文语言能力评价基准发挥了至关重要的指引作用。他希望未来智源指数能够在各位学者、老师和同学们的共同努力下，不断制定完善评价体系，团结更多研究机构和大学、学者、公司、研究人员，贡献重要的力量，也期待未来每年都能够看到基于智源指数的机器中文语言能力的进展和重要贡献。