5G|陈根：ChatGPT的火爆之下，NLP技术路向何方？（原创）运营商|中国联通|中国电信|5

【5G|陈根：ChatGPT的火爆之下，NLP技术路向何方？（原创）】

文章图片

文/陈根
从2022年末到了2023年初， ChatGPT火遍了全网。
12月1日， OpenAI发布了NLP（自然语言识别）新模型ChatGPT ，由于ChatGPT的能力过于惊艳，因此，仅上线5天， ChatGPT就吸引了100万用户。
很多人形容它是一个真正的“六边形战士”——不仅能拿来聊天、搜索、做翻译，还能撰写诗词、论文和代码，甚至开发小游戏、参加美国高考等等，连马斯克也感叹：“我们离强大到危险的人工智能不远了” 。
实际上，近几年，语言对话大模型的研究一直是人工智能的热门，人们期待NLP技术能给我们带来惊喜和颠覆，那么， ChatGPT的火爆之下， NLP技术的发展又路向何方？

从GPT-3到ChatGPT
ChatGPT与GPT-3一样，同属于OpenAI 。在GPT-3刚问世时，也曾引起相似的轰动。
当时， GPT-3也展示出了包括答题、翻译、写文章，甚至是数学计算和编写代码等多种能力。由GPT-3所写的文章几乎达到了以假乱真的地步，在OpenAI的测试中，人类评估人员也很难判断出这篇新闻的真假，检测准确率仅为12% 。 GPT-3被认为是当时最强大的语言模型，甚至有网友评价GPT-3“无所不能” 。
但现在， ChatGPT模型看起来似乎比GPT-3模型还要强大。对于开放性问题的回答， ChatGPT可以有条理、有层次的给开放性问题一个方案。 ChatGPT还能够尝试用第一人称进行对话。可以说， ChatGPT不仅具备GPT-3已有的能力，还敢于质疑不正确的前提和假设、主动承认错误以及一些无法回答的问题、主动拒绝不合理的问题、提升了对用户意图的理解以及结果的准确性。
目前，已经有网友尝试让ChatGPT参加美国高考；诱骗ChatGPT规划如何毁灭世界；甚至让ChatGPT扮演OpenAI ，在系统内构建ChatGPT套娃。
强悍的功能背后，技术并不神秘。本质上， ChatGPT是一个出色的NLP（自然语言识别）新模型。当大多数人听到自然语言处理(NLP)时，他们首先想到的是Alexa和Siri这样的语音助手。因为NLP基础功能就是让机器理解人类的输入（也就是人机交互），但这只是该技术的冰山一角。事实上， NLP最有影响力的应用根本不涉及语言。 NLP技术是人工智能(AI)和机器学习(ML)的子集，专注于让计算机处理和理解人类语言。虽然语音是语言处理的一部分，但自然语言处理最重要的进步在于它对书面文本的分析能力。
ChatGPT就是将海量的数据结合表达能力很强的Transformer模型结合，从而对自然语言进行了一个非常深度的建模。尽管GPT-3.5的相关数据并未被公开，但它的上一代GPT-3的整个神经网络就已经有1750亿个参数了。对于一个输入的句子， ChatGPT就是在这个模型参数的作用下生成一个回复。而transformer模型则是一个比早几十年探索的简单的词汇序列神经网络复杂得多的模型，其主导思想是注意力机制，通过这种思想，一个位置的表征被计算为其他位置的表征的加权组合。
实际上， ChatGPT就是基于GPT-3的进一步创新。 ChatGPT是OpenAI原创性自动问答系统InstructGPT的延续，建立在GPT-3的后续改进版本GPT-3.5基础上，通过引入强化学习模型，大幅提高了人工智能在人机对话时的准确度和可控性——与之前的GPT3不同，相比于此前海量学习数据进行训练， ChatGPT中，人对结果的反馈成为了AI学习过程中的一部分。