ChatGPT的科学和不科学 ·甄科学|文ChatGPT于去年11月3

文章图片
·甄科学|文
ChatGPT于去年11月30日发布，我就开始试用了，写过几篇小文章。那时在海外和业内人圈子里，火了一波，国内大部分人都没反应。
春季后，券商报告强推，微软百亿投资openAI ，百度紧跟形势不掉队，国内爆炒ChatGPT的热度甚至超过国外，大超预期。
然而， ChatGPT不开放来自中国地区IP和手机号码的用户注册，大部分人没有真正用过。有人用国外账号架设了中继服务器，给国内朋友使用。受条件所限，大部分使用者浅尝辄止、看热闹的多。有些文章甚至存在夸大ChatGPT能力的情况。
所以，我想用我这两个月的使用心得，聊聊科学使用ChatGPT和不科学使用ChatGPT的地方。
这些科学和不科学的地方，也反映了大家对ChatGPT在具体应用场景中的科学性的思考。

文章图片
《兔年第一只上天的猪》，作者AI生成
先说不科学的地方。
1、当搜索引擎用
由于谷歌和百度入局，很多人讨论将来搜索引擎会被替代。所以有人很自然地，现在就把ChatGPT当搜索引擎来使用和测试。
这个问题很大！
如果输入“如何做鱼香肉丝”这个问题，搜索引擎找到已经存在于互联网上的做法，并把结果排序。而ChatGPT给出的是看起来像“做法”的一段文字。这段文字不是从一个完整的做菜秘籍来的，而是它的算法根据每个字的概率和上下文，一个字一个词产生的。你貌似看到了一个完整的做法，但这个做法从来没有存在过，也没有人用过。
ChatGPT只是造了一段做菜的文字。要理解这一点，需要回到ChatGPT的模型。
ChatGPT模型综合使用了in-contextlearning、RLHF等模型。此处不展开技术部分的讨论。其中一部分模型是用类似我们英语考试最熟悉的、完形填空的方法来训练的。
比如一道完形填空题：我喜欢___的感觉。
空格里，可以填成我喜欢跑步的感觉，可以填成我喜欢炒菜的感觉，也可以填我喜欢发呆的感觉。填什么取决于对话场景。
如果填成我喜欢被杀死的感觉，这种场景出现的概率很低。算法会降低“我喜欢”后面跟“被杀死”三个字的概率。
如果填成我喜欢桌子的感觉，就是完全错误的答案，算法给“桌子”的概率是零。
基于很多类似这样的题目，让机器做题，再纠正对错，就可以训练出算法。
所以， ChatGPT是文字编码和概率组合的游戏，不是准确的事实信息。
搜索引擎最大的难度是找到最相关的准确信息。现在ChatGPT还当不了搜索引擎。将来它会是搜索引擎的好帮手，可以把搜索引擎的准确结果，组合得更易读。
想象一个“搜索引擎+ChatGPT”的场景：基于搜索引擎的准确信息， ChatGPT组合出一篇结构严谨、文字优美的文章。不用你把每个搜索页面打开、拷贝、组织、粘贴了。
2、当专家用
我曾经试过问ChatGPT：如果中国经济想在2023年重新回到较高的增长速度，需要解决什么问题，你有什么建议？
它回答：对于中国经济重新回到较高的增长速度，我有以下建议：1.重点加强消费需求；2.加强改革和创新；3.完善金融体系；4.加强社会投资；5.健全科技体系。
这些回答看起来头头是道，确实和专家说的一样，并且还有新颖的地方。这是因为，当问这个问题的时候，模型训练过的大部分文本中，涉及经济增速的那些话，都是专业人士说的。在专业的语境里，出来的语言就是专家的语言，不会是老百姓的回答：增速高低管我啥事，有人给我发工资就行。