四川省|GPT-3开放微调功能又如何,国内又不能用,试玩GPT-2中文版吧

【四川省|GPT-3开放微调功能又如何,国内又不能用,试玩GPT-2中文版吧】四川省|GPT-3开放微调功能又如何,国内又不能用,试玩GPT-2中文版吧

OpenAI又有新闻了 , 这次是关于GPT-3的 。 此次允许用户创建自定义版的GPT-3 , 只要一行命令的微调就可以定制自己的不同应用的GPT-3 。 据OpenAI官方表示 , 此项微调可以让不同应用的准确度能直接从83%提升到95%、错误率可降低50% 。 有网友大呼:我可以直接训练我的聊天机器人了 , 这样省时又省钱 。
虽然GPT-3久负盛名 , 不过国内嘛 , 除了以前的新闻报道被国内吹爆外 , 其他没啥用 。 毕竟这货开始没开放 , 后来开放了 , 也没对国内开放 。 在以前的报道中 , 见官方宣布取消GPT-3接口的等待机制 , 让所有满足条件的开发人员都可快速申请使用它 , 看这意思是对所有用户开放申请了 , 于是好奇的机智客赶紧去官方申请 , 结果一看傻眼了 , 敢情我们就“不满足条件” , 我们国内根本没在被允许的范围内 。

因此此次允许用户创建自定义版 , 肯定也没咱们中国国内用户的事儿了 。 虽然如此 , 不过GPT的名气和强大功能 , 的确挺让人垂涎的 。 所以 , 既然GPT-3我们玩不了 , 那我们可以玩GPT-2啊 , 当然这里并不是说官方的GPT-2 , 而是开源了的 , GPT-2 Chinese版本 。 也就是更符合我们国内用户的中文版GPT 。
简直直接满足好奇心 。 可能有了解的朋友会暗笑 , 这还满足好奇心 , 这个不是已经老了吗 , GPT-2是哪一年的东西啦 。 的确如此 , GPT-2相比于GPT-3的确显得“古老” , 不过机智客觉得我们玩玩 , 体验一下GPT还是可以的 。 目前 , 根据GitHub上的说明 , 这个GPT-2的中文版是4月22之前的老版本 , 也就是GPT2-Chinese-old_gpt_2_chinese_before_2021_4_22 。 我们可以下载下来 。 这个是基于transformers的 。 所以我们在配置环境的时候 , 要安装带有transformers的requirements.txt 。
当然搭建环境还是要在独立的虚拟环境里 。 环境搭配好 , 然后就是准备中文语料 , 当然这个项目里也贴心地提供了——很多项目的README.md都有 , 比如训练数据啦 , 预训练模型啦什么的 , 几乎都是手把手教了——前提是你要具备基本的编程或计算机相关知识 。 环境好了 , 语料有了 , 然后就可以训练我们自己的AI了 。 当然现在玩这类 , 都需要GPU 。 所以是自己的主机 , 有比较好点的显卡(当然是越贵越好) 。
当然了 , 这两年大模型一个接一个 , 越来越强大 。 时过境迁 , GPT-2已然不如当年惊艳 , 当然不是特别新的和突出的 , 而且现在开源界遍地开花 , 也不是只有这一个开源项目可用 。 不过这里通过试玩一下体验下传说中的GPT 。