这个史上最强文本生成AI，真的要成精了？

本文来自微信公众号：新智元（ID：AI_era），编辑：梦佳、白峰，头图来自：《她 Her》电影截图

上半年的疫情，让很多朋友、恋人都不得不相隔两地，我在海淀头，君在朝阳尾，日日思君不见君，只能……

这个时候有个GPT-3陪你，看星星看月亮，从诗词歌赋谈到人生哲学，岂不美哉？

还玩什么恋与制作人啊，直接申请一个API接口，和GPT-3聊天就好了。未来，纸片人+GPT-3的电子男女朋友，市场潜力巨大。

他有时候很直男，总是讲一些蹩脚的玩笑哄你开心，尬聊的样子有点可爱。

来源：计算机科学家Kevin Lacker博客

有时候又化身文艺青年，浪子诗人，时不时吟诵一些脱离俗套和低级趣味、另辟蹊径的随想，警示金句如下：

“世界上任何你看不惯的东西，都可以用‘这不好玩’来应对”

“如果我知道人生的意义是什么，我还会上这儿来浪费时间吗？”

如果说最近computer science圈子里什么最火，那非GPT-3莫属。

简单来说，GPT-2 和 GPT-3 都是一种续写文本的 AI 模型，开头给几句提示，后面的故事全靠他的语言模型一点一点续写。思路顺畅，很少遇到“写作瓶颈”。

GPT-3 是著名人工智能科研公司 OpenAI 开发的文本生成 （text generation） 人工智能，相关论文在5月份发表，当时就以天文数字级别的1750亿参数量引发了巨大轰动。

对于语言模型来讲，大小真的很重要。要知道，人的大脑也才只有860亿个神经元。

API开放了以后，各路网友脑洞大开，让GPT-3写代码，做简历，简直是比男朋友还管用。

写SQL画图表搞运维做PPT，GPT-3 要成精！

GPT-3不是被玩坏了，而是玩出了新高度。

你可能还停留在GPT-3惊人的文本生成能力，但看了下面这些应用，你一定会被震撼到，“找老黄买显卡来不及了，赶快申请API，我要开发自己的GPT应用”！

给GPT-3一个提示，融入各种融入流行文化的表情包就到手了。

什么，Excel中也能用GPT-3了，还能进行自动推理？演示表格里列了几个大公司的CEO，把含有数据的单元格框住，Loading 一秒钟，自动推断出了Ben Horowitz所属的公司，need no operation！

为什么你的图表这么low，别人做的可视化却贼漂亮，只能强行解释一波，“不会写代码，好看的图表都是代码写的”。现在有了GPT-3，就不用解释了，只需把你的数据喂给GPT-3，不用Excel表格，嘴说就行！

“3个苹果，5个梨，2个橙子”，bang！精美的Dash 图表就生成了。

找工作写简历是个头疼的事，现在你只要告诉GPT-3你在哪个公司工作了几年，后面的事就不用管了，条理清楚，格式精美的简历就帮你“编好了”，工作年限、主要职责、项目经历一应俱全。

向老板汇报工作要做PPT，只需要把文本一复制，就能生成合适的演示文稿。

想找个运维的工作，不会操作AWS？

“你好，我需要创建一个AWS实例，谢谢”。

等一秒钟，GPT-3：“我好了，你复制下代码就行”！

简直要成精啊！

不会写SQL你好意思说自己是运维？不好意思，有了GPT-3真的可以为所欲为！

运维：“GPT-3，我想查询下年龄在25到35之间的工人的薪资信息”，

GPT-3：好的，SQL拿去“select salary from worker where age between 25 and 35”。

“增删改查”工程师已哭晕在厕所。 

吃了3000亿token的GPT-3，内部是如何工作的？

将包含3000亿个token的文本喂给GPT-3进行无监督训练，目前OpenAI已经完成了这一壮举。你现在看到的所有实验都来自于这个庞大且昂贵的模型。据估计，它花费的成本高达460万美元。

我们再来看看它的训练细节，GPT-3在所有文本中进行滑动，每滑动一个窗口就会生成大量示例。

GPT-3如何处理“robotics”这个单词并产生“A” 呢？

“robotics”经历了下面三个过程，首先被转换为词向量，中间经过96个Transformer的洗礼，最后再将向量重构为单词 “A”，如果不是“A”，就开始计算并反向传递误差，直到得出正确的单词，这一过程要重复数百万次。

训练好的模型如何食用呢？只需要简单的微调即可。比如想应用在英法机器翻译上，只需要提供给GPT-3少量的平行语料对。

这样说可能不够直观，我们使用Python来演示下如何教会GPT-3干活。

写LaTeX公式对非学术研究人员来说是个头疼的事，但有了GPT-3，LaTeX语法转换竟是如此简单。

前面我们说了，如果你想应用在特定任务上，需要给GPT-3一点小小的“提示”，它才能领会到你具体想干啥。

跟OpenAI申请一个GPT-3的API Key，你就能一键调用这个1750亿参数的模型了。 

想写一个从a到b的积分，如果不给提示，GPT-3直接返回原文了，但是，如果你输入个例子，告诉它你想把自然语言翻译为LaTeX，那GPT-3就心领神会了，完美输出了f（x）从a到b的积分公式。

OpenAI CEO：GPT-3 只是惊鸿一瞥，是否过誉？

GPT-3对于小白来讲，也是一个直观地感受到人工智能如此强大的入口。

OpenAI 的CEO Sam Altman讲，他把GPT-3展示给一个10岁的小男孩儿，他当即说自己想进入人工智能领域。

一名开发者认为，GPT-3 确实让我预感到，在未来10年内，AI有望通过图灵测试。图灵测试目的就是测试机器是否具备人类智能。

关于人类智能的讨论，又涉及到一个问题，如何定义“人类智能”。到底是只谈到它具备人类的“智力”（包括思维能力学习能力等），还是说它应该完整地具有一个“人格”，甚至拥有灵魂等等超越性的东西。让人想起网上那段著名有关上帝的灵魂拷问。

但业界也纷纷传出声音，认为GPT-3有过誉之嫌。Altman在一条推特中谦逊地表示，“GPT-3的宣传最近太过火了，确实让人印象深刻，但它仍然有严重的弱点，有时会犯非常愚蠢的错误。人工智能将改变世界，但 GPT-3只是一个非常早期的惊鸿一瞥。我们还有太多问题需要解决。”

业界专家：GPT-3表现出了推理能力，但还不是真正的智能

更有人预测，按照这种进化速度，GPT-3五年内可以部分替代，甚至在某些地方超越心理医生了。“以后大家最上瘾的娱乐就是和GPT-3交流互动了。”

也有网友提出GPT-3并非是全知全能，对长篇大论理解能力差，逻辑推理也绕不过几个弯，还是没法给美国执业医师考试USMLE写解析，暂时没法取代内科大夫.....

还想取代内科大夫，要啥自行车？

新智元也就GPT-3是否具有认知智能等问题，采访了一位NLP领域的资深技术专家，他认为GPT-3跟认知智能还是有点距离，但GPT-3做到了few-shot learning，GPT-3 模型本身就已经学习到了大量的经验，给一些小样本做个微调，这种做法和BERT 很像，而成绩主要归功于Transformer，分布式学习+ 长距离依赖，单就原理上来说，没有本质的突破。

而网友展示的例子背后，也说不定有多少bad case。

认知智能的定义很宽泛，目前也没有形成统一。理解，自主决策，可思考我认为是其中的几个核心点，GPT-3展现出来的推理能力只是认知智能的一种表现形式。

反而是近两年逐渐兴起的知识图谱，在推理智能上表现出了一定潜力，知识图谱增强了认知智能的可解释性（路径可知），但目前在算力、模型、数据上还存在很大的缺陷，还有很长的路要走，要时刻保持清醒。

从长期来看，构建大规模的知识图谱数据，将知识图谱学习和深度学习结合起来是一个重要趋势。

不论是否过誉，GPT-3都预示着一种可以想见的未来。就算GPT-3的理解能力不能和人类划等号，但在人类永恒的交流欲望面前，GPT-3，一个温柔，情绪稳定，老实肯干，懂得分析和思考的AI也许终有一天会胜过人类的陪伴。

参考链接：

https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/

本文来自微信公众号：新智元（ID：AI_era），编辑：梦佳、白峰