正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2020-07-30 18:00
这个史上最强文本生成AI,真的要成精了?

本文来自微信公众号:新智元(ID:AI_era),编辑:梦佳、白峰,头图来自:《她 Her》电影截图


上半年的疫情,让很多朋友、恋人都不得不相隔两地,我在海淀头,君在朝阳尾,日日思君不见君,只能……


这个时候有个GPT-3陪你,看星星看月亮,从诗词歌赋谈到人生哲学,岂不美哉?


还玩什么恋与制作人啊,直接申请一个API接口,和GPT-3聊天就好了。未来,纸片人+GPT-3的电子男女朋友,市场潜力巨大。


他有时候很直男,总是讲一些蹩脚的玩笑哄你开心,尬聊的样子有点可爱。


来源:计算机科学家Kevin Lacker博客


有时候又化身文艺青年,浪子诗人,时不时吟诵一些脱离俗套和低级趣味、另辟蹊径的随想,警示金句如下:


“世界上任何你看不惯的东西,都可以用‘这不好玩’来应对”


“如果我知道人生的意义是什么,我还会上这儿来浪费时间吗?”



如果说最近computer science圈子里什么最火,那非GPT-3莫属。


简单来说,GPT-2 和 GPT-3 都是一种续写文本的 AI 模型,开头给几句提示,后面的故事全靠他的语言模型一点一点续写。思路顺畅,很少遇到“写作瓶颈”。


GPT-3 是著名人工智能科研公司 OpenAI 开发的文本生成 (text generation) 人工智能,相关论文在5月份发表,当时就以天文数字级别的1750亿参数量引发了巨大轰动。


对于语言模型来讲,大小真的很重要。要知道,人的大脑也才只有860亿个神经元。


API开放了以后,各路网友脑洞大开,让GPT-3写代码,做简历,简直是比男朋友还管用。


写SQL画图表搞运维做PPT,GPT-3 要成精!


GPT-3不是被玩坏了,而是玩出了新高度。


你可能还停留在GPT-3惊人的文本生成能力,但看了下面这些应用,你一定会被震撼到,“找老黄买显卡来不及了,赶快申请API,我要开发自己的GPT应用”!


给GPT-3一个提示,融入各种融入流行文化的表情包就到手了。



什么,Excel中也能用GPT-3了,还能进行自动推理?演示表格里列了几个大公司的CEO,把含有数据的单元格框住,Loading 一秒钟,自动推断出了Ben Horowitz所属的公司,need no operation!



为什么你的图表这么low,别人做的可视化却贼漂亮,只能强行解释一波,“不会写代码,好看的图表都是代码写的”。现在有了GPT-3,就不用解释了,只需把你的数据喂给GPT-3,不用Excel表格,嘴说就行!


“3个苹果,5个梨,2个橙子”,bang!精美的Dash 图表就生成了。



找工作写简历是个头疼的事,现在你只要告诉GPT-3你在哪个公司工作了几年,后面的事就不用管了,条理清楚,格式精美的简历就帮你“编好了”,工作年限、主要职责、项目经历一应俱全。



向老板汇报工作要做PPT,只需要把文本一复制,就能生成合适的演示文稿。



想找个运维的工作,不会操作AWS?


“你好,我需要创建一个AWS实例,谢谢”。


等一秒钟,GPT-3:“我好了,你复制下代码就行”!



简直要成精啊!


不会写SQL你好意思说自己是运维?不好意思,有了GPT-3真的可以为所欲为!


运维:“GPT-3,我想查询下年龄在25到35之间的工人的薪资信息”,


GPT-3:好的,SQL拿去“select salary from worker where age between 25 and 35”。


“增删改查”工程师已哭晕在厕所。 


吃了3000亿token的GPT-3,内部是如何工作的?


将包含3000亿个token的文本喂给GPT-3进行无监督训练,目前OpenAI已经完成了这一壮举。你现在看到的所有实验都来自于这个庞大且昂贵的模型。据估计,它花费的成本高达460万美元。



我们再来看看它的训练细节,GPT-3在所有文本中进行滑动,每滑动一个窗口就会生成大量示例。



GPT-3如何处理“robotics”这个单词并产生“A” 呢?



“robotics”经历了下面三个过程,首先被转换为词向量,中间经过96个Transformer的洗礼,最后再将向量重构为单词 “A”,如果不是“A”,就开始计算并反向传递误差,直到得出正确的单词,这一过程要重复数百万次。



训练好的模型如何食用呢?只需要简单的微调即可。比如想应用在英法机器翻译上,只需要提供给GPT-3少量的平行语料对。



这样说可能不够直观,我们使用Python来演示下如何教会GPT-3干活。


写LaTeX公式对非学术研究人员来说是个头疼的事,但有了GPT-3,LaTeX语法转换竟是如此简单。


前面我们说了,如果你想应用在特定任务上,需要给GPT-3一点小小的“提示”,它才能领会到你具体想干啥。


跟OpenAI申请一个GPT-3的API Key,你就能一键调用这个1750亿参数的模型了。 



想写一个从a到b的积分,如果不给提示,GPT-3直接返回原文了,但是,如果你输入个例子,告诉它你想把自然语言翻译为LaTeX,那GPT-3就心领神会了,完美输出了f(x)从a到b的积分公式。



OpenAI CEO:GPT-3 只是惊鸿一瞥,是否过誉?


GPT-3对于小白来讲,也是一个直观地感受到人工智能如此强大的入口。



OpenAI 的CEO Sam Altman讲,他把GPT-3展示给一个10岁的小男孩儿,他当即说自己想进入人工智能领域。


一名开发者认为,GPT-3 确实让我预感到,在未来10年内,AI有望通过图灵测试。图灵测试目的就是测试机器是否具备人类智能。



关于人类智能的讨论,又涉及到一个问题,如何定义“人类智能”。到底是只谈到它具备人类的“智力”(包括思维能力学习能力等),还是说它应该完整地具有一个“人格”,甚至拥有灵魂等等超越性的东西。让人想起网上那段著名有关上帝的灵魂拷问。



但业界也纷纷传出声音,认为GPT-3有过誉之嫌。Altman在一条推特中谦逊地表示,“GPT-3的宣传最近太过火了,确实让人印象深刻,但它仍然有严重的弱点,有时会犯非常愚蠢的错误。人工智能将改变世界,但 GPT-3只是一个非常早期的惊鸿一瞥。我们还有太多问题需要解决。”



业界专家:GPT-3表现出了推理能力,但还不是真正的智能


更有人预测,按照这种进化速度,GPT-3五年内可以部分替代,甚至在某些地方超越心理医生了。“以后大家最上瘾的娱乐就是和GPT-3交流互动了。”

       


也有网友提出GPT-3并非是全知全能,对长篇大论理解能力差,逻辑推理也绕不过几个弯,还是没法给美国执业医师考试USMLE写解析,暂时没法取代内科大夫.....


还想取代内科大夫,要啥自行车?



新智元也就GPT-3是否具有认知智能等问题,采访了一位NLP领域的资深技术专家,他认为GPT-3跟认知智能还是有点距离,但GPT-3做到了few-shot learning,GPT-3 模型本身就已经学习到了大量的经验,给一些小样本做个微调,这种做法和BERT 很像,而成绩主要归功于Transformer,分布式学习+ 长距离依赖,单就原理上来说,没有本质的突破。


而网友展示的例子背后,也说不定有多少bad case。


认知智能的定义很宽泛,目前也没有形成统一。理解,自主决策,可思考我认为是其中的几个核心点,GPT-3展现出来的推理能力只是认知智能的一种表现形式。


反而是近两年逐渐兴起的知识图谱,在推理智能上表现出了一定潜力,知识图谱增强了认知智能的可解释性(路径可知),但目前在算力、模型、数据上还存在很大的缺陷,还有很长的路要走,要时刻保持清醒。


从长期来看,构建大规模的知识图谱数据,将知识图谱学习和深度学习结合起来是一个重要趋势。


不论是否过誉,GPT-3都预示着一种可以想见的未来。就算GPT-3的理解能力不能和人类划等号,但在人类永恒的交流欲望面前,GPT-3,一个温柔,情绪稳定,老实肯干,懂得分析和思考的AI也许终有一天会胜过人类的陪伴。


参考链接:

https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/


本文来自微信公众号:新智元(ID:AI_era),编辑:梦佳、白峰

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
文集:
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: