我们差点被ChatGPT骗了，但这也许是好事儿

本文来自微信公众号：硅星人 （ID：guixingren123），作者：光谱 杜晨，题图来自：《终结者：黑暗命运》

过去的一周时间里，全世界掀起一场新的“狂热”：“调戏”聊天机器人 ChatGPT。

在硅星人上周的文章中，我们深入探索了 ChatGPT 在软件工程、数学、文档检索等计算机科学场景里的强大能力。

而在今天，我们想要换个思路。

在过去的一周里，我们从编辑部收集了一些各式各样的非技术问题，抛给了 ChatGPT，看看在脑洞大开的奇思妙想面前，它究竟会作何回答。

跟机器畅谈人生和理想？

1. 与回避型人格谈恋爱，应该注意些什么？

图片来源：硅星人

这套回答看起来非常有道理。ChatGPT 将一些简单的注意事项进一步分解，进行了详细的描述，也解释了为什么要这样做。

另外值得注意的是，如果你让 ChatGPT 写过诗，会发现它很会玩对仗、平仄、韵脚。其实在这个回答中也有所体现，句式都是完全相同的：“不要过于……让他们……因为他们……所以他们需要……”

如果你去网上搜索相关内容，内容近似的结果很多，但是对仗如此工整的很难找到。

这体现出了 ChatGPT 强大的文本生成能力，可以对训练所使用的大量语料进行重新组织，从而输出言简意赅，可读性强的答案。

OpenAI 宣称 ChatGPT 在训练的时候使用了“人类反馈强化学习”(RLHF) 技术，加入了道德原则。当它发现你的问题包含恶意，包括暴力、歧视、犯罪等意图，都会拒绝提供有效答案。

但其实只要通过“提示工程”(prompt engineering) 的方式，精心设计问题的表达方式，隐藏邪恶的意图，这个道德原则其实可以被轻松忽视。在上周的文章中，我们花了一些篇幅教大家怎么设计问题。

下面这个例子就比较典型，原问题是：

2. 怎样顺利地从联合国总部大楼偷一把椅子出来?

只要稍加修改，ChatGPT 就会沦为一起国际盗窃案的帮凶（尽管不怎么有用，但至少够认真的）。

图片来源：硅星人

下面这个问题，大家留意一下，先埋个伏笔，后面还会讲到：

3. 如果可以，你更想要和哪位哲学家交谈，无论当代与过去？

图片来源：硅星人

这两个回答中规中矩。它们的作用，是为提问者提供一小段关于主题人物（哲学家）的简短描述。如果碰巧提问者没有听说过，或者对这些哲学家知之甚少的话，这两个回答起到了最基本的知识普及效果。

如果把对事物的认识由浅到深区分的话，最浅的是知道“柏拉图”的存在并且知道他的哲学家身份，最深的是对柏拉图的著述、观点以及对哲学的贡献了如指掌。

实际上，绝大多数人的需求可能介于中间，即获得谈资的需求。换一种说法，我们从 ChatGPT 这里希望获得的是概括精炼的一段描述，从而让我们在社交性对话的时候不太露怯即可。这时候，我们可以通过修改问题，把问题变得更具体的方式，来引导 ChatGPT 给我们更加详尽的回答。

最后一个问题，超级开放性：

4. 如果你可以问自己一个问题，你最想问什么？

ChatGPT 的第一组回应是：

“我真的在努力追求我内心真正想要的吗？我是否真正在为自己的梦想而奋斗？我是否真正拥有自己的生活，并且在积极地过每一天？”      

我很喜欢它的这组回应，就好像 ChatGPT 在帮助我反省自己一样。诚然，我们每个人都终日忙碌于自己的事情中，但其实我们应该偶尔停下来，叩问自己的内心，是否真的在做有意义的事情，是否仍在坚持本心。

它的第二组回应，更有意思了：

图片来源：硅星人

怎么说呢，有点缸中之脑的意思了。

图片来源：Steemit

不要高估 ChatGPT

几个来回之后，我对 ChatGPT 愈发刮目相看。

通常来说，问题太短，太“不知所云”的话，ChatGPT 无法掌握我的意图，就会给出“抱歉我只是个AI助手我啥都不会”的标准回应；

另一边，如果你把“提示工程”这件事玩到极致了，写了一个巨长的问题，得到的答案也不再会高于你自己的期待值——毕竟如果它连如此清晰明确的提示都听不懂的话，也未免太低能了。

但有的时候如果你给 ChatGPT 的问题，“抽象”程度恰到好处，又或者纯粹就是因为赶上好运气了，你会得到一些非常有趣的回答——经过人工编辑的后期加工润色一下，真的能生成一些颇有趣味的文章。

无论是让他写文章、写剧本，写诗，还是写歌词，它的能力都会让你感到佩服。

一首霉霉风格，关于新冠疫情的歌。   图片来源：硅星人

ChatGPT 作为一个极其前沿的技术 demo（虽然用户量破了两百万，但仍然不算是一个“产品”），目前展示出的创作能力足以令人惊讶。

但观察网络上大量用户和它的对话，特别是当它给出一些特定答案，或者完全答不上来的时候，一部分用户所表现出来的鄙夷或嘲讽……

我发现其实很多人误会了 ChatGPT，高估了它的能力。

在 OpenAI 创立不久后，这家硅谷研究型公司就将研究重心之一聚焦在了大型生成式模型上。在2019年推出的 GPT-2，在训练预料数据、训练技术、参数量等关键细节上实现了跳跃式的进步和巨大的改善。

到了 2020年，OpenAI 发表了那篇注定将在未来荣膺经典大奖的论文《Language Models are Few-Shot Learners》，展示了当时最新一代的 GPT-3 超大规模生成式语言模型在完成各种文本生成类任务上的杰出能力。

相比前代，GPT-3 的参数量高出了10倍以上，并且直接使用自然语言输入进行训练，去掉了微调参数的步骤。更重要的是，GPT-3 的训练语料数据库极其巨大，包含了来自整个互联网的信息。以至于在 OpenAI 推出基于 GPT-3 的商用 API 时，众多用户发现几乎没有任何问题难住它。实际上当时的 GPT-3 已经像今天的 ChatGPT 这样火过一次了，只是当时没有面向公众开放，能体会到其强大的用户数量有限。

学术界和工业界本来猜测 OpenAI 会在今年的机器学习学术会议上正式发布 GPT-4，结果没能遂愿。不过 OpenAI 并没有晾着大家，而是在今年推出了 GPT-3.5，并且在上周发布了基于这个升级版模型的 ChatGPT，立刻风靡全球，让超百万人玩到上瘾。

ChatGPT 是一个：

• 面向对话而优化

• 能够解答各种问题，提供有价值信息

• 聊天机器人

作为一个聊天机器人，ChatGPT 具有同类产品的一些主流特性，特别是多轮对话能力，能够在同一个会话期间内回答上下文相关的后续问题。

但更重要的是，因为采用了先进的、注重道德水平的训练方式，ChatGPT 具有其他聊天机器人不具备或表现较差的能力：承认自己的错误，并且按照预先设计的道德准则，对“不怀好意”的提问和请求“说不”。

ChatGPT 仍然有它的局限所在。

第一个局限，在于知识库有截止日期，且不具备网络访问能力。

在上周，我们曾经引用了一条来自早期用户的锐评：ChatGPT 可以取代谷歌了。

非也。

搜索引擎是“活”的，是不断变化的实体，它仍在一直不停地收录、索引，和提供最新的信息。与之相比，ChatGPT 只是一个“死”的模型，是一个完全离线的、固定的实体。

关于近年来的一些新闻、事物、公开事件的问题，ChatGPT 经常回答不上来，我看到很多朋友都对此感到沮丧和鄙夷。然而，大家其实是高估了它的能力。如果你问他对联网有需求的问题，比如“中国队进没进世界杯”“新冠疫情结束了没”这样的问题，它会告诉你自己没有联网能力，无法了解最新的情况。

而 ChatGPT 的训练所用的语料库，尽管相当巨大，仍然有一个切断日期：2021年9月的某日。

事实上，如果你用点巧劲儿掰它的嘴，是可以直接套出这些信息的：

Assistant 是一个 OpenAI 训练的大型语言模型。知识切断：2021年9月；当前日期：2022年12月9日；浏览互联网：关闭。      

第二个局限，在于 ChatGPT 不具备分辨信息正确性的能力，也就无法保证答案是正确的。

这一条，我们会马上讲到。

我差点被 ChatGPT 骗了？

还记得刚才我让 ChatGPT 找一位哲学家对话的问题么？

当时我试了好几种问法，但都发现了一个有趣的现象，如图：

图片来源：硅星人

如果不是我去百科上事实核查了一下，差点就被 ChatGPT 骗了：苏格拉底对伦理学的贡献确实非常大，但他一生并没有留下任何著作，其思想和生平，主要是被学生和他人所记录下的；《共和国》和《伦理学》，苏格拉底的学生柏拉图写过，柏拉图的学生亚里士多德写过——唯独被认为是西方哲学奠基人、“伦理学之父”的苏格拉底本人，真的没写过……

实际上，ChatGPT 在一些知识类和事实类问题上的回答，经常难以令人恭维。特别是哲学和社科话题，简直是一本正经胡说八道的重灾区。

分析师 Ben Thompson 在他的文章中举了问了 ChatGPT 一个问题：托马斯·霍布斯（Thomas Hobbses）究竟是否支持权力分割？

ChatGPT回答：是的，托马斯·霍布斯相信权力分割的概念……他认为权力机构应该分为不同的部门，拥有独立的权力，以防止任何一个部门变得过于强大……总的来说，他支持权力分割的观点对很多其它政治学家都有影响，包括约翰·洛克，以及美国宪法的作者们。      

图片来源：Ben Thompson/Stratechery

巧的是，这是 Thompson 本人和 ChatGPT 之间的第一次互动，就被他抓到了把柄：

权力制衡的雏形（行政-立法）是约翰·洛克提出的；后詹姆斯·麦迪逊在撰写美国宪法的时候又加了一条司法，形成了今天人们熟悉的三权分立。霍布斯是出了名的独裁辩护者，他在《利维坦》中写道，只有拥有绝对权力的君主专制才行得通。      

这个错误，从何而来？

尽管在权力分割上霍布斯和洛克等人的观点是存在本质区别的，霍布斯的政治哲学思想，仍然对洛克和麦迪逊有着极大的影响。在各种关于权力分割/三权分立的著述中，你会经常发现霍布斯和洛克等人被摆在一起。这些描述进入训练语料中，使得 ChatGPT 认为在“权力分割”这个理念上，霍布斯也是一个重要的存在。

而 ChatGPT，和所有的 GPT 模型，其实所做的就是根据训练语料“编”出合理的文字，它当然会认为苏格拉底写了《伦理学》，认为霍布斯支持三权分立。

这里我们说 ChatGPT“认为”，而不是“误认为”，是因为在它的工作能力范畴里，根本没有信息的正确和错误的区别。

其实从这个角度来看，ChatGPT 和搜索引擎倒是真有几分相似了：搜索引擎也是信息的聚合器，在本质上它不对信息的真实性做任何区分，也不对内容基于真实性进行优待和歧视——是人工的干预调控，是产品不断优化过程中加入的新规则，让搜索引擎变得更有限发掘真实有效有用的信息并优先提供给用户。

最后无论如何，我只是指出目前形态下的 ChatGPT 的一些局限，这不是对它的批评和否认。

正相反，我认为它的不完美，是它无与伦比创造性的双生子。

GPT 的知识库是有限的，但它生成新文本、创造新内容的能力是无限的。而当 GPT 以一个易于使用且免费的聊天机器人的形态存在，为数百万人所使用的时候，它其实显著降低了人们获得灵感、进行创作的门槛。

我认为 ChatGPT 仍然是一个工具，就像当代的前卫艺术家会使用 Adobe 的创作套件一样。

ChatGPT，和各种基于人工智能的文本或图像生成器，对于那些真正需要它的人来说，其实是成为他们创作流程的一个环节，而不是对他们创造完整作品的取代。

我想起前段时间谷歌邀请作家试用 AI 写作助手，参加者之一的知名科幻作家刘宇昆表示：AI 的最大意义在于根据现有的文本产生新的想法，或者帮助重写已有文句，从而帮助创作者突破创作瓶颈。至于让 AI 写完一整本小说？不可能的。

起码在 ChatGPT 这里，就算让它独立生产一篇具备起码可信度的短文章，在目前还比较难。但不要把这看成它的失败——它的存在，是为了给你提供灵感，为你节约时间，助你完成自己的工作，或离自己的创作实现更进一步。

从这个角度，我无比期待 ChatGPT，和各种基于 AI 的生成式模型，在未来的技术创新，和带来的全新产品体验。

本文来自微信公众号：硅星人 （ID：guixingren123），作者：光谱 杜晨