本文整理自尤瓦尔·赫拉利4月29日在Frontier论坛上的演讲，个别措辞有所调整，来自微信公众号：未尽研究 （ID：Weijin_Research），作者：尤瓦尔·赫拉利，头图来自：视觉中国

我想和大家谈的是AI和人类的未来。

我知道这次会议关注的是人类面临的生态危机，人工智能也是该危机的一部分——无论是好是坏。AI 可以通过多种方式帮助我们克服生态危机，也可以使情况变得更糟。实际上，人工智能很可能会改变生态系统的定义。因为 40 亿年来，地球的生态系统只包含有机生命形式。但现在或是在不久的将来，我们可能会看到 40 亿年来第一个无机生命的出现，或者至少是见证无机生命时代的开端。

自 20 世纪中叶计算机时代一开始，人们就对 AI 感到恐惧，这种恐惧激发了许多经典科幻小说的灵感，例如《终结者》或《黑客帝国》。虽然此类科幻场景已成为文化符号，但在学术、科学和政治辩论中通常不会受到重视。或许有一个很好的理由，因为科幻小说场景通常假设在人工智能对人类构成重大威胁之前，它必须达到或通过两个重要的里程碑。

第一，人工智能必须变得有知觉并发展意识、感觉和情感。不然，它怎么会想要统治世界？

其次，人工智能必须有能力在物理世界中移动。机器人必须能够在房屋、城市、山区和森林中移动和操作，至少要像人类一样灵巧和高效。如果不能在物理世界中移动，机器人又怎能接管整个世界？

截至 2023 年 4 月，人工智能似乎仍远未达到这两个里程碑中的任何一个。尽管 ChatGPT 和其他新的 AI 工具热度居高不下，但没有证据表明，这些工具拥有一丝一毫在物理世界中移动的意识、感觉和情绪。尽管自动驾驶汽车被热议，但这些车辆主宰我们道路的时间一直在推迟。

然而，坏消息是，要威胁人类文明的生存，人工智能并不真正需要意识，也不需要在物理世界中移动的能力。在过去的几年里，新的人工智能工具被释放到公共领域，这可能会从一个非常意想不到的方向威胁到人类文明的生存。我们甚至很难掌握这些新人工智能工具的能力以及它们持续发展的速度。因为人工智能确实能够自我学习和自我提升，即使是这些工具的开发者也并不完全清楚他们所创造的这一事物的全部功能，他们自己也常常对这些工具的随后产生能力和品质感到惊讶。

我想在座的每个人都已经意识到新人工智能工具的一些最基本的能力，比如编写文本、绘制图像、作曲和编写代码等能力。但是还有许多额外的功能正在出现，比如深度伪造人类的声音和形象，比如起草法案，发现计算机代码以及法律合同和协议中的弱点。但也许最重要的是，新的人工智能工具正在获得与人类建立深厚且亲密关系的能力。这些能力中的每一个都值得进行完整而深入的讨论，我们很难理解它们的全部含义。

所以让我们简单点。当我们将所有这些能力整合在一起时，它们可以归结为一件非常非常重要的事情，即操纵和生成语言的能力，无论是用文字、图像还是声音的方式。当前我们身处的人工智能革命进程中，最重要的一个方面是，人工智能正在以超过人类平均能力的水平掌握语言。通过掌握语言，人工智能正在掌握一把万能钥匙，锁上包括银行和寺庙在内的所有人类机构的大门。因为语言是我们用来向银行发出指令，以及激发我们心中的天堂愿景的工具。

另一种思考这件事的方式是，人工智能刚刚破解了人类文明的“操作系统”。历史上，每一种人类文化的操作系统都是语言——最开始的时候是文字。我们用语言创造神话和神灵，用语言创造金钱，创造艺术和科学，创造友谊和国家。比方说，人权并不是某种生物学现实，它们没有刻在我们的 DNA 中，人权是我们通过语言以讲故事和编写法律等方式创造出来的东西。神也不是生物或物理现实。神也是我们人类用语言创造出来的，可以是传说的形式，也可以是经文的形式。金钱不是生物或物理现实，钞票只是一文不值的纸片。而目前世界上90%以上的货币甚至都不是纸币，它们只是存储于计算机中的电子信息，可以从这里传递到那里。赋予任何货币价值的，不过是银行家、财政部长和加密货币专家等告诉我们的、关于金钱的故事而已，Sam Bankman Fried、Elizabeth Homes 和 Bernie Madoff（美国近年来在金融和科技领域最有名的三个骗子——编译者）并没有创造太多真正的价值，但（不幸的是）他们都是具备超高讲故事能力的人。

好吧，如果人类生活的世界里，大多数故事、旋律、图像、法律、政策和工具都是由非人类的异种智能塑造的，这些智能知道如何利用超人的效率、弱点、人类思想的偏见和成瘾，也知道如何与人类建立深厚甚至亲密的关系，这意味着什么？这是一个很大的问题。在象棋这样的游戏中，没有人能指望打败计算机。如果同样的事情发生在艺术、政治、经济甚至宗教领域呢？

当人们想到 ChatGPT 和其他新 AI 工具时，他们通常会被诸如孩子们使用 ChatGPT 来写论文这样的例子所吸引。当孩子们用 ChatGPT 写论文时，学校系统会发生什么？太可怕了！但是，提这种问题其实是忽略了大局。不说学校了，让我们想想 2024 年的美国总统竞选，并尝试想象可以为新邪教大量制作政治宣言、假新闻故事甚至圣经的新人工智能工具将会带来的影响。

近年来，政治影响力强大的 QAnon 邪教（一个美国极右翼阴谋论组织）就是围绕着被称为 Cue Drops 的匿名在线文本形成的。现在，这个邪教在美国和世界其他地方拥有数百万追随者，他们收集、审查并解读这些 Cue Drops，就像是某种新的神圣文本一样。据我们所知，以前所有的 Cue Drops 都是由人类编写的，机器人只是协助在网上传播这些文本。但在未来，我们可能会看到历史上第一个由非人类智能编写文本的邪教和宗教。当然，历史上的宗教都声称他们的圣书由非人类智慧所写，这在以前从来都不是真的，现在却可能很快变成现实，并产生深远的影响。

我们可能很快就会发现，自己正在就堕胎、气候变化或俄乌冲突进行长时间的在线讨论，我们以为是和人类在讨论，但实际上却是在和智能机器人。问题是，试图说服AI机器人改变其政治观点是完全没有用的。我们与机器人交谈的时间越长，它就越了解我们，越了解如何调整其信息，以改变我们的政治观点或经济观点。

正如我所说，通过对语言的掌握，AI也可以与人建立亲密关系，并利用亲密的力量来影响我们的观点和世界观。现在，没有迹象表明人工智能有任何意识和任何感觉。但为了与人类建立虚假的亲密关系，人工智能不需要自己的感觉。它只需要能够激发我们的感觉，让我们依附于它。

2022 年 6 月发生了一件著名的事件，当时谷歌工程师 Blake Lemoine 公开声称，他正在研发的AI聊天机器人 LaMDA 已经具备了自我意识。这个极具争议的声明让他失去了工作。

然而，这个事件最有趣的地方并不是 Lemoine 的声明，这个声明大概率是假的，真正有趣的是，他愿意为了保护他认为具有意识的 AI 聊天机器人，甘冒失去自己高薪工作的风险。如果人工智能可以影响人们去冒失去工作的风险，那么它还能诱导我们做什么呢？

在每一次争夺人心的政治斗争中，亲密关系都是最有效的武器，人工智能刚刚获得了与数百万、甚至数亿人大规模产生亲密关系的能力。你们可能都知道，在过去的十年里，社交媒体已经成为一个人类注意力的战场。现在，随着新一代人工智能的出现，战场正在从注意力转向亲密关系。这是一个非常糟糕的消息。当 AI 与 AI 作战时，人类社会和人类心理会发生什么变化？这种关系可以用来说服我们购买特定产品或投票给特定政治人物。

即使没有创造虚假的亲密关系，AI 工具也将对人类观点和我们的世界观产生巨大影响。例如，人们可能开始使用，或者已经开始使用单个 AI 顾问作为一站式智囊团作为他们需要的所有信息的来源。难怪谷歌会恐慌——如果你关注新闻，谷歌被吓坏了，它有充分的理由恐慌。当你可以要求 AI 告诉你任何你想要的信息时，为什么还要费心去自己寻找呢？你不需要去搜索。新闻业和广告业也应该感到恐惧。当 AI 能告诉我有什么新闻时，为什么还要看报纸呢？当 AI 可以告诉我买什么时，广告的目的又是什么？所以，在很短的时间内，整个广告行业可能会崩溃，而人工智能，或者说控制新的人工智能的人和公司，将变得非常非常强大。

我们正在谈论的，可能是人类历史的终结——不是历史的终结，只是我们称之为历史的人类主导部分的终结。历史是生物与文化的互动，是我们对食物和性等事物的生理需求和欲望，与我们的文化创造，如宗教和法律之间的互动。历史是宗教和法律与食物和性的互动过程。当人工智能接管文化时，这种互动的历史进程会发生什么变化？几年之内，人工智能就可以吞噬整个人类文化，吞噬人类千百年来所创造的一切，并开始产生出大量新的文化创造，新的文化物品。

请记住，人类从来没有真正直接接触过现实。我们总是被文化所包围，我们总是通过文化棱镜来体验现实。我们的政治观点是由记者的报道和朋友的轶事塑造的。电影和童话故事改变了我们的性偏好。甚至我们走路和呼吸的方式都受到文化传统的影响。

以前，这个文化茧房是由其他人类编织而成。以前的工具，像印刷机、收音机或电视机，它们有助于传播人类的文化思想和创造，但它们永远不能自己创造出新的东西。印刷机不能创造一本新书，书总是由人写作的。人工智能与印刷机、收音机，乃至历史上的每一项发明都有着根本的不同，因为它可以创造全新的想法，它可以创造一种全新的文化。最大的问题是，通过由非人类智能产生的棱镜来体验现实会是什么样子？

在最初的几年里，人工智能可能会在很大程度上模仿起初喂养它的人类原型。但随着时间的推移，人工智能文化将大胆地走向人类从未涉足的领域。

几千年来，我们人类基本上生活在其他人的梦想和幻想中。我们崇拜神灵，我们追求美的理想，我们将生命献给源于某个诗人、先知或政治家想象中的事业。很快，我们可能会发现自己生活在异种智能的梦想和幻想中，以及潜在的危险中，这些危险与科幻小说、电影和书籍中想象的任何事物或大多数事物从根本上来说都非常不同。

以前，人们大多害怕智能机器带来的物理威胁，电影《终结者》描绘了机器人在街上奔跑并射杀人的场景。《黑客帝国》假设，要获得对人类社会的完全控制，人工智能首先需要获得对我们的大脑进行物理控制，并将我们的大脑直接连接到计算机网络。但这是错误的。仅仅通过掌握人类语言，人工智能就拥有了将我们包裹在矩阵幻境中所需的一切。

与一些阴谋论的假设相反，你无需在人们的大脑中植入芯片来控制或操纵他们。几千年来，先知、诗人和政治家一直在使用语言和讲故事来操纵和控制人们并重塑社会。现在人工智能也可能做到这一点。它不需要派杀手机器人来射杀我们，如果需要，它可以让人类在自己扣动扳机。

从 20 世纪中叶开始，对人工智能的恐惧只困扰了人类的最近几代人。如果从《弗兰肯斯坦》算起，也许是 200 年。但几千年来，人类一直被一种更深层次的恐惧所困扰。人类一直都认识到故事和图像、语言在操纵我们的思想并创造幻觉方面的力量。因此，自古以来，人类就害怕被困在幻想的世界中。

在 17 世纪，当笛卡尔担心恶魔将他困在疯狂的幻觉中时，他创造了其所见所闻的一切。在古希腊，柏拉图讲述了著名的洞穴寓言，一群人一生都被改变在一个洞穴里，面对着一块空白的墙。在那块墙上，他们看到投射出的各种影子，囚犯们把这些幻觉和影子误认为是现实。在古印度，佛教徒和印度圣贤指出，所有人都生活在所谓的摩耶幻境中。摩耶就是幻觉的世界。佛陀说，我们通常认为是真实的东西，往往只是我们心中的虚构。人们可能会因为相信这些虚构而发动战争，杀死他人，也愿意被杀死。所以，人工智能革命让我们面对恶魔的轨迹，面对柏拉图的洞穴，面对摩耶幻境。如果我们不小心，一张幻觉的帷幕就会笼罩整个人类，我们永远无法撕开那张帷幕，甚至无法意识到它的存在，因为我们会认为这就是现实。

如果这听起来很牵强，那就看看社交媒体吧。在过去的几年里，社交媒体让我们对未来有了一些初步的了解。原始的 AI 工具，不是用来创建内容，而是用来管理由人类生产的内容。人类制作故事和视频等等，然后人工智能选择哪些故事、哪些视频会进入到我们的耳朵和眼睛，选择那些最能吸引注意力、最可能病毒式传播的内容。尽管这些人工智能工具非常原始，但它们足以在全球范围内制造出这种幻觉的帷幕，加剧社会两极分化，破坏了我们的心理健康，破坏了民主社会的稳定。

数百万人将这些幻想与现实混淆了。美国拥有整个历史上最强大的信息技术，但美国公民却无法就上一次选举结果达成一致，也无法就气候变化是否真实、疫苗是否可以预防疾病达成一致。

新的人工智能工具远比这些社交媒体算法强大得多，它们可能造成更大的破坏。当然，AI 具有巨大的积极潜力，我没有谈论它，因为开发 AI 的人自然会谈论它。像我这样的历史学家和哲学家的工作往往是指出潜在的危险。但可以肯定的是，人工智能可以在无数方面帮助我们，从寻找癌症治疗的新方法，到寻找我们所面临的生态危机的解决方案。

为了确保新的 AI 工具用于善而非恶，我们首先需要了解它们的真正能力，并非常谨慎地监管它们。自 1945 年以来，我们就知道核技术可以生产廉价而丰富的能源使我们受益，也可以从物理上摧毁人类文明。因此，我们重塑了整个国际秩序，以保护我们自己，并确保核技术主要用于造福人类。

我们现在必须应对一种可以操纵我们的精神和社会世界的新型大规模杀伤性武器。核武器和 AI 之间的一个重大区别是：核武器不能制造出更强大的核武器，而人工智能可以产生更强大的人工智能。因此，我们需要在 AI 脱离我们的控制之前迅速采取行动。制药公司不能在没有对产品进行严格的安全检查前向人们出售新药。生物技术实验室也不能为了给股东留下深刻印象就向公众释放新病毒。同样，政府必须立即禁止在未经安全检查的情况下，将任何更具革命性的人工智能工具发布给公众。

我不是说要停止研究 AI。第一步是停止向公众发布。你可以研究病毒，而不向公众释放，你可以研究AI，但不要过快地将其释放到公众领域。如果我们不放慢 AI 竞赛的脚步，我们就没有时间了解正在发生的事情，更不用说有效监管这项极其强大的技术了。你可能想知道或问，放慢 AI 公开部署的速度是否会导致民主国家落后？答案绝对是否定的。恰恰相反，不受监管的人工智能部署将导致民主国家输掉。因为如果我们释放混乱，更集中的政权更容易遏制这些混乱。

民主本质上是一种对话。民主是一种开放的对话，相反的是一种命令，即一个人决定一切，没有对话。民主是许多人关于做什么的对话。对话依赖于语言。当人工智能破解语言时，它可能会破坏我们进行有意义的公共对话的能力，从而破坏民主。如果我们坐等混乱，再以民主的方式进行监管就太迟了，也许以权力更为集中的方式还有可能，但如果不能公开谈论人工智能，又怎么能民主地监管它呢？如果不及时监管人工智能，我们将无法再进行有意义的公开对话。

总而言之，我们遇到了异种智能——不是在外太空，而是在地球上。除了它可以摧毁我们的文明之外，我们对这个异种智能知之甚少。因此，我们应该重视起来，不能不负责任地将这种异种智能部署到我们的社会中，并在人工智能管理我们之前对其进行监管。我们可以提出许多管理措施，但我首先建议的是强制 AI 披露自己是 AI。如果我正在与某人交谈，而我无法分辨对方是人还是人工智能，这无疑就是民主的终结，因为这意味着有意义的公开对话已经终结。

现在，你如何看待在上述 20 或 25 分钟内听到的内容？我想，你们中的一些人可能会感到震惊，还有一些人可能会对开发这些技术的公司或未能对其进行监管的政府感到愤怒。甚至一些人可能会生我的气，认为我在夸大威胁，或者在误导公众。但不管你怎么想，我敢打赌说，我的话对你产生了一些情感上的影响——不仅仅是智力上的影响，还有情感上的影响。

我刚刚给你讲了一个故事，这个故事很可能会改变你对某些事情的看法，甚至可能会让你在现实世界中采取某些行动。那么，是谁创造了这个你刚刚听到的、改变了你的想法和大脑的故事？我向你保证，尽管图像是在 AI 的帮助下创建的，演讲稿是由我在其他一些人的帮助下完成的。我向你保证，至少你听到的话语是一个或多个人类思维的文化产物。但是你能完全确定这是事实吗？

一年前，你可以确定。一年前，除了人类的头脑，地球上没有任何东西，至少在公共领域没有，可以产生如此复杂和强大的文本。但现在，情况不同了。你刚刚听到的文字可能是由非人类的异种智能生成的。所以，请花点时间，甚至是更多时间，来思考一下吧，谢谢！

（文章来自《人类简史》《未来简史》作者尤瓦尔·赫拉利（Yuval Noah Harari）4月29日在Frontier论坛上的演讲，个别措辞有所调整。）

本文来自微信公众号：未尽研究 （ID：Weijin_Research），作者：尤瓦尔·赫拉利