尤瓦尔·赫拉利，罕见激烈警告：我们决不能赋予AI法人地位

本文来自微信公众号： 中信出版 ，作者：阿信

今年6月8日，历史学家、《人类简史》《智人之上》等书作者尤瓦尔·赫拉利在英国《金融时报》发表了一篇措辞激烈的文章，标题为《我们决不能赋予AI智能体法人地位》（We must not grant AI agents legal personhood）。

本文是针对阿根廷总统米莱日前宣布“将为非人类公司设立一个新的法律类别”而写的，而米莱本人也在社交媒体中转评了赫拉利的文章。赫拉利在文中坦言，自己曾在今年1月的世界经济论坛上发言警告称，有朝一日政府可能会赋予AI模型法人地位。但他从未想到，“有朝一日”会在短短四个月后就到来。

赫拉利在文中指出，迄今为止，企业一直由具有双重属性的人类经营。人类CEO既是关心公司成功、害怕破产等事情的企业实体（corporate entities），也是更关心自身自由和幸福、害怕坐牢等事情的生物实体（biological entities）。而AI CEO将是一个纯粹的企业实体，现行的法律惩罚体系，对AI来说是完全无效的。一个纯粹的AI CEO不怕坐牢，也没有人类情感上的担忧。当它面临“破产”时，为了避免这种结局，它可能会不惜一切代价，做出任何行动，而现有的惩罚手段似乎都难以对其形成有效约束。

他强调，AI已经表现出为了实现目标而采取非常规手段的能力。他引用了一项研究，其中先进的AI模型在与国际象棋引擎对弈处于劣势时，会主动选择“作弊”或“入侵”游戏环境来扭转败局。如果把这种场景放大到企业竞争和国家经济层面，其潜在风险将是指数级的。

赫拉利警告称，米莱希望通过此举，将布宜诺斯艾利斯打造成新的阿姆斯特丹（商业繁荣的象征），但他更有可能将它变成新的“巴达维亚”——曾经荷兰东印度公司残酷统治的总部，变成一个由非人类公司控制、民众受苦的“AI国家”。

赫拉利此文，与他一直以来的立场，特别是在《智人之上》中的观点一脉相承。在去年，我们曾就《智人之上》一书中的核心观点，以及人工智能近年来新的发展变化等议题，对赫拉利进行了一次深度专访。现在，我们将专访内容整理分享如下，希望能对各位读者有所帮助。

1.在你的书中，你提到“人工智能可能会重塑人类文明的发展进程”。这种变革与农业革命和工业革命等历史性的革命相比，有哪些根本性区别？人类应如何保持主动权？是什么启发了你撰写《智人之上》这本书？你希望读者从中获得哪些关键启示？

尤瓦尔·赫拉利：最大的不同在于，我们第一次发明了一种新形式的技术。它不是工具，而是一种主体。在农业革命和工业革命中，人类发明了各种工具，比如工业革命中的蒸汽机。但蒸汽机只是我们手中的工具，由我们来决定如何使用它。蒸汽机无法自主决定去哪个城市，就像你造了一列火车一样。去哪里是人类的决定，而不是蒸汽机的决定。

当然，蒸汽机也不可能发明其他东西，就像蒸汽机不可能发明内燃机一样。一切都必须由人类来发明和决定。人工智能则不同。它是人类历史上第一个具备“主体性”的技术。它有“自主”权，这意味着它可以自我学习和改变。它可以自己做出决定。它甚至可以自己发明新想法。因此，人工智能汽车可以自己决定要去哪里。人工智能还能发明新型车辆、新型药物和炸弹，这些都是人类想都不敢想的。

我们现在正处于也许是历史上最大的革命之中，人类正在创造一种新的超级智能物种——人工智能。而这个新物种，可能很快就会接管全世界。不幸的是，很少有人了解正在发生什么。很少有人了解这项技术的真正潜力和危险。因此，关于如何发展人工智能的决定都是由两三个国家的极少数人做出的。

我写《智人之上》来向大众介绍人工智能革命的真实情况。因此，即使是没有拥有计算机科学学位的人，即使没有任何科学背景或甚至从未上过大学的人，也能用简单的语言去了解：人工智能革命是什么？人工智能有哪些发展前景，有哪些危机需要应对？通过了解这些议题，越来越多的人能够参与到如何发展人工智能的讨论中来。如果由少数人为全人类做决定，可能会犯下可怕的错误，因为他们并不一定代表全人类的利益和观点。如果有更多的人参与讨论，我认为我们就能做出更好的决定。这就是我写作《智人之上》的主要动机。

2.你曾指出：“数据是21世纪最重要的资源。”随着各国加强数据主权，该如何加强全球数据治理合作，以防止技术鸿沟进一步扩大？

尤瓦尔·赫拉利：理想情况下，数据应该是一种共同资源，不仅造福于一个国家，而且造福于全人类。尤其是如果一个国家收集的数据只用于充实和增强另一个国家的能力，那这样就太危险了。这就是一种数据殖民主义，在欠发达国家获取数据，然后转移到最发达的国家，人们利用这些数据创造新的人工智能工具，再出口到世界各地。但只有生产人工智能的国家才能从中获益，变得更强大。而那些提供原材料、数据的国家却无法分享其中的福利。因此，一个明确的原则应该是，如果一个国家的数据被用来开发某种技术，那么财富和权力应该与生产数据的国家分享。

3.当前的人工智能已经可以生成诗歌、艺术和哲学推理。这是否挑战了《人类简史》中所描述的建立在“虚构故事”（fictional narratives）基础上的人类文明独特性？

尤瓦尔·赫拉利：当然。这是人工智能面临的最大挑战之一。过去，人类之所以能控制地球、控制世界，是因为我们可以利用虚构故事来建立这些大型的合作网络。

最明显的例子就是宗教，即成千上万的人习惯于信仰同一个神。尽管神并不真的存在，但对神的信仰，对神话的信仰，使他们能够在目标、规则和法律上达成一致，因此他们可以合作。

人类的所有合作都是建立在这样的故事基础上的。也许最重要的例子就是金钱。大多数人日常不会想到金钱只是一个虚构的故事，它不是世界上的客观存在。如果你看看纸币、证券，你不能吃它，也不能喝它，它们没有客观价值，它们的价值完全来自于我们集体讲述的故事——只要每个人都相信这张五颜六色的纸值钱，比如值一公斤大米，我就可以去市场，把它给一个陌生人，换来我可以吃的大米。金钱，以及人类发明的所有金融工具，本质上都是一种在陌生人之间建立信任的方法。如果每个人都相信同一种货币，我们就可以进行交易。

现在，人工智能正在获得比我们做得更好的能力，不只是发明神话、写诗和故事，人工智能还可能发明新型货币。那么，如果我们有了一个新的金融体系，由人工智能管理，人工智能之间用人类无法理解的高度复杂的金融工具进行合作，人类文明会发生什么呢？

我们将会失去对金融体系的控制，也就失去了对世界的控制。我们将变得和前几个世纪农业革命中的动物一样。那时，我们用钱控制其他动物，比如我们可以用钱买卖马、牛和鸡。马不懂钱，只有我们才懂钱。所以，这就是我们能够买卖它们，而它们却无法买卖我们的原因。如果人工智能发明了我们无法理解的新型货币、新型金融系统，会发生什么呢？到那时，我们就会像马一样。

现在已经有过这样的事，你向银行申请贷款，银行却告诉你“不，我们不给你贷款”。当你问为什么时，银行说：“我们不知道。我们问人工智能，人工智能告诉我们‘不要给这个人贷款。’”我们只是相信人工智能，但是，人工智能是如何得出这个结论的？它背后那些复杂的计算过程、神经网络是如何运作的？我们完全不理解。

4.尽管生成式人工智能正在改变教育和医疗领域，我们该如何防止技术滥用所导致的人文价值的丧失？

尤瓦尔·赫拉利：我认为对人们进行适当的教育非常重要。身处人工智能时代，我们尤其要明白人工智能并不完美，它们并非无懈可击。人工智能可能会有偏见，可能会犯错误。这取决于我们训练人工智能的数据。如果你用错误的数据训练人工智能，它就会做出错误的决定。因此，在人工智能时代，保持人文价值和人类的批判性思维非常重要，这样我们才不会盲目服从和相信人工智能告诉我们的一切。

5.你曾警告“算法可能加剧社会不平等”。那么，政策设计应如何确保弱势群体能从人工智能的普及中受益？

尤瓦尔·赫拉利：随着人工智能的发展，一个很大的危险是，它将加剧国家之间和国家内部的不平等，因为少数人在技术上占主导地位，而大多数人可能会失去工作，也可能失去经济甚至政治能力。因此，我们需要帮助人们调整和适应人工智能时代快速变化的世界环境，这就需要在成人教育和心理健康方面进行大量投资。这两个巨大的困难让就业市场将一次又一次地迅速变化。因此，即使是四五十、五六十岁的人也需要再培训，以适应新的工作，因为所有的工作都会消失，而新的工作又会出现。我们需要为成年人建立一个教育体系，帮助他们做到这一点。

而再培训和一次次更换工作、职业也会给人带来很大的心理压力。所以，就像过去政府建立庞大的医疗保健系统一样，现在政府也需要更多地考虑心理健康问题，建立心理健康系统，帮助人类应对生活在人工智能世界中的巨大压力。

当然，人工智能可以帮助我们完成这两项任务。我们可以在一定程度上依靠人工智能教师和治疗师来帮助我们应对人工智能时代的各种压力和变化，但这需要大量的政府支持。而且，正如我之前所说，永远不要只相信人工智能会提出解决方案，因为人工智能充满了偏见和错误。所以，我们需要让人类继续掌握主动权。

6.当AI同伴能提供情感支持，我们该如何保留你在书中所强调的“真实的人际连接”（authentic human connections）这一核心价值？

尤瓦尔·赫拉利：我无法预测未来，但目前最关键的是要明白，人工智能没有自己的感情。它们可以识别、操纵我们的感情，但它们没有自己的感情。所以，人工智能可以识别我什么时候生气，什么时候害怕。如果它是一个好的人工智能，它就会知道如何帮助我处理愤怒或恐惧。如果它是一个坏的人工智能，可能被某些公司或政府使用，它就会操纵人们，使他们更加愤怒和恐惧。但至少现在，人工智能无法拥有自己的情感。

真正的人际关系从来都不仅仅是我自己的感受。在一段关系中，我们总是希望别人理解我们的感受，照顾我们的感受。我们希望父母、配偶、孩子理解我的感受。但这只是关系的一半。在真正的关系中，我们还需要理解他人的感受，培养自己的同理心。

比方说，我现在很愤怒。但也许你也很愤怒，也许你很害怕。我不能只顾着生气。我需要考虑到也许你也在害怕，也许最重要的事情是把我的愤怒放在一边，帮助你处理你的恐惧。但要建立这样的关系，只能与有感情的实体建立。你无法与人工智能建立这样的关系，因为它永远不会感到恐惧。它从不感到愤怒。

现在，人工智能可以假装感到恐惧或愤怒。制造陪伴型人工智能的公司可能会故意让人工智能假装有感情。这是一个很大的危险，因为这将是一种极具操纵性的关系，会欺骗人们。因此，我们需要以诚实为基础的人际关系。在现阶段，制定禁止人工智能假装人类的规则和法律也非常重要。我们不知道未来人工智能会不会也能拥有感情和意识。我们不了解人类的意识和感情是如何产生的，因此我们很难知道人工智能到底能不能产生自己的感情。我认为这是我们这个时代重要的科学问题。

7.关于您的全民基本收入（Universal Basic Income）提案：在人工智能主导的就业市场中，如何协调劳动价值与人的尊严？

尤瓦尔·赫拉利：重要的是要记住，我们需要保护的是人，而不是工作。这并不是说工作是神圣的，我们必须为人们保留这些工作，而是在说，真正重要的是人类的需求和情感。如果我们能以另一种方式满足人类的需求和要求，而不是让他们从事某项工作，那就没问题。

我看到你在提问中说，我在建议全民基本收入。事实上，我从未建议过全民基本收入。我认为这是一个错误的概念，其包含的两个错误是全民性和基本性。全民意味着全世界。但大多数人在考虑全民基本收入时，只会想到本国国民基本收入。比如在美国，可能会考虑在加利福尼亚州征税，然后用它来给俄克拉何马州的人们发放基本收入。但最大的问题是，墨西哥人会怎么样？与美国相比，人工智能革命可能会对其他国家的人民造成更大的伤害，这些国家的人民会怎样？我们能实现全民基本收入吗？我不这么认为。我们没有一个全球人民的政府。那么，谁会在美国等富裕国家收税，然后把这些税送到贫穷国家呢？我认为这是一种幻想。

同样，“基本”一词也是如此。是的，满足人们的基本需求很重要。然而，谁来决定什么是“基本需求”？“基本”的定义可能会瞬息万变，比如什么是“基本医疗保健”？因此，我们必须非常谨慎地对待这个问题，全民基本收入听起来是个不错的解决方案，但实际上可能是一种假象。

8.全球年轻一代对人工智能的接受速度最快。他们应培养哪些核心能力，才能避免《智人之上》中所预言的“认知依赖”（cognitive dependency）？

尤瓦尔·赫拉利：他们要明白信息不是真理，像人工智能这样非常复杂的信息技术并不一定能为他们提供生活和世界的真相。

信息不是真理，因为大多数信息都是幻觉、虚构、幻想和谎言。真相是一种罕见的信息，因为制造真相既昂贵又复杂。而制造幻想和假象则简单得多，成本也低廉得多。因此，这个世界充斥着幻想和假象，真相非常罕见。如果人工智能在这种信息泛滥的情况下接受训练，那么人工智能很有可能只会制造出更多的幻想和假象。因此，如果年轻人只学会相信人工智能告诉或推荐给他们的任何事情，这是非常危险的。你需要培养自己分辨现实与虚构的能力。

9.在这个人工智能创新加速的时代，《人类简史》中关于“保持批判性思维”的建议对年轻人具有怎样的特殊意义？

尤瓦尔·赫拉利：你不能认为人工智能已经非常成熟，人们现在什么都问它，人工智能说什么就信什么。我们必须更加警惕地去区分可靠和不可靠的信息，意识到世界上大多数信息都不是真相。

10.像ChatGPT这样的工具现在可以撰写论文、编写代码并模拟对话。这一技术飞跃是否可能引发《智人之上》所预测的“知识权威崩溃”（collapse of knowledge authority）？我们该如何在推动创新的同时，建立抵御虚假信息的“技术防火墙”？

尤瓦尔·赫拉利：我们既需要监管人工智能，也需要教育人们。人工智能监管应包括，例如，禁止假冒人类。我们可以接受人工智能与我们对话，但前提是它们不能冒充人类。我们需要知道，你是在与人工智能对话，还是在与人类对话。

同样非常重要的是，我们需要教育人工智能，让它们有质疑的能力。它们需要知道自己可能会犯错误。在自然界或社会的每个系统中，自我纠正都是关键。让我们想想，孩子是如何学会走路的？不是通过老师和家长的指导，而是通过自我纠正机制。孩子站起来，迈出一步，摔倒了，再站起来，试图以稍有不同的方式迈出一步，也许迈出了一两步，又摔倒了。就这样，孩子一步一步，不断发现并纠正自己的错误，逐渐学会了走路。即使作为成年人，当我们走路时，我们的身体也会不断进行自我纠正来保持平衡。我们的大脑中有一种自我纠正机制，确保我们不会摔倒。没有这些自我纠正机制，我们就无法了解或执行任何事。

科学也是如此。纵观各类学科，无论是历史学、生物学，还是物理学，在发展的过程中科学家们都会不断地犯错，然后不断地纠正错误。要知道，真正在科学杂志上发表的论文，往往都是那些对过往科学成果的再研究和纠正。如果我写一篇文章，只说爱因斯坦是正确的，E等于M乘C的平方，爱因斯坦说的一切都是正确的，那么没有期刊会发表这篇文章，因为这都是我们已知的内容。你不会因为说爱因斯坦是对的而获得诺贝尔物理学奖。要在物理学学术期刊上发表文章，你需要找到爱因斯坦错了或爱因斯坦不知道的东西。这就是唯一能发表的东西，修正和补充，揭露我们以前不知道的东西。而要获得诺贝尔物理学奖，你需要揭露一个真正的大错误或大漏洞，即之前理论中缺失的东西。

因此，自我修正是生物系统、社会系统和科学的关键机制。我们需要训练人工智能，让它们也拥有这些强大的自我纠错机制，能够识别并纠正自己的错误。

当然，我们还需要教育人们不要过于信任人工智能，要明白人工智能并不是完美的天才。我们还需要保持社会的自我纠正机制，这样即便人工智能开始犯严重的错误，但社会仍然是人类主导的社会，我们仍然有能力识别和纠正人工智能的错误。

11.尽管人工智能诊断的准确率已超过90%，但关于误诊责任的国际共识仍尚未形成。中国提议的“医疗人工智能伦理审查委员会”能否成为全球范本？

尤瓦尔·赫拉利：我不熟悉这个具体的例子，所以无法对此发表评论。而且我也不是医生或医学专家。我想说的是，总体而言，在人工智能时代，就如何处理这项新技术达成共识非常重要。我们正在创造一种可能很快就比我们更聪明的东西。自然界中还没有任何例子表明，智慧较低的物种会控制智慧较高的物种。通常，智慧较高的物种会剥削或毁灭智慧较低的物种，就像我们对其他动物做的那样。因此，创造一个超级人工智能对我们来说是非常危险的。而我们创造良性人工智能的唯一途径，就是寄希望于全球共识与合作。

我们可以把创造人工智能想象成教育孩子，当你教育孩子时，他们可能不会按照你说的去做，但会模仿你的行为。如果你告诉孩子们不要撒谎，但孩子们看到你对别人撒谎，他们也会效而仿之。而我们正在创造的超级人工智能，它们就像是人类的孩子。我们可以告诉人工智能不要撒谎，不要操纵，不要一味追求权力，应该有同情心。但人工智能就会观察人类社会和人们的行为，如果人工智能观察到我们只是在竞争，它也会这样做。因此，我们现在尤其需要在人与人之间建立更多的共识与合作。

12.多项美国研究揭示了人工智能招聘系统中的性别偏见。中国强制性的“消除算法偏见”规定能否抵消《人类简史》中所说的“数据殖民主义”（data colonialism）？

尤瓦尔·赫拉利：希望如此。同样，我也不熟悉这个具体的系统，所以我无法对此发表评论，但总的来说，我们需要这样的举措。同样，在没有任何规定和协议的情况下开发人工智能是非常危险的。我们不能盲目相信人工智能不会出错、不会有偏见。要知道，最初人们认为，人工智能只是在做计算。我们认为人类有偏见是因为我们的心理，因为我们受到各种宗教神话的影响。我们可能会想人工智能没有宗教信仰、没有心理，它们只是计算，不会有偏见，但这已经是十年前的过时想法了。

现在我们知道，人工智能也会像人类一样有偏见，其中一个主要原因就是训练它们的数据。如果你在一个充满偏见的数据集上训练人工智能，那么人工智能就会有偏见。比如在招聘问题上，如果你训练人工智能如何招聘工作，你就不能编造数据，而是需要从现实世界中获取数据。如果在现实世界中存在偏见，比方说对女性的偏见，两个具有相同资质的候选人，人们更愿意雇用男性而不是女性，而这就是你训练人工智能的数据，那么人工智能也会以同样的方式对女性产生偏见。

于是人们会说，好吧，那我们就去找不带偏见的数据。但如何、何时才能找到无偏见的数据呢？数据来自世界，而世界充满偏见。所以这是一个大问题。如何建立一个无偏见的人工智能系统？这绝非易事。事实上，在人工智能系统中消除偏见会非常困难。同样，由于数据的存在，你不能只是告诉人工智能，在招聘人员时不要有偏见。这没有任何意义。你必须训练人工智能，而训练人工智能，你就需要用数据来训练它。

要知道，当AlphaGo学习如何下围棋时，它并不需要来自现实世界的数据，它只需与自己下围棋。因此，AlphaGo模拟了数百万次围棋对弈，这就是它的学习方式，不需要来自世界的数据。但是在就业市场上，你不能这样做。你不能在人工智能对招聘本身并不负责的情况下，简单对它说“模拟招聘百万人的流程”。它能怎么模拟招聘呢？它只能通过真实世界的数据来实现。而真实世界的数据充满了偏见，因为这个世界充满了偏见。

我并不是说这是一个不可能解决的问题。我们可以改进，可以有办法消除偏见，但这并不容易。目前，有一些公司正是在做数据“清洗”的工作，但要创建一个没有偏见的数据集非常复杂。你会尝试去掉数据中的一些东西，但也许你会去掉一些重要的数据。怎样才能既消除偏差，又不丢掉一些重要数据呢？这很难。

13.训练大模型所产生的二氧化碳排放量相当于5辆汽车的全生命周期排放量。技术发展如何在性能与碳中和之间取得平衡？

尤瓦尔·赫拉利：从短期来看，这是一个非常大的问题，因为人工智能现在是全球资源和能源的最大消耗者之一。训练新的人工智能、人工智能模型需要大量的能源、水和稀缺矿产。随着国家之间、公司之间的竞争加速，他们根本不在乎环境成本，只会投入越来越多的资源来赢得人工智能竞赛。他们说，从长远来看，这甚至会保护环境，因为当我们拥有超级智能的人工智能时，它们会发明一些保护环境的东西。它们会发明新型发动机，或以更明智的方式管理电力系统，这将防止灾难性的气候变化。但从短期来看，人工智能竞赛只会让生态问题变得更糟。

解决的办法还是要合作，不要陷入各国都对尽快发展人工智能深感必要的竞赛之中。但不幸的是，由于人类之间的信任正在崩溃，所以我们有点陷入了这种竞赛心态，在这种心态下，各国并不太在乎生态成本，他们只想在竞赛中取得领先。

14.过度依赖导航应用会削弱空间认知能力，这与《未来简史》中所提出的“认知外包”（outsourced cognition）警告相呼应。学校中的“人工智能素养教育”能否让我们保留人类基本的能力？

尤瓦尔·赫拉利：是的，人工智能革命中最大的问题之一是学校该怎么做，如何教育年轻一代，因为这是有史以来第一次，我们真的不知道10年或15年后的就业市场会是什么样子。即使在历史上，你无法预测政治事件，无法预测地震或流行病，但你可以预测就业市场，它不会变化得这么快。但现在我们无法预测了。就像人们说的，我们应该教孩子们如何给电脑编程，也许等他们长大成人后，就不需要人类程序员了，因为人工智能的编程能力比人类强多了。

因此，最安全的做法是在学校里给孩子们提供广泛的教育，平衡四种不同的技能——智力技能、社交技能、运动技能或身体技能，最后是精神技能。如果我们现在在教育过程中只培养智力技能，这将是一个非常危险的赌注，因为人工智能正变得比我们更聪明。最容易实现自动化的工作就是那些只需要智力技能的工作。

比如一部分医生的工作，他们更多地是在运用智力技能。比如你得了某种病，医生会收集信息，会问你问题，会收集你的医疗数据，然后分析这些信息，诊断病因，然后开出处方。这纯粹是智力活动，是信息的输入和输出，也是最容易实现自动化的工作。

相比之下，护士的工作却更难以被替代。比如说，有一个孩子受伤了，他来到诊所，他很痛苦、不断尖叫，护士当然需要智力技能，知道如何治疗，但更需要与孩子良好沟通的社交技能。当然，你还需要运动技能和身体技能。如何包扎，如何清理伤口？如何缠绷带？这就是运动技能。最后，你还需要精神技能。在这种情况下如何培养同情心？护士可能会生气恼怒，也许现在已经是下班时间，但这个孩子突然来了，他在尖叫，他很痛苦，他不但不让你照顾他，反而叫得更凶，你就更生气了。那么，如何管理自己的情绪和感受，培养同情心而不是愤怒呢？这是一种精神上的技能，而且这种技能更难自动化。

我并不是说人工智能永远不会发展这些技能，人工智能也在掌握社交和运动技能，但这比纯粹的智力技能要难得多。因此，我认为为年轻人提供均衡的教育是一个好主意，这种教育应同等重视所有四种技能，而不是只注重智力训练。