现在，我们是否该给技术按下暂停键？

最近，比尔·盖茨在其2024年推荐书单中，推荐了由前DeepMind联合创始人，现任微软AI CEO穆斯塔法·苏莱曼所著的《浪潮将至》，并特别撰写了一篇文章，称这本书是“我最喜欢的关于AI的书”。

比尔·盖茨在文中写道：

 

当人们问我关于人工智能的问题时，他们的问题往往归结为这一点：我应该担心什么，应该有多担心？过去一年，我的回答是建议他们读一读穆斯塔法·苏莱曼的《浪潮将至（The Coming Wave）》。这是我向国家元首、商界领袖和其他任何有此疑问的人推荐最多的一本关于AI的书，因为它提供了一种罕见的东西：对未来非凡机遇和真正风险的清晰看法。

 

作者穆斯塔法·苏莱曼对这个话题有着独特的见解。在帮助DeepMind从一家小型初创公司发展成为过去十年最重要的AI公司之一后，他又创立了Inflection AI，现在领导着微软的AI部门。但这本书的特别之处不仅在于穆斯塔法的亲身经历，更在于他对科学史和技术革命发展过程的深刻理解。他是一位严肃的知识分子，能够将几个世纪的科学进步进行有意义的类比。

 

对《浪潮将至》的大多数报道都聚焦于它对人工智能的论述上——这也在情理之中，因为它是有史以来关于AI的最重要书籍之一。可能没有人比穆斯塔法更有资格来写这本书了。2016年，当DeepMind的AlphaGo击败世界顶级围棋选手时，他就在现场。围棋是一种比国际象棋复杂得多的游戏，背后有着2500年的战略思考，而AlphaGo的行棋步法是从未有人想到过的。通过这一胜利，这个基于AI的计算机程序展示了机器可以在我们自己的游戏中打败人类，并让穆斯塔法提前瞥见了未来的趋势。

 

但使得他的书与众不同的，是穆斯塔法对AI的见解：人工智能只是前所未有的科学突破汇聚的一部分。基因编辑、DNA合成和生物技术的其他进步也在同步向前发展。正如书名所示，这些变化就像海面上的浪潮——对许多人来说仍然不可见，但它们正在积聚力量。每一项技术单独来看都足以改变游戏规则，而它们结合在一起，将重塑社会的方方面面。

 

历史学家尤瓦尔·赫拉利认为，在开发先进的AI之前，人类应该先弄清楚如何合作和建立信任。理论上，我同意这一观点。如果我有一个神奇的按钮，可以在30到40年内放慢这一进程，让人类有时间解决信任和共同目标的问题，我或许会按下它。但那个按钮并不存在。无论任何个人或公司做什么，这些技术都会被创造出来。

 

眼下，随着成本急剧下降和计算能力的增长，进展已经在加速。而推动发展的动力则来自于利润和权力的诱惑。此外，利益和权力也是推动发展的动力。国家与国家之间竞争，公司与公司之间竞争，个人与个人之间竞争荣誉和领导地位。这些力量使得科技进步势不可挡，同时也使得其更加难以控制。

 

在我关于AI的讨论中，我经常强调我们需要考虑的三大风险。首先是经济动荡的快速步伐。AI能会从根本上改变工作的本质，影响到几乎所有行业的工作，包括那些传统上被认为不受自动化威胁的白领职位。第二个风险是控制问题，即确保AI系统随着技术的进步，仍然与人类的价值观和利益保持一致的困难。第三个风险是，当不法分子掌握AI时，他们将变得更加强大，并且更有能力进行网络攻击、制造生物武器，甚至危害国家安全。

 

最后一个风险——赋能不法分子——引出了我们这个时代最大的挑战：遏制。我们如何在利用这些技术的好处的同时，限制它们的危险？这就是《浪潮将至》一书的核心问题，因为遏制是所有其他问题的基础。没有它，AI和生物技术的风险将变得更加尖锐。首先解决这个问题，我们才能创造解决其他问题所需的稳定和信任。

 

当然，说起来容易做起来难。

 

如核武器等以往的变革性技术可以通过物理安全和严格的访问控制来遏制，而AI和生物技术则带来了根本不同的挑战。它们越来越容易获取和负担得起，它们的发展几乎无法被察觉或监控，而且它们可以在幕后操作，只需要很少的基础设施。如果禁止这些技术，意味着好人会单方面解除武装，而坏人依然会向前推进。而且这会伤害到所有人，因为这些技术本质上是双重用途的。可以用来制造生物武器的工具，也可以用来治愈疾病；可以用于网络攻击的AI，也可以增强网络防御。

 

那么，在这个新现实中，我们如何实现遏制呢？抱怨穆斯塔法没有凭一己之力解决人类历史上最复杂的问题之一，显然是不公平的。尽管如此，他还是提出了一个与挑战规模相称的雄心勃勃的议程——涵盖了从技术解决方案（如为AI系统建立紧急关机开关）到广泛的制度性变革，包括新的全球条约、现代化的监管框架，以及政府、企业和科学家之间的历史性合作。当你读完他的建议清单时，你可能会怀疑我们是否真的能及时完成所有这一切。但这正是这本书如此重要的原因：它帮助我们在仍有时间采取行动时，理解这种紧迫性。

 

我一直是个乐观主义者，阅读《浪潮将至》也没有改变这一点。我坚信，AI和生物技术的进步能够帮助我们实现突破性的进展来治疗致命疾病、应对气候变化的创新解决方案，以及为每个人提供高质量的教育。但真正的乐观主义不是盲目相信，而是看到其潜力和风险，然后努力塑造更好的结果。

 

无论你是科技爱好者、政策制定者，还是仅仅想了解世界未来走向的人，都应该阅读这本书。它不会给你简单的答案，但它会帮助你提出正确的问题——并让你更好地准备驾驭即将到来的浪潮，而不是被它卷走。

 

随着人工智能不断增强，我们必须认真思考和减轻那些最极端情况的影响。然而，在我们能够做到这些之前，很多问题可能已经发生。

DeepMind联合创始人、微软人工智能CEO穆斯塔法·苏莱曼新书《浪潮将至：技术、权力与未来的冲击》中，围绕技术浪潮所带来的风险，讨论了一系列发人深省的问题。

现在，我们是否该给技术按下暂停键？

 

 

《浪潮将至》中文版

中信出版集团2024年11月出版

 

人类的历史就是一部灾难史

在某种程度上，人类的历史就是一部灾难史。大流行病广泛存在。其中有两场大流行病曾导致世界上多达30%的人口死亡：6世纪的查士丁尼瘟疫和14世纪的黑死病。1300年，英格兰的人口约为700万，但到了1450年，由于瘟疫的肆虐，人口锐减到仅剩200万。

当然，灾难也可能是人为造成的。一战和二战分别导致全球约1%和3%的人口死亡。随着原子弹的出现，人类现在拥有了足以多次毁灭地球上所有生命的致命力量。过去需要数年甚至数十年才可能发生的灾难性事件，现在只需按下按钮，便可在几分钟内发生。

随着新的技术浪潮逼近，我们又朝着潜在的灾难迈出了一大步。风险的上限显著提升，同时，那些企图释放灾难性力量的人所拥有的途径也大幅增加。我们将从国家的脆弱性和国家职能所面临的威胁出发，展开更广泛的讨论，并进一步设想：在技术遏制无法实现的情况下，人类世界迟早会发生什么。

这些技术中的绝大多数都将用于有益目的。虽然它们的风险是我讨论的焦点，但我们必须记住，这些技术也将日复一日地改善无数人的生活。我们探讨的是几乎没人愿意看到的极端情况，尤其是开发这些工具的人所不愿看到的。然而，即使这些情况仅代表极罕见的应用案例，我们也不能忽视它们。在新的技术浪潮下，不法分子有可能造成严重破坏，引发大规模的不稳定。请想象一下，当任何一个具备一定能力的实验室或黑客都能合成复杂的DNA链时，我们离灾难性事件还有多远？

最终，随着史上最具影响力的技术渗入我们生活的方方面面，极端情况的发生概率也将大幅提升。一定会出现一些问题，其严峻程度和扩散速度都将与技术所蕴含的巨大能力相当。新技术浪潮的4个特征预示着，如果不在各个层面采取强有力的遏制措施，那么像人为策划的流行病这样的灾难性后果将比以往任何时候都更可能发生。

这是不可接受的。然而，这里存在一个困境：人们同样难以接受那些最为稳妥的技术遏制方案，因为它们可能会将我们引向专制主义和反乌托邦的道路。

一种可能性是，社会转向技术驱动的全面监控模式。这种强制执行的机制，旨在应对那些难以控制或根本不受控制的技术。这是以牺牲自由为代价来换取安全。另一种可能性是，人们选择彻底远离技术前沿。这种情况不大可能发生，而且这显然并非我们所寻求的解决方案。从理论上讲，能够应对这一关乎人类未来命运的困境的唯一实体，正是民族国家体系。我们需要它来遏制技术力量，而这一体系正在这些技术力量的冲击下面临崩塌的风险。

随着时间的推移，这些技术的影响将迫使人类在灾难与反乌托邦的两种极端之间探寻一条中间道路。这已成为我们这个时代的根本性困境。

关于即将到来的技术浪潮所带来的风险，人工智能领域的隐患尤其引人关注，而其风险仍在不断攀升。一旦军队实现全面自动化，冲突的发生门槛将会显著降低。战争可能因某些永远难以明确的原因而意外触发，人工智能系统在检测到特定行为模式或威胁时，可能会立即以势不可当的力量做出反应。可以说，这样的战争将呈现出一种完全陌生的性质，它容易迅速升级，并带来前所未有的毁灭性后果。

正是基于这样的逻辑，我常听到这类声音：“通用人工智能是人类所面临的最大风险！它将毁灭世界！”然而，当被追问那将是怎样的场景，那一切将如何发生、有多么危险时，人们开始回避，给出含糊不清的回答。他们认为，人工智能可能会占用所有计算资源，将整个世界变成一台庞大的计算机；随着人工智能不断增强，必须认真思考和减轻那些最极端情况的影响。然而，在我们能够做到这些之前，很多问题可能已经发生。

在未来10年里，人工智能将成为历史上最强大的力量放大器。这就是为什么它将引发大规模的权力重新分配。它将成为人类进步的最大加速器，但也将为战争和事故、恐怖组织、专制政府、权力过度扩张的公司以及公然盗窃和故意破坏等危害行为提供助力。设想一个能够轻松通过现代图灵测试却用于灾难性目的的通用人工智能。先进的人工智能和合成生物学技术不仅能为那些致力于寻找新能源或研发改善生命的药物的组织所用，也可能成为像特德·卡钦斯基这样的恐怖分子的工具。

人工智能既极具价值，又充满危险，因为它正是人性的最好与最坏方面的延伸。作为一种基于学习的技术，它能够持续适应、不断探索，生成全新的策略与见解，这些可能远远超出以往的人工智能的考虑范围。无论是要求它提出切断淡水供应的方法、让股市崩溃、触发核战争，还是设计出终极病毒，它都能做到。相较于设想的巨型回形针场景或奇异的科技恶魔，我更担忧的是在未来10年内，人工智能将会放大哪些现有的力量。

如果未能遏制即将到来的技术浪潮，灾难的降临就是迟早的事。

 

一种自我强化的“人工智能专政”

阻止灾难发生显然是紧迫之事。灾难越大，利害关系越大，对对策的需求也越大。如果灾难的威胁变得过于严峻，那么政府可能会得出结论，即阻止灾难的唯一方法是严格控制技术的各个方面。这将确保没有任何东西逃过安全警戒线，没有任何失控的人工智能或人造病毒能够被制造、被泄漏，甚至被研究。

技术已渗透到我们文明的方方面面，因此，监控技术就意味着监控一切。每个实验室、工厂、服务器，每段新代码，每串合成的DNA，每个企业和大学，每个隐匿在森林小屋中的生物黑客，每个庞大的匿名数据中心，无一例外。面对即将到来的技术浪潮所带来的前所未有的复杂局面，为了遏制潜在的灾难，我们必须采取前所未有的应对措施。这不仅要求对一切进行严密监控，还需要保留在必要时制止一切的能力。

一定会有人提出这样的观点：我们应该让权力集中到极端程度，构建全景式的监控体系，对人类生活的方方面面做出细致安排，以确保大流行病或人工智能失控等情况永远不会发生。许多国家会逐渐说服自己，真正实现这一目标的唯一途径就是实施我们在上一章中所描述的那种全面监控，即由强大技术支持的全面控制。这无疑打开了通往反乌托邦世界的大门。事实上，面对潜在的灾难，对某些人而言，反乌托邦的结果可能会被视为一种解脱。

这些提议目前仍处于边缘地位，特别是在西方社会。然而，在我看来，它们受到更广泛的关注只是时间问题。即将到来的技术浪潮为反乌托邦式的统治提供了动机和手段，即在稳步增加的数据搜集和强制措施的支持下，形成一种自我强化的“人工智能专政”。

只要出现巨大的灾难，人们就会呼吁建立极端的监控设施，以防未来再次发生类似事件。当技术出现问题时，技术限制和打压措施会在多久后出现呢？在可能面临灾难的压力下，谁又能有效地反对这些措施呢？监控式的反乌托邦机制会在多久后生根发芽，并进一步扩散和深化呢？随着局部的技术失败案例不断累积，加强控制的呼声也会越来越高。而随着控制的加强，权力的制衡往往会被削弱，这将改变总体的社会趋势，为进一步的权力干预铺平道路。最终，社会将逐渐进入技术反乌托邦状态。

自由与安全之间的权衡是一个古老的两难困境。

我认为，一个完全透明且基于精细监控的压制性社会，不过是另一种失败形态。在这种情境下，即将到来的技术浪潮不会将人类引向繁荣，而是引向繁荣的反面。每一项强制性的、带有偏见和不公平的技术应用都将被肆意放大。人们来之不易的权利和自由将被剥夺，而对许多国家来说，国家自决权也难免会受到损害。这次被放大的不再是国家的脆弱性，而是彻头彻尾的压迫。如果我们避免灾难的方式是建立这样的反乌托邦社会，那么这根本不是一个可以接受的方式。

灾难威胁和对安全的渴望将持续推动人们朝着反乌托邦方向前进。每一场技术浪潮都曾为社会秩序带来系统性的冲击。不过迄今为止，以往的技术浪潮尚未带来广泛且系统性的全球灾难风险。但即将到来的技术浪潮与此前截然不同，这可能促使人类采取一种反乌托邦式的应对方案。

有人认为我们已深陷压制性局面，我想说，与未来可能的景象相比，我们目前的处境根本不算什么。我们当前的路径并非唯一的反乌托邦路径，还有诸多其他潜在的反乌托邦路径。然而，目前这一路径似乎与即将到来的技术浪潮及其伴随的政治挑战和潜在的灾难性后果直接相关。这并非一个抽象的思想实验。我们必须直面以下问题：技术背后的推动力强大而不可阻挡，人类是否应该暂缓技术的飞速发展？我们是否应该拒绝技术的无节制发展？尽管这种想法看起来不太可能实现，但现在，我们是否应该给技术按下一个暂停键？

停滞：另一种灾难

数百年来，技术的持续发展似乎使社会得以挣脱历史规律的桎梏。然而，认为历史的动态演变已经停滞不前是一种误解。21世纪的文明固然与玛雅文明大相径庭，但庞大且渴望权力的上层建筑、众多的人口、能源供应以及文明发展的硬性限制依然存在；它们所带来的影响只是被暂时抑制了。

假设存在一种情况，即技术的驱动力能够被有效遏制。那么，在这种情况下，我们能否全面暂停技术的发展？答案是否定的，绝对不可能。

现代文明只有依靠持续的技术发展才能兑现其承诺。社会体系存在的前提是能够确保长期的经济增长，这依赖于新技术的发明和推广。无论是我们期望以更低的成本享受更多的消费，在不增加税收负担的情况下获得更多的公共服务，还是我们认为可以在不断提高生活质量的同时无限制地破坏环境，国家与公民之间的契约（可以说是最重要的契约）也都建立在技术的基础之上。

正如我们所讨论过的，开发新技术是应对地球面临的重大挑战的关键所在。没有新技术的支持，我们将难以克服这些挑战。人力和物质资源的消耗成本不容忽视。我们目前所拥有的技术组合虽然在很多方面令人惊叹，但并没有明显的迹象表明它们能够可持续地以发达国家的标准支持超过80亿的人口。这一点可能对一些人来说难以接受，但值得强调的是，在不引入新技术的情况下，解决气候变化问题，或维持不断提高的生活和医疗水平，或改善教育和职业机会，都是不可能实现的。

假设暂停技术发展是可能的，那么从某种意义上说，这将意味着一种安全保障。首先，它将限制新的灾难性风险的出现。然而，这并不意味着我们能成功避开反乌托邦的局面。相反，随着21世纪的社会日益显现出脆弱性和不可持续性，技术的暂停可能会引发另一种形式的反乌托邦。如果没有新技术的支持，一切迟早都会陷入停滞，甚至可能彻底崩溃。

鉴于人口和资源限制，仅仅为了维持现有生活水平，我们可能就需要将全球生产率提高2~3倍。然而，对世界上大部分人来说，仅仅维持现有生活水平仍然是不可接受的。许多国家的儿童死亡率比发达国家要高出12倍。当然，即使只是保持当前的生活水平，也不仅仅意味着人口和资源方面的压力，还将加剧气候紧急状况。

请注意：停滞不前本身就是灾难。

这不仅关乎餐厅劳动力短缺或电池价格昂贵的问题。这意味着现代生活的方方面面都存在崩溃的风险，从而带来一系列深远影响，并与众多本已棘手的问题相互交织。

我认为，人们往往低估了我们的生活方式在多大程度上依赖于持续的技术进步。历史的先例——几乎是每个过往文明的常态，都清晰地揭示了这一点。在最好的情况下，停滞不前预示着未来的衰败；但更可能的情况是，它将导致令人担忧的崩溃。有些人可能会说，停滞意味着第三种极端情况，使我们面对一个巨大的三难困境。在我看来，这个观点并不成立。首先，到目前为止，这种路径是最不可能的选择。其次，即使这种情况真的发生了，它也只是以另一种形式呈现了前面所提到的困境。暂停技术发展并非解决之道；其只会导向另一种形态的反乌托邦，另一种形式的灾难。

即使存在可能性，试图阻止即将到来的技术浪潮的想法也并不受欢迎。维持现有生活水平已然离不开技术，更不用说提高生活水平了。同时，防止社会崩溃也需要技术的支持。对技术说“不”的代价可能关乎人类的生死存亡。然而，无论我们以何种态度面对技术，其都伴随着重大风险和潜在负面效应。

这就是我们面临的巨大困境。

 

接下来，我们该怎么办？

从核时代和数字时代开始，这一困境逐渐凸显。1955 年，在生命的最后阶段，数学家约翰·冯·诺依曼撰写了一篇名为《我们能在技术中幸存吗？》的论文。他的观点与本书的主旨不谋而合，他认为全球社会“深陷迅速成熟的危机之中—这场危机的根源在于技术进步所必需的环境已经变得过于狭隘且缺乏有序组织”。在论文的结尾部分，冯·诺依曼将生存视为“一种可能性”，仿佛他正身处自己设计的计算机所造成的“蘑菇云” 阴霾之下。“技术性风险没有任何‘解药’，”他提到，“任何试图为当前爆炸式的进步寻找自动安全通道的尝试都将是徒劳的。” 

在技术构建方面，我并非唯一一个既想享受技术带来的诸多益处，又想消除相关风险的人。有些人会嘲笑这种野心，认为它是一种典型的硅谷式狂妄自大。但是我始终坚信技术仍是改善我们世界和生活的主要驱动力。尽管技术带来了诸多危害、缺陷和意外后果，但总体而言，它的贡献迄今为止仍是较大的。毕竟，即便是技术的最严厉批评者，也不会拒绝使用热水壶、服用阿司匹林、观看电视和乘坐地铁。对于每一支枪，技术提供了一剂救命的青霉素；对于每一条错误信息，技术也协助揭露真相。

然而，不知为何，自冯·诺依曼的时代以来，我和许多人开始对技术发展的长期轨迹感到忧虑。我担心的是，技术呈现出了一种其净收益可能会急剧转变为负值的可能性，而我们却无法阻止这种转变，我们陷入了一种无能为力的困境。

没有人能确切预知这一切将如何展开。由于该困境涉及的因素广泛，其具体结果的规模和性质都难以预测和估量。然而，我坚信，在未来几十年里，社会繁荣、监视与灾难威胁之间的权衡状态将变得更加尖锐。即使是健康状况最好的国家体系，也难以应对这样的困境。

这是人类作为“技术人”所面临的终极挑战。

如果这本书对技术的态度有些自相矛盾，显得部分积极，部分消极，那是因为这种看似矛盾的观点恰恰是对我们当前处境最为诚实的评估。我们的曾祖父母若是在世，定会对我们今日世界的富足感到惊叹，但他们也会对这个世界的脆弱性与危险性感到震惊。随着新技术浪潮的到来，我们正面临着一个真正的威胁，面临一系列潜在的灾难性后果——这样的风险甚至关乎人类的生死存亡。技术同时代表了人类最好和最坏的方面。任何片面的观点都不足以被称为对技术的客观审视。唯一合理的技术认识论便是同时认识到技术的正负两面。

在过去的10 年里，这一困境越发凸显，摆脱它的任务也变得更加紧迫。审视现实世界，技术遏制似乎难以实现。然而，考虑到那些可能的后果，另一件事情也同样显而易见：为了所有人的利益，我们必须让遏制成为可能。