AI会灭绝人类吗：全世界都在为AI狂欢，是什么让AI教父夜不能寐？

本文来自微信公众号： 自然系列 ，作者：Nature Portfolio，原文标题：《AI会灭绝人类吗——全世界都在为AI狂欢，是什么让AI教父夜不能寐？》

Yoshua Bengio讲述了他如何试图发现并解决AI构成的威胁。

Yoshua Bengio是加拿大蒙特利尔大学的计算机科学家。2019年，他因开创了如今让AI无所不在的“深度学习”技术而被授予A.M.图灵奖——该奖项被视为计算机科学的至高荣誉。不久前，他成为了达到谷歌学术（Google Scholar）百万引用量的第一人。

过去几年里，Bengio将研究焦点转向了探索AI可能带来的风险。他主持了一个该领域的国际顾问团队，团队成员包括30个国家的代表、欧盟、经合组织（OECD）以及美国。团队在1月发布了《国际人工智能安全报告》（International AI Safety Report）。报告提出了三个风险领域：技术失灵导致的非故意风险；恶意使用风险；系统性风险，如AI取代人类工作引发的民生问题。

《自然》在伦敦采访了Bengio，请他谈谈他协助发明的技术存在哪些潜力和风险。

在您撰写的众多论文中，有没有让您特别自豪的？

应该是我从90年代末开始参与撰写的一系列语言模型和注意力（attention）的论文，关于如何将注意力机制[1]引入神经网络，让它们更像“system 2”——也就是更有意识，而不仅仅是“直觉机器”。

这个注意力技术是否就是谷歌团队2017年论文[1]的核心？这篇论文提出的transformers也就是后来ChatGPT中的T？

是的，但我还想提一下关注度远不及此的另一篇论文，也就是关于“课程学习”（curriculum learning）[2]的研究，这需要按特定而不是随机顺序输入数据来训练机器。这已成为标准的行事方式。我的灵感来自观察动物如何学会学习。

直到几年前，您才发现不可控AI构成的存在主义威胁很值得担忧。是什么发生了改变？

ChatGPT在2022年11月问世后，我用了2-3个月才意识到，我们正走在一条可能极端危险的道路上。虽然我本来很高兴看到深度学习终于取得了这个里程碑，但我发现，由于这些系统的性质，我们不知道如何确保它们能以我们想要的方式行事。

我开始想到我的孙子，20年后他22岁了，他能有自己的生活吗？他能生活在民主世界吗？

未来，无论谁控制了先进AI，谁就掌握了极大的权力。他们或许会以有利于他们但不是我们所有人的方式使用这种权力。民主关乎共享权力。如果权力只集中在少部分人手里，这就不是民主，而是独裁。

AI的力量如果被错误的人掌控，还会带来其他存在主义威胁。有些人——无论因为意识形态还是精神疾病——会按下红色按钮，让AI做出导致数十亿人丧生的可怕的事，比如释放一种新型强大病毒，或是“镜像”能杀死地球上所有动物的细菌。

《人工智能安全报告》列出的三种风险中，哪一种最有可能在短期造成巨大影响？哪一种最令您担忧？

恶意使用已经出现了，但我认为我们看到的只是它的影子，比如最新AI网络能力能实现的AI深度伪造和网络攻击。我们必须有更好的“护栏”来减少这类风险。这些“护栏”必须兼顾技术性与政治性，也就是通过监管等措施确保公司“行得端，走得正”，以防止或减少这类风险。

当然，让我夜不能寐的，是人类灭绝的可能性。这也是为何我的研究现在转向了这个问题：我们如何构建出不会伤害人类的AI？我现在认为这是可以做到的。这在我看来已是很大的进步。我现在对此乐观多了。

您和团队提出了“Scientist AI”的概念，即从一开始就内置安全性。能和我们谈谈吗？

它的设计灵感来自人类科学家是如何理解世界，并为世界的因果机制和规律建模。

Scientist AI为非智能体。换句话说，它没有目标，也没有意图。所以我们可以相信它说的话。只要我们照着这条路走，我们就能构建出最值得信赖的系统。

公司都想创造智能体——即能在这个世界做事情的AI——科学家想创造能帮他们设计实验的AI，这也是你在世界上会做的事情。你不单是在被动地进行预测。好消息是，如果你有很好的预测指标，你能用它们建造护栏，像是预测某个实验或AI的行动是否会带来不好的后果，概率有多大。

《国际人工智能安全报告》的反响如何？它开始影响政府的AI政策了吗？

已经开始了。我很激动地看到它的影响很大。该报告基于科学文献严格提出了我们已经理解的风险。它还提出了目前的解决方式及其局限性。

为什么这很有用？许多国家都成立了AI安全研究所，共同形成了一个AI安全研究所网络，这些政府机构旨在理解、评估和下调AI风险。

这些机构极大获益于该报告中科学文献所带来的合力。报告还能让不了解AI安全的科学家一探究竟。它是对现有文献的一次详细概要，而且会定期更新。其表述语言也能方便普通公民理解。

长远来看，您认为AI会让全球经济增长加快，还是会让整个世界更加贫困？

从GDP来说，很有可能会增长，因为AI会全面增强生产力。问题是，这与个人幸福感有何关系？尤其是当所有财富都集中在少数人和几个国家的手里，留给其他人的世界可能就不那么美好了。

因此经济问题取决于你的衡量标准。如果看得是财富中位数，那和平均财富不是一回事。

真的，这取决于今后几年里的政治决策，这些决策决定了我们将如何管理AI赋予人类的权力，决定了我们如何确保全世界的人都能得益。

人们目前对于AI过于狂热了吗？

是的，未来的机器会比目前我们看到的更聪明，而对大多数人来说，预测这样一个未来是很难的。如果你问他们，“你五年前能预见今天的世界吗？”5年前，我们中大部分人会说，“天呐，这是科幻小说吧”。所以，如果你这样去预测未来，我认为我们是缺乏想象力的，而这非常人类。

您希望AI从未被发明吗？

这是个很难回答的问题。我希望我们之前能对可能的灾难有更多的先见之明，这样我们就能更谨慎地进入我们当前所在的世界。

原文以‘It keeps me awake at night’:machine-learning pioneer on AI’s threat to humanity标题发表在2025年11月12日《自然》的新闻Q&A版块上

©nature

Doi：10.1038/d41586-025-03686-1