对话图灵奖得主：AI不会制造阴谋，也不会更守道德

提问：

• “ChatGPT 真厉害，说得跟真人一样！”和“这大胖闺女真聪明，说得跟大人一样！”，有啥区别？

• 你和 AI 以后会是什么关系？a. 互为伙伴；b. 互为爱人；c. 互为奴隶；d. 互通

• 安全的 AI 和安全的烤面包机，有什么区别？

这些问题的答案唯一么？和个人经验有关么？你的答案又是什么呢？

我们和一位“老牌”图灵奖得主聊起了上面这些问题，被狠狠地上了一课——这个老头把我那些对于 AI 的恐慌全部打消了，但他也破灭了我关于 AI 的那些仰望和畅想。两个多小时聊下来，我对于 AI 的感情，就跟我家洗衣机电冰箱甚至马桶圈相差无几了。

祛魅，一种清爽的祛魅，大概就是这个感觉。

Joseph Sifakis丨作者供图

约瑟夫·希发基思（Joseph Sifakis），他早在2007年就成为图灵奖得主。在他最新出版的著作《理解和改变世界》中，他借由 AI 为讨论主题，描述了一套新颖的技术哲学体系——关于知识和信息、文明和智慧，在一套精妙的工程学思维之下。

长此以往，人类将丧失某些智力  

果壳：你为什么写一本这样的书？从对“知识”的分析开始，来阐释 AI 所带来的机遇和挑战。而今，大多数人则更关心 AI 如何站上“风口”，以及它的颠覆能力。

希发基斯：今天，人人谈论“智能”，声称机器已经到达了人类的智能水平，但这些人却无法精确地回答“什么是智能？”

我的确相信 AI 能用来解决一些问题，但离我们说的 AGI（通用人工智能）还远着呢——AGI目的是达成“人类智能”水平。

别怕！还远着呢！丨Giphy

“人类智能”的特点是其具备理解世界的能力。为此，人类“配备”了常识性知识（从出生起逐渐建立）——这是我们对于世界所建造的一个模型。“常识”为什么重要？我举个例子，自动驾驶将月亮认错为黄色交通灯，但人知道交通灯不可能挂在天上。

还有一点很重要，人能做从感官到思想，从思想到行动的推理。如果我给你看一个部分被雪覆盖的停车标志，你立马就知道是什么——因为你把这张图片和脑中早已对其建立的模型联系了起来。但想让神经网络识别停车标志，就需要有各种天气状况下、各种样子的停车牌供它训练。

“智能”是什么？如何实现它？作为一名计算机科学家，我想先从解释“知识”开始——知识，作为一种有用的信息，人们是用它来解决问题的。“人类智能”和“机器智能”都能开发和应用知识，区别在于刚刚所说，前者有理解世界并对内、外部刺激做出响应的能力——也叫“意识”。

所以我想试图解释这些基本概念，以及它们如何与“机器智能”产生关系。

嘿嘿～谢谢脑子～丨Giphy

果壳：你认为 AI 生成的“知识”，还能沿用我们历史上对于知识的定义吗？

希发基斯：做 AI 的人不会解释这一点。我们有不同类型的知识，依据它们的普遍性和有效性来划分。

比如，像刚说的常识性（经验）知识，因为它，人才能走路、说话。当我们做这些事时，大脑其实正在解决一个非常困难的问题，但我们却不知道其中的“工作原理”，这是经验知识泛化的结果。人不用推理，也知道父母比孩子年长。神经网络产生的知识也包含在这个类型之中，因为与人产生和应用这类知识时具有相同的性质——解决问题，不必知道为什么，还有能通过学习来产生这一类型知识。

知识金字塔：对知识类型的分类丨《理解和改变世界》

“科学和技术知识”是基于数学模型的，和“常识性知识”的区别在于，前者具备可解释性。我们为什么相信科学？当人类建桥造楼，因为了解其原理，从而确保它们不会轻易倒塌。

但我们对 ChatGPT 生产的知识半信半疑。毫无疑问，ChatGPT 能提供知识，它在一些回答上表现出色，比如你让它总结一段中国历史。但它会犯逻辑错误。我们认为它没那么可靠的原因是，没人构建来解释 ChatGPT（神经网络）行为的科学理论——但我们需要。

AI 被允许利用它的“可预测性”，解决一些我们不知道如何通过推理来解决的问题，即便我们也不清楚它是怎么做到的。但只要有一天它没有实现“可解释性”，我们都得对人工智能保持谨慎。

嗯……要保持谨慎……丨Giphy

果壳：AI 生成知识，有哪些优于人类的优势？我们应该如何利用它，帮我们解决无法通过推理来解决的问题？

希发基斯：人类思维系统中，有“意识”和“潜意识”。当人们推理、写代码时，靠的是意识思维；跳舞、打鼓时，在做潜意识行为。神经网络生成知识的方式，类似人类的潜意识。

大脑有意识能掌握的复杂关系是有限的，能关联的参数数量的上限大约是五个（一个关系与四个参数），无法同时建立起大量操作单位之间的关系。你看，人类通过建立科学来了解世界。科学理论是简单的理论。比如，很多经济学家遭人诟病，因为人们认为经济学理论无法建模人类行为，似乎在简化现实。

AI、超级计算机的出现，有可能构建我称之为“Neural Aura”——一种巨大的神经网络。它可以被用来预测复杂现象——有成千上万参数的那种，比如气象、经济、社会等。今天，我们研发用于预测地震的神经网络系统，通过不断学习，它们能够比科学理论更准确地预测地震。

AI 能帮助我们突破认知复杂度的限制，间接扩展人类智力。这就是我说的，你不需要理解，但也能通过预测获得——某种程度上，这也是有用的知识。

但是与此同时，一场计算机和人类之间的“分工之战”也拉开了——人不再掌握生产知识的特权，机器也可以了。

果壳：那么机器能生产知识到底是好是坏？

希发基斯：不能说是好是坏，我只能说“有用”，其中的不确定性在于是我们去怎么使用它。任何技术都是如此，就像核能。技术开启了可能性，应该由人类来定义它们的规则，以一种对人类利益好、对社会利益好的适当的方式。

认清形势、努力拼搏丨Giphy

果壳：像你刚刚说的，人类能理解世界是因为我们具备常识。ChatGPT 能读懂梗图，能说它有常识，能根据常识推理吗？

希发基斯：ChatGPT 为自然语言处理的难题带来一个答案，研究者们对其等待多年。传统方法是象征（主义）学派的方法，通过分离语义结构，把每一个单位，按照层级构建出概念之间关系的语义网络（模型），从而得到一段自然语言整体的意思——这种方法从未奏效。

ChatGPT 采用了不同的方法，它没有语义模型。大语言模型认为一个词的意思是由语境定义的。语境决定了这个词后面跟着哪些词。大语言模型用机器学习概率计算出下一个最有可能出现的词。ChatGPT 在没有明确（语义）模型的情况下捕捉到了一些语义——这是我还没想明白的事情，对我来说是一个惊喜。

它没有常识推理。理解世界的前提是有一个对于环境的抽象模型（不要跟神经网络模型混淆），模型之中分布符号知识，人类能把感官得到的具体知识，与符号知识对应上。拿自动驾驶举例，摄像头是来辨认分析障碍物的，想象一下如果在系统里，也有一个“知识库”，外面信息进来后，能找一个对应点，预测结果就会更好。

但是我们不知道如何去做。我认为这是对于 AI 最大的难题，联系具体知识和符号知识在一起。人在一些语义模型的控制下，推理是具备鲁棒性的。如果对 ChatGPT 进行鲁棒性测试，它并不能保证答案的一致性。

果壳：今天很多人在工作流中加入 ChatGPT 辅助，如果人们养成过于依赖用 AI 来生产知识了呢？怎么避免这种技术滥用？

希发基斯：ChatGPT 跟 Google 还不太一样，Google 只是给你信息，你得管理，用 ChatGPT 就简便多了。想象你有一个奴隶，你要求他做这做那，他按照你说的去做，实则你将越来越依赖他，成为“奴隶的奴隶”。

长此以往，人类将丧失某些方面的智力。尤其儿童更甚。我看到一些孩子不知道“乘法表”。这不是“硬背”的事儿，他们得知道数字之间的关系，那是我们用来推理世界的非常基本的关系。

17 世纪至 18 世纪的欧洲，科学理论为工业革命奠定了基础，生产力发展推动社会进步。人类是过去历史的“主角”。人类是以推理为基础认识世界的，这是人类文明的成就。随着人工智能的出现，许多人说，科技将成为世界的“主角”。知识由人工智能系统生产，系统由少数大型科技公司研发，你也不清楚知识怎么被生产出来的。人们对待知识的态度，再不像以前，反复讨论和验证科学理论的正确性。知识就像一个商品，拿来即用，别无选择。当人类别无选择的时候，就是机器在“发号施令”。面对机器的竞争，人类应该掌握知识的生产、发展。

AlphaGo之后，围棋就变成了另外一种东西丨Giphy

果壳：这让我联想到，在 AlphaGo 之后，现在很多孩子学围棋，是在“向 AI 学习定式”，判断标准也成了“谁和 AI 下得更像”，你怎么看待这种现象，未来会在哪些领域出现类似情况？

希发基斯：发现（discover）和发明（invent）之间有区别，我不知道在中文里是不是也如此。AI 发现，通过数据它总结发现“模式”；人发明，因为人有创造力。他们都有智能，但以各自方式实现。学生被 AI 训练下围棋，影响是什么？这样做多大程度上影响我们做事方式？我不好说。

人机共生 vs. AI 掌权，前者要难得多  

果壳：如你所说的话，那人类该以什么方式与机器合作？彼此之间的关系应该维持在什么样子？

希发基斯：意识主导潜意识。我也认为人类和机器的关系可以是这样的：人类来主导（机器）。

人类已经有很多“自动化系统”了。自动化系统就像“电梯系统”，你选一个楼层，电梯给你送到，一次操作解决一个目标——自动化系统一步一步执行人类编写的代码程序（如果说神经网络类比潜意识，这类系统就类似意识思维，具备可解释性）。

AI 补充了上述自动化系统，解决了一些它很难解决的问题。这是一个巨大的进步。业界训练了对话 AI、AI 来打游戏、识别分析图像——目前我们有了垂直领域的AI，解决特定问题。但“问答游戏”是简单的人和机器协作。我们想要协作更深入一些，一起执行任务。能协作多少，多深，就跟机器的自主性（autonomy）有关了。

理想状态，是我们所说的“共生自律”（Symbiotic Autonomy），一种机器与人类共生生态。但我们知道光是“人机共驾”就已经发生过很多事故了，所以让人类和机器协作，远不是那么容易的事情。

机器要是像狗狗一样就好了～丨Giphy

果壳：这种“协作”为什么那么难以达成？

希发基斯：我举个例子。如果自动驾驶通知人类驾驶员说，“我需要你的帮助”。自动驾驶需要以一种人类驾驶员能理解的方式，告知驾驶者哪儿出了问题。人类驾驶员理解了问题，也要有时间来反应。所以自动驾驶直接把驾驶权交出去是没用的，人类得反应，所以它得给一个人类能听懂的“诊断”。更好的情况是，有危险的时候，系统自己做些什么。

相反，人类驾驶员察觉不对，想接管驾驶权，但也许这时汽车或飞机处于人类无法控制的境地，人类接管反而会让其置于危险。

所谓的共生，就是人与机器一起持续地完成一些事情。相比来说，我反而认为机器“完全自主”是一个更简单的问题。

是啊，差在哪呢……丨Giphy

果壳：机器智能和人类智能差异在哪？

希发基斯：我们有用来解决特定问题的 AI。我们甚至惊讶，AI 比人类做得还好。因为论“精确地计算”，人类不可能做得比机器好，人类也不擅长于此。这跟“智能”概念相关——机器拥有“计算智能”，是指分析数据并从中学习。

人类更多依靠“象征性思维”进行推理。人类智能不是发展成用来解决特定问题的，而是协调地（综合技能、综合目标）解决一系列问题的。智慧（或元知识）是关于知识的知识。我不认为今天的机器有能力发展出元知识，组合一个个小的解决方案，形成大的。

这是一个非常大的区别。机器智能和人类智能之间有互补性。

人和机器都该是一种“自主系统”丨Giphy

果壳：你曾在公开场合表示，“自主系统”是接下来迈向 AGI 的重要一步。为什么“自主性”这么重要？

希发基斯：“人”就是一个反应系统、一个自主系统。人类能在给定的环境下发展出智能，我们生活在地球，所以发展出适应地球环境的智能；如果到了火星，就会发展出适应那里的智能。我研究自动驾驶汽车，10 年前我们认为，2020 年实现自动驾驶不过近在咫尺，但这没有发生。原因是自动驾驶系统没有“可靠地”理解周围发生了什么，可能未来很多年还不会有。

自主系统要求与环境持续互动，它必须同时管理多个目标。这很困难。一辆自动驾驶汽车，有短期目标“保持当前线路行驶”，还有中期、长期目标“开到北京”，在这些目标的“平行”追逐之中，当一个目标被更改，整体也要保持一致性，不对其他目标造成干扰。当构建一个系统时，能设置的目标是有限的，不像人类，人类可以自动创建新目标，想象将遇到的新状况，和对应的解决方案。

嗯……还差得远……丨Giphy

我认为迈向 AGI 的重要一步是自主系统。一个自主系统由子系统与代理（agent）组成。“智能代理”能自主理解、规划、执行任务，代替“人类代理”。这是物联网所设想的，举个例子，智能工厂（有许多智能机器人，或任何可以通过编程来协作的设备）、智慧电网等等。

但是“代理”会出现“自私”行为，这意味着你比起关心其他人的舒适性，更关心自己是否舒适。这就带出另一个概念，“集体智能”——所有代理都像社会中的人一样愿协作、懂协调。打个比方，每个人都是一个“自主系统”，受制于“尊重他人”的法律。但单单一个自主系统如此行为还不够，其他必须都如此行为，（社会）才能全局运行起来去完成目标。AI 自主系统还很遥远，因为“集体智能”概念没有被很好地理解。

事实上，AI 研发者应该更多地向人类学习。人类思维是基于价值观的，但这恰好是我们不太了解的：人们如何表现得合乎道德？人类如何遵循规则做出选择？法律是被强制执行的，但道德同样有效地约束着人们的行为。

果壳：跟端到端的AI解决方案，有什么不同？

希发基斯：也有一些公司通过所谓的端到端AI解决方案构建“自主系统”。典型的有NVIDIA，Waymo，他们利用端到端AI解决方案开发了自动驾驶平台。

我曾在飞机制造行业有多年工作经验，知道光有软件是不够的，你得把它们集成到飞机上，确保它们能够应对设备的所有故障。你必须解决系统工程问题。

这关乎于我们如何看待“智能”，如果智能被认为仅是一个“对话问答系统”，那我们已经做到了；如果愿景是 AGI，是实现代替人类执行不同任务的机器，那就不同了。我们想用代理，比如自动驾驶平台，代替人类开车，得把它集成入机电系统中。因为你看，人类智能也不仅是你的大脑——自主系统光AI组件好用是不够的，还是“双手”（去配合），是你所有的行为动作。

果壳：“图灵测试”还有实际意义吗？好像越来越多的大语言模型号称都能应付了。

希发基斯：我认为只是通过对话的测试并不好。现在有些系统声称和人类一样聪明，因为它们通过了“图灵测试”，这在“技术上”来讲是没有意义的。图灵测试中携带测评者的偏见和主观性。很多任务下，机器表现得比人类聪明，但是人类智能是不同的。

问题还是：你如何定义目标？如何定义智能？智能意味着什么？我在论文 Testing System Intelligence 中提出，“替代测试”——如果A能替代B执行一个任务，在该任务下，A和B一样聪明。

如果你接受这个定义，你就会发现有不同类型的智能，智能不是单一的。根据所定义的每一个任务，有对应的智能标准——智能的标准不是通用的。

AI 不会制造阴谋，也不会更守道德  

果壳：脑科学发展滞后于 AI 发展，这是一种错觉么？这种差距会成为一个拖累 AI 发展的问题么？

希发基斯：神经科学发展得没有 AI 快，这是事实。但我不认为，仅仅靠研究大脑，就能在理解人类智能上有进一步突破。我们应该把大脑中发生的和思维中发生的联系在一起。我做了大脑（brain）和思维（mind）的区分。大脑是“硬件”，思维是“软件”。哲学对此有很多讨论，法国哲学家迪卡尔讨论过著名的身心问题（mind-body problem）。举个例子，搞清楚笔记本电脑工作原理，不能只研究电路，也得研究软件，出问题了，也许是软件代码出错。今天大多数关于人类智力的重要研究都集中在大脑，当然会取得一些进展，在我看来，也会遇到瓶颈。

神经科学方面的进展可以助力 AI。人类意识是“人”这个自主系统中的一个元素，之前我们已经聊到意识起的作用。通过研究人类意识，能帮助建立自主系统，当然还有 AI。

果壳：还有什么会制约 AI 发展？

希发基斯：像我们刚说的，你不需要一个“孤零零”的大脑，你需要一个会执行任务的大脑，所以你需要解决关于系统工程的问题，以及“集体智慧”的问题。这些问题极富挑战性。我不知道能被如何解决。AI 未来很有希望，有很多开放的可能性。但无论任何一项技术，我们应该执行“如何使用它”的规则——充分利用技术的同时，保护对人类来说非常重要的东西。

规则是现成的丨Giphy

果壳：所以我们应该先为 AI 设定其适用的新规则？

希发基斯：我们不需要新的规则。我的意思是，我们对于任何“人造物”都设有规则：一台烤面包机能售卖，前提是经过安全认证的；建楼得符合施工标准，有（第三方）机构检查规则实施情况……但在不同场合下使用，风险程度是不同的。比如让 ChatGPT 帮坐在办公室的你写个文档，还是成为工厂流程里的一环。

根据“人造物”要去执行的任务的关键程度，你得需要不同的保证（Guarantee），在保证之下，它才具备“可靠性”——这就是规则。

在欧洲，有一项法律，我们称之为“预防原则”：当（一项技术使得）人类生命受到威胁，或环境遭受威胁时，毫无疑问，不要做！即便有经济利益可图——我们比美国“保守”很多。

今天的 AI 没有规则。不仅是 AI，数字系统都如此，你买了台笔记本电脑，受到网络攻击，然后呢？所以现在的问题是，如果不知道如何将系统构建得安全，在没有规则的情况下，能允许它的使用吗？在美国有一个趋势，允许自我认证——没有标准，谁生产，谁负责，比如特斯拉。

我们冒着风险使用没有标准的 AI。因为应用标准会引起巨大的讨论声音。有些人说，我们不需要标准，因为标准会阻碍创新。

也有人说，我们应该停止这，停止那。我自己也签署了一些请愿书。（一封发布于 2023 年 3 月，内容是呼吁暂停AI 大模型研发至少六个月，等待有效监管跟进；另一封发布于 6 月，内容是呼吁降低 AI 灭绝人类的风险，其风险性应该与大流行病、核战争一样被对待。两份呼吁信，希发基斯都是签署人之一。）

我们能否接受，用不审查、不受控的方式使用 AI，仅仅是为了追求效率？代价是人让渡了关键决策的控制权，这可能意味着，只有大型科技公司才知道如何使用“系统”，因为“系统”大多由他们而生。

强力监管？还是放任自由？丨Giphy

果壳：你觉得我们现实对 AI 的风险监管，会是一种对于“阿西莫夫机器人三定律”的模仿吗？

希发基斯：阿西莫夫说，机器人必须遵守三条定律，不得伤害人类；服从人类（不与 1 冲突）；保护自己（不与 1 或 2冲突）。阿西莫夫故事里机器人是邪恶的，（而在现实中）这种风险是没有理性依据的。

一些人说 ChatGPT 可以制作假视频，或指导人们如何制造炸弹，而这些的前提是，人训练了 ChatGPT。设定规则，不是因为机器会制造阴谋支配我们。我认为机器人根本没有（伤害人类）意图。反过来，我也不认为 AI 更能遵守道德规则。现在有人说，需要 AI 与人类价值观利益对齐（Alignment），我觉得是谬论的。因为遵守道德规则的前提是，有理解能力，能做出选择。AI 没有理解能力，我们在上面讨论过。

风险来自于人类本就没把系统设计好，使得对 AI 的使用增加了风险。AI（技术本身）不是对人类的威胁，而是各国政府、国际组织没有承担起规范 AI 使用的责任。如果政府决定对其无作为，那就是社会的责任，比如别太过依赖机器。

技术发展太快，社会没时间做出反应。大型科技公司推免费应用，只为了获得大量用户，他们制定了“规则”，游刃有余，没有阻力。我认为社会应该停下来思考一下。无论如何都不是不负责任应对的借口——他们早已应该做大量事情，保护数字系统中的用户。

简介：Joseph Sifakis（约瑟夫·希发基思）是中美法三国院士。他于 1946 出生于希腊，与 Edmund Clarke 和 E. Allen Emerson 一起荣获 2007 年图灵奖，因其“将模型检查（Model-Checking）理论发展为被硬件、软件业中所广泛采纳的高校验证技术”所做的贡献。模型检测技术被应用于计算机硬件、软件、通信协议、安全认证协议等领域，成为分析、验证并发系统性质的最重要的技术。

本文来自微信公众号：果壳 （ID：Guokr42），作者：沈知涵