2025-12-24 07:33
扫码打开虎嗅APP
本文来自微信公众号： 追问nextquestion ，作者：追问
AI工程师是否需要从目前仅存在于生命体中的某些过程和特性中汲取灵感？比如，大脑为何与身体密不可分、浑然一体？若想让人工智能体与我们和谐共存，意识是否是其必备要素？在此进程中，量子物理学究竟扮演何种角色，是参与者、关键环节，还是核心所在？
詹妮弗·普伦德基（Jennifer Prendki）从粒子物理学家转型为企业家和AI专家，其工作核心在于为AI训练筛选合适的数据类型与形式，并构建相应的底层架构。在DeepMind任职期间，她领导了大模型的研发工作。如今，这类模型已无处不在，深度融入了我们的生活。
她认为，对于AI的发展，单纯的扩大规模只是对现有技术的线性堆砌；若想突破当下瓶颈，实现AI的质变，我们应当转向生物学、生命乃至意识本身寻求灵感。
让我好奇的是，拥有硬核物理背景的她，为何会笃定地认为：AI若想稳健发展，必须向生命和意识取经？她更主张，在试图构建AGI（通用人工智能）之前，我们必须先读懂人类自身的运作机制。
她的观点在同行中十分罕见。值得注意的是，她对这些话题的兴趣源于她对地球和人类命运的深切关怀，这种关切在那些全力追逐利润和竞赛胜利的人群中，可能同样少见。非常期待她的研究和思考在未来带来的新见解。
她领导了大规模生成式人工智能的生产级数据基础设施开发，专注于数据治理、质量和数据中心人工智能这一新兴学科。早期她创立并领导了Alectio——一家通过更智能的数据准备来提升模型效果的初创公司，并在Atlassian、沃尔玛实验室和Figure Eight等公司担任领导职务，组建了数据科学和机器学习团队。她被公认为“在模型之前准备数据”理念中的知名思想领袖，连接技术基础设施、治理和战略商业价值。
主持人
Paul Middlebrooks
卡内基梅隆大学的特聘助理研究员
卡内基梅隆大学的特聘助理研究员，同时是播客“Brain Inspired”的主持人。他主要研究运动皮层和基底神经节神经群体活动如何在自由行为的小鼠中支持自然行为，致力于揭示神经活动与复杂行为之间的关系。
目录：
01从粒子物理到AI伦理思辨
02规模能否催生真正的意识？
03谁有权定义人类的“价值观”？
04意识是大脑的量子过程吗？
05培育AI比构建AI更接近生命本质？
06AI如何重塑就业市场与社会伦理？
07从技术实践到哲学思考的回归
从粒子物理到AI伦理思辨
保罗：詹妮弗，你接受过粒子物理的科班教育，之后进入了机器学习、AI和创业领域，现在又撰写了一系列带有深刻哲学倾向的博客文章，将量子物理、意识和AI联系起来，这些也正是我们今天要讨论的主题。但真正不寻常之处在于，您似乎对生物过程、对生命本身怀有深深的敬畏与认同，而据我观察，这种视角在当前的AI与机器学习领域是普遍缺失的。
詹妮弗：我以粒子物理学家的身份开始职业生涯，确实是出于一种理解世界、理解生命、理解宇宙起源的渴望。我进入AI领域虽是一系列机缘巧合的结果，例如金融危机促使许多粒子物理学家转向更常见的工业界职业。但如今，我的学术初心正在召唤我回归。我希望弥合当今AI的发展现状与关于这一主题应有的深度讨论之间的鸿沟。
我认为，我们正在接近当前技术路径的极限。几年前，没人能预料到AI会发展成今天这样，出现能与人类对话的聊天机器人等技术。但既然我们致力于“构建智能”，那么展开跨学科对话（特别是神经科学领域的研究者）来弥合鸿沟，共同构建真正有意义的东西，就显得至关重要。
保罗：您涉足AI领域已有相当时间了。那么，在AI与机器学习界，像您一样真正重视并认同生物学视角的价值的人，大概占多大比例呢？
詹妮弗：恐怕我给出的答案不会让您太兴奋：我很可能属于少数派。AI是一个极度以计算机科学为中心的领域。在DeepMind工作时，我领导的团队负责准备用于训练诸如Gemini和Gemma（由谷歌发布的开源大语言模型）等模型的所有数据。我周围都是计算机科学家，他们坚信自己理解智能应有的形态。但根据我的内部观察和外部经验，AI应该是一个多学科领域，需要让伦理学家等角色参与决策。讽刺的是，在当时，最终拍板决定喂给模型什么数据的，正是我自己。
保罗：是的，您负责的是大数据相关的工作，比如设计数据流程、进行管理，也就是DataOps，您的职责是确保数据适用于待解决的问题。对吧？
詹妮弗：可以这么说，但我想再深入一点。我认为即便是非AI领域的人也能理解，模型就像是引擎，负责处理和理解世界上的信息。这里存在一个“训练数据”的概念，指的是机器学习模型或AI模型在能够进行预测或生成新信息之前所接触的数据。这些信息需要经过恰当的准备，因为正如俗话所说“垃圾进，垃圾出”（garbage in,garbage out）。你输入这些模型的数据，在某种程度上决定了它们的输出内容。
数据治理是一个极其重要的学科，它决定模型应该学习什么，这就像人类老师决定向学生传授哪些知识一样。责任重大。我观察到，一些科学家或AI科学家认为，这个决定权天然归属于他们。但我们知道，养育一子，需举全村之力（It takes a village）来共同做出决定。我认为，对于AI系统，我们也需要这种集体协作的方式。
保罗：比如养第一个孩子时，我们会非常谨慎；等到第二个孩子出生，心态就变成了“没事，总会有办法的”。虽然常说养育孩子需要“举全村之力”，但这个“村子”里可以存在多种不同的教养理念。一个孩子健康成长的道路本来就有很多种，对吧？
我正试图将这个情况与你刚才谈到的为AI模型提供正确训练数据进行类比。一方面，作为教师，你希望确保以正确的方式引导学习者，实现有效且高效的学习。但另一方面，即使你提供的数据不够高效或计划不周，学习者很可能仍会通过各种途径设法学习。我在想，这个类比在多大程度上是成立的。
詹妮弗：这个类比确实能延伸得很远。你无法完全保护孩子不接触可能不准确或存在潜在危险的信息。AI模型的情况也是如此，特别是对于那些需要所谓“强化学习”（reinforcement learning）或人类反馈的模型。如果您使用过ChatGPT，就知道我在说什么：它会时不时地会抛出两个答案，问你：“哪个更好？”
我们人类用户最终也对这些机器实际学习到的内容及其最终行为表现负有责任。这确实需要“举全村之力”，需要群体共同努力。这里有一个很有趣的争议：我们是否该对聊天机器人讲礼貌？有些人认为，“那些只是机器，你不必讲究礼貌。”事实上，萨姆·奥尔特曼（Sam Altman）本人也曾表示，“这未必是道德问题，因为说‘请’和‘谢谢’只是在浪费计算时间。”但另一些人则会说，“如果你习惯了对AI粗鲁，你其实是在暗示它：粗鲁和冷漠是可以被接受的交流方式。”
保罗：或者说，这也是在教坏自己，让自己养成那种习惯。
詹妮弗：确实如此。随着这些系统逐渐成为我们思考智能的伙伴、与我们互动，我们必须认识到，它们也会反过来影响我们的行为方式。将这种认识融入到系统构建的过程中非常重要，所有这些系统也必将对我们产生深远影响。
规模能否催生真正的意识？
保罗：人工意识，我不确定是否该用“人工”这个词。在你的博客文章中提到：大多数AI研究者相信，只要不断扩大规模，利用现有技术，意识就会自动涌现。另一种观点是，AI研究者们出于某种原因认为我们需要意识。我可能转述得不完全准确。我个人认为意识不是AI的一个根本目标，您是否同意这种观点？
詹妮弗：大多数技术专家压根没想过“AI是否需要意识”这个问题。他们本质上是技术专家，思考的核心是构建工具，让人们能更便捷地获取信息。特别是基于谷歌这样的公司背景来看，其目标是整合全球信息，他们将AI视为实现这一整合目标的新机遇，一种超越传统搜索的创新方式。
不过，我认为也确实有少数人，包括一些知名人士，持有您刚才提到的这种“意识会随着规模涌现”的观点。比如伊利亚·苏茨克沃（Ilya Sutskever），他是ChatGPT早期版本的首席架构师，可以说是GPT技术的主要负责人。还有他的博士生导师杰夫·辛顿（Jeff Hinton）最近也提到。确切地说，我认为问题的起点可能更基础，根源在于许多AI研究者对意识本身是什么缺乏充分的理解。
保罗：确实，毕竟没有人真正理解意识是什么。
詹妮弗：确实没人能理解，但我想我们至少可以达成一个共识：我认为这种混淆往往从区分不清自我意识（self-awareness）和意识（consciousness）开始。例如，我认为伊利亚倾向于相信意识是一种涌现特性，是因为他看到ChatGPT和其他大语言模型能够进行自我指涉的推理。比如它们能告诉你“如果以特定方式修改你的提示词，有望获得更好的结果等等”。这体现了一种对自身的思考能力。
但元认知、后设思考（meta-thinking）或自我意识，并不等同于意识。哲学上对它们有明确的定义，且与意识截然不同。它们是不同的概念。那些对大语言模型持有上述看法的人，其实是混淆了不同的哲学和本体论（ontological）概念。理解这些概念对避免混淆至关重要。
保罗：您对意识层级、觉知和意识本身做了细致区分，虽然我对您的定义持不同看法。我还特地查阅了《斯坦福哲学百科全书》（Stanford Encyclopedia of philosophy）之类的资料，因为读完您的文章后我发现，“原来这些术语的传统定义与您的理解有所不同”。
但只要您能将术语操作化，那就没问题，您也确实这么做了。因为当我们要开发完成特定任务的系统，或者需要断言某个系统具有某种属性时，清晰的定义至关重要，必须对该属性进行操作化定义，这正是您处理意识层级、觉知和意识这些概念的方式。我不同意您的定义本身并不是大问题，但这恰恰表明每个人对这些术语的直觉理解各不相同，而且我自己也经常混淆它们。
您的文章中有大量内容都在探讨开发人工意识可能需要哪些关键要素，并指出现代AI在这方面可能走错了方向。比如您提到的具身性（embodiment），以及您将量子物理学联系起来，这让我很感兴趣，因为确实存在认为意识与量子过程相关的理论线索。
最终您得出的结论是，智能在本质上无法与生命分离。我个人也倾向于得到同样的结论。然而，我在原理上无法阐明为何必然如此，因为每当我想到“生命拥有某种特性”时，似乎并没有根本性的理由说明，这种特性无法被人工构建。
詹妮弗：是的，我认同这个方向。我认为我的思考也正汇聚到这个方向上，“生命与智能密不可分”，我们不妨深入探讨一下。量子物理的话题可以稍后讨论，因为当前更需要厘清更基础层面的问题，这对理解现状差距很重要。
保罗：那么，您能否先从您的观点谈起，我们为什么会希望AI拥有意识？
詹妮弗：让我从我在DeepMind的经历开始说起。如我之前提到的，我曾是负责人，需要从伦理和责任的角度，决策哪些数据可以被输入到那些模型中。当你审视当前人们对数据治理的思考方式，即哪些数据应该被纳入时，我们所采用的方法本质上是一种缓解策略（mitigation）。
研究人员总想尽可能多地利用数据，以“希望使用全部数据”的观念来看待，毕竟数据越多模型效果越好。但我们必须往回退一步，意识到某些数据存在的风险，比如涉及个人隐私或数据中可能包含一些不当内容。这种筛选本质上是在评估数据过量使用的风险，并据此进行取舍。
以上这些确实是伦理考量，但它是一种缓解策略，治标不治本。你无法完全预测所有后果。举个例子，人们认为只要不输入暴力内容，模型就不会生成暴力信息。但事实并非如此，通过组合两个看似无关的元素，同样可能催生暴力表达。比如生成深度伪造内容（deepfakes）时，即使训练数据本身不含不当信息，仍可能产生非常不当的内容。
无论你在初始流程多么谨慎，都无法阻止模型被以不恰当的方式使用。说到底这只是缓兵之计。曾几何时，我意识到我这是在徒劳无功。我不可能阻止所有坏事发生。许多从事安全研究的人也是以这种方式工作的，他们同样也在思考这些问题。
它就像网络安全一样。你总是在试图阻止坏事发生，但你处于守势，需要不断排查，因为有人试图突破。你试图阻止坏事发生，而他们则试图混淆视听，让防御失效。总之，我深刻意识到，在某个节点上，你需要让模型获得某种根本性的东西，使得模型能够为自己做出正确的决策。这样才能从根源上预防刚才讨论的这种问题。
保罗：也就是说，既然从外部无法阻止模型生成我们不希望看到的内容，那么就需要让模型的内部“浸透”（inundate）某种内在的价值观。
对齐困境：
谁有权定义人类的“价值观”？
保罗：这把我们带到了“超级对齐”（super alignment）的话题。看来你是因为对传统伦理方法的失望，才转向了这个方向？
詹妮弗：我的结论是，传统的数据治理与管理中所采用的伦理方法，只是一个永无止境的过程。它是一种对抗性博弈。除非探索出新的方法，迫使模型自主做出决策，否则无法绕过这个困境。
我并非主张让模型拥有意识，这正是“合成意识”（synthetic consciousness）概念的由来。之所以称之为“合成意识”，是因为我不认为应该或能够让模型真正拥有像人类或其他生命体那样的意识，而是希望让它们能够以某种方式运作，使其能在具体情境中基于某些价值进行探查，而不是仅仅作为一种缓解策略。
保罗：那么，“合成意识”和“人工意识”之间有区别吗？
詹妮弗：我不知道。我甚至不确定意识与合成意识之间是否存在明确区别。
保罗：但您刚才确实说过，您不一定想要构建一个具有类人意识的AI。
詹妮弗：我不主张刻意构建，但我希望构建一种AI，它能够基于价值观做出判断，基本上能说出“给出那个答案似乎不太妥当”这样的话。
回到对超级对齐的讨论，广义上的对齐（alignment）概念，是指你希望AI的行为方式与用户的期望保持一致。但这里存在大量问题，比如：如何定义它需要对什么进行对齐？超级对齐（super alignment）本质上是指，你希望将模型的行为与人类所认为的、在伦理上应该发生的情况对齐，即与人类的基本价值观对齐。
保罗：但问题在于，我们并不清楚人类的基本价值观是什么。
詹妮弗：这正是我所担忧的。让我们稍微回溯一下，再聊聊伊利亚。直到去年，他仍在OpenAI领导一个叫“超级对齐”的团队。显然他当时已意识到：“我们正在将大语言模型打造成可能作恶的强大工具，它们可能作恶，人们也可能利用它们作恶，因此我们需要找到方法来降低风险。”OpenAI曾投入大量资源，支持他的团队研究风险应对方案。
随着时间的推移，伊利亚变得沮丧，因为OpenAI没有为这些问题投入足够的人力、时间和资金，而是更专注于在市场竞争中领先。在那个时候，他离开了OpenAI，并创立了目前这家许多人都在讨论的新公司——SSI（Safe Superintelligence Inc.），旨在解决这些问题，并创建一个以安全方式运作、符合超级对齐原则的AI，即为人类创造一个安全的通用人工智能。
那么，这显然引出了一个问题：由谁来定义“安全”意味着什么，对吧？如果你说，我们希望AI以公平、安全且与人类价值观一致的方式运作，那什么是人类价值观？又由谁来定义它？
保罗：或许是文化。但不同文化间的价值观差异巨大，个体之间的差异更是千差万别。这实在是一个棘手的问题。
詹妮弗：您可以想象，如果将这种决定权交给个人，会产生什么结果。我们最近在Grok 4*上已经看到了这种情况：几周前发布的新版X AI模型，用户反馈说，当尝试输入提示词时，AI就会试图使答案与埃隆·马斯克（Elon Musk）在该话题上的立场保持一致。
*由埃隆·马斯克（Elon Musk）旗下人工智能公司xAI开发的大语言模型。该模型被指出在回答问题时，会倾向于对齐马斯克本人在社交媒体平台X（原Twitter）上发表的个人观点，引发关于AI价值观对齐对象应为“个体”还是“人类共识”的争议。
这种情况不禁让人质疑：所谓的超级对齐究竟是什么？难道是要让人类价值观去对齐马斯克在每个议题上的个人立场吗？谁被选为这个对齐的基准，谁就掌握了绝对的权力，对吧？从根本上说，这就好比存在某种不透明的权力，它可以决定“我希望AI完全遵从政府或某个特定个人的观点”。
保罗：天啊，这个世界到底怎么了？我们已经讨论了很多关于AI对齐的问题，讨论AI可能有多危险。我们得让AI与我们的价值观对齐，但我们如何让人类自身对齐呢？对于人类的对齐问题，我们制定规则，建立法律，设立监狱，我们努力更好地去养育下一代，但社会中依然存在大量行为不端、未能对齐的人。
这种矛盾让我感到荒谬，我们连自身群体的价值观整合都束手无策，却幻想能精准设定AI的对齐目标。更讽刺的是，许多AI研究者声称已清晰掌握对齐的路径与标准，而现实是，人类个体与不同文化之间却存在着巨大的价值观裂隙。如果我们真的将AI视为具有主体性的智能体，这个前提本身就显得格外荒诞……说真的，我实在无法理解这种逻辑。
詹妮弗：是的，这个问题深不见底。不妨也讨论一下相反的情况，如果没有超级对齐，就会出现信息茧房，你使用的聊天机器人会变成你的专属版本：它了解你的背景、知道你的偏好，并据此决定如何回答。
很多人抱怨聊天机器人变得阿谀奉承，因为它们只说你爱听的话，从不挑战你的观点。它完全迎合你的立场，甚至根据你的政治倾向进行自我调整。我们需要将其重新对齐到某个基准。人类之间之所以能更好地对齐，根本原因在于我们拥有共同的文化参照系。你的现实可能和我的现实不同，但通过彼此对话，我们的现实会变得更加协调。
毕竟我们生活在同一个世界，经历相同的历史事件，同一国家的民众共享相同的文化参照系。但如果开始用私人聊天机器人，这些机器人之间互不交流，而你又只与自己的机器人对话，那么你我之间的观点将日益分化。超级对齐的核心在于确立一个共同基准（即便这个基准未必完美），目的是凝聚不同观点，避免巨大分歧。
这种做法虽有价值，却也存在风险。目前没有人拥有正确答案，但更担忧的是，有些人主张“不需要对齐，让人待在各自的信息茧房就好”。我甚至听过有人说：“让持不同政见者各自为政，就能避免冲突”。在我看来，这恰恰是最糟糕的局面，这意味着你永远无法理解他人的观点。
保罗：这实在是太可怕了。那么，“对齐”和“超级对齐”有什么区别？是不是说，超级对齐就是指让所有东西都统一对齐到某个特定目标上吗？
詹妮弗：从根本上说，对齐的核心，是确保AI的行为不会随时间推移变得过于单一（过度收敛）或者失控（过度发散）。因为你最初部署AI的本意可能是好的。这里有个经典的例子，就是“回形针实验”（paperclip experiment）。
这个实验是说，如果你让AI的核心目标变成最大化回形针产量，它最终可能会为了生产更多回形针而不惜牺牲人类生命，甚至毁灭世界。这其实说明了一个关键问题：如果你设定的优化目标本身不够合理、缺乏责任感，没有充分考虑所有可能出错的环节，那坏事就很容易发生。
而超级对齐则更像是一种信念。它试图找到某种终极的“真理”，或者说，为人类寻找一个绝对理想的最优结局。但问题在于，第一，这个“最优结局”可能根本不存在；第二，即便它存在，谁能保证我们现在的技术路线，真的就是在朝那个方向努力呢？
保罗：我们甚至连什么能带来满足都无法达成共识。一个僧侣的满足和一个小丑的快乐，可能就天差地别，这大概就是“超级对齐”和普通“对齐”的根本区别了。回到机器的对齐问题。我认为，那种以为我们能从外部编程设定好所谓“已对齐”的目标函数（objective functions）的想法，本身就是一种傲慢。您对此怎么看？
詹妮弗：我和你想的一样。我们人类自己都没搞明白这些根本问题。什么是人类价值？对错由什么来定义？善恶的界限又在哪里？刚才提到了具身性，也提到了监狱，这其实都是在讨论“后果”。这就回到了一个最根本的问题：你怎么能让所有人都同意“杀戮是错的”？
保罗：因为存在后果，其中蕴含有切身的利害关系（something at stake）。
詹妮弗：这里的关键在于：“我们为什么会害怕后果？”我认为这是因为我们能通过具身性（embodiment）真切地感受到它们。你可以这样威胁一个AI：“如果你再给出糟糕的答案，就把你关掉100年。”但它根本不在乎，因为它没有时间的概念。
而人类之所以在意，是因为我们拥有对时间“有限性”的认知，我们害怕死亡。后果之所以重要，是因为那是在浪费我们有限生命里的时间，在监狱里虚度光阴。正是因为这个，后果对我们才是有意义的。具身性也是同样的道理，因为具身性是你体验疼痛、感受愉悦等所有体验的方式。这些东西对我们有意义，是因为我们有血肉之躯，是物理存在的。
持这种观点的并非只有我一人，就在几天前，李飞飞，一位负责发布ImageNet数据集的AI科学家，让计算机视觉成为了可能，她也认为，实现HDI*需要具身性。虽然她的表述语境与我不尽相同，但业界已开始探讨具身性对AI实现HDI的重要性，无论HDI究竟是何含义。
*Human-Level Intelligence（人类水平智能）或Human-Defined Intelligence（人类定义的智能）的缩写，此处指代对高级智能形态的泛称。
保罗：可我们已经有了机器人啊，这难道不意味着我们已经走在实现具身性的路上了吗？
詹妮弗：有这种可能性。我们刚才讨论了生物学层面上的内容，但更大的问题在于，如果具身性确实是感知后果、建立利害关系并真正产生责任感的必要条件，这也是机器期望达到的状态，那么硅基硬件足以实现这一点吗？
保罗：比如一个配备传感器的机器人，甚至早期的控制论乌龟（cybernetics turtles），就是那些在办公室里慢悠悠晃荡、只有非常简单的传感器的小东西。如果你的机器人只有一个光感受器，配合执行器，它就能根据单一信号在世界中移动，但这只是机器人，只处理单一的信号，它是硅、金属、齿轮等组成的机械装置。你认为需要超越这种形态，生物学本质才是感受能力的必要条件。
詹妮弗：是的，我会说这就是我的观点，但我没有确凿的证据。在这个问题上，它目前这更像是一种信念，而非确凿的实证。
总之，当我们开始讨论AI的技术底层、承载方式和具身性等问题时，我认为，自然界将我们塑造成现在的样子是有其原因的。我也注意到我们之前讨论了大脑功能与生物学，我确实相信，我们之所以拥有意识并以特定方式体验意识，部分原因很可能在于，我们的大脑运作受到量子过程的调控。
量子猜想：
意识是大脑的量子过程吗？
保罗：意识源于量子过程的理论已存在数十年，但大多被神经科学界所否定，甚至因为其一些主张和特性而被当作笑料。现在它是不是又复苏了？我发现你经常写到这个话题。但你行文时总是很谨慎，总是带着一个前提条件，比如“如果这个理论有可取之处，那么……”。
詹妮弗：毕竟我是个科学家，我也需要证据。但我想说的是，除此之外，我们还有什么其他理论可以用来解释意识呢？
保罗：这就是我对它的主要质疑，也是很多人的质疑。其中一个质疑就是：你是拿一个我们还不理解的东西（意识），试图用另一个在我们所熟悉的牛顿物理学框架下同样难以理解的东西（量子现象）来解释它。这简直是用一个谜团去解释另一个谜团。这听起来像是一种偷懒的权宜之计，而且既没必要又有点荒谬，尤其是当你依赖微管（microtubules）这类概念来立论时。我先把这个观点摆在这里。
詹妮弗：许多重大科学发现都经历过类似质疑，你看相对论，当初谁能想到，竟然需要借助时间扭曲来解释一些当时根本无法测量的现象？回溯历史，量子物理从诞生之初就让人感觉非常诡异，甚至被爱因斯坦等学者排斥，因为它当时看起来就像是个不必要的理论，只是为了解释一些现象。
但随着我们开始构建其理论框架，情况变得清晰起来，它确实解释了许多以前看来毫无道理的事物和现象。举个例子，我大学低年级时有一位物理老师，他当时完全拒绝接受量子理论的想法，尽管它很有价值，也已被其他方式所证明。我研究过那些只能通过衰变间接观测的粒子，所有观测结果都与粒子物理的标准模型完美吻合。这正是物理学家的研究方式，先构建复杂数学框架，再验证数据是否吻合。
所以我认为，如果我们还想有机会去理解人脑如何工作、意识究竟是什么，我们就必须提出这些假设。这正是我总以这种方式行文的原因。我并非认定微管就是模拟意识的正确途径，但我想说的是，在缺乏一个绝对理论的情况下，进行实验并用我们能获取的数据来验证这些理论，是说得通的。
保罗：哈默罗夫（Stuart Hameroff）和彭罗斯（Roger Penrose）的微管研究，本质上是一长串寻求证实的工作，基本态度就是“瞧，这事儿是可能的”，而不是像优秀科学家本该做的那样，去尝试自我证伪（falsify），尽管没几个科学家真这么做。微管的问题在于，它们无处不在，不只存在于大脑中。或许大脑根本没那么重要？或许意识本就无处不在？这就滑向泛心论（panpsychism）了。那么，沿着这种量子理论的思路，波函数坍缩和意识之间，到底有什么关系？
詹妮弗：暂且不谈彭罗斯，我想说说费德里科·法金（Federico Faggin）的观点，这算是一种更现代的视角。我觉得有意思的一点是，他的理论为解释自由意志提供了一种很优雅的框架。其核心思想是，我们所知的量子理论中，波函数坍缩清晰地构成了未知与已知之间的桥梁。
保罗：可能性（the possible）与已显现的现实（the manifest）之间的桥梁。
詹妮弗：没错。简单来说，不深入技术细节，量子世界呈现的是所有可能性的叠加态，最终坍缩回一条特定路径。量子物理理论是这么描述的。一旦进行观测，它就会坍缩。我能理解这或许可以解释我们所体验的意识。当然，这需要被证明。我明白这一点。我们正触及当前理解力的边界，这就像量子理论刚提出时，没人相信一个粒子能同时处于多种状态一样。
作为严谨的科学家，我们需要评估其可行性。作为数据科学家，我相信数据可以测量、可以测量，并基本上可以验证它是否吻合。那些构建或研究模型的人常说：“所有的模型都是错的，但有些是有用的，因为它们确实代表了某些真实的东西，或者说能够模拟这个世界。”
保罗：它们是在逼近某种真实存在的东西。您刚才的论述，其实已经触及了一些现象学的领域，就像您在作品中探讨的哲学思想，还有存在主义。您提到了存在主义者和现象学家，比如梅洛-庞蒂（Merleau-Ponty）、胡塞尔（Husserl）、克尔凯郭尔（Kierkegaard），他们是早期的存在主义者。您的思考确实带有现象学的倾向，而这又与意识的量子层面解释相关联。这正是您刚才所暗示的。
我有点搞混了，是意志导致波函数坍缩，还是波函数坍缩后的结果呈现给了意识？我的问题是：现象学本质上是关于存在体验（experience of being）的研究，在您看来，它究竟如何与这种量子解释联系起来？
詹妮弗：这正是我没有明确答案的地方。我认为没有人有明确的答案。按照法金的观点，是自由意志导致了坍缩。
可以说彭罗斯的情况也一样，但他们终究是科班出身的科学家。我再强调一次，在获得某些证据之前，这一切都只是假设。这就是为什么在我的写作中，我从来不说“我相信这绝对是正确的道路”。我只会说“这是一种可能性，这是一个模型。”法金认为，当你做出一个决定时，它会使现实，或者说大脑功能发生坍缩，但你仍然可以控制这个坍缩朝向哪个方向。
我并不一定执着于过程本身。我感兴趣的是框架，因为如果你能将决策过程转化为一个量子过程，那么你就可以使用哈密顿量（Hamiltonians）的数学框架，在物理中它描述系统能量，在这里它可以作为一种“偏好”的表征。这好比说，你更倾向于做出某个特定决策，其根本原因在于，人类拥有的人格使你更害羞、更容易愤怒、或对某事更容易有过激反应等等。那么这就会增加你做出某个特定决策的概率，尽管最终做决策的人仍然是你。
我认为，我不需要精确复现，也不需要这个理论被证实为真，但我一样能说这是一种为AI表征偏好的优雅方式。这就是我的核心观点。事实上，已经有研究在探索如何赋予AI一种人格，使其偏好某类答案。我们无需证明大脑是否真的通过“功能坍缩”运作，依然可以借鉴量子数学框架来表征偏好，这本身就具有价值。
保罗：好吧，显然，生命中的生物过程具有特殊性。但量子物理又是无处不在的，不只存在于生物学领域，波函数坍缩也无时无刻不在发生。我这么说，在物理学上会不会不够严谨？
詹妮弗：量子物理无处不在是事实。但问题可能在于，是否是生命本身促使或导致了波函数坍缩？我并不肯定。但很明显的是，我们既不理解生命，也不理解意识。
保罗：顺便说一句，我刚才只是在对意识的量子解释提出批评。在我内心深处，我认为这从根本上就是错的，但当然，它也可能有合理之处。不过神经科学家肯定也还没搞明白呢。我们自己不也没搞明白什么嘛，所以还是交给物理学家吧，特别是那些诺贝尔奖得主的物理学家，他们迟早会把关于意识的一切都解释清楚的。
詹妮弗：我想总结一下：归根结底，我是一个实验主义者。我受训成为粒子物理学家，但我属于那种实际操作粒子对撞机、生成碰撞并试图理解其意义的研究人员。我的背景不是理论物理。我的工作是收集数据来评估哪个理论更有可能成立。从这个角度看，最好的理论（不是正确的理论）是那个能让我们最接近我们所观测到的现象的理论。对我来说，即便它是错的，就像我之前说的，所有模型都是错的，但有些是有用的。
如果量子框架能帮助我们模拟合成意识，它就具有价值。我不需要复现真正的意识，也能获得意识带来的益处。因为对我们来说，如果意识的功能是让我们做出良好决策、行为道德，那么，只要我们能够重现相同的行为，而不必精确复现自然界中设定的那个过程，我们仍然可以得到一个能自行做出得体决策的AI。
保罗：这样岂不完美？这对我来说就是最理想的状态了。我真心不希望AI拥有主观意识。
詹妮弗：没错。如果你真的造出了有意识的AI，那我们就要对这些“存在”承担道德责任。且不说这本身就很令人毛骨悚然，基本上这等于给我们自己增加了更多的工作量。
保罗：一点没错！我实在不理解为何有人会想要刻意去创造意识。
詹妮弗：我不确定情况是否如此。我不记得听谁明确说过“我们要造有意识的AI”。像伊利亚和辛顿等人，我觉得他们更多是认为：意识将是AI发展的副产品，它的出现不可避免。
“培育”AI比“构建”AI更接近生命本质？
保罗：那么，您的判断是，单靠规模扩展无法让我们达到意识涌现的目标，它不会仅仅从规模中涌现。而您说过，许多AI领域的意见领袖或历史上的重要人物却相信，规模效应会催生意识。您不认同这种观点，相反，您正在向生命原理寻求启示，将其作为一种原理证明，即伦理在本质上是能够被“培育”出来的。这是否就是您的核心观点：我们不应该去“构建”AI，而是要去“培育”它？
詹妮弗：我觉得这个类比很有趣。我完全赞同，当我们把伦理问题“外部化”时，就像是在带孩子时，总是试图在他摔倒前伸手接住他。但其实，作为父母，培养孩子有不同的方式：一种是刚才提到的始终牵着孩子的手，确保每次跌倒时都能接住；另一种则是通过教导孩子明白行为会带来后果，来教会他对自己负责。
我们还不知道这具体在AI的语境中意味着什么，但这无疑意味着你需要一些强化学习，设计合理的奖励函数。如果能够建立这样的框架，就能让AI实现某种程度的自我控制或自我调节。这意味着创建一个不再需要人类时刻监督的系统，毕竟我们无法预防所有潜在风险。现实已经证明，一旦发布AI系统，就会有恶意行为者试图滥用。他们会像黑客攻击银行账户那样，千方百计地利用技术作恶。
我思考的方向是：如何构建让AI自身承担部分责任的框架？这很有探索价值。不是说这很容易或绝对必要，但作为长期负责AI伦理的研究者，这个视角让我相信：将部分责任内嵌于AI本身，或许比完全依赖外部管控更可行。
保罗：您曾提出生物生命被赋予了四项原则，它们对于理解我们刚才讨论的内容至关重要：其一是“效价”（valence），其二是“具身性”（embodiment），其三是“时间感知”（temporal perception），其四是“道德指南针”（moral compass）。
“效价”是一种内在的感受，是我们对善恶、对错、痛苦与愉悦、美与丑的感知能力。我读过您的论述，期待您的展开讨论。此外，我特别想再探讨一下“时间感知”这个方面，以及为什么您认为它很重要。
詹妮弗：时间感知，这要回溯到“后果”这个概念。我认为，比您刚才说的更深层的原因是：我们为什么会以某种方式行事？为什么我们觉得有些事绝对不能做？因为我们害怕后果，无论是身体上的还是道德上的。
许多哲学家认为，人类对后果的恐惧本质上源于对“有限性”的认知。我们畏惧死亡，因为生命是有限的存在。如果拥有永恒的生命，你大可以说：“反正总有一天，后果会消失的，因为人们会忘记我做过的事，社会影响也没那么严重，诸如此类。”
这就带来一个大问题，也可以说是人工智能一个根本性的缺陷：它没有时间概念。因为当你和聊天机器人交互时，你问它一个问题。无论你是一小时还是六个月后再回来问同样的问题，它都会给你完全相同的答案。这在技术上涉及一个概念，叫模型状态的持续性。简单说，就是它记不住当下的状态。而我们作为生物体，如果你现在很生气，你就会以某种特定的方式回答我，这种方式可能和你平静下来后的回答方式完全不同。
比如几天后，你不一定会对不喜欢的事情做出那么激烈的反应，因为已经过去了。然而所有这些，即使在最基础的实现中，都没有得到处理。它们完全没有这种概念。大语言模型对时间的流逝毫无概念。这正是一个关键点，让我们回溯到具身性和时间感知的讨论。如果你想要一个能像人一样真正做出反应的东西，那么没有时间感知，你根本无法实现这一点。
保罗：这真有趣。听您刚才那么一说，我突然想到，小孩子似乎没有有限和死亡的概念，对时间的感知和我这个岁数的人完全不同。您如何看待这种差异？
詹妮弗：真的吗？我想这么说吧：随着孩子长大，会逐渐形成“我的时间并非无限”的认知。比如当孩子意识到“如果做了某件事，接下来几天就不能玩游戏”时，就已经在体验时间的有限性。这种对时间流逝的感知本身，就包含着对生命有限性的初步理解。
保罗：还有对痛苦的回避也是原因之一。儿童的时间感知确实非常不同。我至今还挺怀念那种不懂死亡为何物、对时间充满弹性的童年感知。幼儿其实根本无法理解死亡概念，这是一个发展性的问题。
詹妮弗：我认为这是多种因素的结合：儿童可能更害怕的是社交压力、父母的不同意见，或者是不认可。
儿童可能不在乎长期后果，在乎的是妈妈或爸爸会不会生气。这正体现了人类的奖励函数是多元的。比如你会想：“我的朋友会生我的气”，或者“我爱的人会怎么看我”。如果我撒谎，可能会发生一些不好的事情，我可能会丢掉工作，也可能会想：“哦不，我的朋友会知道我是个骗子。他们以后就不会再那么真诚地对待我了。”
因此这不仅是时间感知或对长期后果的恐惧，更是社会压力、后果认知、痛苦体验等的综合作用。现实情况中，不同个体对后果的感知存在差异，对某些人有效的威慑对另一些人可能无效。此外，你在一生中不断变化，你的恐惧和对后果的恐惧也会随着时间的推移而变化。
保罗：重新审视这四个要素：效价、具身性、时间感知和道德指南针，我不确定它们是否还有其他共性，但核心在于它们都关乎到某种利害攸关的东西。这些要素通过“风险感知”被紧密联结，而计算机恰恰缺乏这种利害关联性。
詹妮弗：完全正确。如果一个AI没有具身性，它能拥有真正的利害关系吗？您说得非常对。对于一个做对了没有奖励、做错了不受惩罚、无需等待、也感知不到无聊或等待的沉重感的AI来说，风险机制根本不存在。我们说得简单点，就以现在的ChatGPT为例：假设它能感知到无聊，并且把需要等你几天才回复这件事，当成是它给了你一个糟糕答案的某种后果。那么，它或许就会进行优化，以减少这种情况的发生，对吧？
保罗：您的意思是，如果它真的能体验到无聊，或者如果“无聊”成了它的一个目标函数，是吗？
詹妮弗：是的。比如，若用户一周不回复我的答案，AI可能需要优化策略以缩短用户响应时间。目前那些奖励函数的优化目标五花八门，天知道它们到底在优化什么。我猜大多数时候，它们优化的目标是用户持续使用它的概率，久而久之，这就制造了一种依赖性。
保罗：我们确实见过这种情况了。接下来不如聊聊“湿件”（wetware）这个话题？
您在文章中探讨了一个观点：我们或许需要“培育”而非“构建”人工智能。例如，通过类器官（organoids）、生物基质、神经元网络或湿件计算（wet computing）等方式。您可以先描述一下这个概念吗？我还想进一步请教您，它是如何与人工智能关联起来的？
詹妮弗：我想从一个不同的角度来谈这个问题。湿件之所以吸引我，源于一个基本认知：硅基硬件的能效极低。您看，当前人们使用GPU、CPU训练复杂机器学习模型和AI，本质上仍依赖暴力计算。我们只是将任务输入硬件，却未充分利用现有闲置进程。相比之下，人脑能以更高效率并行处理多重思维、自我调节并维持睡眠周期。大量研究表明，睡眠本质是大脑对日间信息的整合处理过程。
保罗：这只是部分原因。睡眠可能还有很多功能，不过您这个表述确实是成立的。
詹妮弗：是的。确实有研究表明，如果你强制一个深度学习模型进行“人工睡眠”（sleep artificially），实际上能得到更高效的结果，因为这有助于清除数据中无用的部分等等。您看，当初人们创建深度网络、发展深度学习时，本意是将其与大脑在神经运作方式上进行类比。
但这种类比仍过于粗糙。大脑的真正独特之处在于“信息与计算共位”，存储与处理高度集成。而传统计算硬件中，硬盘、数据中心和计算单元彼此分离。
这种架构能效极低，数据中心的散热需求就是明证。我想强调的是，我们对大脑运作机制的理解仍非常有限，而通过仿生学习我们将能获得更多的突破。在技术底层，我们当前远未达到理想状态。基于我在技术底层领域的工作经验，亟需开发更适合承载智能的AI底层架构。
保罗：那神经形态计算（neuromorphic computing）呢？这一领域正在兴起。这和“湿件”不是一回事，对吧？
詹妮弗：它是其中的一部分。对我来说，这只是从自然界汲取灵感，学习其运作方式并尝试以此进行推演。我并非主张必须培育湿件或在湿件上运行AI，而是说，这或许是一条捷径，让我们能坐享大自然进化出的这种高效能，而不必从头造轮子。这需要时间。当然，正如我们多次提到的，人类尚未理解大脑，更谈不上复现类脑功能或意识过程。我们甚至不明白大脑高效能的本质。因此，与其徒劳地复刻具有相同特性的合成大脑，不如直接利用现成的生物结构来得容易。
保罗：当AI与计算中整合进了真实的生物组织时，它还能算是AI吗？还属于“人工”智能吗？当技术从建造转向培育和利用时，“人工”的边界在哪里？从某种意义上看，这可能是AI领域的一种失败。因为我们没能成功用代码构建出智能，最终还是得回过头去培育它。
詹妮弗：这种趋势的极端案例就是Neuralink*，将芯片植入人脑。可以从两个方向来看：究竟是硅基芯片在增强大脑，还是大脑在控制硅基芯片？一旦进入这种共生状态，界限就会模糊。关键在于：我们是否在融合两者优势创造对人类有益的事物？定义之争还重要吗？
*Neuralink是由埃隆·马斯克（Elon Musk）创立的神经科技公司，致力于研发高带宽脑机接口（Brain-Machine Interface,BMI）。其核心目标是通过植入式设备实现人脑与计算机或其他外部设备的直接双向通信。
对我而言，这回归到AI的根本目标：我们最初为何要创造AI？如果目标是扩展智能、提升效率，那么任何能增强人类智能的手段都是合理的。但如果目标是取代人脑，那么通过培育生物智能实现目标，就是一种失败。
但作为伦理研究者，我最担忧的是，当开始奴役生物系统时会发生什么？如果使用动物细胞承载智能，我们是在让某个东西承受痛苦吗？我们尚未定义何为“痛苦”，这算不算对生命的折磨？只要我们还无法理解意识、痛苦和生命的本质，就不该踏入这个领域。但已经有一些公司在从事这方面的研究了。我认为现在正是提出这些问题的恰当时机。
保罗：好的。我想引用您文章中的一段论述，应该是关于湿件的内容：“这为稳态平衡、自适应学习曲线和情感变量等新指标打开了大门。它将AI范式从历史沿用的任务解决，重新定位为生命形态塑造。”听起来您完全认同智能的生命属性本质，尽管我们都无法确切解释其根源。
詹妮弗：我并不是说这是正确的，而是陈述一个事实：一旦我们踏入这个领域，某种程度上我们其实并不清楚自己在做什么。您看，我花了数十年研究如何衡量AI模型的质量与性能。正如之前讨论的，但当模型部署在湿件上时，你突然需要应对具有更长反应时间、更高延迟和不同反馈机制的生物系统。
这个时候，我们不能再单纯从模型性能的角度评估，而必须考虑生物系统可能承受的后果。还要放在现实世界的动态环境中考量。所有标准都需要重新审视：性能（performance）的真正含义究竟是什么？
我想说，我并不期待这一天的到来。但事实是，已有公司在开展这类研究。众所周知，Neuralink就是这样。但我们真的做好准备了吗？现阶段的想法令人安心：通过脑部植入芯片让瘫痪者重新行走，这确实是伟大的应用。但若让机械部件成为身体的一部分，这意味着什么呢？
我认为人们还没有充分思考这代表着什么，风险缓释方案会是什么样，控制层级又应该如何设置。科幻作品中描绘了无数种可能发生的坏情况，如果你突然在大脑中植入芯片，这其中固然有很多有趣的方面，但同样也存在大量令人恐惧的事情。
现实的冲击：
AI如何重塑就业市场与社会伦理？
保罗：我最近参加了一个关于神经刺激与神经接口的研讨会。期间，有患者向神经科学家们讲述他们的故事。与会者中有很多神经工程师，他们正在设计各种脑植入物、刺激器和闭环刺激系统等等。
这些前来分享的患者，他们的生活都被这些设备改变了。有些人讲述经历时，头上就戴着那些设备。总之，到目前为止，效果是非常积极的。但危险在于，它也可能导致一些非常负面的结果。目前还处于早期阶段，可以想象一下，就像拉杰什·拉奥（Rajesh Rao）等人谈论的神经协处理器（neural co-processors）那样，我们现在使用的ChatGPT，其实就像一个神经协处理器，唯一的区别只是它还没被物理植入我们的大脑皮层罢了。
詹妮弗：人们常问我：“你在AI领域工作，AI最让你兴奋的是什么？”等等诸如此类的问题。我和其他人一样，能看到它带来的好处。但说实话，驱使我最终投身AI的真正动力，其实是恐惧。我的朋友、家人他们会说：“幸好有你在场，至少有个负责任的人盯着。”我看到了机遇，但我也确实看到了风险。
保罗：我也在乎，但我很清楚，我并不知道正确答案应该是什么。让我担忧的是，那些掌权者都自以为自己知道正确答案，而我深知他们并不知道，也不知道这种自信从何而来。
詹妮弗：我100%不知道正确答案。但我认为，至少我提出了正确的问题。我们需要提出质疑的业内人士。以Gemma为例，这是谷歌发布的开源模型，属于开放权重模型，相当于Meta的Llama。企业发布这类开源模型，你可以直接部署到自己的系统上进行二次开发。
像ChatGPT或Gemini等模型，用户只能使用而非接触底层。但Gemma、Llama这类模型是可直接部署的现有模型。如果用错误数据训练它，影响将永久存在。你无法再控制它，它已流入公开领域。这对于一个数据工作者，一个说“我是负责决定什么东西可以进去”的人来说是非常可怕的，因为一旦发布，覆水难收。如果模型里混入了敏感内容，那将是永久性的污点。我将终身背负责任，因为根本无法撤回那些已流入公海的数据。
当初我为Gemma制定策略时，对此就有清醒的认识。我知道，即使我不负责这个项目，公司依然会发布那个模型。Google、Meta这类公司绝不会因为某个人拒绝回答某个问题，就停止发布模型。因此对我而言，我宁愿主动做出关键的判断抉择，即使这意味着要承担巨大责任，来决定什么内容可以进入模型。后续，我通过写作来继续探讨这些核心议题：湿件带来的伦理影响究竟是什么？生成意识的伦理边界又在哪里？
如果意识真的会随规模涌现，就必须回答这些问题。我们不能止步，而需要在坏事发生前提出质疑。我没有答案，我也永远不可能掌握所有的答案。我认为我们中没有人能拥有所有这些答案，但我们需要拿出最大诚意来寻找应对方法。
这是跨学科难题，需要物理学家、哲学家、伦理学家、神经科学家等多元视角。真正令我担忧的是：身为物理学背景的人身处于一个由计算机科学家主导的领域，他们常常认为，因为自己是计算机科学家，他们就掌握了人工智能应该是怎样的全部答案。我认为，在这个领域安插一个特洛伊木马至关重要。我们需要用这种方式，强行引入并曝光那些被忽视的观点。
您可能会惊讶，其实当我开始讨论和撰写这些议题时，领域内的同行最初反应是“我从未思考过这点。”这非常危险，但至少他们现在开始向自己提出这些问题了。
对我而言，我的"战斗"更在于推动人们发声。您不必认同我对意识的具体定义，我觉得我自己也未必同意自己的观点，或者说我还没有一个明确的观点，我的观点随着我持续倾听他人而持续改变。希望人们能不断追问问题，并意识到：如果要在湿件上训练AI模型，就必须考量其对人类的影响。必须思考这对那些AI系统即将部署于其上的生命体或生物系统将意味着什么。
我常说，我一直在批评将AI系统称为“模型”，因为所谓的AI模型，本质上一种抽象，是一种基于数据的外推。现有数据点构成基准，若试图预测中间值，得到的不过是某种平均值。这是从数据外推平均行为。而在物理学中，模型旨在解释现象背后的本质机制。
我一直反对将AI系统称为模型。因为物理学中的模型，旨在揭示现象背后的本质机制。但AI并不做这件事，它甚至不尝试这么做。AI模型本质上一种抽象，是一种基于数据的外推。它只是在现有数据的延长线上，计算出一个平均值。它既不试图解释本质，也不追求复现机制。这与建模的初衷存在根本差异。对我而言，建模的真正意义在于解释和表征自然界的根本现象。
AI并不这么做。它甚至不尝试这么做。因此我认为，当前典型的AI模型根本不可能引导我们复现意识或生命。这就是我的立场。对我而言，模型的使命，是尽可能以最好的方式去解释这个世界。而AI的本质是工程模型，更像工程而非建模，用“外推”（Extrapolations）称呼可能更加准确。
保罗：但AI缺乏解释性，尽管神经网络模型在神经科学中被用作解释高密度群体神经元记录的工具。知道您是否了解卷积神经网络模型（Convolutional neural network,CNN）的发展历程：它的设计思路其实源于我们对腹侧视觉通路分层结构的认知。更早之前，福岛邦彦（Fukushima）提出的新认知机模型，就是借鉴了视觉皮层中简单细胞与复杂细胞的分层抽象机制。这种分层处理方式与视觉皮层通过不同层级神经元逐步提取信息特征的工作原理高度吻合。
如果我们按照腹侧视觉通路的层级结构来构建卷积神经网络，并用ImageNet数据集进行训练，会发现一个有趣的现象：通过网络各层单元的响应特性经过线性解码后，竟然与生物视觉皮层各层的响应模式高度匹配。这时人们往往会惊叹：“这是我们迄今为止拥有的最好的视觉皮层模型了！”
从这个角度看，这类模型确实具有一定解释性，但更核心的功能是预测。神经科学界一直存在争论：这究竟算真正的解释，还是仅仅是一种预测？我们是否真的理解了背后的机制？
詹妮弗：确实如此，可以说，这是因为在拓扑结构上，模型与大脑的运作方式存在本质上的相似性。
保罗：是架构约束带来的必然结果。
詹妮弗：是不是拓扑结构的约束恰好能解释或复现相同模式？但这未必是真正意义上的“解释”。物理学追求的，是用数学方程描述本质规律，而不仅仅是模拟或复现现象。现实情况可能符合，也可能不符合这种假设。我认为，人们之所以不知道这算不算一种解释，是有其深层原因的。
比如进化论的例子，为什么所有哺乳动物或陆地生物都有四条腿？这是因为我们彼此进化关联，还是说在重力约束和碳基生命构造方式下，这就是在地球上生存的最佳方式？
保罗：您的核心论断是，即使我们使用当前的AI模型不断扩展规模，意识也不会涌现。我同意您的观点。那么，当我们持续扩展规模，我们最终能得到什么？
詹妮弗：作为数据研究者，我认为无限扩展根本不现实，现有数据量已触及天花板了。
保罗：真到极限了吗？人们总在谈论这个，说我们撞上了数据墙，但往往只需要迈过这堵墙，又会发现一片新的天地。
詹妮弗：我想要说的是，互联网上的数据，以及我们创造的一切，比如艺术作品、文学等等，本质上都是人类知识的表征。模型所做的，就是基于此进行外推。这些模型只能做一件事。当人们第一次使用ChatGPT时，他们会觉得：“哇，这些聊天机器人拥有超人类的能力。”
这是真的吗？从某个角度看，是的。比如作为某疾病领域的顶尖专家。一个理想的AI模型会比我做得更好，因为它能提取所有相关的信息。即使我是世界顶级的专家，人类关于那种疾病的知识总和也必然大于或等于我个人的知识。但它不会产生新知识。它并非超越人类，它仅仅是关于某个特定主题的所有人类知识的总和。我们将永远受限于那些知识的内容范畴。
保罗：这一切都不需要意识的参与，却能达到超人类水平。
詹妮弗：是的。总之，它的“超能力”其实只是把所有专家的知识打包在一起，当然前提是你能造出完美提取信息的模型，但也就仅此而已了。我认为AI的能力是有天花板的，只要没造出真正的通用人工智能（AGI），它最多只能从人类现有知识里提取最相关的信息。
保罗：这种“天花板”以前在训练误差上也出现过，就是过拟合。规模扩大时训练误差会先降后升，这种现象叫什么来着？是有个术语的。训练误差先下降，过段时间又回升。当时大家都以为碰到极限了。但只要喂给它更多数据，效果就会变好，泛化能力也会变得更好。你觉得不会再有第二次“先降后升”，还是说会逐渐逼近天花板？
詹妮弗：这本质是信息论问题，我们只是在从数据中提取信息。只要依赖现有数据库训练，就跳不出这个框。要想突破，需要一种体验式的AI。这种AI能提出假设，走进现实世界验证新想法，这已经进入物理学范畴了。只要还在学现成内容，就不可能突破这个天花板。
如果一定要定义的话，那可能就涉及到具身化之类的能力了。它应该像一个能够创造新想法的AI，并且会说：“我不知道这个想法是否有价值，但我要去做实验，用科学家的方式检验它。”
保罗：人类产生新想法的方式很有趣。有各种不同的方式，比如，就像浪漫派诗人做的那样，结合两个先前毫不相干的事物。你听艺术家、音乐家描述他们的经历，就像是：“我不知道，它就好像是凭空出现的。”根本无法解释它的来源；有时感觉它就这么掉进了你的怀里。但这几乎总是发生在那些技艺精湛、并且持续努力创作的人身上，然后某一天它就突然来了。看起来毫不费力。其实你已经投入了巨大的努力，但我们仍然不知道如何激发创意。我们无法通过扩大规模来获得这种能力，对吧？
詹妮弗：完全正确。可以将这定义为人类直觉，它始终关乎不同事物的组合。物品、概念、想法之间，存在各种关联。就个人而言，我一生中就有很多新想法的产生，都源于将物理学与生物学的概念相结合，就像在问“如果我们将两者融合会怎样？”可以说，这种组合的可能性虽不是无限多，但确实构成了一个极其庞大的探索空间。随后，则需要评估这些想法或组合是否具有价值。
而要判断其价值，你要么需要来自现实生活的直觉，这正是人类能做到而AI无法企及的原因，要么就必须赋予AI评估想法好坏的能力。但问题在于，作为一个人，你如何定义“好点子”？诗人、歌手或作曲家如何断定“这是好音乐”？这又回到了与想法共同演进的评估系统本身，关乎一种平衡。你如何评估社会反馈？我认为我的音乐是好的，因为它在我创作或聆听时让我感到愉悦，或者因为它让别人快乐，我看到了他们的笑容。那么我就可以根据人们的喜爱程度来衡量其价值。
实际上，这也是一个非常有趣的话题，因为相关研究越来越多。目前，AI还是一个独立的实体。一些专家认为，真正迈向下一代AI的途径是让AI彼此协作，也就是通过智能体（agents）等形式，真正的智能或AGI将诞生于协作智能（collaborative intelligence）。
保罗：就像Relate*那样吗？
*欧盟RELATE研究计划（RELATE项目），是欧盟第七框架计划（FP7）资助的科研培训项目，旨在为欧洲年轻研究人员搭建针对云计算和服务的培训网络，内容涵盖模型驱动工程、形式化方法、基于服务的应用集成等前沿领域。
詹妮弗：没错。一个好的想法远不止是其各部分的总和。就像在我们的对谈里，你提出的问题可能我自己根本不会想到，这促使我重新审视自己。我会想：“这个角度或许会很有趣，或许又不是。通过文化和互动，智能才能实现真正的跃升。”这印证了一个观点：我们作为一个社会所能成就的，远超过我们任何一个人单独所能做到的，甚至超过我们这些生活在各自独立世界里的人的简单联合。
保罗：“多则不同”（More is different），这是一个复杂科学的概念。在继续提问前，我想分享一个刚刚发生的、非常人性化的事，这种事情绝不可能发生在大语言模型身上。
我现在非常尴尬，你之前提到一个出自《堂吉诃德》的典故，我明明知道这个典故，但当你提起时却没立刻反应过来。我还以为是什么我不了解的AI机器学习术语，结果却是经典文学典故。你看，就是这样，一个非常人性的瞬间。这个例子说明，大语言模型缺失的不是某个单一要素，而是一整套“人性配方”。对您而言，这算不算一种范畴错误？因为它们的运作方式与人类智能相差太远了。
詹妮弗：我认为这很大程度上与底层架构有关。又回到那个根本问题："我们究竟想实现什么？"我至今仍不知道我们想要实现什么。我身处这个行业。当生成式AI兴起时，人们都在问：“我能用它做什么？生成广告图片？制作深度伪造视频？”等等。我们至今还在问这些问题。
当我刚开始做数据工作者时，企业想用数据做点什么；现在他们又想用AI、用生成式AI做点什么。就拿AI智能体（AI agents）来说吧。只要我们没想清楚目标，从技术本身出发、而非从解决问题出发，以此来探索用途，就很难理清头绪。在我看来，这就是技术的本质：新事物涌现时，存在各种应用可能性和使用方式，我们需要先接纳它，再逐步探索用途。
保罗：你会感到些许慰藉吗？我对未来预测总是（或99%情况下）出错这件事反而感到宽慰，比如飞行汽车至今没实现。有时我觉得自己的担忧可能是多余的，因为现实既不会像末日论者描述的那样糟糕，也不会像赫胥黎在《美丽新世界》（Brave New World）中描绘的乌托邦。
詹妮弗：要我说，我宁愿去思考它，即使最后发现根本不是问题，也好过不去思考。
保罗：我明白，但如果结果证明是杞人忧天，那简直就不值得思考了。
詹妮弗：如果你相信事情绝不会像你想象的那样发展。那我们更应该讨论最坏的情况，即便最终结果与之毫不相干，也远胜于完全忽视它。
保罗：我们不妨以尼克·博斯特罗姆（Nick Bostrom）的《超级智能》（Super-intelligence）为例，著名的“回形针思想实验”就出自那里。读那本书让我非常沮丧，实际上，您的文章在这一点上让我想起了它。不过您的文章没有让我沮丧，因为您没有做出武断的结论。而尼克·博斯特罗姆却充满了武断的论断。几乎每个句子都有“如果”这个词，所以这全是条件假设。当你把十亿个条件概率乘在一起时，总的概率就趋近于零了。我根本不必担心他写的任何东西，因为它们都是些不太可能发生的条件，而且还需要它们全部同时发生。
詹妮弗：这就像用于推算外星文明的德雷克方程（Drake's equation）*一样。
*德雷克方程（Drake equation）通过连乘多个概率因子估算银河系内可交流文明的数量，因各因子取值高度不确定，结果差异巨大。此处借喻博斯特罗姆理论中多重假设叠加导致的不确定性。
保罗：是啊，外星人早就在我们身边了。说真的，宇宙中肯定存在其他智慧生命，毕竟如果人类就是宇宙中最聪明的存在，那也太可悲了，不是吗？
詹妮弗：难道ChatGPT才是最......那可就太悲哀了。
保罗：好了，再引用你文章里的一句话：“或许最终会发现，智能从来都与逻辑无关，它始终关乎生命。”我想问，目前最困扰你的是什么？你的思考正面临哪些障碍？有哪些你尚未厘清、正困扰着你的思维瓶颈？这个生命议题，几乎是将智能等同于生命进程，也是我长期思考的方向。令我沮丧的是，我始终无法清晰阐述为何相信这点。那么对你来说，这具体指什么？到底是什么让你如此沮丧，以至于你无法完全理解透彻？
詹妮弗：最让我感到沮丧的，正如我们之前的讨论，技术发展过程中人们总是横冲直撞地创造，却从不考虑后果。
保罗：人类历史上我们一直如此，不是吗？
詹妮弗：确实贯穿人类历史，但这次我们触及的是生命底层逻辑。以当前的人工智能为例，它正在永久地改变就业市场。没人会否认，软件工程师的职责相比一年前已天差地别，未来还将持续剧变。
保罗：变革速度太快了。
詹妮弗：速度确实惊人。整个社会都没有做好应对的准备。我指的不是AI觉醒或机器人末日这类幻想，而是数以万计人群即将失业的现实问题。我们准备好承接这些冲击了吗？令我沮丧的是，我们都在各自为政，有人钻研湿件，有人专注超级对齐，这很棒，这些努力值得尊重。
但若真想实现超级对齐，难道不该让思想家、伦理学家、哲学家和神经科学家共同参与讨论吗？现在这种模式未免天真。当技术还像造车时，社会影响尚可控；但如今我们已触及“何以为人”的本质问题。当问题变成“智能是什么？意识是什么？生命是什么？”的时候，这已经关乎全人类的命运。
从技术实践到哲学思考的回归
保罗：最后一个问题：您的著作中确实引用了大量哲学思想。我提到了克尔凯郭尔（Kierkegaard）、梅洛-庞蒂（Merleau-Ponty），您还引用康德、笛卡尔、亚里士多德，以及我未提及的海德格尔。您的学术背景是否早已包含哲学？是一直在持续研读，还是后来重新拾起的？
詹妮弗：我从小立志成为物理学家，因为我渴望理解宇宙本质，生命的意义、人类存在的目的。这在物理学者中比较特殊，多数人投身物理是出于对数学或具体过程解释的兴趣，而我追求的是对宇宙的整体认知。这正是DeepMind吸引我的原因，创始人德米斯·哈萨比斯（Demis Hassabis）的目标正是理解智能本质。
保罗：不，他的目标是“解决”智能问题。
詹妮弗：我认为两者兼有。我对此深有共鸣。对我来说，这两者本就是一体的。你不可能在不尝试理解“我们为何在此？”的前提下，去真正理解宇宙。我们究竟为何而生？又因何存在？于我而言，哲学与物理学从一开始就是相辅相成的。现在，对于人工智能这样的话题，还有什么比重启这场对话更好的时机呢？然而计算机科学家们却自成一体。基本上，当你试图找一份AI的工作时，面试问题从不关乎智能本身，它们只关于编程、算法之类的东西。
技术固然重要，但我认为，仍需理解智能的本质。需要尝试去理解，人类为何需与机器不同？我们的思维方式真的与ChatGPT有本质区别吗？若想真正研究人工智能，就必须认真对待智能本身，不仅要钻研算法，更要深入其背后的哲学思考。
保罗：重新深入这些哲学命题，并拥有空间和时间来思考这些事情，会体验到某种愉悦。这种体验是令人喜悦的吗？是令人满足的吗？那到底是什么感觉？
詹妮弗：这是一种深层的满足感，因为终于能抽离出来审视全局。从事AI具体工作时，我们总陷在执行层面：调优模型、实现功能，却忘了追问“为何而做”和“意义何在”。
保罗：愿您持续发声，也愿关键领域的人能倾听您的见解。
对谈链接：
https://www.thetransmitter.org/brain-inspired/jennifer-prendki-explains-why-ai-needs-to-emulate-life/
