2026-09-22 12:51

专访清华王立元:从“主动遗忘”到“内心世界模型”,持续学习是通用智能的核心能力

author_path 智源社区©
头图

本文来自微信公众号: 智源社区 ,作者:智源社区


从“碳基”的神经网络,到“硅基”的人工神经网络,再到两者之间的交叉地带,王立元一直在寻找两者之间“殊途同归的点”。


他的学术履历印证了这一点。本科就读于清华大学生命科学学院,博士阶段横跨生命科学与计算机科学,博士后出站后留校任教:去的不是生命学院,也不是计算机系,而是刚刚成立的清华大学心理与认知科学系。三次跨越,三个学科,他始终在寻找那个“点”。


这个过程中,他找到了一个抓手:持续学习。


2018年左右,当人工智能领域刚开始关注“灾难性遗忘”问题时,王立元已经站在了这条赛道的起点。他从生物遗忘的主动调控机制出发,发展脑启发的通用持续学习计算模型,再将计算模型反哺到脑科学与神经科学研究中,这是他从博士至今近十年的研究主线。


如今,当大模型的规模化扩张遇到瓶颈,持续学习正被越来越多的人视为迈向通用人工智能的关键路径。而王立元的目光已经走到了更远的地方:他想构建一个“内心世界模型”,让大模型在与人的长期交互中,理解人的知识、意图、情绪和信念,而不仅仅是建模外部物理世界。


在这篇专访中,他将回顾自己从生命科学到计算机科学,再到心理与认知科学的跨学科历程,并分享对持续学习、自进化智能体、脑启发人工智能(Neuroscience for AI)以及人工智能赋能神经科学(AI for Neuroscience)的思考。


采访&编辑:梦佳程赞熊宇轩


要点速览


两条研究主线:Neuroscience for AI从生物的学习、记忆与认知能力中提炼计算原理,发展人工智能方法;AI for Neuroscience利用持续学习驱动的多模态生成方法研究脑活动、生理状态与认知机制。二者构成从生物机制到人工智能方法,再回到生物系统验证的研究闭环。


持续学习的本质:在稳定性、可塑性与泛化能力之间取得动态平衡,既要保持已有知识,也要学习新经验,以适应不断变化的数据分布。


真实世界中的记忆与遗忘:主动遗忘通过选择性去除过时或干扰信息、压缩和重组具体经验,提炼可迁移知识。面对复杂多变的真实世界,智能系统需要根据不同信息的结构、层级和模态,有选择地保持、更新或遗忘。


自进化的判断标准:关键在于智能系统能否利用自身积累的经验,获得持续且可保留的能力提升。这种提升可以通过外部记忆、附加模块或参数更新实现,核心是系统能否随着经验积累持续改变。


脑启发的价值:脑启发尤其适合在新方向的开创阶段发现真实问题并提供初始思路。其价值最终体现为能否提升人工智能的表现,并为生物的学习、记忆和认知能力提供可检验的计算解释。


规模扩张与持续学习:人工智能的规模化正从参数、数据和计算资源延伸到时间与经验。后训练和自进化使系统在部署中持续积累经验;当经验积累比扩大预训练规模更能推动能力提升时,发展的重心也将随之变化。


内心世界模型:通过长期交互理解并更新人的知识、意图与信念,结合脑信号和生理信号刻画身心状态,形成长期、个体化、多模态且具有预测能力的动态模型,将世界模型从外部物理环境延伸至人的内在心理世界。


给交叉学科研究者的建议:先在一个学科中建立扎实完整的知识体系,再系统进入另一个学科。两套知识体系逐渐成熟后,真正有价值的交叉才能自然发生。


智源专访栏目意在展现行业顶尖技术研究者和创业者的研究经历和故事,记录技术世界的嬗变,激发当代AI从业者的创新思维,启迪认知、关注突破性进展,为行业注入灵感光芒。本次专访为总第41期。


简介:王立元,清华大学心理与认知科学系助理教授、特别研究员,国家级青年人才。他先后于清华大学获得学士和博士学位,并开展博士后研究。他的研究方向主要聚焦在机器学习与神经科学的交叉领域,围绕智能系统的持续学习、记忆与适应能力,探索人工智能与生物智能的通用计算原理,并推动其在科学智能、智慧医疗、具身智能等关键场景中的应用。研究成果以第一/通讯作者多次发表在Nature Machine Intelligence、TPAMI、NeurIPS、ICLR、ICML等人工智能相关领域的顶级期刊和会议,包括Nature Machine Intelligence封面文章、TPAMI最受欢迎论文(单篇引用逾2500次)、多篇会议Oral/Spotlight。主持国家自然科学基金青年科学基金项目(B类)、北京市科技新星项目。获得中国人工智能学会首届清源学者、世界人工智能大会云帆奖、世界人工智能大会青年优秀论文奖。担任NeurIPS、ICLR、ICML领域主席、CoLLAs宣传主席、TMLR执行编辑。


01


从碳基到硅基:一条跨学科的“殊途同归”之路


Q1:您本科就读于生命学院,博士阶段的研究横跨生命科学与计算机科学,博士后又主要在计算机系开展研究,现在进入心理与认知科学系任教。回顾这条跨学科路径,其中哪些选择源于主动规划,哪些是由具体的科学问题推动的?


王立元:这条路径既有主动选择,也受到时代背景和具体研究问题推动。我高中时通过生物竞赛保送进入清华大学生命科学学院,之后选择了神经科学方向。神经科学与计算方法有很深的联系,因此我在本科期间又主动修读了计算机科学第二学位。本科毕业时,也就是2018年前后,持续学习面临的许多核心问题,尤其是灾难性遗忘,还没有得到很好的解决。


当时,类脑智能还是一个探索性很强、尚未形成充分共识的方向,国内外都在积极推动,国家层面也有相关项目支持。我同时具有生命科学和计算机科学的学习背景,因此在本科导师也是后来的博士导师钟毅老师的引导下,开始将研究重心从神经科学拓展到机器学习。钟毅老师团队长期研究生物的遗忘机制,也是国际上最早发现遗忘可以被主动调控的团队之一。与此同时,持续学习研究逐渐兴起,灾难性遗忘成为其中亟待解决的核心问题。我们由此想到,生物遗忘具有许多精巧的调控机制,能否将这些机制转化为解决机器学习问题的方法?这个问题促使我们较早进入了持续学习领域。


此后,无论是博士阶段还是博士后阶段,我的研究都始终围绕持续学习展开。2024年求职时,清华大学心理与认知科学系刚刚成立,其定位本身就具有鲜明的交叉学科特色,与我的研究背景非常契合。过去,我更多沿着自底向上的路径,从神经生物学机制中获得启发,比如借鉴突触可塑性和神经网络结构来改进人工神经网络。进入心理与认知科学系后,我希望在此基础上进一步拓展研究视角,一方面从更高层的心理与认知机制中寻找人工智能发展的新问题,另一方面也利用人工智能技术反过来研究心理与认知科学问题。目前,我们团队正在开展生理信号和脑信号的长期监测与建模,心理与认知科学系为这些研究提供了非常合适的环境。


Q2:在心理与认知科学系这样的交叉环境中,您获得了哪些在单一学科环境中较难获得的研究条件或思想启发?


王立元:我们系在成立之初就定位为交叉院系,强调“AI+心理与认知科学”。无论是本科生和研究生的培养,还是教师的研究方向,都围绕人工智能与心理学、认知科学、脑科学、神经科学的交叉融合展开。


对此,我的体会很深。生命学院和计算机系也有不少老师从事交叉研究,但它们毕竟以单一学科为主。在这样的环境中,你会发现,别人往往只能理解你研究中的一半:生命科学背景的人熟悉其中的生物学问题,计算机背景的人更关注算法和模型。进入心理与认知科学系后,来自不同背景的同事能够从两侧理解我们的研究,并共同讨论其中的科学问题,这一点非常难得。


我们团队目前的研究可以概括为神经科学与人工智能之间的双向结合。


第一个方向是脑启发人工智能,也就是Neuroscience for AI。这个方向聚焦持续学习与记忆,研究视角从突触可塑性、神经网络结构等底层生物学机制,逐步拓展到高级心理与认知能力。当前的大模型智能体已经具备较强的感知能力和一定的推理能力,但在高阶心智能力和具身认知能力等方面仍有明显不足。系里有许多研究人类智能、心理与认知机制的老师,他们对这些能力具有深刻理解,也为我们提供了新的问题视角和合作机会。


第二个方向是人工智能赋能神经科学,也就是AI for Neuroscience,即利用人工智能技术研究脑功能和生理状态。比如,今年年初,我们构建了首个由持续学习驱动的人体多模态生理信号统一生成模型,将多模态生成、持续学习与生理信号监测结合起来。心理与认知科学系拥有覆盖EEG、fMRI和fNIRS等多种模态的实验与记录平台,使我们能够将算法方法与真实的脑科学问题更紧密地结合起来。


Q3:从生物启发的抽象概念,到形式化定义和具体研究落地,您是否逐渐形成了一套系统的方法论?


王立元:脑启发人工智能面临的一个关键难题,是如何将生物机制有效转化为人工智能方法。人工神经网络最初受到生物神经网络的启发,但在后续发展中,两者在网络架构、学习规则和优化方式上已经产生了很大差异。因此,生物机制通常不能直接移植到人工神经网络中,而需要经过适当的抽象和形式化。


我在朱军老师团队开展研究时,逐渐形成了一套沿着统计机器学习思路研究脑启发人工智能的方法,即借助概率建模与最优化思想,寻找生物系统与人工系统在计算层面的共性机制。其核心出发点在于,脑启发的目的并不是让人工神经网络在形式上复制生物脑,而是希望它在面对相同问题时,能够学习到与生物智能相近的输入输出关系。既然两类系统需要解决相似的学习问题,就有可能从数学层面找到它们共同的计算目标和基本规律。


图注:Nature Machine Intelligence封面论文


具体来说,我们首先利用统计学习方法刻画两类系统可能共享的优化目标,再从优化理论出发,思考如何将生物机制转化为对网络结构和参数更新方式的约束。比如,一些生物学习记忆机制可以被形式化为正则项或结构约束,使人工神经网络在优化过程中表现出相应的学习特性。


这种方法具有双向价值。一方面,我们可以将生物机制抽象为可计算、可验证的模型,用来解决人工智能中的具体问题;另一方面,这些模型在人工神经网络中的表现,也可以与真实的神经科学现象进行比较,从而为理解生物学习机制提供可检验的计算解释。这是我们贯通Neuroscience for AI与AI for Neuroscience的基本思路。


02


持续学习十年:从“灾难性遗忘”到“内心世界模型”


Q4:持续学习的重要目标之一,是缓解人工神经网络的灾难性遗忘。如今,您的研究进一步拓展到自进化智能体。在这一过程中,持续学习的研究范式发生了哪些变化?


王立元:持续学习这两年的发展,既有范式转变,也有概念演进。


早在20世纪90年代,学界就已经开始研究持续学习。进入深度学习时代后,研究者关注的主要问题是灾难性遗忘,也就是模型学习新任务时,原有知识和能力会受到破坏。我们在2023年发表于Nature Machine Intelligence的脑启发计算模型中,从理论上将持续学习概括为新旧信息之间的容量平衡。灾难性遗忘只是这一问题的行为表现,它背后包含三个维度:模型对旧任务的记忆稳定性、对新任务的学习可塑性、以及对数据分布变化的泛化能力。


从小模型到大模型,持续学习的研究视角也在发生变化。过去的研究通常围绕任务专用的小模型,重点防止新知识覆盖旧知识;现在则更多是在具有较强泛化能力的基础模型上进行持续适应。此时需要保护的不只是若干旧任务,还包括模型在预训练阶段形成的通用能力;需要学习的也不只是一个新任务,还包括新的领域、环境和交互经验。因此,稳定性、可塑性与泛化能力正在被纳入一个更加统一的框架。


与此同时,持续学习也在从机器学习的一个专门研究方向,逐渐成为迈向通用人工智能的重要议题。比如,图灵奖得主Richard Sutton从2019年的《The Bitter Lesson》,到2022年的《The Alberta Plan for AI Research》,再到2025年的《Welcome to the Era of Experience》,持续强调一个基本思想:智能系统不能只依赖人类提供的静态数据,还需要在与环境的长期交互中不断从经验学习。


在我看来,这种面向通用人工智能的学习范式,可以理解为狭义持续学习与选择性、自主性的结合。传统持续学习通常由人预先规定任务序列,并提供数据、标签或其他监督信号。经验驱动的智能体则需要在与环境的交互中主动获取经验,判断哪些信息值得学习,并持续调整自身行为。当然,这种自主性并不是没有边界的。智能体仍然需要一个高层目标来决定什么样的经验有价值、应该朝什么方向优化,而这个目标通常仍来自人类设定的先验。


现在,人工智能领域的新名词层出不穷,很多概念其实都可以追溯到机器学习的经典原理。持续学习过去主要从参数约束、梯度控制、架构设计和数据回放等层面缓解遗忘;在大模型和智能体中,也可以看到与之对应的学习率约束、梯度投影、MoE、RAG和外部记忆等机制。它们并不完全等同,但背后的许多基本思想是相通的。理解这些方法的历史脉络,有助于判断新概念究竟带来了新的问题和机制,还是对已有思想的重新实现,也能减少重复造轮子。


Q5:您的研究曾强调“主动遗忘”。遗忘并不只是系统的缺陷,也可能帮助系统减少负迁移、保持可塑性。在大模型和智能体中,应当如何判断一段知识或经验是应该保留、压缩、重组,还是主动遗忘?


王立元:我们对主动遗忘的研究,最初来自神经科学的启发。生物为什么需要主动遗忘?从功能上看,主要有两个方面。其一是保持灵活性,有选择地去除已经过时或不再适用的信息;其二是提升泛化能力,从大量具体经验中提炼出更稳定、更具迁移性的规律。


这两个原则对机器学习同样重要。前者对应持续学习中的新旧知识平衡,使模型能够适应变化,而不被过时经验束缚;后者则要求模型对具体经验进行压缩和抽象,形成可以在不同任务和环境中复用的知识。


因此,判断一段信息应当如何处理,不能只看它是否重要,还要考虑它的时间尺度、稳定程度、适用范围和复用价值。长期稳定、能够跨场景复用的知识,应当被保留和巩固;大量重复的具体信息可以被压缩为更抽象的规律;随着环境变化而改变的信息需要不断更新和重组;已经过时、与当前目标无关,甚至可能产生误导的信息,则应当被有选择地遗忘。如何区分这些信息,本身就依赖于我们对任务结构和现实世界的先验认识。


图注:清华大学报道王立元在Patterns发表封面论文


过去的持续学习研究大多基于相对简化的场景,比如图像分类。在这类任务中,不同信息往往具有相似的形式,记忆与遗忘也比较容易定义。但真实世界中的信息具有不同的结构、层级、模态和时间尺度,相应的记忆系统也需要采用不同的组织与更新方式。


比如,我们最近关于脑启发具身空间认知的相关工作,就模仿人脑把环境中重要的物体记为“点”、将路径记为“线”、全局认知作为“面”,形成一个有结构的记忆体系,灵活组合来实现泛化。再比如,我们最近在做的长期交互中如何理解对方心智的研究,其中知识是长期且稳定的,意图是短期的,情绪和信念是持续可更新的。当走进物理环境和人的内心世界,信息多样性急剧增加,如何恰当地处理这些信息,本身就是高阶的先验知识问题。


Q6:关于智能体的心智建模,目前主要有哪些技术路线?您更关注哪一种?


王立元:近两年,国际上开始出现更多关于大模型智能体心智建模的研究,尤其关注长期交互场景,但目前还没有形成统一的技术路线。有些工作显式表示和追踪对方的信念、意图与情绪状态,有些依靠外部记忆、检索和反思机制积累对交互对象的认识,也有一些工作尝试通过持续更新模型的内部表征或参数,使智能体逐步形成对他人的长期理解。


我们目前更关注世界模型的思路,希望通过长期交互、持续学习和记忆更新,构建一个“内心世界模型”。它不仅保存过去发生过什么,还要描述一个人的知识、意图、情绪和信念如何相互关联,又如何随时间和情境发生变化。


当我们把长期交互表述为持续学习问题后,就可以根据不同心智信息的性质,设计不同的保持和更新机制。比如,知识通常相对稳定,意图更多取决于当前情境,情绪和信念则需要随着新的交互信息不断更新。因此,首先需要明确哪些信息应当长期保持,哪些需要具有较强的可塑性,哪些应当根据情境持续修正。


这些差异很难完全依靠数据自动发现。人的心理与认知规律可以为模型提供必要的结构性先验,帮助我们确定不同心智状态的时间尺度、相互关系和更新方式。在此基础上,再通过长期交互不断修正对具体个体的理解。这是我们目前构建内心世界模型的基本思路。


Q7:当前不少智能体借助外部记忆、工具调用和经验库,表现出“越用越聪明”的特征,但底层模型本身可能没有发生变化。您认为,判断一个智能体是否实现了自进化,最关键的标准是什么?


王立元:这是一个本质且仍然开放的问题。首先需要区分两个层面:一个是系统行为是否发生了持续改善,另一个是这种改善通过什么机制实现。


从行为层面看,判断自进化的关键,是智能系统能否利用自身积累的交互经验,在后续任务中表现得越来越好,而且这种提升能够跨交互持续保留下来。按照这一标准,自进化不一定要求基础模型的参数发生变化。只要外部记忆、经验库或工具使用策略能够在交互中持续积累和更新,并真正改善系统后续的行为,就可以视为广义的自进化。相反,如果智能体只是调用一个始终不变的外部工具,系统本身并没有从经验中产生持续变化,就不能仅凭工具调用将其称为自进化。


如果从内部机制出发,对自进化作更严格的定义,那么关注点就会转向模型的内部表征、参数或结构是否发生了持久更新。按照这种狭义定义,只有当系统把经验转化为内部能力时,才能说模型本身实现了自进化。


这两种定义并不矛盾,它们之间实际上存在一个连续谱。一端是完全非参数化的外部记忆和经验检索,另一端是基础模型参数的整体更新,中间还包括各种参数高效和模块化的适应方式。Prompt Tuning和Prefix Tuning通过学习额外的连续提示或上下文来影响模型,Adapter和LoRA则通过轻量模块或低秩参数更新改变模型的内部表征。它们都处在外部记忆与全参数更新之间,只是经验被保存和调用的方式不同。


图注:生物学习记忆启发的通用持续学习计算模型


因此,这些方法可以在一个统一框架下讨论,在特定条件下也可能产生相近的功能,但不能笼统地说它们在数学形式和输出行为上完全等价。对实际的智能体系统而言,我更倾向于采用行为层面的标准,即系统能否通过自身经验获得持续、可保留的能力提升;与此同时,也需要进一步分析这种提升究竟存储在外部记忆、附加模块,还是基础模型的参数之中。


03


“脑启发的定义不重要,把东西做出来才重要”


Q8:“脑启发”已经成为人工智能研究中的热门概念。您如何区分真正源于神经科学或认知科学机制的算法创新,与仅仅借用生物学比喻的工作?一种脑启发算法需要经过怎样的验证,才能说明这种启发具有实质意义?


王立元:我的看法可能有些跳出这个问题框架。我并不认为一项工作是否被称为“脑启发”是最重要的,关键还是能否把问题讲清楚,并提出真正有效的解决方案。


人工智能领域的许多重要进展并不直接来自脑科学,这一点需要承认。因此,脑启发的价值并不只在于贡献某一种特定算法。它更重要的作用,是帮助我们发现现有人工智能尚未意识到或尚未解决的问题,并在一个新方向出现时提供最初的研究思路。尤其在一个领域的开创阶段,这种价值最为突出。


人工智能的许多能力目标都是参照人类智能提出的。当我们发现人工智能在某种能力上明显不如人,就会进一步追问其中缺少了什么。如果这是现有技术难以解决的真实问题,生物大脑就是最重要的自然参照之一。我们可以先观察人或其他生物如何解决这个问题,再从中提炼可能的计算机制。


不过,来自生物学的灵感本身并不能证明一种方法有效。如果要判断这种启发是否具有实质意义,我认为至少要看两个方面。首先是工程层面:由生物机制转化而来的方法,是否在严格对照下真正改善了人工智能系统的性能、效率或适应能力。其次是科学层面:这种计算模型能否产生可以检验的预测,并与行为实验或神经科学数据进行比较。只有这样,脑启发才不只是一个事后的比喻。


持续学习的发展过程就是一个例子。许多早期工作都会借鉴突触巩固、记忆回放和模块化结构等生物机制,但这些最初的启发式方案通常不会是最终形态。它们还需要经过数学形式化和工程检验,逐步分辨哪些机制真正有效,哪些只是表面上的类比。当这些方法最终被提炼为更加普适的学习原理后,它们也可能反过来为理解生物学习提供新的计算假设。


因此,我们的原则始终是解决问题和回答问题。什么方法能够把问题解释清楚、把性能真正做出来,我们就采用什么方法。脑启发提供的是一个重要视角和切入点,而不是研究本身的终点。


Q9:您的研究框架同时包含Neuroscience for AI和AI for Neuroscience:一方面从生物学习机制中寻找人工智能方法,另一方面利用人工智能帮助理解大脑。这两个方向如何形成可检验的闭环?是否可能出现一种计算模型,既能提升人工智能的能力,又能对人类的学习与记忆提出新的科学解释?


王立元:这种双向作用在人工智能的发展历史中一直存在。人工神经网络自诞生之初,就既被用于模式识别,也被用于探索认知过程。卷积神经网络在视觉任务中取得突破后,研究者又进一步比较其内部表征与人脑视觉系统的相似性。也就是说,一种计算模型既可以作为解决工程问题的方法,也可以作为研究生物智能的工具。


持续学习同样如此。早期用于缓解灾难性遗忘的方法,很多都受到突触巩固、记忆回放等生物机制的启发。随着持续学习在人工智能中的研究不断深入,研究者又开始在果蝇、小鼠和人类中建立相应的学习范式,比较生物系统与人工系统在稳定性、可塑性和泛化能力上的异同。


要真正形成闭环,关键是让两个方向共享一个可以检验的计算问题。我们通常先从生物学习现象中提炼出一个可能的计算原理,将其形式化为优化目标、结构约束或学习规则,再检验它能否改善人工智能模型。与此同时,这个模型还应当对生物系统的行为表现或神经活动提出新的预测,并通过实验进行验证。如果实验结果与预测不一致,就需要反过来修正计算模型。这样才能形成从生物现象到计算抽象、再到人工模型和生物验证的闭环。


因此,一种模型完全有可能同时服务于人工智能和神经科学,但前提是它不能只在概念上与大脑相似。它既要在人工系统中产生实际效果,也要能够解释已有的生物现象,或者提出可以被实验检验的新预测。


我们开展持续学习研究时,正是希望从这样的共同计算原理出发。生物系统和人工系统的具体实现方式不同,但在面对相似的学习问题时,往往可以在数学层面找到共同的目标与约束。找到这些殊途同归的计算原理,并在两类系统中分别加以检验,就是Neuroscience for AI与AI for Neuroscience相互贯通的基础。


Q10:在现在新名词层出不穷的环境下,您认为哪条主线是经得起时间考验的?


王立元:我们课题组最核心的主线仍然是持续学习,以及在此基础上的选择性和自主性。选择性解决的是学什么、保留什么、更新或遗忘什么;自主性解决的是系统能否主动获取经验和学习信号,而不再完全依赖人为设定的任务与监督。


面对不断出现的新概念,我通常不会用新概念重新组织自己的知识体系,而是把它放回持续学习和经典机器学习的框架中,分析它究竟提出了什么新问题,又对应哪些已有的学习机制。这样既能看到新方法真正的创新之处,也能避免被名称牵着走。


图注:持续学习驱动的生理信号多模态生成模型


经典机器学习提供了许多经得起时间检验的基本认识。没有免费午餐定理并不是说模型只能在“大而全”和“专而精”之间二选一,而是说明不存在一种方法能够在所有任务和数据分布上始终最优。任何模型都包含特定的归纳偏置,通用能力与领域适应之间也始终存在权衡。


扩大模型、数据和计算规模仍然会带来进步,但随着成本不断上升,单纯依靠规模扩张获得提升会越来越困难。进一步的突破需要模型根据具体任务、环境和用户进行适应。只有当一次交互中获得的经验能够被保留下来,并改善后续行为时,它才真正具有持续学习的性质。如果每次推理结束后系统都恢复原状,就不能仅仅因为增加了推理计算而称其为持续学习。


04


规模扩张之后,持续学习将走向何方?


Q11:基础模型的规模和训练数据量仍在增长,而您的研究更关注持续更新、资源效率和长期适应。未来三到五年,人工智能发展的主要增量仍会来自规模扩张,还是会逐渐转向持续学习、记忆系统以及与真实环境的长期交互?您判断这种转折是否到来的关键指标是什么?


王立元:我觉得这两者是分领域、分阶段的。


以大语言模型为例,预训练规模化仍然具有价值,但高质量的人类数据越来越稀缺,进一步扩大数据和计算规模的成本也越来越高。未来一部分增量仍会来自更大的模型和更多的计算,另一部分则会更多地来自后训练、推理时计算、外部记忆、工具调用以及针对具体任务和用户的持续适应。不同路径会并行发展,只是各自的边际收益会发生变化。


具身智能面临的情况有所不同。真实物理环境能够产生非常丰富的交互数据,但这些数据并非取之不竭。真实采集通常成本高、速度慢,还受到安全性和场景覆盖度的限制。因此,具身智能当前面临的主要问题不是已有数据即将耗尽,而是如何通过仿真、真实交互和自主探索,高效获得具有学习价值的经验。相较于主要依赖静态互联网数据的大语言模型,从环境反馈中持续学习对具身智能更加关键。


从另一个角度看,后训练和自进化也可以理解为一种沿时间维度展开的规模化。过去的规模化主要增加参数、数据和单次训练所使用的计算资源;未来还可能增加系统在部署过程中积累的经验,以及它能够持续学习和适应的时间跨度。生物进化与个体学习并不是同一种机制,但它们都说明,智能能力可以通过不同时间尺度上的经验积累逐步形成。


因此,判断转折是否到来,关键不在于模型规模是否停止增长,而在于能力提升的主要来源是否发生变化。我认为可以观察三个指标:第一,在相同资源投入下,扩大预训练规模带来的收益是否持续低于后训练和持续适应;第二,智能体能否从真实交互中自主获得可靠的学习信号;第三,这些经验能否转化为长期、稳定且可迁移的能力,而不引发严重遗忘或安全风险。如果一个系统部署后的经验积累,比下一轮更大规模的预训练更能推动能力提升,那么这种转折就真正发生了。


Q12:您的经历跨越生命科学、神经科学、计算机科学和心理学。对于希望从事交叉研究的年轻学者,您有什么建议?


王立元:真正做好交叉研究,往往需要付出比单一学科更多的时间和精力。我的看法是,不能指望两个学科各做到50分,简单相加之后就能得到100分。如果两个学科都没有学扎实,把它们拼在一起,大概率仍然做不好,甚至可能连原有的水平都达不到。反过来,如果两个学科都能做到80分,融合之后就有可能达到120分的效果。换句话说,你可能付出了160%的努力,最终获得120%的回报。


因此,我更建议先把一个学科学扎实,建立相对完整的知识体系,再系统学习另一个学科,最后考虑如何将两者融合。这样的积累过程比较慢,但基础更加牢固,未来能够达到的高度也会更高。


图注:清华大学报道王立元在Nature Machine Intelligence发表的论文


如果一开始就追求形式上的交叉,却没有建立任何一侧的知识体系,就很容易围绕具体问题临时查什么、学什么,最终只见树木、不见森林。比如,为了解决遗忘问题而模仿海马体的某一种机制,如果只关注这个局部机制,就可能忽略它在整个大脑学习与记忆系统中的作用。这样一来,研究者往往很难继续追问:生物系统中还有哪些机制与它相关?人工智能中又有哪些理论能够解释这一现象?研究视野也容易被局限在一个孤立的问题上,难以进一步拓展。


所以我的建议是不要着急。先在一个领域中建立扎实的基础,再系统进入另一个领域。当两个知识体系都逐渐成熟之后,真正有价值的交叉往往会自然出现。交叉研究不是把两个学科的概念放在一起,而是让两套知识体系真正发生作用。


Q13:您未来的研究计划是什么?


王立元:未来,我们课题组仍将围绕智能系统的持续学习与适应能力展开研究。对我们来说,持续学习研究的是智能如何随着经验和时间不断发展:如何保持已有能力、适应新的任务与个体,并在长期经验积累中形成新的能力。围绕这一核心问题,我们将继续推进两个相互支撑的方向:脑启发人工智能(Neuroscience for AI)与人工智能赋能神经科学(AI for Neuroscience)。


在Neuroscience for AI方向上,我们过去自底向上,将突触可塑性、记忆巩固等生物机制抽象为神经网络的更新规则与结构设计,研究已从小模型的连续任务学习延伸到基础模型的持续适应。未来,我们希望引入自顶向下的视角,从人的高级认知出发,探索智能系统如何在开放动态的环境中自主积累经验、形成有结构的长期记忆。具身智能和长程心智理解是两个重要落脚点:前者关注具身系统如何在部署中持续从交互经验中学习,推动其从特定场景的任务拟合走向真实世界的持续适应;后者关注智能体如何在与人的持续交互中,追踪知识、意图、情绪与信念等不同时间尺度的心智状态。


在AI for Neuroscience方向上,我们将继续把多模态生成模型与持续学习引入生理信号和脑信号研究,构建统一处理多种信号的基础模型,服务于长期监测与个体化分析。由此,两条主线形成闭环:我们从生物机制中提炼AI方法,再将其用于真实生物系统,并依据实验结果不断修正对智能的理解。


最终,我们希望用“内心世界模型”统一两个方向。现有世界模型主要描述外部物理环境,我们希望将建模对象拓展到人的内在心理世界:长期交互帮助模型理解和更新关于一个人的知识与信念,脑信号与生理信号则提供情绪与身心状态的信息。我们希望形成一个长期、个体化、多模态且具有预测能力的动态模型,它能随共同经历不断更新,逐步理解一个具体的人。


如果说持续学习回答的是智能如何在时间中成长,那么“内心世界模型”进一步追问:智能系统能否在与人的长期共同经历中,逐步理解一个具体的人。这正是两个方向最终汇合的地方。

本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。