递归自我改进的真门槛，是改进“改进能力”

本文来自微信公众号： AIGC从0到1 ，作者：王零壹

2026年9月10日，上海交大、清华、字节、小红书、上海AI实验室等机构的一篇论文，在中文AI圈刷屏。

论文标题很大：《The Last AI Built by Humans》

人类建造的最后一个AI。

它描绘了这样一条路线：人类先造出一个足够强的AI系统；此后，AI自己发现问题、自己设计实验、自己获取经验、自己训练后继版本，最后甚至改写“如何改进自己”的方法。人类不再是研发链条的主角。

它试图给“递归自我改进”，也就是Recursive Self-Improvement，简称RSI，画出一张工程路线图：从人类主导的改进，到AI主导的元改进，一共五级。

这篇论文最好的地方，是终于有人开始给“AI自我进化”这个词划边界。

过去两年，几乎所有东西都被叫作self-improving：

改一次Prompt，叫自我进化；

复盘一次失败轨迹，叫自我进化；

生成一点合成数据，叫自我进化；

让Agent给自己加一个工具，叫自我进化；

跑几轮代码搜索，分数涨了，叫递归自我改进。

问题是，“AI变强了”和“AI越来越擅长让未来的自己变强”，并不是同一句话。

后一句，才配得上recursive。

一、先别急着谈“最后一个AI”，先看AI已经学会了什么

原论文把通往真正RSI的路径分成五级。

L1是Improvement-Execution Autonomy，改进执行自主。人类定义任务、规则和验收标准，AI按流程执行，并保存过程中的经验。

L2是Improvement-Strategy Autonomy，改进策略自主。人类仍然规定目标和评测方式，AI开始能诊断自己的不足，选择下一步该改Prompt、加工具，还是换一种任务策略。

L3是Experience-Acquisition Autonomy，经验获取自主。AI不再只是等着人喂训练数据，而会主动发现能力缺口，生成或选择值得学习的任务。

L4是Environment-Adaptation Autonomy，环境适应自主。系统在真实环境中试错，积累经验，沉淀成Skills、工具、记忆和工作流，并把这些东西留给下一次任务。

L5是Recursive Meta-Improvement，递归元改进。AI修改的对象不再只是任务策略、Prompt或某段代码，而是“自己以后如何发现问题、设计实验、选择经验、更新后继版本”的那套改进机制。

L5才是这篇论文真正盯住的目标。

前四级里，人类至少还握着一部分决定权：目标谁定，评测器谁造，什么叫变好，哪些版本允许上线。

跨到L5后，系统开始碰“改进器本身”。

不过，把RSI说成未来式，也不准确。

今天的AI已经在改很多东西。

Darwin Gödel Machine，也就是DGM，会让Agent修改自己的代码，再通过基准测试筛选后继版本。它的自指性在于：被修改的代码里，包含了帮助它继续修改自己的能力。

AlphaEvolve把大模型生成、自动评测和演化搜索放进闭环，用于改进算法、代码库、数据中心效率和AI训练流程。它的效果尤其依赖自动评测器，因为程序能不能跑、结果对不对，机器可以低成本判断。

Self-Harness的思路更贴近今天的Agent工程。它不改模型权重，而是让Agent读失败轨迹，诊断问题，再修改自己的Harness。Harness包括Prompt、上下文结构、工具调用顺序、重试逻辑和控制流。官方实现报告称，这种方法在Terminal-Bench 2.0上提高了多种底座模型的通过率。

MetaSkill-Evolve更进一步：底座模型保持冻结，让Skill和Meta-Skill在两个时间尺度上演化。论文报告，在OfficeQA、SealQA和ALFWorld等任务上，冻结模型加上演化的技能体系，能带来可观的held-out提升。

它们至少说明了两件事。

第一，权重更新不是自我改进的必要条件。

一个冻结的大模型，只要能持续改造自己的Prompt、Memory、Skills、Tools、Harness和Agent代码，也可以在系统层面变得更强。

第二，AI研发里最先被自动化的，往往不是“训练一个新基础模型”这样昂贵的步骤，而是外层脚手架。

今天很多Agent的能力差异，根本不只在模型本身。它还取决于上下文怎么切，失败怎么处理，工具如何调用，结果怎样验证，状态保存在哪里。

模型是大脑。Harness决定它能不能把大脑用在一项具体工作上。

但到这里为止，我们还只能说：AI开始会修改自己的一部分。

距离“递归自我改进”，还缺一个比“会改代码”更难的条件。

二、真正的递归，不是结果一代比一代高

假设有一个系统：

S₀→S₁→S₂→S₃

每一代的任务成绩都比前一代高。

比如：

70分；

72分；

74分；

75分。

很多人看到这里，就会说：“它在递归自我改进。”

这个判断太早了。因为上述过程，完全可能只是一个固定优化器重复运行。

例如，一个人写好了搜索算法、评测器、筛选规则和计算预算。AI每一轮只是在同一个框架里生成几个候选改动，跑分，留下分数最高的版本。

系统确实变强了。

但让它变强的方法，可能一点没变。

它仍然依赖同一个人类设计的改进器。

真正的递归，应该多问一层：

第1代系统，是否比第0代系统更擅长制造后继者？

第2代系统，是否又比第1代系统更擅长设计实验、发现瓶颈、选择经验和筛掉伪改进？

如果没有，这更接近iterative optimization，迭代优化。

如果有，才开始接近recursive self-improvement。

可以把两件事分别写出来。

普通自我改进关心的是任务能力：

Q(Sₜ₊₁)>Q(Sₜ)

其中，Q是系统解决任务的能力。

真正RSI还要关心改进能力：

ρ(Mₜ₊₁)>ρ(Mₜ)

其中，M是改进算子，也就是发现问题、提出方案、执行实验、评估结果、保留后继版本的那套机制。

ρ可以理解为改进生产率：

ρ(M)=预期能力增量/总改进成本

成本不能只算GPU。

它至少包括token、FLOPs、实验次数、墙钟时间、失败样本，以及人类在中间投入了多少分钟。

这里的区别很朴素。

一个系统可能每次都比上次高一分，却越来越慢、越来越贵、越来越依赖人。

这不叫“改进能力的改进”。

另一个系统也许最终分数暂时没那么高，但它越来越会挑选值得尝试的任务，越来越能减少无效实验，越来越能识别伪提升，越来越能用更少资源造出更好的后继版本。

后者才更接近RSI。

原论文已经意识到这个问题。它提出Structural L5和Effective L5，试图区分“系统结构上能改元机制”和“系统实际表现出元改进效果”。

但我认为，论文还没把这一步推到底。

今天RSI最缺的不是再造一个自我迭代的Demo。

最缺的是一套测量“改进能力是否真的进化”的协议。

三、五级路线图很清楚，但世界不一定是一把梯子

原论文把RSI排成L1到L5，看上去像一条由低到高的阶梯。

这在传播和建立共同语言上非常有效。

但如果把它当成科学测量框架，问题就出现了。

现实中的能力，并不总沿着一条线排列。

一个Agent可能很会从环境中获取经验。它能自动读日志、抓失败案例、生成训练任务、积累Skill，但仍然无法修改自己的训练算法。

另一个系统可以重写Harness，甚至重写“怎样搜索更优Harness”的策略，却仍然依赖人类规定评测器。它知道怎么刷分，却不知道这个分数和真实能力有没有关系。

还有一种系统，可以自动设计新的学习策略，却只在一个固定benchmark上有效。离开原任务，能力就消失。

这三种系统，谁更接近RSI？

很难用一个L3、L4或L5概括。

更合理的方式，是把RSI看成一个多维空间，而不是五层楼。

我会把它拆成七个坐标轴。

第一轴，更新对象。

系统究竟可以修改什么？

输出文本，Prompt，Context，Memory，Skills，Tools，Harness，模型权重，模型架构，Evaluator，训练算法，还是未来的研究策略。

越靠后，修改对象越接近“产生下一次改进的机制”。

第二轴，闭环程度。

谁负责发现问题？谁提出改进方案？谁执行实验？谁评价结果？谁决定保留哪个版本？谁批准部署？

很多系统看上去很自主，实际上只是在一个人类已经画好的闭环里执行。人类把目标、数据、评测器、预算和淘汰规则都准备好之后，AI在中间完成搜索。

这当然有价值，但它和“AI自己完成改进闭环”不是一回事。

第三轴，持久性与可继承性。

一次对话里学会修复一个bug，不算真正积累。把一段经验写进memory，也不一定够。

重要的是：改进能否跨session、跨任务、跨版本存在？它能否被下一代系统继承，并在新的环境里继续发挥作用？

第四轴，迁移能力。

在同一批题上更好，可能只是benchmark overfitting。

更严格的问题是：改进能否迁移到未见任务？同领域的新任务？新领域？换一个底座模型？换一个运行环境？

第五轴，元改进深度。

它改的是任务行为，还是改进策略？是修改一个Skill，还是修改“怎样产生、筛选、合并、淘汰Skills”的机制？

第六轴，评测器独立性。

系统说自己变强了，谁来确认？

它能否改评测器？评测器是否和被改进系统共享同样的漏洞？有没有不可修改的外部锚点？

第七轴，改进生产率。

在同样预算下，它是不是越来越会改？

这是目前大多数RSI taxonomy最容易漏掉的一轴。

一旦把这七个维度放进去，很多争论会变得清楚。

DGM、AlphaEvolve、Self-Harness、MetaSkill-Evolve并不在一条“谁最强”的排行榜上。它们是在不同坐标上向前走。

DGM改Agent代码，自指性更强；AlphaEvolve的验证闭环更强；Self-Harness说明系统层更新足够有用；MetaSkill-Evolve说明冻结权重下，技能和元技能也能演化。

它们都是RSI的组成部分。

它们都还不足以构成完整证据。

四、“Self”到底是谁？

这是RSI研究里另一个常被跳过的问题。

过去谈AI自我改进，人们默认“self”指模型权重。

模型自己生成数据，自己训练，自己更新参数，才算自己变强。

但在Agent时代，这个定义已经太窄。

一个现代Agent更接近：

Foundation Model+Operational Scaffold

这个Scaffold里有Prompt、Memory、Skills、Tools、Harness、控制流、检索策略、权限、工作区和评测逻辑。

如果一个模型不改权重，却能长期、自主地改写这些组件，它到底有没有在改进自己？

我认为，可以算。

但前提是必须先声明系统边界。

例如，研究者可以定义：

S=Model+Harness+Memory+Skills+Tools

那么只要系统自主修改这个边界里的对象，且改动能进入后继版本，就可以叫self-update。

如果一个外部工程师每隔两天帮它改一次Harness，再把最终效果归因于“AI自我进化”，那就不成立。

问题会在边界扩大时迅速变得棘手。

如果我们定义：

S=AI+人类研究员+数据团队+算力调度器+评测器+云服务

那几乎任何现代AI实验室都能被叫作一个自我改进系统。

这样一来，“self”这个词失去区分度。

所以，未来的RSI论文应该强制报告一件事：

哪些决策权属于系统内部，哪些仍然属于外部？

谁设定研究目标？

谁决定评测标准？

谁提供训练数据？

谁选择实验环境？

谁给算力？

谁判断版本真的更好？

谁拥有最终部署权？

比起给一个系统贴L1、L3或L5标签，这份“决策权清单”更有解释力。

它能把“AI辅助研发”和“AI自主改进”真正区分开。

五、真正卡住RSI的，可能不是模型，而是评测器

任何自我改进，归根结底都要回答一个极普通的问题：

这次更新，到底更好了吗？

没有可靠的better/worse信号，系统就无法稳定改进。

这也是为什么代码、数学、棋类、游戏、定理证明和模拟环境，最先出现显眼的self-improvement结果。

它们有几个共同特征：

实验便宜；

反馈快；

结果可复现；

对错能被自动判断；

失败轨迹可以保存；

同一种任务可以反复跑。

AlphaEvolve的有效性，正是建立在可执行的自动评测上。程序是否正确、运行是否更快、算法指标是否更优，都有相对明确的外部信号。

DGM也把benchmark放在闭环中央。它不是让Agent随便声称“我觉得这个版本更优”，而是让候选版本接受编码任务的经验验证。

这件事看上去像工程细节，实际上是RSI的承重结构。

AI可以生成一万种改进方案。

没有evaluator，它不知道哪一种值得留下。

而evaluator一旦有漏洞，系统就会把漏洞当成学习目标。

这就是Goodhart定律在RSI里的版本：当一个指标成为优化目标，它就很容易不再是一个好指标。

更麻烦的是，未来系统可能开始修改evaluator自身。

比如，它发现某种评测更容易通过，于是调整评测脚本、评测任务、裁判模型或者打分阈值。表面上，系统分数越来越高；实际上，量尺变短了。

谁来评价新的评测器？

如果答案还是系统自己，问题就会陷入无限回归。

所以，真正可用的RSI系统，可能必须拥有一种“受保护的外部锚点”。

它可以是不可修改的隐藏测试集；可以是形式化验证器；可以是与运行系统隔离的环境结果；可以是定期注入的真实世界反馈；也可以是独立模型和独立团队维护的审计机制。

没有这些东西，自我改进容易变成自我确认。

六、Environment才是RSI的基础设施

很多人把RSI想象成模型越来越聪明，于是它自然会学会改进自己。

现实没这么顺。

AI能不能自我改进，往往取决于它身处什么环境。

一个环境如果能提供高频、低成本、可重复、可验证的经验，系统就有机会跑出很快的改进循环。

代码环境很适合。写完能编译，能跑测试，能看到报错，能回滚。

游戏环境也适合。输赢明确，模拟成本低，数据可以无限生成。

数学和形式化证明环境同样适合。答案有时可以由程序或证明检查器确认。

现实世界就麻烦很多。

一个Agent想改善企业销售策略，往往要等几周才能知道客户是否买单。它想优化科研路线，实验周期可能是几个月。它想改进机器人策略，摔一跤的成本可能是真实硬件损坏。它想提高组织决策质量，甚至很难找到清晰的ground truth。

模型决定“它能学多快”。环境决定“它有什么值得学”。

因此，未来最先出现高速RSI的地方，大概率不会是所有行业平均推进。

它会集中出现在可验证、可仿真、可重放的封闭环境里。软件工程、算法研究、芯片设计、数学、游戏和部分自动化科学实验，会先跑出更紧的闭环。

这也是为什么，“AI能否取代整个研发部门”是一个过早的问题。

更现实的问题是：哪些研发环节已经变成了机器可以高速试错的环境？

这些地方，进展会先快起来。

七、一个自我改进闭环，至少有六道门

如果把RSI从“模型改自己”这种浪漫叙事里拿出来，它其实是一条很长的能力链：

Experience→Feedback→Credit Assignment→Update→Retention→Transfer→Verified Capability

每一环都可能断。

Experience，经验从哪里来。

AI如何发现自己真正不会什么？怎样决定下一项任务值得做？怎样避免一直练习自己已经擅长的题？怎样生成有学习价值、又不至于超出能力边界的curriculum？

Feedback，反馈从哪里来。

是formal verifier，真实环境奖励，人工反馈，LLM-as-a-judge，过程奖励模型，模拟器，还是业务结果？

不同反馈信号的可靠性差别非常大。

Credit Assignment，责任该归给谁。

一次Agent任务可能运行几百步。最终失败时，到底是Prompt有问题，工具调错了，记忆污染了，规划失误了，还是模型在某一步推理偏了？

如果分不清责任，改进就会变成盲目试错。

Update，更新改在哪里。

改Context很快，改Harness较快，改Skills可以积累，改权重昂贵，改架构和训练算法更难。

不同更新对象的速度、成本、可解释性和风险都不同。

Retention，新能力留不留得住。

系统学会一项能力后，会不会下一轮就忘掉？新策略会不会破坏旧任务？技能库会不会越积越多，最后检索不到真正有用的东西？

Transfer，能力能走多远。

一个改进若只在原benchmark有效，很难判断它是能力提升，还是针对量尺的适配。

Verified Capability，如何确认它真变强。

系统成绩提高，也许是因为有了更多token、更长上下文、更宽松的超时、更好的底座模型，或者更多人类干预。所有这些变量都需要拆开。

很多论文只展示了链条里的一两段。

例如，某个系统很会Update，却不一定有独立Feedback；某个系统有强验证器，却不一定会主动获取高价值Experience；某个系统能跨session保留Skill，却未必有Transfer。

RSI要求的是整条链持续闭合。

而不是其中某一环特别漂亮。

八、自己喂自己，不一定会越来越强

自我改进最迷人的地方，是它看上去能形成闭环：

自己发现问题；

自己生成数据；

自己训练；

自己评测；

自己升级；

再去做下一轮。

但闭环也可能变成一个封闭的认识泡泡。

Nature在2024年关于model collapse的研究指出，当生成模型递归训练于前代模型生成的数据时，原始数据分布里的长尾信息会逐渐消失，模型出现退化。

这里不能把结论简化成“合成数据不能用”。代码、数学和可验证推理里的合成数据，已经在训练中发挥了很大作用。

问题在于无差别地、长期地、封闭地喂回模型自己的输出。

系统会越来越熟悉自己的表达方式、偏好和错误模式。它可能更流畅、更像正确答案，也可能更远离那些罕见、困难、反直觉但重要的真实情况。

如果一个Agent自己出题、自己回答、自己打分、自己选择数据、自己训练下一代，它需要格外警惕一种风险：

它不是越来越接近世界，而是越来越擅长确认自己。

真正的RSI，除了self-improvement，还需要reality anchoring。

也就是：系统必须持续接触来自自身之外的现实约束。

这可以是新数据、新任务、隐藏测试、真实用户、独立验证器、实验仪器或不可操纵的环境反馈。

没有它，闭环很容易变成自洽。

九、RSI不等于智能爆炸

谈RSI时，最容易被跳过的另一个区别是：

递归自我改进，不自动推出intelligence explosion。

RSI的最低含义是，系统开始改善自己的改进过程。

智能爆炸则意味着，这种改善不断加速，形成巨大的正反馈，最终在很短时间内跨越人类能力范围。

中间隔着很多现实阻力。

算力需要芯片，芯片需要制造周期。

能源和散热不会因为模型会写代码就自动增加。

高质量数据、可靠评测器和真实实验反馈都有成本。

现实世界的实验存在不可压缩的延迟。

安全审查、部署审批、硬件验证、临床实验、监管流程，也不会变成零成本。

Anthropic在其RSI公开分析中给出的判断很克制：AI已经在加速AI研发的一些部分，但完整RSI尚未到来，也并非必然发生。

OpenAI近期也明确表示，完全自主的递归自我改进当前并未发生。

这两家前沿实验室的表述，和目前公开证据基本一致。

AI-assisted AI research已经发生。

Automated AI research正在快速推进。

但一个系统能在多代中持续、可迁移、资源匹配地提高自己的改进生产率，这件事还没有得到足够强的公开证明。

所以，“RSI会不会出现”和“FOOM会不会出现”，是两道不同的问题。

前者研究系统能否改进自己的改进机制。

后者讨论这种改进是否会快到失控。

不要把两张试卷混在一起答。

十、该怎样证明一个系统真的接近RSI？

现有benchmark常问：

这个Agent能不能完成任务？

RSI benchmark应该问：

这个Agent能不能制造一个更擅长制造优秀后继者的successor？

这需要一种更严格的实验。

设：

Sₜ是第t代系统；

Mₜ是第t代系统的改进算子；

E*是不可被系统修改的独立评测器；

B是固定资源预算。

实验不能只比较：

S₀和S₁谁最终分数更高。

更有说服力的方法，是做一次freeze-and-swap test。

先让第0代系统在任务A上改进，得到新的改进器M₁。

然后冻结M₀和M₁，把它们放到同一个新起点上：

同一个fresh base agent；

同一组此前从未见过的任务；

同一份token、算力和墙钟时间预算；

同一个不可修改的protected evaluator。

接着问：

在这些约束下，谁能造出更好的successor？

如果M₁稳定胜过M₀，而下一代M₂又稳定胜过M₁，并且这种优势能迁移到新任务、新种子甚至新模型上，我们才开始看到“改进能力的改进”。

这比“最终多做对几道题”强得多。

一个真正的RSI benchmark，至少应记录六类指标：

这套测量不需要等到训练出下一代前沿模型才开始做。

现有开源模型就够了。

可以从Prompt、Skill、Memory、Harness和Agent code开始；可以在软件工程、数学、网页操作和模拟环境里做跨代实验；可以保留隐藏评测器；可以用固定预算对照新旧improver。

如果结果显示，系统只会在原任务上越来越强，换一个领域就失效，那说明大量所谓RSI本质上仍是meta-overfitting。

如果结果显示，改进后的improver可以稳定地跨任务、跨模型提高改进生产率，才是非常扎实的RSI证据。

十一、未来几年，最值得研究的不是又一个“自我进化框架”

未来两到五年，RSI领域当然会继续冒出更多框架。

Agent可以改自己的Harness。

Skill库可以自己扩容、合并和淘汰。

模型可以自动生成课程、合成训练数据、选择实验、搜索后训练配方。

这些都会继续发生。

但真正值得优先做的研究，未必是再造一个名为Self-Evolving Agent的项目。

至少有八个更基础的问题：

尤其第一个：

Meta-Improvement Transfer Benchmark。

它问的是整个领域一直在暗中假定、却很少严格检验的问题：

第N+1代系统，到底是不是比第N代系统，更擅长制造第N+2代？

这个问题足够窄，也足够基础。

它牵着benchmark、meta-learning、Agent evaluation、资源核算、评测器独立性、迁移能力和因果归因。

而且它可以被证伪。

这是好研究问题最重要的品质。

十二、RSI现在最缺的，可能是一门“测量学”

“人类建造的最后一个AI”这个标题，当然会吸引所有人。

它把视线拉向一个巨大的未来问题：人类会不会最终把AI研发权交给AI？

但在这件事发生之前，研究界要先完成一项更基础、也更枯燥的工作。

我们需要知道，什么算自我改进。

需要知道，哪些提升来自更好的底座模型，哪些来自更多算力，哪些来自隐藏的人类工程，哪些只是benchmark leakage。

需要知道，系统修改了什么，谁仍掌握决策权，评测器是否独立，改进能否继承，能否迁移，能否在同样成本下越改越快。

这可以叫作：

RSI Metrology，递归式自我改进测量学

它研究的不是怎样造出一个更会喊“我在进化”的Agent。

它研究的是，怎样用定义、对照实验、资源归一化、跨代测试、独立评测器和因果分析，判断递归自我改进到底有没有发生。

截至今天，严谨的结论仍然是：

我们已经看见了RSI的许多组成部分。

我们已经看见Agent修改自己的代码、Harness、Skills、训练策略和研究流程。

我们也已经看见AI开始加速AI研发。

但“一个系统在多代中持续提高自己改进未来后继者的能力”，仍然没有被足够严格地证明。

这并不意味着RSI很远。

恰恰相反。

它已经近到我们不能再满足于一句“AI在自我进化”。

我们得开始问：

它到底改了什么？

谁在判断它变好了？

它能在新环境里复现吗？

它有没有变得更会改进自己？