76%的性能提升与模型无关？Karpathy700次Loop 实验揭开Agent 最大误区

本文来自微信公众号： AI前线 ，作者：四月，原文标题：《76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区》

“今天AI行业最大的误区，是大家都在逼Agent尽快干活，却没有先把底层模型和系统机制理解吃透。”

这是前OpenAI联合创始人、现Anthropic预训练研究员Andrej Karpathy在去年播客《AGI is still a decade away》中谈到观点。

他单刀直入，警示业界加强对于模型框架的重视。“OpenAI早年也踩过类似的坑。在基础能力还没成熟时，就急着让Agent去完成复杂任务，结果白白浪费了五年的时间。”

这句话放到今天，依然不过时。

过去一年，Agent已经成了AI圈最拥挤的赛道。大家都在接模型、挂工具、堆工作流，仿佛只要再多套几层能力，一个真正能自主干活的Agent就会自然冒出来。

但问题恰恰在这里：很多Agent看起来不是败在“模型不够聪明”，而是败在模型之外那套更基础、更无聊、也更要命的系统工程。

最近，Hugging Face机器学习工程师Joel Niklaus的实验《Don't Train the Model,Evolve the Harness》表明：

使用同一个DeepSeek-v4-pro，不改模型权重，只优化模型外层的执行机制，就能让Agent在专业任务中的表现大幅提升（pooled score从3.5%拉升到80.1%）。

而Karpathy斩获9万Star的开源项目AutoResearch（Loop Cycle）则进一步说明，AI真正的价值不在一次性生成答案，而在“提出修改、运行实验、自动评估、保留进步”的循环里。

一次答对靠的是模型本身，而持续迭代则靠模型和外层执行系统的组合能力。

只优化“外壳”，性能也能狂飙？

如果你还在死磕提示词，或者抱怨开源模型不够聪明，Hugging Face最近的这个实验可能会颠覆你的认知。

为了探究Agent性能的瓶颈到底卡在哪里，Niklaus拿出开源模型DeepSeek-V4-Pro，在特定法律Agent基准测试上进行实验。

DeepSeek-V4-Pro在原始LAB harness下的任务表现。不同法律实践领域和任务之间差异明显，说明模型表现首先受外层执行机制影响，而不只是裸模型能力。

Niklaus做了一件极其克制的事：完全冻结模型的权重，也就是不进行任何微调或继续训练，唯一的变量，是包裹在模型外层的代码和执行逻辑，也就是所谓的Agent Harness（外层执行机制）。

令人哭笑不得的是，在最初的测试里，这个模型在某些外层机制下的得分竟然是0%。研究团队挖出真相：模型的法律推理过程其实全对，但它总是把结果存错了文件名，导致测试程序根本读不到结果。

这意味着，0分从来不是在测模型的智力，而是在测Harness是否有效。

既然问题出在“外壳”上，只要优化它，性能能提升多少呢？

实验数据给出了极其震撼的答案。同一个DeepSeek-V4-Pro、同一批任务、同一个评测器，仅仅因为换了五种不同的外层执行机制，pooled score（综合得分）竟然在3.5%到80.1%之间剧烈波动：

从mini-swe-agent的3.5%、Goose的23.2%、Pi的45.4%，一路拉到原始LAB harness的63.4%。

不同外层执行机制在held-out test任务上的表现对比，波动区间高达76分。

经过约22轮的代码自动迭代优化后，最终在100个held-out test任务上，pooled score从原始LAB harness的63.4%提升到了80.1%（提升16.7个百分点），all-pass rate也从0%提升到5.0%。

这个完全没动过权重的开源模型，仅靠优化Harness，其表现就追平了业界顶级的闭源模型Claude Sonnet 4.6，而运行成本仅为原来的1/7。

更关键的是，这套优化好的Harness迁移到同族小模型DeepSeek-V4-Flash上，依然带来了14.4分的提升。

这证明：代码层面的执行机制，远比prompt提示词调优更容易沉淀和跨模型迁移。

那么，到底什么是Harness？

前Lightning AI工程师、DailyDoseOfDS联合创始人Akshay曾这样剖析：

一个原始的LLM只是一个没有内存或硬盘的CPU；如果不是模型本身，那就是Harness——它是管理内存、I/O和驱动程序的操作系统。

他认为，生产级Harness应当包含12个核心组件，涵盖从流程编排、工具调用、分层存储到上下文管理和错误处理等各个环节。

例如，常见的“上下文腐烂”问题：当模型将关键信息置于上下文窗口中间时，性能会直接下降30%以上。

成熟的Harness已经拥有一套完整的工程方法来解决这个问题——压缩历史记录、屏蔽旧输出、动态获取和代理摘要，其核心在于用最少数量的高信息密度Token获得最佳结果。

基于上述实验，Niklaus得出了一个核心结论：

Benchmark测到的永远不是裸模型，而是“模型+Harness”的组合能力。最大的性能改进往往来自于简单的文件处理等自动化步骤，而非消耗大量Token去修改提示词。

那么，这是否意味着未来我们无需再训练模型，只需堆叠Harness即可？

答案并非如此。Harness带来的提升终有极限，剩余的差距仍需模型底层能力来填补。但眼下的核心问题在于：大多数人甚至还没有构建出一个及格的Harness，就急于堆叠更大的模型。

当你连测试工具是否存在漏洞都无从知晓时，你将永远无法确定性能瓶颈是出在模型本身，还是出在你那漏洞百出的外层代码上。

700次自动迭代、性能跃升5倍

既然模型之外的执行机制如此重要，具体该怎么搭一个能持续进化的Agent？

AI研究员Codila对Karpathy斩获9万Star的AutoResearch项目进行了二次提炼，将630行开源代码浓缩为五步走的“Loop Engineering”方法论。

这套方法目前在X上获得了超200万的阅读量，因为它戳中了一个核心痛点：不要指望Agent一次做对，而在低成本的持续试错中逼近最优解。

这套循环的逻辑看似极简:

1. 基于一个精细调整的模型，编写一份文档，告诉智能体要探索哪些方向以及要遵循哪些约束条件。

   
   

2. 仅允许智能体修改训练脚本；评估和评分脚本已锁定，无法修改。因为这可以防止智能体为了获得更高分数而擅自降低标准。

   
   

3. 让Agent进入以下循环运行：提出变更→训练→评估→保留好的、改进并舍弃不好的改进

   
   

Karpathy用他凭借20年经验手动调整的模型跑了两天，结果令人咋舌：

Agent自动运行了700次实验，找出了20项连他自己都忽略的代码改进。比如，注意力机制中遗漏的一个标量乘数，导致注意力过度分散到多个“头”上，这种需要海量耐心的精细优化，人类在十几轮后就会筋疲力尽，但Agent不会。

Shopify首席执行官Tobi Lutke连夜用内部模型进行了测试，醒来后发现质量提高了19%，而优化后的模型大小也减少了一半。

而要使这个循环有效运作，核心不在于智能体有多聪明，而在于三个基本要素是否做对了：

• 验证器：自动判断结果好坏的机制。没有它，Agent就是在给自己批作业，跑一万次也毫无意义。

  
  

• 状态文件：记录每次尝试的结果，避免页面关闭或进程重启后从头再来。

  
  

• 停止条件：达到目标或撞到最大轮次必须停止，否则会持续运行烧光你的Token预算。

  
  

当然，不是所有任务都值得大动干戈建一套Loop循环。Codila提出了一个“四项全能”的适用标准：

• 一是任务高频（至少每周重复一次，否则收不回构建成本，一次性任务用个好提示词就够了）；

  
  

• 二是验证可自动化（无需人工干预读取和修复）；

  
  

• 三是Token预算能消化冗余（循环必然伴随大量重试，小预算扛不住）；

  
  

• 四是Agent能访问真实的运行环境（不能闭着眼睛盲目迭代）。

  
  

请注意，这四个条件缺一不可，否则成本将远超收益。

顺着这条思路，研究人员进一步提出了“双层自动研究（Bilevel Autoresearch）”，详情见论文：《Bilevel Autoresearch:Meta-Autoresearching Itself》。

他们在原有循环外再套了一层循环：内层循环负责优化模型，外层循环则负责优化内层循环的搜索逻辑。

结果同样令人震撼：

在使用同一个大型模型的情况下，性能比Karpathy的基准测试结果提升了整整5倍，且所有提升均来自架构的改进。

外层循环的关键作用在于打破了LLM的“思维定势”：内层循环极易陷入模型先验认知的搜索模式，即使策略失效也会反复尝试；而外层循环强制模型去探索它本能回避的方向，从而榨取出超越模型自身认知的潜力。

然而，需要警惕的是，Loop自转也会带来两个隐性代价：

一是理解债：循环生成的代码并非人工一行行敲出，仓库代码与开发者真正理解的代码差距越来越大。一旦系统崩溃，Debug成本极高。

二是认知让渡：循环一旦跑通，人极易停止思考。同样的工具，有人用来加速已理解的工作，有人却用来逃避理解工作，最终结果天差地别。

当试错成本趋近于零

回到开头Karpathy的警示。为什么“逼Agent一次做对”是个伪命题？

因为现实世界的问题，从来不是靠一次灵感迸发就能解决的。

Hugging Face的实验和Karpathy的Loop Cycle，其实共同指向了AI发展的一个底层逻辑变迁：真正的AGI不是靠模型单点爆破出来的，而是靠系统工程把“试错的成本”无限降低。

当试错成本足够低，Agent就能像一个不知疲倦的实习生，在成百上千次的碰壁中自动纠偏、自动成长。我们过去总在纠结“马（模型）跑得够不够快”，却忘了给它套上“车架和方向盘（Harness）”，更忘了给它设定“导航和刹车（Loop的验证与停止条件）”。

这不仅是工程方法论的升级，也是对人类认知的考验。当外层机制开始自转，人最容易犯的错误就是“认知让渡”——用工具来逃避思考，而不是加速思考。

落到我们个体用户层面，AI真正的护城河，从来不在于你用了多大的模型，而在于你能否构建一套让模型在真实世界中不断进化的系统，同时保持人类对系统底层逻辑的清醒掌控。

参考：

1.https://huggingface.co/spaces/joelniklaus/harness-optimization#the-dev-frontier-moved-in-a-few-big-steps

2.https://x.com/0xCodila/status/2072329149520232639