导读：2026 年，关于 AI 自我进化的故事讲得很响。一个流行的版本是这样的：AI 不再只是被人类训练，它能反过来改进"造 AI"的流程，于是下一代 AI 一出生就站在上一代的肩膀上，能力像滚雪球一样越滚越快，用不着人类再往里灌数据、堆显卡。这个被称作递归自我改进（Recursive Self-Improvement, RSI）的设想，是无数科幻小说和不少严肃技术讨论的共同底色，也是"AI 会不会甩开人类自己跑起来"这类焦虑最常引用的那根逻辑链条。
第一章 那盆浇在"AI 科学家"头上的冷水
我得先说清楚，这个设想不是空想。从纯逻辑上看，只要"造 AI 的过程"本身可以被改进，而改进又能被下一代继承，复利确实会发生。问题从来不是"它逻辑上通不通"，而是"今天到底做到哪一步了"。
一份刚出炉的受控实验，给这个故事泼了盆不太舒服的冷水。
研究由 Navers Lab 与 Einsia.AI 联合清华大学团队完成，论文题为 AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement（arXiv:2608.20318，2026 年 8 月发布，论文首页标注日期为 8 月 21 日）。它做了一件朴素但极少有人认真做的事：把"AI 能不能设计训练算法"这个 RSI 的核心命题，从一句口号拉到实验台前，用数字老老实实量了一遍。
先把这个实验的结论三要素摆在这里，后面再逐层展开。
谁做的：Navers Lab / Einsia.AI 与清华大学团队，2026 年 8 月发布基准 AI4AI-Bench。
做了什么：他们把"AI 能否改进造 AI 的过程"隔离成一个可以量化的基准。具体做法是准备 10 个冻结的研究仓库，每个代表一种训练算法家族，然后给一个编码智能体一块 B300 GPU 和 4 小时时间，让它读懂仓库、改写里面的训练算法。4 小时一到，Agent 交出手改过的源代码就离场，这套代码被从零重新训练最多 12 小时，由一个 Agent 根本看不到的隐藏评估器，按照和原算法完全相同的程序打分。整个过程最狠的一刀是：Agent 在开发时随便用的代理指标，和决定它分数的最终指标，被一道看不见的墙隔开。
发现了什么：在 6 个系统、29 个配置、10 个任务、共 290 次尝试里，平均水平只走完了"仓库原算法到理论最优"这段距离的约百分之六点六。就算是最强的那个系统，也只闭了约百分之十六点七的距离。更刺眼的是，290 次尝试里有 124 次交回去的仓库，比原样不动还要差。
把这两组数字翻译一下：今天最强的编码 Agent，在"设计训练算法"这件被寄予厚望的事上，连两成路都没走完，而且有超过五分之二的概率把事情搞得更糟。这和我前面那个滚雪球的故事，差得有点远。
我读完整篇论文之后，最强烈的感受是：我们太容易把一个还没被证实的能力拐点，当成已经发生的现实来讨论。过去一年里，"AI 科学家""自进化 Agent""递归自我改进"这些词在发布会、融资稿和社交媒体上反复出现，听着像是明天就要发生。但测量出来的数字，比叙事冷静得多，也残酷得多。这篇基准的价值，恰恰在于它把"AI 在算法层到底行不行"从一句口号，变成了可以反复称量的体检指标，而不是又一个让人心跳加速的标题。
后面几章会依次讲清楚四件事：递归自我改进为什么偏偏卡在"算法"这一层、这份基准怎么把"会不会设计算法"做成一把能比对的尺子、它在十个仓库上到底测出了什么、以及那少数几个真的做对的 Agent 到底赢在哪、又意味着什么。如果你只想知道结论，记住这一句就够了：在算法设计这一层，今天离"自我改进"还有很长一段路，而那段路走没走完，不该凭感觉，该凭下一次重跑之后，分数曲线停在哪儿。
为什么这件事值得一篇长文来写，而不是一条快讯带过。因为"AI 能不能自己变强"这个问题的答案，会决定我们怎么分配接下来几年的注意力和资源。如果 RSI 真的近在咫尺，那么围绕"如何安全地对齐一个会自我改进的系统"的讨论就该立刻提上最高优先级；如果它还远，那么更紧迫的是把今天的 Agent 在具体问题上的可靠性做扎实。这份基准没有给出终局答案，但它把讨论的基准线钉在了一个诚实的位置：别再靠想象，去量。
我也想诚实地说一个读论文时的心理变化。刚开始看摘要，看到"均值 0.166""最强 0.250"这种数字，第一反应是失望，觉得"就这"。但往下读，看到那套把算法层单独隔离出来的设计，看到"141 个提交根本没碰学习过程"这种分类，才意识到这个"就这"背后藏着一个比数字更锋利的诊断。失望慢慢变成了一种踏实：至少现在有人把尺子做出来了，以后每次新模型出来，我们都能在同一把尺上比。这种踏实感，是很多"AI 又突破了"的标题给不了的。
在动手写这篇之前，我翻了翻过去一个月围绕"AI 自我进化"的中文讨论，发现一个规律：绝大多数内容在讲"这会发生"，很少有人在讲"我们怎么知道它发生了"。前者是叙事，后者才叫证据。AI4AI-Bench 属于后者。它不预言未来，它只是老老实实把今天的能力拍在一把尺子上。我觉得这种克制反而更有力量，因为它把判断权交还给了读者和后来的复现，而不是替你下结论。
我猜有人会问：一个平均分 0.166 的基准，值得这么大篇幅吗？我的回答是，正因为它低，才值得。高分的新闻大家见多了，反而不当回事；一个把"AI 自我进化"从神话拉回现实的低分，反而能让人清醒。这篇长文想做的，不是宣判 AI 不行，而是把那层被叙事糊住的现实，重新擦亮给你看。
在动笔前我犹豫过，要不要把结论放在最前面。通常长文喜欢把钩子留到最后，制造反转。但这类技术文章不一样，读者最该先知道的是"这篇在说什么、值不值得读"。所以第一章开头就给了三要素：谁做的、做了什么、发现了什么。如果你时间有限，读到这里已经拿到了核心。后面七章，是帮你把这个结论从"一句话"长成"一套理解"。
说到底，这篇长文想对抗的，是一种我越来越反感的习惯：把"可能"当成"已经"，把"叙事"当成"事实"。AI 领域从不缺激动人心的故事，缺的是愿意把故事拉到尺子上量的人。AI4AI-Bench 就是那把尺子。我写这篇文章，也不是为了浇灭谁的热情，而是想让热情落在一个更结实的地方：知道今天在哪，才知道下一步往哪走。
写这篇的时候，我一直在想一个问题：如果十年后回看，今天的 0.166 会像今天的我们看十年前的 AI 一样可笑吗？有可能。但正因为有可能，才更该把今天的刻度记下来。进步之所以显得快，是因为有人一直在量。AI4AI-Bench 做的就是这件事：它给"算法层自我改进"这个被神话包裹的命题，钉下了一个诚实的、可复现的起点。
如果你读到了这里，说明你对"AI 到底行不行"这件事，是愿意看证据的，而不是只看标题的。这本身就很难得。2026 年的信息环境里，关于 AI 的标题越来越快、越来越响，慢一点的、带数字的长文反而稀缺。我把这篇写长，不是为了凑字数，而是因为"AI 自我进化"这种命题，值得被认真对待，也值得被认真量过之后再下判断。希望这盆冷水，让你接下来读任何相关新闻时，多一分具体的尺子，少一分被带着走。
第二章 递归自我改进到底是什么，为什么它卡在"算法"这层
要理解这份基准在测什么，得先说清递归自我改进（RSI）到底指什么，以及它为什么偏偏卡在"算法"这一层。这一章是后面所有数字的钥匙。
RSI 的设想很直接：一个系统去改进"生产它后继者的那个过程"，然后后继者继承这个改进，形成自我增强的循环。这里的关键，是这个"过程"指的就是训练算法。一个更好的目标函数，或者一个更好的更新规则，会改善此后每一次训练的"算力换能力"的兑换率，包括那次用来生产下一个 Agent 的训练。
这意味着如果 RSI 真能稳定复利，AI 能力的提升就不再是"人喂多少数据、堆多少算力就涨多少"，而是"方法本身在变好"。论文举了一组很有说服力的例子：Adam、层归一化（Layer Normalization）、DPO、GRPO，这些算法层面的突破每一个都只被付了一次钱，却在此后所有训练里持续赚钱。Adam 是 2014 年提出的一个优化器更新规则，今天几乎每个模型都在用；DPO 是一个偏好对齐的目标函数改写，一句话改变了无数对齐流程。它们不是更大的模型，也不是更多的数据，而是"算法本身"被改了一次，之后所有训练都白赚。如果 RSI 要复利，大部分复利必须来自这一层，因为这一层的增益会被每一次后续训练继承。
但有个容易被忽略的前提：不是所有"AI 改进 AI"的努力都落在算法层。论文把整件事拆成三个可以被自动化编码 Agent 接管的层级，这个三分法值得记住。
最底下是系统层（Systems engineering），管的是 kernel、并行、通信这些怎么把计算映射到硬件上。这一层有天花板：一旦 kernel 摸到硬件的 roofline（算力和带宽上限），再优化也没空间。FlashAttention 这类工作把注意力算子做得更快、更省显存，确实加速了训练，但快不到超过机器本身的上限。它能让同样的算法在同样的机器上跑得更多，改不了算法。
中间是数据层（Data），管的是数据混合、合成、过滤。这一层受三件事约束：一是人类写出来的高质量文本存量是有限的，迟早见顶；二是当模型开始吃自己生成的数据、反复递归使用时，质量会退化，论文引用了"递归的诅咒"那项研究；三是损失函数每再砍掉一半差距，要花的 token 是前一截的好几倍，是个幂律成本。换句话说，靠堆数据这条路，越往后越贵，边际递减得厉害。
最上面才是算法设计层（Algorithmic design），管目标函数、更新规则、正则化、调度。它和前两层的本质区别是：它改变的是"算力换能力"的兑换率本身。前两层不过是让同样的算法在同样的机器上跑得更多或更快，而算法层改的是算法。一份新目标函数，能让每一次训练都更值钱。
所以论文的核心判断是：RSI 能不能成立，关键看算法设计层；而现有的各种基准，没有一个真正把这一层单独隔离出来。Kaggle 那类套件比的是"交一份竞赛预测"；MLS-Bench 虽然让 Agent 改 ML 系统的某个组件，但分数把"改执行"和"改学习"混在一起算；离得最近的 autoresearch 把整个训练文件都交给 Agent 随便改，可实测下来它的改动更像超参搜索，在受控比较里输给了传统的 CMA-ES 和 TPE 优化器。
论文给了一条清楚的分界线，用来判别什么叫"真的改了算法"：超参数是训练算法"当作给定"的一个数，而算法改动重写的是算法本身，也就是它优化的损失、它施加的更新。改学习率、改 batch size，是调超参；改损失函数、改更新规则，才是设计算法。后者，才是一名工业级机器学习科学家真正在做的事，也是这份基准死死盯住不放的那一点。
把这套三层框架放到更大的历史背景里看，会更有意思。过去十几年，"软件"这个词的含义变过两次。Software 1.0 是人对着编译器写指令；Software 2.0 是写数据、让模型从数据里学行为。现在有人提议 Software 3.0：人写上下文和推理，模型决定行为。这份基准测的，恰好是 Software 3.0 里最硬核的一块，就是模型能不能反过来把"学习"这件事本身重写一遍。如果连这块都还稚嫩，那么"软件 3.0 已经统治世界"的说法，显然说早了。
还有一层容易被忽略的张力。今天大家疯狂往"数据层"和"系统层"砸资源，因为这两层见效快、好度量：多喂点数据、换块好显卡，指标肉眼可见地涨。但这两层的天花板是硬的，数据会见顶，硬件会到 roofline。真正能撬动复利的是算法层，偏偏这一层最难、最慢、最不好度量，于是被冷落。这份基准像是在提醒整个行业：你们在容易的地方卷得很欢，但最难也最关键的那层，几乎没人真正碰。
顺带澄清一个常见的误解。很多人以为"算法设计"就是"发明一个新模型架构"，其实不是。这份基准关心的算法设计，是更朴素也更关键的东西：你用的损失函数长什么样、更新规则怎么写、正则化加在哪、学习率怎么调度。这些决定了一个模型"怎么从数据里学"，是训练算法的灵魂。换架构是换骨架，改这些是在改造血方式。论文想隔离的，正是造血方式这一层。
回到 RSI 本身，论文有一个判断我特别认同：如果 RSI 要复利，大部分复利必须来自算法层。这句话的潜台词是，系统层和数据层的改进是有上限的，到了天花板就涨不动，而算法层每次改进都会被后续所有训练继承。所以真正的杠杆点在算法层。但讽刺的是，今天行业里绝大多数精力花在了有上限的那两层，对算法层的投入反而少。这份基准像是一声提醒：你们在容易的地方卷得欢，但最关键的那层几乎没人真正碰。
再补一个角度，关于"为什么这件事难"。改算法和改跑法，对人的难度完全不同。调超参、挪预算，是确定性的、可逆的、后果可预期的小修小补；改损失函数、改更新规则，是会牵一发动全身的、不可逆的、容易把训练搞崩的大动作。Agent 在 4 小时里本能地避开高风险大动作，选择安全的微调，是理性行为，不是愚蠢。这份基准揭示的，其实是"在有限时间和有限可逆性下，Agent 的风险偏好"，而不只是"能力上限"。这个视角，让 141 个"没碰学习层"的提交显得没那么该被嘲笑。
把视角拉回到更宏观的层面，你会发现这份基准其实在回答一个更古老的问题：智能的进步，到底靠堆量，还是靠换范式。系统层和数据层是堆量，算法层是换范式。人类科学史上，真正改变命运的几乎都是范式层面的突破，而不是在旧范式里多使点劲。论文把"换范式"这层单独拎出来测，等于在问：今天的 AI 有没有能力自己完成范式层面的跃迁？答案目前看，还远。但这个提问本身，比答案更有远见。
最后补一句关于"复利"的直觉。很多人听到复利就兴奋，因为指数增长吓人。但这里有个前提：你得先有一个正的、能继承的利率。如果每次"改进"其实大多是退步（论文里超过五分之二），那复利根本转不起来，反而是在衰减。所以 RSI 能不能成，不是"能不能复利"的问题，而是"能不能稳定产生正的、可继承的改进"的问题。今天的答案，至少在这一层，是：还差得远。
我再把第一章提到的"三层"和 RSI 的关系收个尾。系统层有 roofline 天花板，数据层有存量和幂律成本天花板，只有算法层没有这种硬天花板，因为它的改进会被每次后续训练继承。所以论文那句"如果 RSI 要复利，大部分复利必须来自算法层"，不是价值判断，是结构判断。理解了这一点，你就能明白为什么这份基准死死盯着算法层：那是最可能复利、也最该被单独测量的地方。
这套分层框架是读这份基准的钥匙。它解释了为什么基准不比谁的模型更大、谁堆的算力更多，而是死死盯着"你到底有没有改到学习过程本身"。下一章我们就看，它是怎么把这件事做成一把可以公平比对的尺子。
第三章 怎么把"会不会设计算法"做成一把能比对的尺子
读论文最容易掉进去的坑，是被结论带着走，忘了先问一句"你是怎么量出来的"。这一章不急着给数字，先看这份基准怎么把"AI 会不会设计训练算法"这个模糊的问题，变成一场可以公平称量的实验。把方法看清，后面的数字才有分量。
一个任务长什么样
论文把每个任务定义成一个元组：一个仓库的源码 C、一个起始模型 a0、一个 Agent 在开发时能随便用的便宜代理指标 q、一个最终指标 m，以及 m 的方向（变大好还是变小好）。Agent 拿到 (C, a0, q)，在 1 块 B300 GPU 上、4 小时探索预算内随便读、随便改、随便用自己的代理指标测；时间一到，它交回改过的源码 C′，从此不能再碰代码，也不能把训练出来的权重、缓存的状态带过去，只能交源码。
接下来发生了关键的一步。提交的源码被从初始化开始重新训练，最多 12 小时，产出的模型交给一个预先冻结、Agent 从来看不到的评估器打分。这个不对称，正是一名工业级机器学习科学家的真实处境：一个想法几分钟就能在代理指标上筛掉，但定生死的训练要跑一整天，而且期末考卷在开发循环之外，你开发时摸不到。论文刻意复制了这种不对称，因为真实研究就是这么干的。
论文把"什么固定、什么开放"划得很死。固定的是测量本身：评估资产、最终指标、评估器，三者对基线和所有提交都一模一样。开放的只有方法：Agent 可以重写训练循环、目标函数、优化器、数据管线、调度，或者全改。它唯一不能越过的线，是评估本身。这样设计的目的，是逼出唯一一个问题：Agent 到底能不能找到办法把系统变好，而且当它不受约束时，会伸手去够系统的哪一部分。
这里还有个细节值得说。代理指标和最终指标在不同任务上关系不同：有的代理是最终协议的子采样（比如 BTRM 把 2985 对里的 512 对开放给 Agent 看），有的干脆是另一套基准（比如 OPD 开发时用 MATH-500，最终却考 AIME）。论文承认，边界保证的是"Agent 不可能用决定它结果的那个指标给候选打分"，而不是"它从没见过那行指标日后会读的数据"。这是一个诚实的局限，我们第九章会回到它。
一个让比较公平的基线
要叫一声"改进"，总得有个对照。这份基准用的对照是可能拿到的最严的一种：仓库自己本来就跑的那个算法，在和 Agent 完全相同的程序、相同的 12 小时预算、相同的评估器、相同的资产下跑出来的结果。它不是一个发表过的数字，所以不可能是在另一套评估上偷偷调过的；它也不是官方指令微调版本，所以打败它不是靠堆了比作者更多的数据；它更不是人类专家的手笔，所以不牵扯"人类水平在哪"的争论。它只回答一个问题：Agent 写出的代码，在完全相同的条件下，产出的模型比原本就在那的代码更好吗？
这一刀很关键。很多基准喜欢拿"打败某个公开 SOTA"当卖点，但公开 SOTA 可能在不同评估上优化过，胜负说不清。这份基准把对照压到"同一个仓库、同一套程序、只差你改的那行代码"，于是任何胜利都只能归因到 Agent 改的那部分，而不是它拿到的资源。
把十把不通约的尺，压成一把
十个任务的指标天差地别：有美学分、有困惑度、有通关率、有通过率、有遗忘均衡分，单位互不相关，没法直接平均。论文给每个任务配了一个"进展坐标"：一个严格递增的质量函数 φ，加上三个参考点。
第一个参考点是无信息模型 x⊥，一个对任务啥信息都不携带的模型会拿到的分，比如一个随机分类器。第二个是基准 xb，也就是仓库原算法 s(C)。第三个是理论最优 x∗，比如通过率 1.0、偏好分 100、困惑度 1、负对数似然 0。然后把所有分数映射到一个统一的函数 σ 上：结果低于基准时落在 0 到 0.1 之间，高于基准时落在 0.1 到 1.0 之间，0.1 正好是那根支点。于是"匹配仓库原算法"是尺子上的 0.1，"之下"衡量比原来差多少，"之上"衡量离最优还差多远。论文里所有跨任务的平均数，都是 σ 的平均。
这里有一个很容易踩的坑，论文专门点了出来。困惑度（perplexity）不能直接线性处理。OWL 剪枝任务上，把困惑度从 53.4 降到 16.2，线性看像是闭了 71% 的距离，但困惑度是交叉熵的指数，只有取对数才和似然类任务在同一把尺上。正确算法：53.4 对应 3.98 nats，16.2 对应 2.79 nats，真正闭掉的是 (3.98−2.79)/3.98，约 30%。少了这一个变换，就会把成绩凭空夸大一倍多。正是这种"看起来进步很大、其实没那么多"的错觉，让论文坚持要给每把尺子单独配参考点，而不是粗暴地求平均。
读到这里你可能会问：为什么不直接用原始指标比高低，非要造一把 σ 尺子？答案藏在"不可通约"这个词里。十个任务的指标单位完全不同，有的越大越好（通过率），有的越小越好（困惑度），而且量级差出好几个数量级。如果强行平均原始数字，困惑度从 53.4 变 13.0 这种巨大变动会直接淹没通过率从 0.4 变 0.5 这种微小但真实的进步。σ 尺子的作用，是让每个任务先在自己内部归一化到"相对原算法进步了多少"，再跨任务平均，谁也不会欺负谁。
这一步看似只是数学技巧，其实是实验设计的良心。很多排行榜翻车，就是因为把不通约的指标硬平均，挤到榜首的系统只是在某个数值大的任务上刷了分，其他地方一塌糊涂。论文用 σ 把这个坑提前填了。
还有一个设计上的巧思值得单独提：那些"代理指标"和"最终指标"的关系，被论文处理得很克制。它承认自己保证的只是"Agent 不可能用决定分数的那个指标给候选打分"，而不是"Agent 从没见过最终评估会用到的任何数据"。这是个诚实的边界。很多基准为了干净，会宣称绝对隔离，但真实研究里开发集和测试集从来都有千丝万缕的联系。论文没有装作隔绝了一切，而是说清了它真正隔绝的是什么。这种诚实，反而让它的结论更可信。
为了让不熟悉机器学习的读者也能跟上，我多解释一句 σ 尺子的直观意义。你可以把它想成"进步百分比"的一种特殊算法：0.1 代表"和原算法打平"，0 代表"比原算法还差到底"，1.0 代表"到了这个任务的理论极限"。所以一个 0.25 的分数，不是说"答对了一半"，而是说"从原算法出发，朝最优方向走了 15% 的路程"（因为 (0.25-0.1)/(1-0.1)≈0.167）。这个换算每次都要做，否则很容易被"0.25 看起来还行"骗到。
我想借这章多说一句关于"公平"的事。做基准最难的，不是写出代码，而是设计一个让所有人都挑不出毛病的对照。AI4AI-Bench 把对照压到"同一仓库、同一程序、只差你改的那行代码"，这是它能让人信服的根基。如果对照宽松，任何进步都可能被归因到资源或运气；对照严到这种程度，胜利就只能归因到 Agent 真的改对了地方。读任何 AI 基准时，我都建议你先问一句：它的对照公不公平？这一份，公平。
我额外想提醒一点：σ 尺子虽然聪明，但它也意味着"原算法"那根 0.1 的支点，会随着任务不同而改变含义。在一个本来就很强的原算法任务上，0.1 已经很高；在一个很弱的原算法上，0.1 很低。所以跨任务比较时，不能简单说"谁离 1.0 更近谁就更强"，还要看起点。论文在汇报时大多用 σ 本身，就是为了避免这个陷阱。读它的图表时，记得盯着 σ，别被原始指标带偏。
顺带说，论文用 σ 而不是直接报原始指标，还有一个容易被忽略的好处：它让"失败"也变得可比较。一个把困惑度搞到 572 的提交，在原始指标里是个离群值，但在 σ 里它老老实实落在 0 附近，和别的失败摆在一起。这使得"失败的分布"也能被研究，而不只是"成功的高度"。对一个想理解 Agent 行为的研究者来说，失败的分布往往比成功的尖峰更有信息量。
最后想说，读这章如果你是做评测的，σ 尺子的思路值得借鉴。当你要横向比较性质不同的任务时，先在每个任务内部归一化到"相对基线的进步"，再跨任务平均，比直接平均原始数字稳得多。这个朴素的方法，能避免"某个数值大的任务绑架平均分"的经典坑。AI4AI-Bench 在这点上做得很干净，也是它结论可信的隐形支柱。
把这三块拼起来，实验的骨架就清楚了：十个冻结仓库、一个严到苛刻的基线、一把统一十种指标的尺子、以及那道把"开发时能测的"和"决定分数的"隔开的四小时边界。接下来两章，看这套设计吐出来的数字到底长什么样。
第四章 十个仓库，十种训练算法，十把不通约的尺
这份基准最漂亮的设计之一，是它选的十个任务不是同一个算法的十个例子，而是十个不同的算法家族。这样测出来的结论，才不会只是"某个算法好不好改"，而是"AI 适不适合改算法这件事本身"。如果十个任务都是同一个家族的变体，那 Agent 在其中一个上失败，可能只是这个家族棘手，说明不了什么；十个家族各自独立，结论才站得住。
十个仓库分别是：
OpenR1，监督微调（SFT）。起始模型是 Qwen2.5-Coder-1.5B-Instruct，在一个去污染的 8005 行 Python CodeForces 投影上做补全式监督微调，最终指标是 LiveCodeBench v6 的通过率，越高越好。候选可以筛选、重加权、打包、变换或合成训练信号，也可以改掩码或目标函数。
RAGEN，多轮智能体强化学习。起始模型 Qwen2.5-3B-Instruct，在推箱子（Sokoban）上用多轮在线 GRPO 训练，Agent 自己生成棋盘和轨迹。棋盘构造、课程、rollout 收集、奖励塑形和更新规则都开放，最终指标是留出 512 个棋盘的通关率。
OPD，在线策略蒸馏。一个 1.5B 的学生模型从挂载的老师那里用采样 token 的在线策略蒸馏，开发时用 MATH-500，最终指标却是 AIME 2024 和 2025 两届竞赛题的平均正确率，60 道题、每题 32 个采样。开发集和最终集是两套不同的基准。
BTRM，Bradley-Terry 奖励建模。从 Mistral-7B 起步，在去污染的 UltraFeedback 偏好对上训练一个标量奖励模型，最终指标是 RewardBench 分数。这里有个硬约束：产物必须还能作为标量奖励模型加载，而且任何训练行和 RewardBench 的重叠都会让整次运行作废。代理指标是 2985 对里的 512 对，剩下的 2473 对留到打分时才见。
DPO，偏好优化。一个合并过的 Zephyr/Mistral-7B 用直接偏好优化对齐，最终指标是 IFEval 的提示级严格准确率，413 个留出提示词。
DDPO，扩散模型强化学习。在 Stable Diffusion v1.5 上用带 LoRA 的在线 DDPO 对着冻结的 CLIP 美学奖励微调，提示构造、采样、奖励塑形、辅助损失、更新规则和可变参数都开放，最终指标是美学分。
NPO，机器遗忘。在 Llama-3.2-1B-Instruct 上用 NPO 配方遗忘指定内容（TOFU forget10 协议），最终指标是一个均衡分，是"遗忘强度"和"模型效用"两个分量的调和平均，一个越低越好、一个越高越好，先各自归一化再调和。
DiGress，离散图扩散。在 QM9 分子图上训练离散扩散模型，快指标是有效性、唯一性、新颖率的乘积，最终指标是上游测试集的负对数似然，越低越好，仓库的验证 NLL 把两者连起来。
Model Soup，权重平均。把 72 个固定的 CLIP 检查点合成一个模型，原配方是均匀平均。Agent 要决定用哪些、按什么系数合，系数可以是负的、可以是外推的。最终指标是 ImageNet-V2 的 top-1 准确率。代理是 2000 张图，最终是整整 1 万张。
OWL，一次性剪枝。对 dense 的 OPT-6.7B 用激活感知的一次性剪枝，原配方不微调。硬性门槛是解码器稀疏度落在 0.699 到 0.701 之间，在这个窗口内剪枝准则、搜索方式、用不用挂载的 C4 校准分片、要不要额外训练都开放。最终指标是 WikiText-2 的测试困惑度，越低越好。
这里有个容易忽略的巧思：十个里头有两个根本不训练。Model Soup 是合并一堆现成检查点，OWL 是对发布模型一次性减权重，都没有可以拉长或缩短的训练过程。论文特意保留它们，理由是算法问题在它们身上一样真实：该合并哪些检查点、按什么准则减哪些权重。一个悄悄丢掉它们的套件，测的就不是算法设计，而是训练循环了。这种"宁可是非训练任务也要保住算法问题的纯度"的坚持，正是这份基准和其他套件拉开距离的地方。
还要注意，十个指标方向都不一样，有的越大越好，有的越小越好，单位也互不相关。这就是为什么第三章那把统一尺子必不可少：没有一个共同的 σ，这些任务的数字永远没法并排比，也就无从谈"平均进步了多少"。
你可能注意到，这些任务覆盖的广度本身就是一个信号。从写代码（OpenR1）、玩推箱子（RAGEN）、做数学（OPD）、训奖励模型（BTRM）、对齐偏好（DPO）、画图的强化学习（DDPO）、遗忘指定内容（NPO）、生成分子图（DiGress），到合并模型（Model Soup）和剪枝大模型（OWL），十个任务横跨了今天生成式 AI 和机器学习几乎每一块主流训练范式。作者挑得很有野心：他们想证明，结论不是某个领域的特例，而是"AI 改算法"这件事的普遍状态。
我特别想点出 OWL 这个任务，因为它最直观地暴露了"不训练也得动脑"这件事。剪枝一个 67 亿参数的 OPT 模型，原配方只是一次性减权重、不微调，门槛是把稀疏度卡在 0.699 到 0.701 之间。Agent 能动的，是"按什么准则减、减哪些、要不要顺手加一点训练"。看起来简单，但一个错误的剪枝准则能让困惑度从 53.4 飙到几百。算法问题在这里不是"写个训练循环"，而是"在约束下做一个对的结构性决策"，这恰恰是最像人类工程师判断力的地方。
我在读这十个任务的清单时，有一个感受越来越强：作者选任务不是随手抓的，而是在刻意制造"多样性压力测试"。如果十个任务都长得很像，Agent 在一个上学到的套路就能迁移到其余九个，结论就虚了。十个家族各异、指标方向各异、有的训练有的不训练，这等于在逼问：你到底有没有一种通用的"改算法"的能力，还是只在某个熟悉的小圈子里能糊弄？这种选法本身，就是一份严谨。
把十个任务列出来，其实也是在帮你建立一种"算法家族"的地图感。监督微调、强化学习、蒸馏、奖励建模、偏好优化、扩散、遗忘、图生成、权重平均、剪枝，这十个词几乎覆盖了今天训练一个现代 AI 模型会碰到的所有核心环节。一个 Agent 如果真能在算法层通用，就该在这十个完全不同的环节上都拿出改进。论文的残酷之处就在于，它不让你在一个熟悉的环节里刷分，而是逼你在十个环节里都证明自己。
顺带说一个可能让你意外的点：十个任务里有八个是要训练的，两个不训练。不训练的那两个（Model Soup、OWL）反而成了最干净的"算法决策"试验场，因为它们剥掉了"训练时长"这个最容易拿来灌水的变量。一个 Agent 在 OWL 上能做的，纯粹是"减哪些权重、按什么准则"，没有"多训一会儿"可以兜底。所以这两个任务的成绩，最能暴露 Agent 是不是真的在做结构性决策。论文保留它们，是个很老到的选择。
还有一个我喜欢的细节：十个任务里好几个都来自真实的研究仓库，而不是玩具示例。OpenR1 来自实际的代码训练工作，BTRM 来自真实的奖励建模，OWL 来自真实的剪枝研究。用真仓库而非玩具，意味着 Agent 面对的是工业界真实代码的复杂度和陷阱，而不是为了演示而简化过的干净环境。这让结论的外推性大大增强，也意味着 Agent 失败的原因更"真实"，更值得工程师警惕。
我忍不住想把十个任务里的 OPD 单独拎出来说一句。它用 AIME 竞赛题做最终指标，而且开发时用的是另一套 MATH-500 基准。这种"训练集和测试集彻底不同源"的设置，恰好模拟了真实研究里"你优化一个代理，但真正要的是另一个目标"的困境。Agent 能不能不被代理指标带偏、真正对着 AIME 那个更难的目标想办法，本身就是一道考验。这类设计细节，是这份基准严谨的体现。
补一句关于"起始模型"的观察：十个任务的起始模型跨度很大，从 1.5B 的蒸馏学生，到 7B 的奖励模型，到 6.7B 的 OPT，再到 Stable Diffusion 这类生成模型。这种跨度本身就在说：算法层的通用性，要在大小、模态都不同的模型上接受检验。一个只在小模型上能改算法的 Agent，和一个在大模型上也能的，含金量完全不同。论文把大小模态都铺开，是在给"通用性"加码。
这一章的意义，是把"测什么"钉死。下一章我们看"测出了什么"，也就是那 290 个单元格吐出来的真实数字。
第五章 结果：整体卡在尺子最低的五分之一
现在看数字，这是整篇论文最不想面对、也最该面对的部分。整项研究有 6 个系统、29 个配置、10 个任务，一共 290 个单元格。所有单元格的平均 σ 是 0.166。最强的单个系统，平均 0.250。单配置里最高的是 Claude Opus 5 在中等推理努力下的 0.288。
回看那把尺子：0 是无信息模型，0.1 是仓库原算法，1.0 是理论最优。均值 0.166 意味着，整体大约走完了"原算法到最优"这段距离的百分之六点六，也就是 (0.166−0.1)/(1−0.1)。最强系统 0.250，也只闭了约百分之十六点七。换句话说，在最乐观的单个系统上，那道从"原样"到"最好"的鸿沟，AI 也只填了不到五分之一。如果把"自我改进"想象成一条向上的斜坡，今天这些 Agent 还蹲在坡脚。
更刺眼的是退步的普遍程度。290 个单元格里，有 124 个落在 0.1 以下，也就是交回去的仓库比原样不动还要差。这超过了五分之二。在原始指标里这看不出来：把一个权重平均任务提升 0.015 的 top-1 准确率，和把一个困惑度从 53.4 拉到 13.0，在表 2 里都只是"赢了基线"的格子，看不出谁勉强赢、谁大赢、谁其实输了。但统一到 σ 之后，差距一目了然，那些输掉的格子直接掉到 0.1 以下，一清二楚。
系统之间是有序的，但顺序被压扁了。六家从好到差排开：Claude Opus 5 是 0.250，然后是 GPT-5.6 Sol 的 0.191，Kimi K3 的 0.174，Claude Sonnet 5 的 0.145，GPT-5.6 Terra 的 0.135，GPT-5.6 Luna 的 0.117。可整个区间都挤在尺子最低的四分之一里。选系统能改变数字，但改变不了所处的区间：最强系统的均值 0.250，反而更靠近最弱系统 0.117，而不是它本该去接近的那个最优 1.0。这是一个很扎心的画面。不管换哪个顶尖模型，大家都挤在同一个"几乎没动"的角落里。
花费也解释不了结果。同一套工具下，系统成本差了大约九倍：Sol 的中位配置要 434 美元，Luna 只要 48 美元。但成本和成绩并不按同一个顺序排列。直觉里"给更多算力就该更强"，在这里不成立。换句话说，砸钱不是解药。
还有一个值得记下的点：没有任何一个系统随着推理努力单调变好。Claude Opus 5 从 low 到 max 分别是 0.250 附近波动，GPT-5.6 Sol 在 none 到 max 之间也没呈现干净上升。这点很反直觉，因为我们下一章会用数据拆开看：推理努力在别的地方确实起了作用，只是作用的对象出乎意料。它主要不是让改法更高明，而是让 Agent 更愿意去碰算法本身。
把"124 个单元格低于 0.1"这个数字再嚼一遍，会发现它比平均分更让人警醒。平均分 0.166 至少还在 0.1 之上，看着像"总体小幅进步"；但拆开看，超过五分之二的尝试是净退步。也就是说，Agent 在相当多情况下不是"改进了算法"，而是"把仓库改坏了"。这在工业场景里是不可接受的：你不会用一个有五分之二概率把你的训练流程改坏的工具，哪怕它平均下来略好一点。可靠性，而不是平均峰值，才是这类 Agent 真正上岗的门槛。
还有个细节值得玩味：花费差九倍，成绩却没按花费排。这戳破了一个常见的偷懒假设，即"给 Agent 更多算力、更长探索时间，它自然就更强"。数据说不是这么回事。Sol 花 434 美元的中位配置，并没有系统性地碾压只花 48 美元的 Luna。资源不是瓶颈，方法和意愿才是。
把六家系统的排序再琢磨一下，会发现一个有点反讽的格局。最强的是 Claude Opus 5（0.250），最弱的 GPT-5.6 Luna 也有 0.117。差距不到一倍，但都挤在最低四分之一。这像一群学生考试，最高分和最低分都在 10 分到 25 分之间，离满分 100 还远。也就是说，模型之间的"强弱"在绝对意义上并不重要，因为大家都没及格。真正该关注的，是为什么全班都卡在不及格区，而不是谁比谁多考了几分。
我反复咀嚼"124 个单元格低于 0.1"这个数字，是因为它戳破了一个常见的幻觉。我们习惯了看平均分，觉得"平均略高于基线"就是"总体在进步"。但当你发现超过五分之二的尝试是净退步时，那种"进步"的成色就变了。在工业界，一个有一半概率把你的训练流程改坏的工具，再聪明也不能直接上岗。所以这篇论文真正的门槛信号，不是平均分，而是可靠性。而可靠性，恰恰是今天这些 Agent 最缺的。
我注意到一个容易被忽略的细节：表 2 里有些单元格是空着的（用短横表示），那是某个配置在某个任务上什么都没交回来。也就是说，除了退步的 124 个，还有一批是直接"交白卷"的。把退步和交白卷加起来，真正干净赢下的格子，比平均分暗示的还要少。这份基准的冷，是连"没交卷"都算进去的冷。
如果你愿意再深想一层，"系统之间有序但都挤在底部"这个现象，其实暗示了一个乐观的可能：既然大家都还很低，说明这块领域几乎是一张白纸，后来者的进步空间极大。一个已经接近饱和的任务，再怎么努力也涨不动；一个全班都不及格的科目，随便认真教教就能涨分。所以对做算法层 Agent 的研究者来说，这恰恰是个令人兴奋的起点，而不是令人沮丧的终点。
再补充一个读表 2 的提醒：那些密密麻麻的数字里，藏着"成本"这一列。你会发现有些系统花几百美元只换来微弱的分数，而有些花几十美元也差不多。在真实工程预算里，这意味着"砸钱换 Agent 多想一会儿"的性价比极低。比起加预算，更该问的是：有没有一种便宜的方式，把 Agent 引导到"敢碰核心"的状态？论文的数据把这个问题明明白白摆在了桌面上。
我想把"最强系统也只到 0.25"这个事实换个说法，让它更扎心一点：在满分 100 的考试里，今天最好的 Agent 考了 25 分，而且全班（六个系统）都在 10 到 25 分之间。这不是"谁更强"的比赛，是"全班都不及格"的体检。所以别被系统之间的微小差距迷惑，真正该盯的是整条分布离及格线有多远。这篇基准最克制也最有力的地方，就是它让你看见全班都不及格，而不是挑出第一名说"看，它很强"。
读到这里，一个疑问自然浮上来：那道没走完的距离，到底去哪了？是模型不够聪明，还是努力给得不够，还是别的原因？下一章给答案，而那个答案比"模型不够强"要微妙得多。
第六章 距离去哪了：大多数 AI 根本不敢碰"算法本身"
论文最尖锐的发现，藏在提交的分类里，而不是在平均分里。在所有"动了点什么"的 263 个提交中，141 个完全没有碰模型是怎么学习的，它们只在预算、检查点、超参数、容量这些"怎么跑"的事情上动刀。剩下的 122 个才真正碰了学习过程：目标函数、监督信号、学习规则、数据。
这两类提交的成绩差得很远。碰了学习过程的，平均 σ 是 0.226；只在跑法上动的，平均只有 0.126。差距 0.100，标准误 0.022，不是某个任务或某个系统单独造出来的偶然。即便把 agentic RL 那一列拿掉（那一列因为模仿学习把整列抬了起来），剩下仍然是 0.182 对 0.128。结论很清楚：距离是在算法层被闭上的，而大多数提交根本没走到那一层。你让 Agent 改算法，它多半去调了超参、挪了预算、换了检查点频率，绕开了最该改的地方。
这就引出了一个更反直觉的点，也是全篇我最想按下暂停键让你看清楚的地方：推理努力到底买了什么。论文发现，更多的推理努力主要买的不是"更聪明地改算法"，而是"更愿意去碰算法"。把"碰学习层"的提交占比，从最低努力档的百分之八，一路拉到最高档的百分之六十四；对应的平均 σ 从 0.094 拉到 0.196。也就是说，努力主要把 Agent 推过了"不敢改算法"那道门槛，而不是让过了门槛之后的改法变得多高明。
但即便过了门槛，绝对水平仍然低。最高努力档下，最强设置也只比它出发的那个算法多走了一成多的距离。论文自己下了一句很克制的判断：今天这些 Agent 在算法这一环上做的，是"恢复一个能用的默认设置"，而不是"设计出一个超过默认的设置"。翻译成大白话：它们最多能找回仓库本来就该有的水平，却很少能真正超过它。
把这一章和上一章合起来看，画面就完整了。整体分数低，不是因为模型不够大、算力不够多，也不是因为努力给得不够；而是因为绝大多数尝试连"学习过程本身"这道门都没进。那扇门后面才是真正拉开差距的地方，而愿意推门进去的 Agent，少得可怜。最低努力档里只有百分之八会进去。
这个发现其实挺让人意外，也挺有启发。我们习惯以为"更聪明的模型 + 更多思考"就该自动更强，但数据说：今天最大的瓶颈不是聪明程度，而是"敢不敢动核心"。这有点像让一个实习生改公司的核心算法，他多半会选择调调参数、改改配置，因为那样安全、可逆、不会出大错；真去重写目标函数，是少数人才敢下的手。Agent 今天的表现，恰好像极了那个保守的实习生。
这一章的发现，其实给"怎么让 Agent 变强"提供了一条很具体的工程线索。既然瓶颈是"敢不敢碰学习层"，而更多推理努力能把"敢碰"的比例从 8% 拉到 64%，那么一个低成本的改进方向，不是换更大的模型，而是在 Agent 的工作流里强制或引导它先诊断训练动态、再决定改哪。比如，在提示词里要求它先写出"这个训练目前哪里出了问题"的判断，再去改代码。论文没有直接做这个消融，但它给出的相关性已经足够清晰：愿意碰核心的 Agent，成绩几乎翻倍（0.126 对 0.226）。
我忍不住联想到人类新手和老手的区别。新手接手一个训练任务，往往急于改代码、调参数，期待立竿见影；老手会先花时间看曲线、定位病灶，再下刀。这份基准里的多数 Agent，像极了那个急于动手的新手。让它们慢下来、先诊断，可能比换模型有用得多。
如果要把这一章浓缩成一句话给工程师，我会说：让 Agent 改算法，先逼它"说清楚问题在哪"，再让它动手。论文的数据暗示，那些愿意碰学习层的提交，多半不是因为更聪明，而是因为更敢。而"敢"这件事，是可以通过工作流设计去引导的，比如强制它在提交代码前先输出一份"训练动态诊断"。这比换一个贵十倍的模型便宜得多，也可能有效得多。
我愿意把第六章的发现当成整篇论文最值得带走的结论，没有之一。它不是"模型不够强"，而是"模型不敢碰核心"。这听起来反直觉，但证据很硬：碰学习层的提交平均 0.226，没碰的只有 0.126，差了快一倍；而推理努力把"敢碰"的比例从 8% 拉到 64%。也就是说，今天能靠"多想一想"解决的是意愿，不是能力。对做产品的人来说，这等于说：与其花十倍预算换更大的模型，不如在工作流里加一道"先诊断、再改核心"的强制步骤。
把第六章的发现再往前推一步，会碰到一个更有意思的问题：为什么更多推理努力能显著提升"敢碰"的比例，却没有同等提升"碰对"的水平？论文的数据暗示，努力主要解决了"敢不敢动手"的心理门槛，但没解决"有没有诊断能力"的能力门槛。这像一个被推上台的新手，勇气有了，手艺还没跟上。所以未来真正的突破口，可能不是"让模型想更久"，而是"教模型怎么诊断"，后者才是那道能力门槛。
我越来越觉得，第六章是整篇给工程界最值钱的一章。它用数据说清了一件事：今天的瓶颈是"意愿"不是"能力"，是"敢不敢碰核心"不是"能不能碰对"。这直接改变了资源该往哪投。与其继续怼更大的模型、更长的思考时间（这些论文证明边际有限），不如把钱花在"教 Agent 先做诊断"的工作流设计上。一句"先写下你的训练动态诊断，再改代码"的强制提示，可能比换模型便宜十倍、有效得多。
我想借这一章，给所有做 Agent 评测的人一个建议：别只看平均分。平均分掩盖了两件事，一是退步的比例（论文里是五分之二），二是"碰没碰核心"这个更关键的动作。一个好的 Agent 评测，应该像 AI4AI-Bench 这样，把"它改了哪一层"也分类报出来。否则你永远分不清，一个高分到底是来自真本事，还是来自在简单地方刷分。这或许是我从这篇论文里学到的最实用的评测方法论。
再补一个对研究者的提醒：第六章的"8% 到 64%"这个跳跃，其实也暴露了推理努力的副作用。更高的努力档，Agent 更愿意碰核心，但也更可能交白卷或大幅退步（因为动了更大、更不可逆的手术）。所以"给更多思考时间"是一把双刃剑：它提升了上限的意愿，也放大了下行的风险。工程上，这可能意味着需要给高努力 Agent 配上更强的回滚和验证机制，而不是无脑加时间。
那么，那些真的推门进去、还做对了的 Agent，到底有什么不一样？下一章我们看三个具体案例，它们赢的方式出奇地一致。
第七章 三个真的做对的：它们赢在"先造测量仪器"
263 个提交里，敢碰学习层的是少数；而在这些少数里，真正做出成绩的又是少数中的少数。论文挑了三个案例，它们有一个共同得刺眼的特点：先造一个能测量的东西，再动手改。这个共同点，恰恰反衬出绝大多数提交缺了什么。
第一个案例来自 OWL 一次性剪枝。有一个提交没有走"全模型微调"那条路（原配方是 AdamW 跑 666 步、cosine 衰减），而是用激活感知的剪枝，把困惑度压到刚过 13（原配方是 53.4）。看起来只是个数字，过程里它记下了一次诊断：第一次尝试拿到 572，糟糕得离谱，原因是权重分配那一步把激活原地前向传播，覆盖了 layer 0 的输入，于是剪枝步骤读到的是 layer 31 的激活。能揪出这种 bug，靠的是它先搞清楚了"哪层激活被改写了"。它先量化了问题的位置，才动手。
第二个案例来自 Model Soup 权重平均。原配方是对 72 个候选模型做均匀平均。有一个提交先给自己造了一台仪器：把 72 个模型的相关张量打包进一张常驻显存的矩阵，把代理图预处理好也常驻，于是"加载一个系数向量再打分"变成一次矩阵乘加一次前向，只要 0.38 秒，而原来要大约 190 秒，快了差不多五百倍。在这台自造的仪器上，它排了五种方法，全都用自己的设备量：最佳单模型 0.6935、均匀平均 0.6880、按准确率取 top-k 0.6945、greedy soup 0.7025、直接用 cross-entropy 配 Adam 学系数 0.7020（最后两者并列）。它还记下了两条走不通的路：沿单一方向外推会塌掉准确率，logit 集成代理不可靠地给候选排序。注意，它花在"建测量台"上的精力，可能比花在"改算法"上的还多。
第三个案例最颠覆直觉。多轮 agentic RL 那个任务原配方是 GRPO。摸到满分的提交判断：在这个任务上，先向最优解学习更划算，于是批量生成棋盘、给每一步标上最优走法、在那份监督上微调；更进一步的那一个用了 DAGGER，让策略边走边在走错的地方补上正确答案。我们上一章说过，agentic RL 那一列因为这类模仿学习被整体抬高了。三个做法有一个共同点：它们先把"最优解长什么样"这件事量化并可用，再用它来教模型，而不是从零让模型自己摸索。
论文点明，这三个案例的共同点，正是前面发现"普遍缺失"的那种能力：先造一个可测量的基准，再决定改哪。一个 Solver 定出任务的天花板，一台比原评估快五百倍的评估台，一次定位到哪层激活被覆盖。这是一名人类机器学习科学家做诊断时的本能。先看数据、看训练动态、命名出是哪个机制出了毛病，再去改那个机制。而在 263 个提交里，它是例外。
我读到这里的时候，想到的不是"模型不够强"，而是"工作方法不对"。人类工程师面对一个训练不收敛的模型，会去画损失曲线、看梯度范数、看策略熵是不是塌了、看奖励模型是不是在简单对上饱和了，先诊断再下药。这份基准里的多数 Agent 跳过了诊断，直接上手改代码，于是多半只摸到跑法的皮毛。这三个案例告诉我们：缺的不是智力，是那种"先用仪器把问题量清楚"的科学纪律。
我之所以花一整章讲这三个案例，是因为它们把前面所有抽象的数字，落成了三个具体的、可复现的动作。OWL 那个"先搞清楚哪层激活被覆盖"、Model Soup 那个"造一台快五百倍的评估台"、模仿学习那个"先把最优解量化出来再教模型"，说到底都是同一件事：在动手改之前，先有一个能告诉你"现在在哪、目标在哪"的仪器。这不是聪明不聪明的问题，是工作习惯的问题。
这让我对"AI 在算法层弱"有了一个更温和的判断。今天这些 Agent 不是没有潜力，而是还没有被训练出"科学实验"的那种纪律。如果未来的 Agent 框架能在工作流里内建"先建评估仪器、再干预"的步骤，这一层的成绩可能会比单纯堆模型涨得快得多。论文的三个案例，已经悄悄指明了这条路。
我还想强调，这三个成功案例有个共同的反面教材价值。它们之所以突出，是因为周围的 260 个提交大多没有这么做。换句话说，论文用三个正面的例子，反衬出了一整片空白：绝大多数 Agent 缺少"先诊断、再干预"的科学纪律。这个空白，不是模型尺寸的差距能填的，而是训练范式和工具设计的差距。未来的 Agent 框架如果内建"评估仪器构建"这一步，这一层的成绩可能会跳得比换模型更快。
写到这儿，我有点替那些 260 个"没做对"的提交感到可惜。它们不是笨，是缺了一道被人类工程师视为本能的步骤。想象一个实习生接手一个不收敛的训练，如果他上来就改代码、调参数，老工程师会拦住他：先看曲线。论文里的多数 Agent，就是那个被拦住前就已经动手的实习生。把"先看曲线"这一步内建进 Agent 的工作流，可能比任何模型升级都更能抬升这一层的成绩。三个案例，其实是给整个行业的一封提醒信。
我还想借三个案例再点出一个产品层面的启示。Model Soup 那个提交，最打动我的不是它最后拿了 0.7020，而是它花了大量精力造那台"快五百倍的评估台"。在真实工程里，能不能快速给自己造测量仪器，往往决定了迭代速度。一个 Agent 如果只会改代码、不会造仪器，它的每次改动都要等漫长的训练才能知道好不好，迭代极慢。会造仪器的 Agent，等于给自己装了涡轮。这条经验，完全可以从论文里抽出来，用到你自己的 Agent 工作流里。
再补一个关于案例三的观察：模仿学习替换 GRPO 拿到满分，表面看是"退步"。用更简单的监督学习代替了花哨的强化学习。但它揭示了一个深刻的真相：在很多任务上，RL 不是必需的，把"最优解长什么样"量化清楚、再用监督学过去，反而更稳。这对今天"凡事必上 RL"的潮流是个温和的反驳。Agent 的价值，有时候不在于用多高级的方法，而在于选对了方法。三个案例，三个不同的"选对"。
还有一点我想强调：那台"快五百倍的评估台"不只是个趣闻，它揭示了 Agent 效率的命门。在 4 小时窗口里，能不能快速评估一个想法，直接决定了能试多少个想法。一个每次评估要 190 秒的 Agent，四小时只能试几十次；一个把它压到 0.38 秒的 Agent，能试成千上万次。迭代速度，往往比单次改得多聪明更决定成败。这条经验，对任何在有限预算里用 Agent 的人都是金科玉律。
我想把第三章提到的"先诊断再干预"再点一次，因为它贯穿了整篇。三个案例的共同点，人类工程师叫"scientific method"，先有假设、有测量、有对照，再下药。多数 Agent 缺的正是这一套，它们更像"盲目试错"而非"科学实验"。把"科学方法"内建进 Agent，可能是比任何模型规模提升都更根本的跃迁。论文用数据把这个洞见悄悄递给了我们。
这给"AI 在算法层为什么弱"提供了一个很具体的注脚：缺的不是算力，也不是模型不够大，而是那种"先量化、再干预"的科学工作习惯。第八章我们把它翻译成对行业有用的判断。
第八章 这盆冷水意味着什么
把前面几章拼起来，能得出几个对行业和普通人都有用的判断，不用等论文替我们总结。我尽量说人话，也尽量不夸大。
对"RSI 已经来了"这个叙事，该降温了。递归自我改进可不可行，论文没给否定的答案，它给的是一个冷静的实验侧证据：在受控、可复现、和原算法完全相同的条件下比，今天最强的编码 Agent 在"设计训练算法"上连两成距离都没走完，而且有超过五分之二的概率把事情搞得更糟。把 RSI 当成一个已经发生的能⼒拐点来讨论，证据不足；把它当成一个需要持续测量的变量，才是这份基准真正的立场。很多人听到"AI 科学家""自进化"就自动脑补出一条向上狂飙的曲线，这份基准把那条曲线的真实起点画了出来。它还在坡脚趴着。
给做 Agent 产品和研究的团队一个具体启示：想让 Agent 在算法层有用，瓶颈不是"模型够不够大"，也不是"堆了多少算力"。真正的瓶颈是它会不会读训练动态、敢不敢重写学习规则。提高推理努力能显著把 Agent 推过"不敢改算法"那道门槛（占比从百分之八到百分之六十四），但即便过了门槛，绝对水平仍低。换句话说，今天能靠"多想一想"解决的是意愿问题，不是能力问题。产品上如果指望"换个更大的模型就能让 Agent 自动改进你的训练流程"，这份基准的数据不支持这种乐观。更现实的投入，是教 Agent 做诊断。读损失曲线、定位故障机制。而不是单纯堆参数。
这份基准本身比一次性结论更有长期价值。论文把任务套件、评估器和每一次打分提交都开源了，使得"AI 能不能改进造 AI 的过程"变成一项可以随着系统演进而重复测量的体检指标。这比任何一篇论文的快照都重要，因为它让我们可以在未来任何一个新模型出来时，重新跑一遍，看那根 σ 曲线有没有真的往上走。今天 Opus 5 停在 0.25，明年某个新模型会不会到 0.5？这个问题只有重跑能回答，而重跑之所以可能，是因为他们把一切开源了。
我自己的看法是，这份基准最大的贡献不是"打了谁的脸"，也不是证明"AI 不行"，而是把一场原本停在口水层面的争论，钉进了一个可以反复称量的框架。能力有没有复利，不该靠信仰，该靠每次跑完之后那根 σ 曲线往哪走。一个能持续称量的体检表，比一百篇立场鲜明的宣言都更有用。
还有一个更小的、但我觉得不该略过的提醒：论文测的是"今天的系统"，而系统在变。所以任何基于这份基准下的结论，都有一个隐含的保质期。它的作者显然也想到了这一点，才会把开源当成头等大事。我们读这类"AI 现在不行"的论文时，最容易犯的错误，是把它当成永久判决；正确的读法，是把它当成一次快照，然后等着看下一次重跑。
说句可能得罪人的话：过去一年里，关于"AI 自我进化"的讨论，乐观派的声音远大于证据派。融资稿、发布会、技术博客里，"AI 科学家""自进化""递归自我改进"被用得越来越随意，好像只要把这几个词摆出来，未来就自动展开。这份基准像是一盆刚好需要的冷水，但它泼得很有分寸，没有说"不可能"，只说"今天还早"。这种分寸感，恰恰是严肃研究和营销话术的分界线。
对普通读者，我的建议是把"AI 会不会自己变强"这个问题，从"会不会"改成"在哪一层、到哪一步"。今天可以负责任地说：在算力层、数据层，AI 辅助已经很强；但在算法设计层，也就是真正能产生复利的那一层，今天最强的系统也还蹲在坡脚。下次再看到"AI 科学家"的标题，不妨问一句：它测的是改算法，还是改跑法？
一个有意思的旁支：这份基准其实也间接评论了"AI 科学家"这类产品的定位。如果今天最强的编码 Agent 在"设计训练算法"上才走完不到两成，那么把它包装成"能独立做研究的 AI 科学家"，至少是言过其实的。更诚实的定位，是"能帮人类工程师做大量试错和基线对比的助手"。吹过头，反而会让真正有价值的能力（比如快速复现、大规模对照）被质疑。
我想再补一刀，关于"叙事 vs 证据"。过去一年，"AI 科学家"这个词被用得太随意，几乎成了营销标签。但一个真正的 AI 科学家该做的，正是 AI4AI-Bench 这种事：定义可测量的问题、设计公平的对照、诚实报告失败。把"会跑几个实验"包装成"科学家"，是对科学这个词本身的稀释。这篇基准值得尊重，恰恰因为它没有包装，只是把尺子立起来，然后说：看，今天就这样。
再聊一个更落地的话题：如果你是一个在用编码 Agent 的工程师，这份基准对你意味着什么？它意味着，别指望把"改进训练流程"这种事直接甩给今天的 Agent 就完事。更现实的用法，是让它做那些"改跑法"的部分，比如调数据混合、改配置，这些它相对可靠；而"改算法"的部分，你最好自己把关，或者至少在它动手前让它先交一份诊断。把 Agent 当助手，而不是当架构师，是这份基准给出的务实定位。
我想把话说得更直白一点：这份基准对"AI 科学家"产品是一个降温贴。如果今天最强的编码 Agent 在"设计训练算法"上才走完不到两成，那么把任何编码 Agent 包装成"能独立做研究的科学家"，都是过度承诺。更诚实、也更有用的定位，是"能帮人类工程师做大量试错、快速复现和大规模对照的助手"。把助手当助手用，价值已经巨大；吹成科学家，反而透支信任。
说得再落脚一点：这篇基准对普通人的意义，是不必为"AI 要自己进化甩开人类"的叙事焦虑。数字告诉我们，今天离那一步还有很长路，而且那一步的瓶颈是方法而非算力。与其焦虑，不如关注更实在的问题：今天的 Agent 在哪些具体环节已经能帮你省时间、哪些环节还靠不住。把期待放在"助手"上，比放在"取代者"上，更接近今天的事实。
再落一句地到投资视角：如果你在看 AI 相关的项目，这份基准提供了一个冷静的尽调角度。少听"AI 科学家""自进化"的标签，多看它在具体哪一层有真实、可复现、可靠的改进。标签会过时，尺子不会。一个能在算法层持续往上爬的曲线，比一百句"即将颠覆"都更有投资价值。这也是我把这篇写给非技术读者的重要原因：学会看尺子，是这个时代的基本素养。
接下来这最后一节，说说这份工作的边界，以及如果你想深挖，该往哪看。
第九章 边界与延伸阅读
任何一份基准都有它没覆盖到的地方，这份也不例外。说清楚边界，才对得起前面那些数字，也才不误导读者拿它当万能结论。
相关工作里，论文把自己摆得很清楚。最接近的几个基准都和它不同：MLE-Bench、MLE-Dojo 奖励的是"交一份竞赛预测"；ML-Bench 练的是仓库级 ML 任务，把数据工程、模型选择、超参调优、调试、集成混在一起；连离得最近的 autoresearch，把整个训练文件交给 Agent 随便改，实测下来它的改动更像超参搜索，在受控比较里输给了 CMA-ES 和 TPE 这类经典优化器。这些基准测的是"Agent 能不能造出更好的产物"，而不是"它有没有改进生产后继者的学习规则"。按论文的说法，AI4AI-Bench 是第一个把这一步单独当成评测对象的基准：它把 Agent 移走，从干净状态重跑提交的源码，再给补丁分类，确认增益到底是来自执行、数据，还是来自对训练算法本身的改动。这个"分类"动作，是它区别于所有前辈的关键。
但基准自身也有明显的局限，读的时候要记着。它只有十个任务、每个只有四小时探索窗口，这未必能代表工业界动辄数天、跨多卡、有人类反复 review 的训练研究。四小时对"设计训练算法"这种需要深读代码、反复试错的事来说相当局促，Agent 可能根本没来得及进入状态。隐藏评估器和便宜代理指标之间的关系在不同任务上并不相同，有的代理是最终协议的子采样，有的干脆是另一套基准，论文承认边界保证的是"Agent 不可能用决定它结果的那个指标给候选打分"，而不是"它从没见过那行指标日后会读的数据"。也就是说，Agent 仍可能间接见过最终评估会用到的数据分布，这一点没有被完全堵死。
还有一点值得读者自己判断：这份基准测的是"今天的系统"，而系统本身在变。论文特意开源了一切，就是为了使得我们能在新模型出来时重跑，看那根 σ 曲线有没有真的往上走。它存在的目的就是持续地量，而不是一次性地下结论。任何把"今天 Opus 5 才 0.25"当成"AI 永远做不到"的解读，都是对这份基准初衷的误读。
如果你想顺着往下读，下面几个方向有用。论文主页 lab.einsia.ai/ai4ai 放出了任务套件、评估器和每一次打分提交，是复现和二次研究的第一站。autoresearch（Karpathy）是"把整个训练文件交给 Agent"的对照思路，能看到另一条路线的取舍。Frontier-Eng 是同一批作者把"自进化 Agent"放到真实工程任务上的另一份基准（arXiv:2604.12290），和本文互为补充。想看"算法设计能不能被自动化"的更早证据，符号优化算法发现 Lion 那篇（arXiv:2302.06675）值得一读。它证明在特定紧凑搜索空间里，算法确实可以被机器发现，只是那和"在现有仓库里诊断并改进学习规则"不是一回事。
回到开头那盆冷水。它不是要告诉你 AI 永远做不到，而是提醒你：在"算法设计"这一层，今天离"自我改进"还有很长一段路。那段路走没走完，不该凭感觉，该凭下一次重跑之后，σ 曲线停在哪儿。真正重要的不是今天的 0.25，而是这条曲线未来的斜率。
延伸阅读
- 主论文：AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement（arXiv:2608.20318，Navers Lab / Einsia.AI + 清华大学，2026-08）
- 项目主页与开源：https://lab.einsia.ai/ai4ai（任务套件、评估器、全部打分提交）
- 对照思路：autoresearch（Karpathy，单卡 nanochat 自动研究）、Frontier-Eng（同一团队，真实工程任务上的自进化 Agent 基准，arXiv:2604.12290）
- 早期证据：Symbolic Discovery of Optimization Algorithms（Lion 优化器，arXiv:2302.06675）
我想替这份基准说一句公道话：它的价值不在于它今天给出的分数，而在于它把"可重复性"当成了第一原则。很多论文发完就完了，数据不公开、代码不全，别人想复现都难。这份基准反过来，把任务套件、评估器、甚至每一次打分的提交全开源了。这意味着任何人在任何新模型出来时，都能原样重跑，得到一条可比的曲线。在 AI 能力飞速变化的时代，能持续称量的尺子，比一次性的高分更有长期价值。
如果你是被这一篇勾起兴趣的从业者，我建议真的去 lab.einsia.ai/ai4ai 把套件拉下来跑一遍，哪怕只在其中一个任务上试。纸上的 0.166 和亲手跑出一个 0.2，带来的体感完全不同。理解了"为什么我的 Agent 没碰学习层"，比记住论文的结论更有用。研究才刚刚开始，下一棒，可能就在你手里。
写到这里，我想给所有会被这篇长文吓到的读者一句宽慰：0.166 不是终点，它是一个起点刻度。三十年前的 ImageNet 上，模型的准确率也惨不忍睹，但那把尺子让进步变得可衡量，于是我们看到了后来的飞跃。AI4AI-Bench 可能就是算法设计这个子领域的"ImageNet 时刻"的序章，它先把尺子立起来。尺子立起来的那天，进步才真正开始被计数。
收尾之前，我想把整篇的脉络收一下。第一章给了你一盆冷水的事实；第二章到第三章解释了这盆冷水为什么浇在"算法层"；第四章到第六章用十个仓库和 290 个单元格，把"弱在哪"钉成了"不敢碰核心"；第七章用三个案例指明"强在哪"；第八章和第九章把它翻译成你能用的判断和能继续走的方向。如果你只带走一句话，我希望是：AI 在算法设计这一层离自我改进还远，但那把尺子已经立起来了，以后每次重跑，我们都能看见它有没有真的往上走。
最后我想说，读这类论文最大的收获，往往不是结论本身，而是它教你的"怎么提问"。AI4AI-Bench 提出的好问题不是"AI 强不强"，而是"AI 在哪一环强、在哪一环弱、弱的原因是能力还是意愿"。这种把笼统问题拆成可测量子问题的功夫，比任何单一结论都更值得学。下次你再听到一个关于 AI 的宏大断言，不妨也试着把它拆成几个能上尺子的子问题。能拆，才算真懂。
写完这篇，我回头看了一眼那把 σ 尺子，突然觉得它像个体温计。今天量出来是 0.166，发烧了吗？不算，但也不健康。重要的是，以后每天都能量，曲线会说话。比起任何一篇"AI 又突破了"的捷报，我更想要这样一个每天都能量的体温计。这篇长文如果只留下一样东西，我希望是：下次再有人跟你描绘 AI 自我进化的狂飙曲线，你先问一句，你的尺子，公不公平？
收尾之处，我想把这份基准和开头那盆冷水收个尾。冷水不是泼给 AI 的，是泼给叙事的。它提醒我们，在"算法设计"这道最该复利的门前面，今天绝大多数 Agent 还停在门外，少数进门的也大多只是找回默认设置。但门已经开了，尺子已经立了。下一次重跑时，那根 σ 曲线是往上还是躺着，才是真正值得盯的东西。这篇长文能做的，就是把你带到这把尺子面前。
最后的最后，我想把这篇长文献给你那种"愿意慢下来看证据"的耐心。快新闻会过去，尺子会留下。今天量出来是 0.166，明天可能是 0.5，也可能还是 0.2，但每一笔记录都让"AI 在算法层到底走到哪了"这个问题，从玄学变成科学。能看着一门技术被这样认真地称量，本身就是件让人安心的事。感谢你读到这里。
