Skip to content
View original post on X: Dongxi NLPX· Pick68/100AI score68/100

Can AI systems create the next step in their own progress?

AISummary

Dongxi NLP walks through recursive self-improvement, from a coding agent that rose from 20% to 50% on a 200-task SWE-bench subset by editing its own tools, to five research routes. The author uses the Open-Science workbench to track sources, figures and review, and says the economic models suggest current feedback is not yet enough for self-sustaining acceleration.

AIWhy it matters

The article traces concrete self-improvement routes and their evidence, showing where feedback loops hold and where bottlenecks break them.

Post on XView on X
Dongxi NLPVerified on X
@dongxi_nlp

https://x.com/i/article/2110446055401947136

用 Open-Science 追问:AI 能否制造下一次进步

用 Open-Science,追踪 AI 自我改进的技术路线、经济账,以及那些还没接上的反馈环。

一个编程智能体,起初只能解决五分之一的任务。

让它修改自己的工具和工作流程,保存候选版本,继续搜索。

80 轮之后,任务解决率到了 50%。

DGM 报告的结果:200 个任务的 SWE-bench 子集,基础模型冻结。

最吸引我的,是模型没有换。

改进发生在模型周围的软件里:如何调用工具,如何组织解题,如何处理失败。昨天写下的补丁,今天可能成了写出下一个补丁的工具。

想象一位程序员,每次完成工作,还顺手修好了自己的调试工具。下一次,他可能更快。如果连“改进工具的方法”也越来越好,会发生什么?

递归自我改进——Recursive Self-Improvement,RSI——追问的,正是这个问题:

进步能不能回到制造进步的那台机器里?

先把问题留在项目里

我用 AIPOCH Open-Science 开了一个 RSI 项目,从 What if automating AI R&D triggers an intelligence explosion? 和 The Economics of Recursive Self-Improvement 两份材料出发,追踪这条反馈链。

Open-Science 是一个开源的 AI 科研工作台。放入问题、论文或数据,智能体可以协助拆解任务、检索资料、编写和运行分析代码。资料、会话、Notebook、报告和图表留在同一个项目里,连同可用的执行记录与审阅意见,方便沿着结果回头找依据。

本项目的资料、执行、审阅与输出关系示意。

先把追问,写进项目

我在 Agent Context 留下这轮研究的要求:比较技术路线、趋势和经济影响;区分论文结果与推断;给重要数字留下来源。它会跟随后续会话,让每读一篇论文,都能回到同一个检查点:这一轮的变化,下一轮究竟怎么用上?

接通所选模型提供方后建立项目;Agent Context 保存后续会话要遵守的研究要求。

AI 给自己升级,动的到底是什么?

“自我改进”听起来像一个按钮。打开论文,里面其实是几条很不同的路。

这张地图区分改变的对象;它们没有共用一把性能尺子。

先给它一本错题本。

Reflexion 让智能体做任务、读反馈、写下失败原因。下一次重试,把这段记忆一起带进去。模型权重保持原样,留下的是可以重新读取的经验。

这条路很依赖反馈。测试误判,它就可能在错误解答上提前收工。

概念示意:改进必须有保存和继承的路径。

再让它生产自己的训练材料。

STaR 先生成解题过程,用已知答案筛选,再拿筛出的材料训练。答错的题,还可以给它答案,让它重新生成解释。下一轮,用训练后的模型生产材料。

概念示意。STaR 每轮微调从原始预训练检查点开始;答案正确也不保证推理全过程正确。

SPIN 则让模型学习区分固定的外部示范与旧版生成的回答,再让新模型参与下一轮。这里的外部示范也可能来自另一个模型。

自产数据很诱人:练习可以不断增加。题目、验证标准和训练规则,仍然决定着它会朝哪里走。

让每个数字都有来路

“模型答得更好”已经不够用了。我把 RSI 来源文件夹加入 Open-Science,让会话对照原文整理。任务可以写得具体一点:

比较每轮保留了什么变化,反馈来自哪里。整理技术路线、原文报告的结果和经济瓶颈。每个数字标明任务、指标与来源,把待验证的问题单独列出来。

通过 Files → Add folder 加入来源目录,再让会话读取具体材料。上面是可使用的任务示例。

这轮整理留下了 23 篇核心文献、6 项补充来源、47 条关联来源的主张。接下来的三条路,把变化从回答和权重,推到了制造答案的工具与流程。

第三条路,直接动自己的工具箱。

DGM 会读失败日志,修改工具、上下文管理或工作流程,再跑编程评测。可运行、仍能修改代码的版本进入档案,后续轮次可以选择不同分支继续生长。暂时没有拿到最高分的版本,也可能成为踏脚石。

概念示意:改变的是智能体代码。外层档案选择和评测规则仍固定。

开头那次提升就来自这里:模型周围的软件升级,让智能体解决了更多任务。

第四条路,改生产 AI 的流水线。

AlphaEvolve 让模型生成算法候选,交给预先写好的程序检查正确性与性能,再从候选库继续搜索。目标可以是更好的调度、更快的计算内核。

这些改进进入真实系统后,有机会降低下一轮研发的计算成本。AI 找到更好的算法,算法再用于 AI 研发,这是一条可能接起来的反馈链。

第五条路,让改造车间也接受改造。

Hyperagents 同时开放“做任务的代码”和“提出、执行改动的代码”。它还检查,积累的改造方法换到新任务以后,能不能继续造出更好的智能体。

概念示意:内部改进流程可以修改,判断成果的外部评测仍固定。任务能力与改进能力分别检验。

Metaⁿ 走另一条路:底层改进操作固定,逐层增加代码、历史记录与包装层,让下一层继承前面的工作。

从错题本,到工具箱,再到改造车间,“自我改进”逐渐有了具体形状。接下来,要看这些变化究竟带来了什么。

升级以后,能不能更会升级?

第一次考试:任务做得更好了吗?

第二次考试:更会制造下一次进步了吗?

AIDE² 在一次运行中接受了 7 次智能体运行框架改写。另一项实验让演化后的版本与人工设计的版本,分别去改进目标智能体。

终点私有评分均值为 0.780 与 0.782,每组 3 个随机种子。这次检验没有确立演化版本的优势,也不能证明两者相等。

升级记录有了,第二次考试还没有拿到明确的胜负。

另一条曲线也很耐看。SPIN 四轮训练的新增提升,依次是 2.66、1.32、0.85、0.19。

论文六项任务平均指标的逐轮增量,单位为指标点。只描述这组实验。

它仍在进步,每轮新增的提升却在缩小。想让进步越来越快,还要找到下一轮更大的增益,或者更低的改进成本。

曲线先落到表格里

这些差别很容易被一张漂亮的图盖过去。我让会话生成主张表、时间线和研究图表,在 Notebook 查看构建代码与运行结果。遇到 Review risky code 审查卡,检查作用范围后,批准了本地输出构建。

这次执行构建研究输出,没有训练模型;完整截图保留了语法错误与恢复记录。本文简图是在研究材料基础上进一步整理的呈现。

数字需要改,就回到表格;结论需要改,就得有人挑错。

请审阅者,挑一挑这条曲线

我要求独立审阅,在 Subagents 里收到第一次结果:REVISE。

它抓到一个很容易忽略的问题:如果对照正在退步,新版本只要少退一点,就能显得“领先”。这样就能宣布它在加速吗?判定规则随后补上了对自身变化的检验,也补全了实验预算。

来源核查还纠正了一条漂亮的数字:Self-Instruct 的 6.8 → 39.9 是 ROUGE-L,不能写成准确率。

审阅留下具体意见;它能检查什么,仍取决于拿到了什么证据。

这轮研究由此留下三项实验设计。关键是给新旧版本相同预算,让它们改进没见过的目标,把失败候选和人工介入一起记账。实验尚未执行,下一步要测的东西已经更清楚了。

第二次考试还得带上账本:得到一个更好的版本,究竟花了多少时间和算力?

省下来的算力,会把循环推多快?

0.7%,为什么也值得兴奋?

AlphaEvolve 的开发者报告,调度优化回收了整个计算资源池 0.7% 的算力。

另一项计算内核优化,让 Gemini 的整体训练时间缩短了 1%。

两项数字均为开发者报告的运行结果,分母不同。

放进巨大的计算资源池里,省下一小块,也可能让更多实验获得运行机会。这些算力也可以拿去服务更多客户。效率收益能否接回研发环,取决于团队怎样使用它,以及下一次搜索、验证和实施改进要付出多少成本。

如果 AI 变强以后,最划算的用法是让它继续造下一代 AI,会发生什么?

先看技术这一圈:AI 更会做研究,有效研究投入增加,算法得到改进,下一代 AI 又变得更强。

概念示意:收益必须真正进入下一轮,反馈强弱也会随瓶颈变化。

再看资金这一圈:更好的 AI 创造了有人愿意付钱的价值,新增收入可以支持更多算力、数据和研发。

The Economics of Recursive Self-Improvement 把这些环节拆开建模:能力提高一点,能带来多少有效研究?研究增加一点,能找到多少好算法?算法变好以后,又能给研究用的 AI 带来多大提升?

每一段都在决定这一圈有多强。好点子越来越难找,重复工作和实验排队,也会吃掉增益。

外部人力、算力等投入不再增长时,这条反馈链还能让进步速度提高吗?这篇预印本的粗略校准认为,当时的反馈还不足以支持自我维持的加速,尽管似乎正在增强。判断依赖间接数据和模型假设。

What if automating AI R&D triggers an intelligence explosion? 则追问更快的情景:原本数年的进步,有没有可能压缩到数月或更短?难自动化的工作、实验算力和长训练周期,都可能拖住这条链。

看一个小例子,就知道瓶颈为什么重要。

假设一次研究要花 2 天写代码、1 天跑训练、1 天验证,共 4 天。现在,AI 把写代码加速了十倍。

人为设计的串行流程示例,固定质量、阶段不重叠,并非论文测量。整体速度约为原来的 1.8 倍。

代码只用 0.2 天了,后面仍要等 2 天。几百个 AI 同时提出实验,GPU 队伍却越排越长,研究速度就会被实验吞吐量牵住。药物的临床验证、电网建设和组织决策,还有各自的时钟。

它会改变谁的账单?

对研究团队,最先变化的可能是一项实验的成本:同样预算,能否尝试更多可靠的想法?对模型公司,还要看收入能否投入研发,以及芯片、电力和数据能否跟得上。

对使用者,关键是能力能否走出实验室。更会优化训练算法,不保证它就更会处理真实工作;部署与组织也要跟上。经济模型因此把研发能力与更广泛的经济能力分开。

拥有算力、模型和分发渠道的团队,可能更容易把收益接回下一轮;便宜的研究工具和可复用的公开记录,则有机会让更多人参与。就业与收入分配会怎样变化,目前的 RSI 实验还没有给出答案。

读到这里,我最想跟踪的数字变成了:

得到一项经过验证、确实有用的改进,总共花了多少钱和多久?

把没成功的候选也算进去,这张账单才会告诉我们,循环有没有变得更有效。

结果存下来了,证据呢?

这笔账还要等新的实验去填。我先重新打开项目里的综述与图表,查看 Provenance → Reproducibility。这个面板也露出了缺口:自动依赖图没有捕获,执行证据不可用。因此,我额外保留了本地构建检查。

研究记录帮助检查来源与过程;构建输出的核验不等于复现论文里的模型实验。

来源、主张、修订和图表已经留下了。下一位接手的人,还能沿着这些线索继续吗?

下一位研究者,会从哪里开始?

假如只把那张 20% → 50% 的图交出去,最吸引人的数字留下了,评测任务、冻结模型和版本选择的条件,却要重新找一遍。我想把结论走过的路,也一起留下。

于是,我试着用 Open-Science 的 .science,把这轮 RSI 研究带到另一个项目。选了 Full export,展开内容清单,最新综述、构建包和不同文件版本都能分别看到。

打包时还有一个小插曲:敏感内容检查盯上了生成参考文献的 auth 变量。展开代码一看,它拼接的是作者姓名。核对之后继续,等复制和校验完成,得到一个 44.24 MiB 的研究包。

截图中的 445.6 MiB 是导出前的界面预估;44.24 MiB 是最终保存的文件大小。

换一个项目,数字还有来路吗?

我另建了一个项目,把包导入进去。预览列出 8 个分支、71 条消息,讨论和文件版本跟着结果一起到了新项目。

最新综述已经能打开,之前的版本和消息也能翻看。导入的研究历史保持只读,代码没有自动重跑。我先检查实际收到的文件:最新综述和最终构建包,与原件逐字节一致。

再用导出包里的材料,在单独目录重新运行构建:四张 CSV 和参考文献文件完全一致;两张研究图的标签、日期和内容一致,排版有差异。

材料传过来了,输出也重新检查了。接下来,该把注意力放回改进能力本身。

把没回答的问题,交给下一轮

我点击 Fork to continue,从收到的记录中开出一个独立、可编辑的会话。导入的只读历史还在,新的输入框已经可以接住下一问:

改进过的智能体,换一类没见过的任务,还会更擅长改进自己吗?

Fork 已实际创建。截图中的问题是未发送的演示草稿,验证后已清空。

这次交接在同一台电脑的两个项目间完成。图表重建另行使用已有 Python 环境,没有复现论文里的模型实验,也没有验证跨设备环境恢复。

AI 的进步能否自己加速,仍是一个开放的问题。把失败也算进去的下一轮实验,会让这个问题再具体一点。

原文与资料

文中数字来自论文或开发者报告,本项目做的是截至 2026 年 10 月 11 日的文献研究与输出构建。所有外部链接集中在这里,保留原文标题与检查位置。

〔1〕Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents — 第 3–4 节:档案搜索、冻结基础模型与 200 任务子集结果。

〔2〕What if automating AI R&D triggers an intelligence explosion? — 2026 年 9 月机构版本:软件反馈、研究摩擦与条件性的加速情景。

〔3〕The Economics of Recursive Self-Improvement — 固定 v1;第 2.2–2.6 节的技术与资金反馈,第 4.1 节的粗略校准,第 4.3 节的经济影响。

〔4〕Reflexion: Language Agents with Verbal Reinforcement Learning — 第 3、4.3 节:文字记忆、重试与测试误判。

〔5〕STaR: Bootstrapping Reasoning With Reasoning — 第 3 节与 Algorithm 1:筛选、解释生成与迭代微调。

〔6〕Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models — SPIN;第 6 节、附录 B 表 4:示范数据与逐轮结果。

〔7〕AlphaEvolve: A coding agent for scientific and algorithmic discovery — 第 2、3.3 节:算法搜索与两项部署效率结果。

〔8〕Hyperagents — 第 3、5.2 节:可编辑的任务与改进程序、改进能力迁移。

〔9〕Metaⁿ: Recursive Self-Improvement through Emergent Depth — 第 2–4 节:固定改进操作与逐层积累。

〔10〕Recursive self-improvement of AI research agents — AIDE²;第 3.2–3.3、3.6 节:七次改写与直接改进者检验。

〔11〕Self-Instruct: Aligning Language Models with Self-Generated Instructions — 表 3:6.8 → 39.9 对应 ROUGE-L。

〔12〕Projects and source folders — 项目设置、Agent Context 与目录访问说明。

〔13〕产品入口:Open-Science · GitHub · @aipoch_ai。官方项目采用 Apache-2.0 许可,支持多种模型提供方、Skills 与连接器。项目文件在本地,发给所选模型的必要上下文仍可能离开本机。

〔14〕AIPOCH Open-Science .science: Share Research with Context — .science 研究包介绍;本文补入了本项目的实际导出与导入体验。

〔15〕AIPOCH Open-Science Ranks First in the Reported ASI-Bench B1 and B2 Comparison — 产品方发布的本地评估。B1 为 79.35、B2 为 56.11,是其报告的任务质量分数;同模型对照的 0.02 分差异不足以证明统计优势。本项目未做产品基准测试。

〔16〕.science research packages — 官方操作指南:导出范围、导入只读记录、Fork 与接收后的执行边界。

Original, in No linguistic content

Source: Dongxi NLP · x.comPublished · added here