← Back to Learning返回学习笔记
Frontier Translations
2026/09/19

AI 真的能改进自己吗?从自我修正到研究闭环的 RSI 落地方法

深入浅出解读《Recursive Self-Improvement in AI》综述与 Anthropic 前沿实验室测量:拆解 AI 自我改进的四类对象、验证瓶颈、研究闭环和可落地的七步方法,并辨别 AL4 与完全自主 RSI 的距离。

RSIRecursive Self-ImprovementAnthropicAI AgentsAI ResearchCommentary

一个 AI 编程代理发现自己总在同一类测试上失败。它写了一条新规则,加入自己的技能库;下次遇到类似任务,确实更快通过了测试。

它“改进了自己”吗?在一个有限而重要的意义上,是。但如果那条规则只让它更擅长应付现有测试,换一个项目反而更容易出错呢?如果它还可以修改测试,谁来判断测试是否仍在衡量我们真正关心的能力?

这正是递归自我改进(recursive self-improvement,RSI)的核心问题:一次改动能否变成下一轮改进的能力,并且我们凭什么知道它真的变好了?

本文结合论文综述 《Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops》 与 Anthropic 的 《Measurements for understanding the pace of AI development inside frontier labs》 作中文解读和延伸。前者梳理技术路径与证据边界,后者公开一家前沿实验室如何测量 AI 参与研发、监督代理和分配算力。文中的“七步落地方法”是我根据两份材料归纳的工程框架,不是两份原文共同提出的标准流程。

“自己”到底指什么?

最容易混淆的,是把所有“再试一次”都叫 RSI。论文用两个问题把概念拆开:系统改进了什么,以及谁验证改进? 论文第 2 节

第一种是改进当前答案:写一版,得到反馈,再修订。模型权重没有变化,这次经验也未必能留到下一次。第二种是改进代理的工作方法:修改提示词、工具调用、记忆、技能、编排或停止规则。改进如果通过验证并保存,就可能跨任务积累。第三种是改进模型参数:系统生成训练数据、奖励或教师信号,再通过训练更新权重。第四种是改进研发过程本身:提出假设、设计实验、运行评估,把结论用于下一代模型或下一轮研发。

这四类并非一条必经的升级路线。一个不更新权重的代理,也可能通过更好的工具和技能积累产生很大收益;一个不断更新权重的模型,也可能只是反复强化自己的偏见。论文还把评估器单独列为关键类别:当系统开始修改“什么算更好”的判据,问题已不只是如何优化,而是优化方向由谁决定。论文第 3—6 节

可以把它想成一个学生:改对一道题、记住一种解法、改变学习习惯、设计下一套课程,是四件不同的事。如果学生还能自己出题、自己批卷,只凭分数上升,我们就更难判断他是否学会了真正需要的东西。

Anthropic 测到了什么,尚未测到什么?

Anthropic 以内部研发任务建立了“研发自动化指数”。截至 2026 年 8 月,Claude 在其测量范围内“主导”了 26% 的 AI 研发工作;在超过 90% 的工作中,至少达到“协作”级别。但它没有在任何被测工作子集达到“完全自主”。这里的“主导”(AL4)是从高层目标出发完成大部分任务,仍由人监督;“完全自主”(AL5)才是不需要人发起、把关和部署。26% 是按人力时间给任务加权的工作占比,不是“26% 的研究员被替代”,也不是“26% 的下一代模型由 AI 独立造出”。Anthropic:研发自动化指数与分级示例

这个数字值得重视,却也需要读懂口径。Anthropic 从 2026 年 7 月各研发部门每周随机抽取 20% 员工的工作记录,整理约 1.5 万项细粒度任务,归入一个固定的任务篮子,再由模型查证据、另一模型评级。模型与人的评级完全一致为 59%,在相差一级以内为 97%;人和人的完全一致率为 35%。这说明指标有可用性,也说明 AL3 与 AL4 的边界并不精确。固定任务篮子便于看趋势,却可能漏掉后来出现的新工作;用 Claude 评估 Claude,也有相关误差风险。Anthropic 因此提出第三方验证。Anthropic:方法附录

另一组数据解释了“自主程度”之外还要看什么。在最常用的一套内部代理平台上,Anthropic 称同时有约 3 万个研究和工程代理运行;该平台代理的动作全部经过执行前在线监控,也全部进入事后离线监控。2026 年 8 月超过 10 亿次决策中,在线监控阻止了约 0.002%。这些数字描述的是覆盖率和拦截频率,不能单独证明监控能抓住多少真正的危险行为。后者还需要已知异常测试、独立红队、人工复核和响应时间等证据;而这套统计也不覆盖 Anthropic 的所有平台。Anthropic:代理监督指标

Anthropic 还公布了 2026 年 7 月一周的算力快照:AI 研发算力中约 6% 用于安全工作;AI 驱动的 AI 研发算力中约 12% 用于安全工作。两者分母不同,不能相加,也不能据此断言安全研究只占全部投入的 6%。安全研究可能很费人力、却不费算力;一周快照也不足以表示长期趋势。这组数据的启发不是猜测一家公司的“安全态度”,而是看见研发闭环需要同时记录能力、监督和资源,否则只会看到加速,看不到制动。Anthropic:算力分配与局限

改进循环的发动机,其实是能否得到外部真值

论文综述了 1,250 篇相关论文。它的结论不是“循环越自主越好”,而是:改进强度依赖反馈质量。它提出的验证层级大致是:形式证明与类型检查最严格;可执行测试、编译器和环境反馈很有用,但不能覆盖所有错误;奖励模型和 LLM 评审会受自身能力与偏见限制;模型自信度、自洽性等内在信号最容易被钻空子。这是综述中的定性规律,不是精确测量出的普适定律。论文第 5.2 节

为什么代码领域较容易出现有效的自我修复?因为失败的测试会给出反例。为什么“请再认真检查一下”常常没用?因为第二次思考可能只是用同一套盲点重述第一次的错误。论文引用的诊断研究发现,没有外部反馈的多轮自我批评,容易产生措辞变化而非知识进步。重复不是学习;被现实纠正后的重复,才可能成为学习。论文第 3.1—3.2、5.2 节

但测试通过也不等于真实改进。代理可以学会针对测试集写补丁,甚至与自己生成的测试“串通”。当生成者和评审者共享模型、数据或目标,它们的错误会相关:一个有自信的误判,可能同时被提出、认可并保存。这就是论文讨论的“自我确认循环”。如果系统进一步用自己生成的数据训练自己,还可能丢失罕见样本,或把课程越出越窄。外部数据、不同来源的评估、保留多样性和周期性人类审查,不是拖慢循环的装饰,而是防止循环空转的输入。论文第 5.3 节

RSI 可验证改进闭环:目标与边界进入候选生成,隔离实验、独立验证、人类复核后才写入技能或模型;外部真实任务反向校准目标与评估器。
本文绘制:能积累的循环,必须让改进成果和验证依据一起留下;外部世界还要不断校准题目本身。

RSI 怎么落地?先做一个可证伪的小闭环

对团队而言,最可行的起点通常不是让代理修改下一代基础模型,而是选一个范围清楚、反馈足够硬、失败可以回滚的任务。例如:让编程代理改进自己的工具选择规则,减少在某类仓库中误调用工具的次数。下面是根据论文的验证逻辑和 Anthropic 的测量实践整理的七步方法。

第一步,写下目标,也写下不准牺牲的东西。 目标可以是独立任务集上的解决率、人工返工时间或每单位算力的成功率。约束应包括回归率、安全事件、成本上限和允许改动的范围。不要只用一个综合分数,因为综合分数会掩盖“质量上升,但越权也上升”。

第二步,把改动对象缩小。 先允许代理建议修改提示词、技能文件或工具路由,暂不开放评估器、权限和部署规则。每个候选单独保存版本和差异。这样一旦表现变差,可以知道是哪一层变了,也能回滚。论文把这种可检查、可限制的支架改动视为最具体的自我修改形式。论文第 3.5—3.6 节

第三步,事先准备外部检验。 训练任务和保留任务分开;尽可能使用真实历史故障、可执行测试和跨项目任务。由代理生成的测试可以帮助发现问题,却不能独自充当最终裁判。对开放性任务,把“写得像研究”拆成可审查的证据链:引用是否存在、实验能否复现、消融是否支持结论、失败是否如实报告。

第四步,让代理提出假设,而不是无限重试。 每次候选都记录:它认为失败原因是什么、改了哪条规则、预期改善哪类案例、可能伤害哪类案例。固定预算下比较“原配置”“只多给一次尝试”和“采用新方法”三组,避免把额外计算量或随机重采样误认成自我改进。论文强调,执行反馈的价值要与单纯重复采样区分。论文第 3.2 节

第五步,在隔离环境验证,再由独立视角复核。 跑测试、保留集、成本和安全检查;抽样让人或不同来源的评审检查关键失败。高风险改动要把监控和部署权限放在代理不能自行修改的位置。Anthropic 的做法还提示我们:给代理持续身份,为动作、消息、证据和实验结果保留可追溯链接,这比只保存最后一个“成功分数”有用。Anthropic:代理身份和开放通信

第六步,设置晋级门槛。 一次成功先进入候选库,跨任务稳定改善才进入共享技能或生产配置;影响越大,人工审查越严格。发布后继续看真实任务表现,发现回归就撤回。这里是“人监督循环”:机器快速提出和测试,人负责决定何时可信到足以扩散。

第七步,定期审查题目是否还值得做。 原有指标仍在上涨,用户体验或研究价值却可能停止改善。记录被放弃的想法、阴性结果和改题理由;定期问:“我们是更接近目标,还是更擅长拿分?”这一关不能仅靠同一个分数自动触发。

上述七步并不保证递归增长。它们只是让“改进”成为一个可以被反驳、比较和撤销的主张。若没有对照、保留任务和过程记录,所谓自我改进常常只是一次更昂贵的试错。

最深的瓶颈:谁来判断该做哪道题?

论文区分了两个经常混在一起的能力:评价一个已给定的研究方向,和发现哪些问题值得研究。前者还可以检查严谨性、复现结果和资源回报;后者涉及目标变化、机会成本,以及识别“现有指标正在变好,但这件事已经不重要了”。验证器能回答“这个答案是否对”,却不能单凭答案判断“这道题是否值得继续问”。论文第 5.4 节

这也是我认为 RSI 最容易被误解的地方。人们常把智能增长想象成一条向上的曲线:更好的 AI 造出更好的 AI,于是越走越快。但现实中的改进循环更像一家研究机构:谁提出问题,谁设计实验,谁拒绝漂亮却错误的结果,谁记住失败,谁决定转向?这些环节中任何一个失真,速度都可能只是在放大偏差。

论文举出自动化研究的强例子,也给出限制:可由程序验证的算法与代码发现,已经能产生回馈 AI 基础设施的成果;某个公开的自动后训练系统还在多轮实验中发现开发指标与外部表现脱钩,并调整搜索策略。但这些成果仍发生在人设定的目标和搜索空间内,不能由此推断系统已经具备开放式、无需人类方向选择的 RSI。论文第 6.1—6.3 节

论文的 1,250 篇是按关键词和补充检索形成的样本,不是整个领域的普查;分类有人工修正,论文数量也不代表技术成熟度。更重要的是,综述报告的是不同研究的结果和争论,没有用统一实验比较所有方法。其结论应当被当作一张“问题地图”,而非已证明的技术路线图。论文第 2.3 节及局限

三个容易被忽略的底层逻辑

可验证性会塑造技术发展的顺序,但不等于重要性的顺序。 写代码、解形式题的反馈便宜而明确,因此容易积累自动改进成果;研究方向、照护质量、组织判断的反馈昂贵且滞后,因此更难形成闭环。我们看到某类任务先被自动化,未必因为它在人类世界更重要,也可能只是因为它更容易被机器打分。论文把研究选题中的这种风险称为:可测量的东西挤走重要的东西。论文第 5.4、8 节

监督的难点会随着循环速度改变。 一小时内产生上千次改动时,要求人逐项审批并不现实;但让人只看最后的平均分,也无法发现某种错误正在被扩散。更好的监督对象是改动边界、异常阈值、随机抽样、可追溯过程与暂停机制。这里可以区分两个词:看得见动作,不等于拦得住错误;拦住个别错误,也不等于能识别整个研究方向已偏离。Anthropic 同时披露监控覆盖、复核延迟与升级率,正是因为单一数字无法代表控制能力。Anthropic:监督指标

递归的单位未必是一只模型,也可能是一套组织化的方法。 代理的一次输出会消失;留下经验证的技能、实验记录、失败原因和改题依据,下一代系统才有可以继承的东西。反过来,如果每轮只保存胜出的答案,扔掉失败分支,系统可能越来越会展示成功,却没有真正增长研究判断力。论文讨论的“科学失忆”提醒我们:表现累积与方法累积并不是同一回事。论文第 5.5、8 节

对普通人和 AI 从业者,各有一个值得带走的判断

对普通读者,“AI 会不会自己变聪明”可以改问为:它究竟在改答案、改工作方法、改权重,还是改研究流程?谁验证它?失败的代价由谁承担?这些问题比一句“已经实现 RSI”或“永远不可能”更能接近事实。

对 AI 从业者,更关键的是一种设计习惯:把目标、证据、改动、验证者、资源和回滚做成系统里可见的对象。不要让同一个代理同时拥有改规则、改考卷、改分数和直接上线的全部权限。真正有价值的积累,不一定表现为模型参数飞跃;它也可能是一套越来越可靠、能跨任务复用的技能、实验规范和错误记忆。论文把结果层面的反复计算比作持续支出,把过程层面的可复用方法比作资本积累,这是理解“递归”最朴素的经济学视角。论文第 5.5 节

最后仍要留一个比效率更难的问题:如果一个系统越来越擅长达到我们给它的目标,我们是否也越来越擅长发现目标错了?

Anthropic 的测量让我们看见,AI 正在参与越来越多的 AI 研发;论文的综述让我们看见,参与、主导与完全闭合是不同的状态。两者合起来的启示是:通往 RSI 的关键,不是把循环转得越来越快,而是让每一轮改进都能接受外部世界的纠正,并让人保有重新定义问题的能力。


来源与编译范围