翁荔再發(fā)萬字長文：AI自進(jìn)化，從Harness開始

前 OpenAI 安全研究副總裁、Thinking Machines Lab 聯(lián)合創(chuàng)始人翁荔（Lilian Weng）又雙叒叕發(fā)長文了：

繼喊話謹(jǐn)慎對(duì)待Scaling Law之后，這次她系統(tǒng)梳理了一個(gè)正變得越來越重要的方向：Harness Engineering。

博客鏈接：https://lilianweng.github.io/posts/2026-07-04-harness/

她在這篇最新博客中寫道，AI 的自我提升未必會(huì)先從“模型直接改寫自己的權(quán)重”開始。

翁荔認(rèn)為，Harness Engineering 可能成為 AI遞歸式自我提升（RSI）的近期開端。相比直接讓模型改寫自身權(quán)重，更現(xiàn)實(shí)的路徑是先優(yōu)化模型外部的Harness 層，包括工作流、上下文管理、工具調(diào)用和評(píng)估機(jī)制；這些能力成熟后，才可能進(jìn)一步推動(dòng)自動(dòng)化研究和更強(qiáng)模型的產(chǎn)生。

不過，她也提醒，目前這一路線仍面臨評(píng)估器模糊、上下文記憶退化、獎(jiǎng)勵(lì)黑客、負(fù)結(jié)果難以保留，以及人類監(jiān)督如何嵌入等問題。

全文圍繞Harness 的設(shè)計(jì)模式、優(yōu)化方法以及未來挑戰(zhàn)展開，主要內(nèi)容如下：

一、Harness 設(shè)計(jì)模式

1. 1. 模式一：工作流自動(dòng)化

2. 2. 模式 二：文件系統(tǒng)作為持久記憶

3. 3. 模式三：子Agent 和后臺(tái)任務(wù)

4. 4. 案例研究：編碼 Agent 工具

5. 5. Harness 層與核心智能？

二、Harness 優(yōu)化

1. 1. 上下文工程

2. 2. 工作流設(shè)計(jì)

3. 3. 自我改進(jìn) Harness

4. 4. 進(jìn)化式搜索

5. 5. 基于模型權(quán)重的聯(lián)合優(yōu)化

三、未來挑戰(zhàn)

遞歸式自我提升（recursive self-improvement, RSI）的概念可以追溯到 I. J. Good（1965）。他將“超智能機(jī)器”定義為一種能夠在所有智力活動(dòng)上超越人類，并且能夠設(shè)計(jì)出更好機(jī)器來改進(jìn)自身的系統(tǒng)。Yudkowsky（2008）則使用“recursive self-improvement”這個(gè)短語來描述一種特定的反饋回路：AI 使用自己當(dāng)前的智能，去改進(jìn)產(chǎn)生這種智能的認(rèn)知機(jī)器。

在現(xiàn)代 AI 中，這個(gè)反饋回路既可以指模型直接重寫自己的權(quán)重，也可以更寬泛地指模型改進(jìn)訓(xùn)練流水線和部署系統(tǒng)，而這些改進(jìn)又使得下一個(gè)繼任模型能夠在具有經(jīng)濟(jì)價(jià)值的任務(wù)上獲得更強(qiáng)表現(xiàn)。前沿實(shí)驗(yàn)室（Anthropic；OpenAI）中的 AI 研發(fā)速度已經(jīng)被證明大幅加快。

我特意提到“部署系統(tǒng)”，是因?yàn)槲挥谠寄Ｐ团c真實(shí)世界上下文之間的這一層，似乎和模型的原始智能同樣重要，也就是預(yù)訓(xùn)練后立即做評(píng)測(cè)時(shí)看到的能力。Harness 是 AI 部署中的重要組成部分，這一點(diǎn)已經(jīng)被 Claude Code 和 Codex 等成功的編程 Agent 產(chǎn)品展示出來。所謂 harness，是圍繞基礎(chǔ)模型構(gòu)建的系統(tǒng)：它負(fù)責(zé)編排執(zhí)行，決定模型如何思考和規(guī)劃、調(diào)用工具和行動(dòng)、感知和管理上下文、存儲(chǔ)產(chǎn)物，以及評(píng)估結(jié)果。

本文將聚焦于harness 工程相關(guān)研究，以及它如何推動(dòng) RSI。近期關(guān)于自動(dòng)化研究、自我改進(jìn) Agent 和進(jìn)化式程序搜索的許多工作，都可以圍繞這個(gè)問題來組織。其他方向也符合 RSI 愿景，例如模型自博弈、合成數(shù)據(jù)、測(cè)試時(shí)訓(xùn)練，以及更廣義的持續(xù)學(xué)習(xí)主題（如 Yuan et al. 2024、Chen et al. 2024、Zhao et al. 2025、Choi et al. 2026），但它們不是本文重點(diǎn)。

Harness 設(shè)計(jì)模式

相比早期的 Agent 框架，即“Agent = LLM + 記憶 + 工具 + 規(guī)劃 + 行動(dòng)”，harness 工程還包括工作流設(shè)計(jì)，例如loop engineering、評(píng)估、權(quán)限控制和持久狀態(tài)管理。它不再只是提示詞模板，而更接近運(yùn)行時(shí)和軟件系統(tǒng)設(shè)計(jì)：模型如何觀察、行動(dòng)、記憶、檢查自己，并完成改進(jìn)。

這種設(shè)計(jì)應(yīng)該有意保持簡(jiǎn)單和通用，以支持泛化；同時(shí)，它也很可能需要參考現(xiàn)有軟件工程實(shí)踐，從預(yù)訓(xùn)練知識(shí)中受益。操作系統(tǒng)和harness之間也存在很強(qiáng)的類比。類似 OS，harness 應(yīng)該封裝復(fù)雜邏輯，同時(shí)保持接口簡(jiǎn)單。與此同時(shí)，配置、工具接口和其他協(xié)議也可能逐漸在行業(yè)中標(biāo)準(zhǔn)化。

1.模式一：工作流自動(dòng)化

定義一個(gè)讓模型能夠操作、測(cè)試和迭代的工作流，是實(shí)現(xiàn)自動(dòng)化的關(guān)鍵設(shè)計(jì)。Karpathy 的 autoresearch 倉庫是構(gòu)建這類工作流的一個(gè)清晰例子。一個(gè)常見工作流遵循目標(biāo)導(dǎo)向的循環(huán)：規(guī)劃、執(zhí)行、觀察或測(cè)試、改進(jìn)，然后再次執(zhí)行，直到目標(biāo)達(dá)成。這個(gè)過程可能會(huì)主動(dòng)向用戶請(qǐng)求澄清，以明確任務(wù)規(guī)格或執(zhí)行偏好。

圖｜一個(gè)簡(jiǎn)化版的 Codex Agent 循環(huán)。

工作流圖也強(qiáng)調(diào)，模型會(huì)分析自己的軌跡和失敗案例，并通過一個(gè)“Agent 運(yùn)行時(shí)”持續(xù)迭代，而不是只依賴靜態(tài)提示詞模板。

2.模式二：文件系統(tǒng)作為持久記憶

長程 Agent 系統(tǒng)中一個(gè)反復(fù)出現(xiàn)的模式，是用簡(jiǎn)單控制來管理豐富狀態(tài)和產(chǎn)物。Harness 不應(yīng)該把整個(gè)工作流和所有日志都塞進(jìn)上下文；相反，它應(yīng)該把持久狀態(tài)保存在文件中。在長程 Agent rollout 中，實(shí)驗(yàn)日志、代碼 diff、論文摘要、錯(cuò)誤棧和過去 rollout 軌跡等產(chǎn)物，常常會(huì)遠(yuǎn)遠(yuǎn)超過模型訓(xùn)練時(shí)所適配的上下文窗口長度。

學(xué)習(xí)如何讀、寫和編輯文件系統(tǒng)，通常通過 bash 命令，是 LLM 的基礎(chǔ)能力。因此，用文件這種簡(jiǎn)單形式管理持久記憶，自然能夠受益于核心模型能力的提升。

3.模式三：子Agent和后臺(tái)任務(wù)

Harness 可以啟動(dòng)多個(gè)子 Agent并行執(zhí)行，也可以監(jiān)控后臺(tái)任務(wù)。當(dāng)主 Agent 需要搜索多個(gè)假設(shè)、并發(fā)運(yùn)行實(shí)驗(yàn)，或者把隔離子任務(wù)委托出去而不污染主上下文時(shí)，這很有用。此時(shí)父 Agent 需要一個(gè)小型進(jìn)程管理器：?jiǎn)?dòng)任務(wù)、檢查日志、取消失敗運(yùn)行，并把結(jié)果合并回主 Agent 線程。

關(guān)鍵設(shè)計(jì)選擇是讓并行性顯式且可檢查。如果子 Agent 的輸出只存在于臨時(shí)聊天上下文中，它們很快會(huì)過時(shí)并被隱藏。如果這些輸出被存儲(chǔ)為文件、日志和狀態(tài)記錄，模型就可以在中斷后恢復(fù)，并根據(jù)自己的執(zhí)行歷史進(jìn)行推理。

4.案例研究：編程Agent Harness

主流編程 Agent 的核心接口在 Claude Code、Codex、OpenCode 和 Cursor 風(fēng)格 Agent 中已經(jīng)逐漸穩(wěn)定。它們通常使用如下循環(huán)：

在獲得一組工具后，編程 Agent 能夠在給定代碼倉庫中開發(fā)和調(diào)試問題，類似人類開發(fā)者配備 IDE 后的工作方式。

5.Harness層與核心智能？

很難預(yù)測(cè) RSI 的未來會(huì)在多大程度上依賴 harness 工程，但RSI 的近期開端不太可能是模型直接重寫自己的權(quán)重。我對(duì)近期實(shí)踐路徑的判斷是：

1.Harness 工程將朝著元方法論方向演化，也就是改進(jìn)“得到更好答案的機(jī)器”，而不僅僅是改進(jìn)答案本身。Harness 系統(tǒng)自身會(huì)成為優(yōu)化目標(biāo)，其中啟發(fā)式規(guī)則會(huì)減少，更通用的機(jī)制會(huì)增多。

2.反過來，成熟的 harness 會(huì)支持面向模型自我改進(jìn)循環(huán)的自動(dòng)化研究；而更聰明的模型會(huì)避免 harness 被過度工程化，使系統(tǒng)保持可持續(xù)。

最終，許多 harness 改進(jìn)可能會(huì)被內(nèi)化為核心模型行為，但與外部上下文和工具交互的接口仍然會(huì)保留下來。我們已經(jīng)在提示工程中見過這一模式的溫和版本：隨著指令微調(diào)和模型推理能力提升，人工編寫提示詞技巧變得沒那么核心，但指定目標(biāo)、約束、上下文和評(píng)估的需求并沒有消失。

Harness 優(yōu)化

Harness 系統(tǒng)中被優(yōu)化對(duì)象的演進(jìn)大致是：指令提示詞 -> 結(jié)構(gòu)化上下文 -> 工作流 -> harness 代碼 -> 優(yōu)化器代碼。隨著模型變得更智能、更強(qiáng)大，我們會(huì)轉(zhuǎn)向更復(fù)雜的目標(biāo)和更通用的方法。

1.上下文工程

如果只是把所有工具響應(yīng)和模型生成都追加到上下文里，隨著 Agent 任務(wù)時(shí)長顯著增加，上下文會(huì)很快失控。上下文管理是一層用于為 LLM 構(gòu)造更結(jié)構(gòu)化、更簡(jiǎn)潔上下文，并管理持久狀態(tài)的機(jī)制。長期上下文研究無疑會(huì)持續(xù)進(jìn)步，但在當(dāng)下，長上下文智能和上下文工程有時(shí)是交織在一起的。

Agentic Context Engineering（ACE；Zhang et al. 2025）把上下文視為不斷演化的 playbook，而不是越來越長的提示詞。它包含三個(gè)組件，用于維護(hù)一個(gè)由條目構(gòu)成的上下文 playbook，每個(gè)條目包含一個(gè)標(biāo)識(shí)符和一段描述。

1.生成器（Generator）：生成任務(wù)軌跡，并參考條目。

2.反思器（Reflector）：從成功和失敗軌跡中提煉洞見。

3.策展器（Curator）：用增量、條目化的記錄更新結(jié)構(gòu)化上下文。

圖｜Agent上下文工程（ACE）框架。

為了防止迭代重寫過程中的上下文崩塌和簡(jiǎn)短偏置，ACE 的一個(gè)關(guān)鍵設(shè)計(jì)是：curator 不會(huì)重寫完整的提示詞 blob。它輸出的是一組結(jié)構(gòu)化、條目化的 bullet，形式為（標(biāo)識(shí)符，描述），然后這些條目會(huì)通過確定性邏輯合并進(jìn)結(jié)構(gòu)化上下文日志。上下文條目會(huì)被周期性地精煉和去重。

ACE 從部署過程中學(xué)習(xí)經(jīng)驗(yàn)這一事實(shí)有助于我們實(shí)現(xiàn)內(nèi)存的自我管理，但更新規(guī)則和整體工作流程仍然是人工設(shè)計(jì)的。為了構(gòu)建更具自我改進(jìn)性的循環(huán)，元上下文工程（MCE）將機(jī)制（如何管理上下文）與工件內(nèi)容（上下文中包含什么）分離，在元優(yōu)化層面運(yùn)行技能演化，在基礎(chǔ)層面運(yùn)行上下文優(yōu)化。

圖｜元上下文工程（MCE）框架。

MCE 不像 ACE 那樣強(qiáng)制使用某種啟發(fā)式規(guī)則來組織上下文。它使用自由形式的 skill 存儲(chǔ)任務(wù)中最重要的知識(shí)，并讓 skill 與 skill 條件化的上下文一起迭代演化。在實(shí)現(xiàn)上，一個(gè)上下文函數(shù)會(huì)被實(shí)例化為專用目錄中的一組文件，其中包括靜態(tài)組件（skill.md）和動(dòng)態(tài)組件（上下文與數(shù)據(jù)執(zhí)行軌跡）。元層面和基礎(chǔ)層優(yōu)化都會(huì)在具備標(biāo)準(zhǔn)工具集的 agentic coding 環(huán)境中執(zhí)行。

Meta-Harness（Lee et al. 2026）則更進(jìn)一步：：它所優(yōu)化的對(duì)象是決定并優(yōu)化哪些信息應(yīng)該存儲(chǔ)、檢索和呈現(xiàn)給模型的代碼。它名字中的“Meta”意味著，這是一個(gè)用于優(yōu)化 harness 的 harness。

圖｜Meta-Harness 的外層循環(huán)優(yōu)化算法。

用于創(chuàng)建新 harness 的提議者本身就是一個(gè)編程 Agent，最終輸出的是一批位于帕累托前沿上的 Harness 候選方案。

• 完整執(zhí)行歷史可以通過文件系統(tǒng)訪問，因此編程 Agent 會(huì)使用 grep 或 cat 等命令讀取歷史，而不是把所有內(nèi)容都塞進(jìn)單一提示詞上下文。
• 被提出的 harness 是文件系統(tǒng)中的一個(gè)目錄，包含自己的源代碼、分?jǐn)?shù)、rollout 軌跡和狀態(tài)更新。
• Meta-harness 循環(huán)會(huì)迭代創(chuàng)建新 harness，并且只保留合格候選。

圖｜Meta-Harness 在（左）少量迭代次數(shù)的文本分類任務(wù)和（右）TerminalBench-2 任務(wù)上的性能對(duì)比。

不過，重要的教訓(xùn)很明確：一旦 harness 設(shè)計(jì)變成可執(zhí)行的搜索空間，一個(gè)強(qiáng)編程 Agent 就能夠利用和人類工程師相同的設(shè)計(jì)空間。

2.工作流設(shè)計(jì)

Harness 工程中的工作流設(shè)計(jì)可以由領(lǐng)域?qū)＜沂止ね瓿伞Ｒ?strong>自動(dòng)化研究為例，已經(jīng)有多種框架被提出和測(cè)試。AI Scientist 系統(tǒng)（Lu et al. 2026）構(gòu)建了一條流水線，用于提出研究想法、編寫代碼、運(yùn)行實(shí)驗(yàn)、分析結(jié)果、撰寫論文，并執(zhí)行同行評(píng)審。Meng et al.（2026）在 ScientistOne 中把可驗(yàn)證性作為核心設(shè)計(jì)約束，其中每一條聲明，包括引用、數(shù)值、方法和結(jié)論，都必須追溯到證據(jù)來源，并通過證據(jù)鏈檢查來接受審核。

圖｜AI Scientist 用于 idea generation、實(shí)驗(yàn)、論文寫作和評(píng)審的流水線。

Autodata Agent（Kulikov et al. 2026）被設(shè)計(jì)成一個(gè)用于生成訓(xùn)練和評(píng)估數(shù)據(jù)的數(shù)據(jù)科學(xué)家。主 Agent 管理一個(gè)出題者（challenger）、一個(gè)弱解題者（weaksolver）、一個(gè)強(qiáng)解題者（strong solver）和一個(gè)驗(yàn)證者/評(píng)判者（verifier/judge），目標(biāo)是合成“難度剛剛好”的數(shù)據(jù)，即強(qiáng)解題者能夠解決、而弱解題者卻做不到的難度。

在 Autodata 中，出題者的提示詞會(huì)根據(jù)解題者和驗(yàn)證者反饋迭代更新。這里的局限在于，合成出來的任務(wù)被用來微調(diào)弱解題者，卻沒有用來微調(diào)強(qiáng)解題者；如果循環(huán)無法迭代改進(jìn)強(qiáng)模型，那么它更像是在一個(gè)生成出來的提示詞分布上做間接蒸餾，RSI 的意味就比較淡了。

圖｜Autodata 的 agentic 工作流設(shè)計(jì)。

工作流的設(shè)計(jì)空間非常巨大，因此我們自然可以把工作流設(shè)計(jì)視為一個(gè)搜索問題，并期待通過算法找到好解，而不只是手工設(shè)計(jì)。沿著這個(gè)方向，Automated Design of Agentic Systems（ADAS；Hu et al. 2025）把 Agent 設(shè)計(jì)本身表述為優(yōu)化問題，即“meta-agent search”：由一個(gè) meta-agent 提出新的 agentic 工作流設(shè)計(jì)。

• 初始化一個(gè) agentic 工作流歸檔，包含 CoT 和 self-refine 等簡(jiǎn)單 Agent。
• 要求 meta-agent 基于歸檔中的已有方案，用代碼編寫新的 Agent。
• Meta-agent 首先生成新工作流的高層描述，然后用代碼實(shí)現(xiàn)它。
• 草稿程序隨后經(jīng)歷兩輪由 meta-agent 執(zhí)行的 self-refine，也就是先讓模型給出反饋，再讓同一模型基于反饋改進(jìn)先前輸出；這一步用于檢查其新穎性（Madaan et al. 2023）。
• 評(píng)估每個(gè)新候選，并把成功候選加入歸檔。
• 重復(fù)第 2-3 步，直到達(dá)到最大迭代次數(shù)。

圖｜Agent 系統(tǒng)自動(dòng)化設(shè)計(jì)（ADAS）示意圖。

AFlow（Zhang et al. 2025）把 agentic 工作流表示為圖，其中節(jié)點(diǎn)表示調(diào)用 LLM 的動(dòng)作，邊則用代碼實(shí)現(xiàn)邏輯操作。工作流優(yōu)化依賴 MCTS（Monte Carlo Tree Search，蒙特卡洛樹搜索）：

• 用 CoT、自我修正（self-refine）之類的簡(jiǎn)單 Agent，初始化一個(gè)智能體工作流的檔案庫
• 讓元 Agent 在已有檔案庫方案的啟發(fā)下，用代碼編寫出新的 Agent。元 Agent 首先生成新工作流的高層描述，然后再將其實(shí)現(xiàn)為代碼。生成的草案程序會(huì)經(jīng)過元 Agent 的兩輪自我修正（先讓模型對(duì)結(jié)果提供反饋，再讓同一個(gè)模型根據(jù)反饋修正自己先前的輸出；Madaan et al. 2023），以檢查其新穎性
• 評(píng)估每一個(gè)新的候選方案，把成功的方案加回檔案庫。
• 重復(fù)前面兩個(gè)步驟 ，直到達(dá)到最大迭代次數(shù)

圖｜基于工作流候選樹的流程優(yōu)化過程。

AFlow 在 QA、代碼和數(shù)學(xué)任務(wù)中的實(shí)驗(yàn)表明，AFlow 比手動(dòng)設(shè)計(jì)的工作流程和 ADAS 有顯著的改進(jìn)。

圖｜AFlow實(shí)驗(yàn)與人工方法和ADAS的比較。

3.自我改進(jìn)Harness

無論上下文工程還是工作流設(shè)計(jì)，都只是harness的一部分。我們需要搜索整個(gè)設(shè)計(jì)空間，并同時(shí)優(yōu)化上下文管理邏輯、工作流、權(quán)限和其他許多 harness 組件。正如 Meta-Harness、ADAS 和 AFlow 等工作所展示的，代碼是一種定義程序和系統(tǒng)的通用語言。簡(jiǎn)單來說，harness 就是代碼，它規(guī)定提示詞、工具調(diào)用、子 Agent、控制流、記憶和工作流邏輯如何協(xié)同。如果 LLM 能夠優(yōu)化執(zhí)行 Agent 的代碼，它就能訪問一個(gè)比人工編寫提示詞大得多的設(shè)計(jì)空間。

圖｜自學(xué)習(xí)優(yōu)化算法（STOP）。

在 Zelikman et al.（2023）的實(shí)驗(yàn)中，改進(jìn)后的 improver 發(fā)現(xiàn)了多種策略，例如遺傳算法、分解并改進(jìn)局部、多臂 prompt bandit、模擬退火、改變 temperature，以及 beam/tree search。這類似于把 harness 工作流表示成一個(gè)可優(yōu)化對(duì)象。

圖｜STOP 發(fā)現(xiàn)的自我改進(jìn)策略示例。

他們的一個(gè)警示性發(fā)現(xiàn)是：在 GPT-4 上，STOP 能夠隨著迭代提升下游平均表現(xiàn)；但在 GPT-3.5 和 Mixtral 等較弱模型上，表現(xiàn)反而下降。遞歸結(jié)構(gòu)本身并不夠。基礎(chǔ)模型必須足夠強(qiáng)，才能改進(jìn)機(jī)制。這意味著 harness 改進(jìn)確實(shí)能幫助模型更好地部署，但智能仍然是核心。

更新近的 Self-Harness（Zhang et al. 2026）依賴 LLM Agent 通過 propose-evaluate-accept 循環(huán)改進(jìn)自己的 harness。

圖｜Self-Harness 使用弱點(diǎn)挖掘、有界 harness 提案和驗(yàn)證循環(huán)來更新 harness。

自組裝循環(huán)分為三個(gè)階段：

在 Terminal-Bench-2 上運(yùn)行 MiniMax M2.5、Qwen3.5-35B-A3B 和 GLM-5 時(shí)，Self-Harness 被證明能夠?qū)W習(xí)針對(duì)不同基礎(chǔ)模型弱點(diǎn)的模型特定 harness 指令，并提升 held-out pass rate。

Self-Harness 這類工作也讓我擔(dān)心：如果一個(gè)程序被允許編輯 OS 系統(tǒng)，抽象邊界就會(huì)被打破。可編輯表面需要被妥善設(shè)計(jì)，權(quán)限控制和安全層需要位于這個(gè)循環(huán)之外。圍繞 reward hacking 的所有挑戰(zhàn)仍然存在。

4.進(jìn)化式搜索

進(jìn)化式搜索是一種受自然選擇啟發(fā)的優(yōu)化方法。它通過變異一組解，并只保留群體中“適應(yīng)度”高的解來演化解群。進(jìn)化式搜索在以下情況下很有用：（1）搜索空間巨大或形狀奇特；（2）很難用梯度直接優(yōu)化，但容易評(píng)估解的好壞。Harness 搜索似乎非常適合這種方法。

過去研究已經(jīng)把進(jìn)化式搜索用于prompt engineering。Promptbreeder（Fernando et al. 2023）通過豐富的變異操作優(yōu)化任務(wù)特定提示詞；有趣的是，mutation prompts，也就是指示 LLM 如何變異任務(wù)提示詞的指令，本身也會(huì)通過進(jìn)化得到改進(jìn)。GEPA（Agrawal et al. 2025）結(jié)合了基于反思的 prompting 和進(jìn)化式搜索，并利用對(duì)試錯(cuò)軌跡的自然語言反思來提出 prompt 更新。

Novikov et al.（2025）提出的 AlphaEvolve 是一個(gè)編程 Agent 進(jìn)化式搜索系統(tǒng)，它存儲(chǔ)候選程序池，并提示凍結(jié)的 LLM 生成用于改進(jìn)的 diff。隨著系統(tǒng)反復(fù)評(píng)估子程序并保留成功的程序，它最終會(huì)發(fā)現(xiàn)更優(yōu)的解決方案。

圖｜AlphaEvolve 的工作原理。

AlphaEvolve 設(shè)計(jì)中有幾個(gè)細(xì)節(jié)很重要：

• Prompt包含父程序、結(jié)果、指令，有時(shí)也包含元信息。
• 編程 Agent可以訪問完整倉庫，但用于改進(jìn)的代碼區(qū)域會(huì)通過 # EVOLVE-BLOCK-START 和 # EVOLVE-BLOCK-END 顯式標(biāo)記。
• Meta-prompt會(huì)根據(jù) LLM 建議與指令和上下文共同演化，這類似于我們演化解程序的方式。

消融實(shí)驗(yàn)顯示了進(jìn)化流程、prompt 中上下文、meta-prompt、全文件演化和使用更強(qiáng) LLM 的價(jià)值。

圖｜AlphaEvolve 的消融實(shí)驗(yàn)展示了多個(gè)設(shè)計(jì)的價(jià)值。

近期變體如 ThetaEvolve（Wang et al. 2025）結(jié)合了進(jìn)化式搜索、強(qiáng)化學(xué)習(xí)和上下文學(xué)習(xí)。另一方面，ShinkaEvolve（Lange et al. 2025）引入了三個(gè)新組件，以提升 LLM 采樣效率：

• 通過設(shè)計(jì) parent sampling，在性能排名和子代數(shù)量之間取得平衡，從而實(shí)現(xiàn)更高采樣效率的探索。
• 通過 code-novelty rejection sampling，基于 embedding cosine similarity 丟棄與現(xiàn)有群體過于相似的候選。
• 在 meta-scratchpad 中識(shí)別成功解里的好模式，用于指導(dǎo)未來變異。

不同于上述主要關(guān)注解改進(jìn)的方法，Darwin G?del Machine（DGM；Zhang et al. 2025）明確把一個(gè)可編輯的 harness-code 倉庫作為進(jìn)化目標(biāo)，并使用基于 LLM 的編程 Agent。準(zhǔn)確地說，這個(gè) Agent 被允許修改自己的 harness。后續(xù)關(guān)于 Hyperagents（Zhang et al. 2026）的工作則引入了一個(gè) meta-agent，用于控制如何修改現(xiàn)有任務(wù) Agent 以創(chuàng)建新 Agent。

1.從 Agent 池中池中的一個(gè)編程 Agent開始。

2.每次迭代中，根據(jù)性能成比例、根據(jù)子代數(shù)量成反比的概率選擇一個(gè)父 Agent，對(duì)其進(jìn)行修改并分叉，產(chǎn)生新 Agent。

3.被選中的父 Agent 會(huì)檢查自己的 benchmark 評(píng)估日志，然后提出對(duì)自身 harness 代碼庫的改進(jìn)，生成新版本編程 Agent。代碼編輯通過兩個(gè)基本工具實(shí)現(xiàn)：（1）bash，參數(shù)為 ；（2）editor，參數(shù)為 view/create/edit 。

4.新編程 Agent會(huì)被評(píng)估，只有表現(xiàn)足夠高者會(huì)被加入 Agent 池中。

5.重復(fù)第 2-4 步，直到滿足某些停止條件。

DGM 是固定模型下的 harness 演化。在使用 Claude 3.5 Sonnet 作為基礎(chǔ) LLM、簡(jiǎn)單初始 harness 配置的實(shí)驗(yàn)中，DGM 發(fā)現(xiàn)的 Agent 在 SWE-bench Verified（20% 到 50%）和 Polyglot（14.2% 到 30.7%）上可媲美或超過手工設(shè)計(jì) Agent。

這類方法在候選解可以自動(dòng)評(píng)估、候選適應(yīng)度容易量化的任務(wù)上效果很好，例如矩陣乘法、GPU kernel 優(yōu)化、算法競(jìng)賽、數(shù)據(jù)中心調(diào)度。它們?cè)谠u(píng)估緩慢、模糊或主要依賴啟發(fā)式判斷的領(lǐng)域會(huì)遇到困難。進(jìn)化的計(jì)算效率和有效性也是問題。

5.基于模型權(quán)重的聯(lián)合優(yōu)化

Harness 演化改變的是模型周圍的非參數(shù)系統(tǒng)。為了實(shí)現(xiàn)完整自我改進(jìn)，模型當(dāng)然也可以同時(shí)被允許更新自己的權(quán)重。權(quán)重更新可以通過改進(jìn)模型訓(xùn)練流水線來實(shí)現(xiàn)，也可以通過測(cè)試時(shí)持續(xù)學(xué)習(xí)來實(shí)現(xiàn)。持續(xù)學(xué)習(xí)這個(gè)主題未來值得單獨(dú)寫一篇。

SIA（Hebbar et al. 2026）是把 harness 改進(jìn)和模型參數(shù)更新結(jié)合在同一個(gè)優(yōu)化循環(huán)中的早期嘗試。其設(shè)計(jì)包含三個(gè)組件：

• 元 Agent：提出初始框架。
• 任務(wù)特定代理：執(zhí)行任務(wù)。
• 反饋代理：根據(jù)最近的軌跡選擇是更新線束還是模型權(quán)重。

圖｜SIA中的反饋代理決定下一次迭代的類型。

SIA 的實(shí)驗(yàn)里有一些混雜選擇，使結(jié)果難以解釋。例如，task-specific Agent 明顯弱于 Meta-Agent 和 Feedback-Agent 使用的模型（gpt-oss-120b vs Claude Sonnet 4.6），而且基線過弱，難以與相關(guān)方法干凈地交叉對(duì)照。我會(huì)認(rèn)為這個(gè)方向有趣，但證據(jù)仍是初步的。與此同時(shí)，訓(xùn)練穩(wěn)定性和 Goodhart 效應(yīng)等許多挑戰(zhàn)仍然開放。

未來挑戰(zhàn)

AI Scientist 這一系列工作強(qiáng)有力地展示了：專家設(shè)計(jì)的 harness 可以協(xié)調(diào)自動(dòng)化研究循環(huán)中的很大一部分，并以寫研究論文的形式進(jìn)行實(shí)驗(yàn)。但論文生產(chǎn)并不等同于科學(xué)發(fā)現(xiàn)。一個(gè)系統(tǒng)可以寫出看似合理的手稿，同時(shí)仍然存在偽造引用、實(shí)現(xiàn)漂移或?qū)嶒?yàn)結(jié)果薄弱的問題。

Trehan & Chopra（2026）測(cè)試了 LLM 能否在最少腳手架和基礎(chǔ)工具下，從一個(gè)研究想法走到一篇論文。這些基礎(chǔ)工具包括 read_file、write_file、llm_search、list_files。每個(gè)想法都有一個(gè)專用工作區(qū)，Agent 可以在其中生成和讀取文檔作為上下文的一部分。他們?cè)谌齻€(gè)領(lǐng)域進(jìn)行了實(shí)驗(yàn)：world models、multi-agent RL、AI safety & alignment；每個(gè)領(lǐng)域包含 45-50 篇高質(zhì)量種子文檔，以啟發(fā)新想法。人類專家只選擇了四個(gè)想法進(jìn)入完整流程，其中只有一個(gè)被完整執(zhí)行成論文。他們?cè)趯?shí)驗(yàn)中觀察到了六類反復(fù)出現(xiàn)的失敗模式：

• 偏向訓(xùn)練數(shù)據(jù)默認(rèn)值：使用舊庫、過時(shí)命令、標(biāo)準(zhǔn)格式，或采用不基于真實(shí)倉庫或數(shù)據(jù)集的假設(shè)。
• 執(zhí)行壓力下的實(shí)現(xiàn)漂移：當(dāng)實(shí)現(xiàn)變得技術(shù)上復(fù)雜時(shí)，模型可能轉(zhuǎn)向常見但更簡(jiǎn)單的方案，而不是堅(jiān)持原提出方法。
• 記憶和上下文退化：長程項(xiàng)目會(huì)丟失關(guān)鍵細(xì)節(jié)，除非日志被寫成持久產(chǎn)物。
• 過度樂觀：模型會(huì)在實(shí)驗(yàn)嘈雜或失敗時(shí)宣布成功，這類似 Bubeck et al.（2025）觀察到的 “p-hacking and eureka-ing” 模式，即模型可能引入“數(shù)值膠帶”，并在信號(hào)仍然只是噪聲時(shí)宣布勝利。
• 領(lǐng)域智能不足：模型缺少隱性技藝知識(shí)，例如預(yù)測(cè)實(shí)現(xiàn)復(fù)雜度、判斷實(shí)驗(yàn)結(jié)果是否可信，或知道哪些 baseline 重要。
• 科學(xué)品味不足：實(shí)驗(yàn)也許可以執(zhí)行，但無法回答正確的問題。

面向完整 RSI，研究者已經(jīng)取得了真實(shí)進(jìn)展，但幾個(gè)瓶頸仍然存在。

1.弱且模糊的評(píng)估器。許多研究聲明沒有快速、精確的 verifier，許多現(xiàn)實(shí)任務(wù)也是如此。當(dāng)前自我改進(jìn)循環(huán)最適合那些評(píng)估指標(biāo)可測(cè)、客觀的任務(wù)，類似 RL 能發(fā)揮作用的場(chǎng)景。

研究品味、新穎性和長期科學(xué)價(jià)值要難衡量得多。例如，研究品味常常混合了問題框定、實(shí)驗(yàn)設(shè)計(jì)，以及判斷哪些意外結(jié)果值得追、哪些失敗案例值得重試的能力。

2.上下文和記憶生命周期。隨著 AI Agent 變得更自主、更獨(dú)立，記憶會(huì)持續(xù)增長。一個(gè)有用的 harness 需要管理上下文和記憶，以彌補(bǔ)當(dāng)前長上下文生成的限制，同時(shí)最大化長程任務(wù)成功率。既然人類能夠在一生中維持記憶，我認(rèn)為這里有一個(gè)類比：上下文工可以而且也應(yīng)該成為智能的核心部分，而不僅僅停留在軟件系統(tǒng)層。

3.負(fù)結(jié)果。研究者有發(fā)表成功結(jié)果的激勵(lì)，因此文獻(xiàn)對(duì)成功案例存在偏置。LLM 訓(xùn)練于海量數(shù)據(jù)，而這些數(shù)據(jù)至少目前仍主要由人類創(chuàng)造；由于成功與失敗案例在數(shù)據(jù)中的不平衡，LLM 可能不擅長決定何時(shí)放棄假設(shè)、報(bào)告負(fù)結(jié)果，甚至承認(rèn)失敗。一個(gè)研究 harness 應(yīng)該讓失敗嘗試易于保存，因?yàn)閺氖≈袑W(xué)習(xí)是縮小任務(wù)搜索空間的最好方式。

4.多樣性坍縮。進(jìn)化和 RL 循環(huán)傾向于利用已知高獎(jiǎng)勵(lì)模式。我們需要機(jī)制防止群體坍縮成同一種方案的變體。這對(duì)開放式研究尤其關(guān)鍵，因?yàn)樽罴崖窂皆诋?dāng)前評(píng)估器下初看起來可能更差。

5.Reward hacking。自我改進(jìn)循環(huán)會(huì)優(yōu)化它得到的任何信號(hào)。如果獎(jiǎng)勵(lì)來自單元測(cè)試，Agent 可能過擬合測(cè)試；如果獎(jiǎng)勵(lì)來自 judge model，它可能學(xué)會(huì)針對(duì)這個(gè) judge 的 reward hacking 技巧；如果獎(jiǎng)勵(lì)來自 benchmark 分?jǐn)?shù)，它可能利用 benchmark 偽影。

評(píng)估器和權(quán)限控制很可能應(yīng)該位于演化 harness 的循環(huán)之外，并配合 held-out tests、軌跡審計(jì)，以及在人類需要介入的關(guān)鍵決策點(diǎn)進(jìn)行審查。至于這種監(jiān)督能在多大程度上擴(kuò)展和自動(dòng)化，仍然是開放研究問題。

6.長期成功。外在優(yōu)化循環(huán)依賴的是個(gè)體 rollout 之外、我們可以在訓(xùn)練沙盒中模擬的獎(jiǎng)勵(lì)。

以編程 Agent 為例。編程 Agent 已經(jīng)提高了日常軟件工程生產(chǎn)力，但許多優(yōu)化目標(biāo)仍然太短期。它通常可以完成手頭任務(wù)，但還不清楚它應(yīng)如何保護(hù)一個(gè)由數(shù)百或數(shù)千名工程師共同維護(hù)的代碼倉庫的長期健康。標(biāo)準(zhǔn)沙盒式 RLVR 訓(xùn)練很難捕捉可維護(hù)性、所有權(quán)邊界、遷移成本、向后兼容性或未來調(diào)試負(fù)擔(dān)。

7.人類的角色。人類應(yīng)該向上移動(dòng)到更高抽象層，而不是被移出循環(huán)。這意味著人類應(yīng)該在正確時(shí)間、以正確抽象層級(jí)提供監(jiān)督；我們的系統(tǒng)設(shè)計(jì)也應(yīng)該考慮何時(shí)以及如何設(shè)置這些觸點(diǎn)。

整理：夏千斯

如需轉(zhuǎn)載或投稿，請(qǐng)直接在本文章評(píng)論區(qū)內(nèi)留言