周伯文團(tuán)隊(duì)提出NatureBench：AI寫的論文，能登上頂刊Nature嗎？

目前的AI Agent，能在頂級(jí)學(xué)術(shù)期刊Nature論文的核心實(shí)驗(yàn)中超過人類研究者嗎？

過去的評(píng)測(cè)體系，要么側(cè)重論文復(fù)現(xiàn)能力，衡量是否能夠還原已有方法，要么關(guān)注 Kaggle 競(jìng)賽或模型后訓(xùn)練任務(wù)的工程優(yōu)化能力，但仍缺乏對(duì)一個(gè)更關(guān)鍵問題的系統(tǒng)評(píng)估：

AI Agent 是否能夠在真實(shí)科學(xué)論文設(shè)定下獨(dú)立改進(jìn)方法，并超越原論文 SOTA。

針對(duì)這一問題，清華大學(xué)教授、上海人工智能實(shí)驗(yàn)室主任周伯文團(tuán)隊(duì)及其合作者提出了跨學(xué)科基準(zhǔn)NatureBench，用于評(píng)估AI coding Agent在Nature系列論文核心實(shí)驗(yàn)中的復(fù)現(xiàn)與改進(jìn)能力。

論文鏈接：https://arxiv.org/pdf/2606.24530

結(jié)果顯示，即使是實(shí)驗(yàn)中表現(xiàn)最強(qiáng)的Claude Opus 4.7 + Claude Code，也只在 17.8% 的任務(wù)上實(shí)現(xiàn)Surpass-SOTA、在 47.8% 的任務(wù)上達(dá)到或超過論文SOTA。這些結(jié)果表明，當(dāng)前AI Agent已經(jīng)能在部分真實(shí)科學(xué)任務(wù)中接近甚至超過原論文結(jié)果，但穩(wěn)定超越能力仍然有限。

NatureBench是如何設(shè)計(jì)的？

NatureBench 包含 90 個(gè)真實(shí)科學(xué)任務(wù)、覆蓋 6 大領(lǐng)域的基準(zhǔn)，其核心是把真實(shí)科學(xué)論文做成能運(yùn)行、能評(píng)分、也能復(fù)現(xiàn)的容器化任務(wù)。

為此，研究團(tuán)隊(duì)設(shè)計(jì)了自動(dòng)化流程NatureGym，一套將Nature系列已發(fā)表論文轉(zhuǎn)化為可直接運(yùn)行的Agent任務(wù)的流水線。

NatureGym將格式、工具鏈和數(shù)據(jù)模態(tài)各異的論文統(tǒng)一標(biāo)準(zhǔn)化為同一可復(fù)現(xiàn)的任務(wù)格式，同時(shí)設(shè)置了一個(gè)信息防火墻（information firewall），對(duì)原始方法保密，要求 Agent 自主發(fā)現(xiàn)解決方案而非直接復(fù)現(xiàn)。評(píng)估器、真實(shí)標(biāo)簽與 SOTA 目標(biāo)均駐留于宿主側(cè)評(píng)估服務(wù)中，Agent無法直接訪問。

具體流程分為以下三步：

第一步是篩選論文。他們從 10 本 Nature 系列期刊中收集 2022 到 2025 年約 5500 篇論文，去掉新聞、社論、綜述等非研究文章，再篩出能轉(zhuǎn)成機(jī)器學(xué)習(xí)任務(wù)、評(píng)估可自動(dòng)化、數(shù)據(jù)公開完整且不超過 50GB 的論文。

第二步是獲取代碼和數(shù)據(jù)，并劃定任務(wù)起點(diǎn)，保證 Agent 只能從核心算法的輸入端開始，不能看到中間結(jié)果或最終結(jié)果。

第三步是把論文封裝成標(biāo)準(zhǔn)任務(wù)包，并通過 36 項(xiàng)自動(dòng)化檢查，最后約 160 個(gè)任務(wù)包進(jìn)入后續(xù)校準(zhǔn)。

圖｜NatureGym 流程。

任務(wù)包構(gòu)建完成后，他們進(jìn)行了質(zhì)量校準(zhǔn)，分兩輪檢查任務(wù)。Base模式用于排查任務(wù)定義、評(píng)測(cè)和環(huán)境是否有問題；Reproduce模式則讓Agent額外看到源論文，用來驗(yàn)證任務(wù)包是否支持復(fù)現(xiàn)原方法。

最終，NatureBench定稿為 90 個(gè)任務(wù)、333 個(gè)評(píng)估實(shí)例，覆蓋 6 本 Nature 系列期刊的多個(gè)研究方向，共涉及 81 種主要指標(biāo)。

圖｜NatureBench 覆蓋情況。

為統(tǒng)一比較不同任務(wù)的結(jié)果，他們定義了歸一化相對(duì)差距 g。g ≥ 0，表示達(dá)到或超過論文 SOTA，g > 0.1，則算作明確超越。每個(gè)任務(wù)給 Agent 留出 4 小時(shí)完成，并允許通過評(píng)估多次提交查看反饋。任務(wù)結(jié)束后，他們使用Claude Sonnet 4.6做事后檢查，排除偽造輸出、反查答案，以及利用反饋機(jī)制取巧等行為。

圖｜NatureBench 的任務(wù)構(gòu)建與評(píng)測(cè)流程。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)共評(píng)測(cè)了 10 款Agent配置，覆蓋Claude Code、Codex CLI 和 Gemini CLI 三種 harness。所有 Agent 均禁用 Web 搜索，以避免直接檢索源論文或數(shù)據(jù)集內(nèi)容。整體結(jié)果如下：

在 10 款配置中，Claude Opus 4.7 + Claude Code 按整體 Surpass-SOTA 排名第一，Surpass-SOTA為17.8%，Match-SOTA為47.8%。

圖｜NatureBench 上的主要結(jié)果，按整體 Surpass-SOTA 排序。

在提交質(zhì)量上，Claude Opus的兩種配置最穩(wěn)定，Completion Rate和Score Rate均為100%，沒有無效提交；GPT-5.5的Score Rate為98.9%，Completion Rate 為 84.4%，還有 13 次提交被事后 judge 判定為無效捷徑。

圖｜NatureBench 上各 Agent 的 gap 總結(jié)與提交率。

從任務(wù)分布看，關(guān)系推理的 Match-SOTA 率最高，達(dá)到 60.0%；蛋白質(zhì)生物學(xué)和細(xì)胞組學(xué)分別為 37.5% 和 35.5%；物理建模、分子設(shè)計(jì)和生物醫(yī)學(xué)建模則分別為 26.9%、18.2%和 17.9%。

圖｜NatureBench 在不同科學(xué)領(lǐng)域和學(xué)科范圍下的表現(xiàn)。

此外，相比單學(xué)科任務(wù)，跨學(xué)科任務(wù)的 Match-SOTA率和中位 g 都更低。75 個(gè)單學(xué)科任務(wù)的Match-SOTA率為33.1%，15 個(gè)跨學(xué)科任務(wù)為 28.0%；中位 g 分別為 -0.13 和 -0.21。

圖｜NatureBench 上各 Agent 的差距分布與匯總。

研究團(tuán)隊(duì)還對(duì) 900 次運(yùn)行進(jìn)行了路徑標(biāo)注。在達(dá)到 Match-SOTA 的運(yùn)行中，監(jiān)督代理預(yù)測(cè)、搜索/調(diào)參、工程流水線和預(yù)訓(xùn)練/擴(kuò)展共計(jì)占 82.7%。在未達(dá)到 Match-SOTA 或沒有有效分?jǐn)?shù)的運(yùn)行中，失敗更多出現(xiàn)在方法層和執(zhí)行層，分別占 61.1% 和 28.7%；其中，錯(cuò)誤方法選擇占 45.1%，預(yù)算或時(shí)間不足占 24.4%。

圖｜900 次 NatureBench 運(yùn)行中所有 Agent 的解題機(jī)制。

研究團(tuán)隊(duì)還給出了幾個(gè)具體案例。

例如，在癌癥基因識(shí)別任務(wù)中，Claude Opus 4.7 采用 ChebNet/GNN 集成方法，將 g 值從 -0.017 提升至 +0.177，達(dá)到 Match-SOTA 水平；在基因組序列預(yù)測(cè)任務(wù)中，GPT-5.5 共進(jìn)行了 258 次提交，最佳 g 值為 -0.141，仍低于 SOTA；在有機(jī)反應(yīng)產(chǎn)物預(yù)測(cè)任務(wù)中，DeepSeek-V4-Pro 使用 Seq2Seq 反應(yīng)建模方法，Top-1 準(zhǔn)確率為 58.5%，距離原任務(wù) 90.8% 的 SOTA 水平仍有明顯差距。

不足與未來方向

盡管 NatureBench 讓科學(xué)任務(wù)評(píng)測(cè)變得更可執(zhí)行、更標(biāo)準(zhǔn)化，但研究團(tuán)隊(duì)也指出，這套基準(zhǔn)也存在以下不足：

首先，它只覆蓋能夠被抽象為機(jī)器學(xué)習(xí)任務(wù)且可以自動(dòng)評(píng)分的核心定量問題。濕實(shí)驗(yàn)驗(yàn)證、純理論推導(dǎo)、硬件或物理交互類研究，以及依賴人工判斷或外部服務(wù)評(píng)分的貢獻(xiàn)，NatureBench 都未涉及。

其次，研究團(tuán)隊(duì)指出，部分任務(wù)并非完整復(fù)現(xiàn)整篇論文，而是抽取其中一個(gè)核心實(shí)驗(yàn)進(jìn)行評(píng)測(cè)。這些任務(wù)仍對(duì)應(yīng)論文中的關(guān)鍵定量問題，但只覆蓋部分實(shí)驗(yàn)實(shí)例和指標(biāo)。因此，NatureBench 衡量的是 Agent 在具體任務(wù)上的表現(xiàn)，而不是對(duì)原論文全部貢獻(xiàn)的完整評(píng)價(jià)。

此外，統(tǒng)一的 4 小時(shí)墻鐘預(yù)算和單卡設(shè)置，也可能影響部分任務(wù)的完成度。研究團(tuán)隊(duì)觀察到，失敗案例主要源于方法選擇不當(dāng)和執(zhí)行深度不足，其中一部分與計(jì)算資源或時(shí)間預(yù)算受限有關(guān)。部分失敗并不完全反映 Agent 對(duì)任務(wù)理解不足，也可能源于既定資源約束下的方法探索和執(zhí)行不足。

NatureBench 基于公開論文和公開數(shù)據(jù)構(gòu)建，盡管研究團(tuán)隊(duì)通過禁用 Web 搜索、設(shè)置隱藏評(píng)測(cè)服務(wù)，并使用 post-hoc judge 過濾投機(jī)式提交，但仍然存在數(shù)據(jù)泄露方面的隱患。

最后，g 值本身也有解釋邊界。當(dāng)論文 SOTA 已經(jīng)接近指標(biāo)上限時(shí)，普通性能差距可能被放大為較大的負(fù)值；而單一主指標(biāo)也可能只覆蓋原論文多目標(biāo)評(píng)估的一部分。因此，未來需更強(qiáng)調(diào) Surpass-SOTA、Match-SOTA 和中位數(shù)表現(xiàn)，而不是只看平均分。

當(dāng)然，研究團(tuán)隊(duì)也指出了幾個(gè)可能的未來研究方向。例如：

擴(kuò)大任務(wù)覆蓋范圍，從單個(gè)核心實(shí)驗(yàn)進(jìn)一步走向更完整的論文復(fù)現(xiàn)；設(shè)計(jì)更細(xì)分的資源預(yù)算，區(qū)分短時(shí)、長(zhǎng)時(shí)、單卡和多卡設(shè)置；改進(jìn)評(píng)測(cè)判定方式，更清楚地區(qū)分理解錯(cuò)誤、方法選擇錯(cuò)誤、執(zhí)行不足和資源受限帶來的失??；引入更豐富的實(shí)驗(yàn)實(shí)例和指標(biāo)，讓評(píng)測(cè)結(jié)果更接近真實(shí)科研復(fù)現(xiàn)中的復(fù)雜度。