![]()
新智元報道
![]()
Claude這次,真把AI編程榜單打出斷層了!
就在剛剛刷新的MirrorCode排行榜上,Claude Fable 5以64%的絕對成功率再次登頂。
緊追其后的GPT-5.6 Sol,分數只有它的三分之一!
排在第四的GPT-5.5更慘。不僅成績只有10%,甚至還被自家前輩GPT-5.4按在地上摩擦。
![]()
更讓人意外的是,在使用Go等高資源語言時,Fable 5的解出率是64%;換成冷門語言Ada,成績仍然高達61%。
要知道,在開源世界里,Python語料大約是Ada的230倍。
但到了Fable 5這里,成績居然只下降3個百分點。
![]()
這就有意思了。
如果模型主要靠記憶熱門語言的語法和常見寫法,那么換成Ada之后成績應該出現下降才對。
而現在的結果,卻指向另一種可能——
最強模型已經擺脫了具體語料的牽引,開始學會如何從零構建一個完整的軟件項目。
卡死在100%通關線
100億Token極限測試
具體來說,完整的MirrorCode包含25個目標程序,覆蓋Unix工具、解釋器、數據查詢、生物信息學、密碼學和壓縮工具等領域。
在這里,模型會被放進隔離環境,沒有互聯網,看不到原項目源碼,也不能下載第三方依賴。它能拿到的只有高層文檔、一部分可見測試,以及一個可以反復調用的原程序。
接下來,它要不斷向原程序輸入數據,觀察輸出猜內部邏輯,再一點點寫出一個行為一致的新程序。
最新榜單從中選出15個Medium和Large目標。每個目標使用兩種實現語言,每種語言運行三次。
并且,可見測試與隱藏測試的完成率必須達到100%才算通過,99.9%都不行。
只要漏掉一個邊緣案例,整次運行仍然按失敗計算。
![]()
為了逼模型把最后幾個缺口也補上,MirrorCode把單次預算推到100億Token,最長允許連續運行7天。
論文中成本最高的一次任務更夸張:模型連續跑了19天,單次花費達到2600美元。
在這19天里,模型會反復運行原程序、比較結果、補寫功能,再把測試重新跑一遍。報錯了就查原因,輸出對不上就換假設,局部通過了再去追下一個缺口。
整個過程,更像一場持續數天的調試,而不是一次生成。
![]()
gotree的例子最直觀。
這個生物信息學工具原本有大約1.6萬行Go代碼和40多個命令。
Claude Opus 4.7花了14小時和251美元,通過了2001項測試中的2000項,完成度達到了99.95%。
雖然漏掉了一個處理日期注釋的冷門邊界,被MirrorCode的100%通關線攔了下來,但它已經把原本按周計算的工程量,壓進了十幾個小時——
Epoch估計,如果不使用AI,人類工程師想要完成同一任務至少需要2到17周。
語料荒漠里,Fable 5只掉了3分
MirrorCode論文曾用StarCoder的公開訓練混合作為參照。
其中Python約占8%,Ada只有0.034%,前者大約是后者的230倍。
![]()
當然,我們無法知道閉源模型到底見過多少Ada代碼。但拿公開生態作參照,Ada有多稀缺已經足夠直觀。
這門語言主要出現在航空航天、國防和其他安全關鍵系統中。無論社區規模、教程數量還是開源項目,都遠不能與Python、JavaScript或者Go相比。
而Fable 5顯然不是在把Go代碼逐句翻譯成Ada。
它更像是先摸清原程序究竟怎么工作,再換一門語言,把同樣的行為重新造出來。
![]()
相比之下,其他模型就沒這么穩了。
GPT-5.6 Sol從24%降到19%,GPT-5.4從21%降到12%,GPT-5.5更是從17%掉到5%。語言一換,差距立刻被放大。
把整個項目交給AI
如今,Cursor已經讓數百個Agent協作近一周,從零寫出超過100萬行、分布在1000個文件里的瀏覽器代碼。
Anthropic則讓16個Claude Agent并行跑了近2000次會話,最終搭出一套10萬行、能夠編譯Linux 6.9內核的C編譯器。
OpenAI披露的截至5月Codex個人用戶樣本中,70.2%至少提交過一次預計超過一小時人類工作量的任務;25.6%提交過超過八小時的任務。
人們交給AI的單位,正在從一段代碼、一個bug,變成一個下午、一周,甚至整個項目。
MirrorCode的64%,正是對這種「項目級委托」的一次量化。
它說明,只要目標足夠明確,結果能夠自動驗收,前沿模型已經可以獨立做完一部分中大型軟件。
對每一個正在把工作交給AI的人來說,變化已經近在眼前——
以前你需要盯著它寫每一段代碼,接下來,你更可能只在關鍵節點檢查它有沒有跑偏。
代碼會越來越便宜。
而那些能把問題說清楚、把結果驗明白的人,會越來越值錢。
參考資料:
https://epoch.ai/MirrorCode
編輯:摩西
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.