攻克AI推理難題！清華團隊提出「統一LLM強化學習新范式」ReST-RL

大語言模型（LLM）真的會推理嗎？業內對此爭論不休。

這是因為，當前的 LLM 在面對復雜代碼、多步邏輯和抽象任務時依然經?！胺嚒?，表現出邏輯跳躍、步驟混亂、答非所問等諸多問題。

靠人教？太慢。靠獎勵？信號太弱。靠驗證？數據太貴。如何兼顧推理能力、訓練效率與通用性，已成為業內難題。

針對這些難題，清華大學計算機科學與技術系知識工程研究室（KEG）團隊提出了一種統一的 LLM 強化學習（RL）新范式——ReST-RL。該方法通過將改進的 GRPO 算法與精心設計的由價值模型（VM）輔助的測試時解碼方法相結合，在提升 LLM 推理能力的同時，也兼顧了效率、穩定性與可拓展性。

論文鏈接：

https://arxiv.org/abs/2508.19576

實驗結果顯示，在 APPS、BigCodeBench 和 HumanEval 等不同級別的知名編程基準上，ReST-RL 的性能優于其他強化訓練基線（如原始 GRPO 和 ReST-DPO），以及解碼和驗證基線（如 PRM-BoN 和 ORM-MCTS）。

這表明，ReST-RL 在增強 LLM 策略的推理能力方面潛力巨大，且為 LLM 的強化學習路徑提供了新思路。

現有RL方法難實現真正推理

越來越多的研究表明，RL 能夠提升 LLM 的推理能力，這一方向也成為當前的研究熱點。

其中一些方法采用在線 RL，即數據采樣與模型更新同步進行，代表性方法為群體相對策略優化（GRPO）；其它方法則主張通過離線采樣與篩選機制獲取訓練數據，這一范式通常被稱為自訓練，其代表方法是強化自訓練（ReST）。盡管訓練機制不同，這兩類方法均能有效提升 LLM 的推理能力。

獎勵模型（RMs）因其在輸出驗證中的重要作用，正受到越來越多的關注。已有研究表明，對 LLM 最終輸出進行驗證的結果獎勵模型（ORM）可以提升推理準確性。多種過程獎勵模型（PRMs）也被用于為中間步驟提供反饋，其驗證效果優于 ORM。

然而，這些方法仍存在不足。一方面，以 GRPO 為代表的在線 RL 算法，常因獎勵信號差異微弱而導致訓練效果不理想。盡管部分研究嘗試通過設計逐步獎勵或引入簡單的動態采樣機制緩解該問題，但這往往帶來更高的計算成本與較差的泛化能力，也使 RL 算法更為復雜。另一方面，盡管 PRMs 在驗證輸出方面優于 ORMs，但其訓練過程通常依賴高質量的標注數據。由于數據標注成本較高，PRM 的訓練數據難以擴展，從而限制了其準確性與可靠性。

有研究提出通過蒙特卡洛模擬（Monte Carlo simulations）估計并收集過程獎勵。但是，這些方法難以推廣至更復雜的推理任務，其對結果匹配機制的依賴也限制了適用范圍。

總體來看，現有方法難以在數據采集成本、泛化能力、強化效果與訓練效率之間實現全面平衡。

ReST-RL：訓練、推理雙重優化

ReST-RL 為解決訓練獎勵差異和 PRM 準確性問題，提供了新的可能。該方法由兩個主要部分組成，分別是 ReST-GRPO（基于群體相對策略優化的強化自訓練方法） 和 VM-MCTS（基于價值模型的蒙特卡洛樹搜索）。

圖｜ReST-RL 框架

ReST-GRPO 采用優化后的 ReST 算法執行 GRPO，從而提升策略在復雜推理任務中的能力。該方法利用策略本身對訓練數據進行篩選與組合，有效緩解了 GRPO 獎勵失效的問題，增強了策略生成可靠推理軌跡的能力。

LLM 的輸出解答及其對應的獎勵中蘊含著豐富信息，反映其在目標任務域中的優勢與短板，這些信息可用于過濾掉無效的訓練數據。

研究團隊采用標準差評估獎勵的多樣性。對于其所有解答的獎勵標準差低于預設閾值 σ? 的提示語，將其從訓練集中剔除。訓練過程聚焦于那些高獎勵的解答軌跡，并最終利用其部分解狀態構建新的訓練數據。

與普通 GRPO 相比，ReST-GRPO 能夠顯著提升訓練過程中的獎勵方差。

圖｜策略訓練過程中組獎勵標準差的分布。

VM-MCTS 則用于 LLM 測試階段解碼。其中，價值模型（VM）的作用類似于 PRM，不僅提供驗證信號，還能引導 LLM 策略探索更有潛力的推理路徑。VM 的價值目標用于評估包含最后一步在內的整個部分狀態，而非單一動作或步驟。它自然地反映了策略從當前局部狀態到達高獎勵終態zan的潛力，可在解碼過程中為策略提供輔助。

在為 VM 收集訓練數據時，他們采用 MCTS 方法，以在探索不同推理路徑和利用高潛力中間狀態之間取得平衡。一旦收集到足夠的價值目標數據，即可訓練 VM 去預測各類狀態的價值。

使用該方法訓練得到的 VM 能夠準確預測當前策略下部分狀態的預期獎勵。該算法通過價值估計來決定應當探索和解碼哪些路徑，從而提高搜索的效率與準確性。

研究團隊通過大量編碼問題實驗，驗證了所提出 RL 范式及其各組成部分的有效性，證明 ReST-RL 不僅能夠增強 LLM 策略的推理能力，同時在效率、成本和泛化性等方面實現了較好的平衡。

結果表明，ReST-RL 及其組件在性能上全面優于其他強化學習基線方法（如原始 GRPO 和 ReST-DPO），以及解碼與驗證基線方法（如 PRM-BoN 和 ORM-MCTS）。

在相同訓練步數下進行測試對比表明，ReST-GRPO 相較于原始 GRPO 和 DAPO 擁有更高的訓練效率。

在解碼驗證預算相同的條件下，VM-MCTS 及其 VM 在準確性方面，優于此前基于公開數據訓練的 Math-Shepherd 風格 PRM 或 ORM。

圖｜訓練效率與預算內驗證能力的測試。

局限與未來方向

盡管各項實驗證明了ReST-RL的有效性，但該方法仍存在一定的局限性。

例如，研究尚未在代碼推理以外的任務（如數學推理和常識推理）中對其進行驗證。雖然該方法框架并不局限于代碼任務，但在其他場景下的應用可能需要重新設計合適的獎勵機制和實驗超參數。

另外，部分實驗設置對最終結果的具體影響也尚未得到系統性分析。

研究團隊還表示，價值模型在域外任務中的準確性仍缺乏充分研究，后續工作將進一步探索 ReST-RL 在更廣泛任務中的泛化能力。

整理：小羊

如需轉載或投稿，請直接在公眾號內留言

智譜上線 Glm Coding Plan

20 元包月，「1/7 價格、3 倍用量」

暢享 Claude Code 編碼體驗

開發者用了都說好

歡迎體驗～