1.8米高、80公斤重的雙足機器人，竟在沙地碎石斜坡上健步如飛，訓練成本還更低

佐治亞理工學院的校園里，一個身高接近一米八、體重七八十公斤的“鋼鐵大塊頭”，正在踩滿沙子的土坑里深一腳淺一腳地往前挪。它腳下不是平整的柏油路，而是松軟的沙地、潮濕的草地、散落的碎石，還有或陡或緩的坡道和樓梯。每走一步，腳踝都會陷進沙里，整條腿像被人悄悄拽了一下。但它幾乎沒有停頓——歪一下、調整重心，又穩穩邁出下一步。

要換作我們普通人，在這種混合地形上走一圈，鞋里早灌滿沙子，膝蓋也得抗議好幾回。但這臺雙足人形機器人卻像在自家客廳散步一樣，把所有能遇見的復雜路面全走了一遍。而且，教會它這項本領的方法，比現在流行的訓練方式還更快、更便宜。連研究人員自己都沒想到效果能這么好——甚至有些沒“教”過的地形，它也走得有模有樣。

這項讓機器人學會“走野路”的工作，正是佐治亞理工學院機器學習和機器人團隊的最新成果。機器學習博士生吳飛陽帶領團隊開發了一種全新的全身控制器，讓這臺笨重的雙足人形機器人在真實環境中完成了一系列敏捷移動。他提出了一套訓練機器人控制算法的全新思路，把一種叫“教師-學生學習”的強化學習方法徹底翻新了一遍，最終得到的控制器，計算開銷大幅降低，實際表現卻出奇地好。

“對于這種笨重、高大的雙足人形機器人來說，大家以前從來沒真正證明過，它能在這么嚴酷的地形上完成敏捷運動。可我們這套訓練配方，不知怎么的，居然真的對各種地形和環境都管用。”吳飛陽這樣形容實驗的結果。說這番話時，他語氣里還帶著幾分不敢相信。因為最初團隊也根本不敢抱太高期望。

他們的預期很實在：在平地上能走穩，就已經算是成功了。至于凹凸不平的碎石路、軟塌塌的濕草地和深淺不一的沙地，誰也不敢打包票。吳飛陽自己就說：“我們一開始的想法是，OK，在平地上挪兩步好像還算合理。但同樣的控制策略，能不能搞定崎嶇地形——尤其是真實的室外環境？我們其實挺懷疑的。即使仿真里頭看著不算太差，但也絕對沒有好到讓人覺得穩了。”

可實驗結果偏偏就打破了這種懷疑。機器人不但走過來了，還走得很自然。更關鍵的是，他們所采用的那個訓練框架，并沒有因為地形變復雜而堆疊更貴的算力，反而是用了一種更“省”的方式來完成任務。這恰恰戳中了機器人控制領域一個長久的痛點：訓練雙腿在真實世界中站立、行走和應變，實在是太耗時間和太燒錢了。

先來說說為什么雙足行走這么難。對機器人而言，兩條腿走路意味著在大約每一秒的時間里，它都得反復做一連串微小的決定：重心往哪里移、腳踝彎多少度、膝蓋什么時候打直、髖關節怎么配合擺動。每一步落地，地面的硬度、傾斜角度和腳下沙石的滑移都會回傳不同的力，稍有遲疑，整個身體就會傾斜甚至摔下去。

這些控制指令不能提前寫死，因為真實世界根本不存在兩片完全一樣的沙地。每一腳踩下去，都是全新的感覺。這就逼著機器人必須學會“隨機應變”，而這正是強化學習的用武之地。

強化學習的思路非常樸素：讓一個虛擬的“智能體”在仿真環境里自由探索，每做對一個動作就獎勵，做錯就懲罰。經過成千上萬次的試錯，它會自己總結出什么情況下該怎么調重心、怎么擺腿。可問題在于，機器人最終要走出仿真、踩在真實地面上，而仿真環境和真實世界之間永遠隔著一層“現實鴻溝”：現實里有風、有光線變化、有電量不足時的動力衰減，還有泥土松軟的觸感和腳步輕微的打滑，這些細膩的信號很難一五一十地復制到仿真當中。所以傳統思路是分兩步走：先讓一個“老師”在仿真里學成專家，然后把學到的經驗和策略提煉出來，再傳授給“學生”機器人。這個學生要帶著老師的經驗，在真實硬件上繼續適應和調整。

這套教師-學生學習框架本身并不新鮮，用生活中的例子來理解簡直再直白不過。你可以想象一位大學物理教授：他花了幾十年時間搞科研，推導過無數方程，把宇宙從量子到星系的規律都摸得爛熟。當他站上講臺教大一的力學課時，當然不會一上來就讓學生解薛定諤方程，而是先教他們理解“力是改變運動狀態的原因”這種根本原則，教他們畫受力圖、分析碰撞、推導拋物線。這些是物理世界的“操作系統”，有了它們，學生回過頭來面對從來沒見過的題目，也能自己推導出答案，而不需要老師提前把每道題的標準答案都背給他。

在機器人訓練中，“老師”就像一個在仿真世界里擁有上帝視角的教授。它可以拿到所有在現實中根本測量不到的數據——地面的絕對摩擦系數、每粒沙子的三維坐標、重力的精確方向、甚至關節內部每個電機的電流波紋。這些數據喂給老師，讓它能像玩作弊版游戲一樣，快速摸清環境規則、找出一套近乎完美的行走策略。然后，老師要把這套策略教給學生。但關鍵來了：老師不會告訴學生“在沙子上左腳要抬4.7厘米，腳掌外翻3.2度”，因為現實中的沙地千變萬化，這種死記硬背的精確數值到了真實世界一秒就失效。老師教給學生的是抽象的運動原則，比如如何感知地面反作用力、如何動態調整重心，這樣學生就能應對從未見過的地形，走得跟老師一樣穩。