10000小時人類數(shù)據，練出全球首個全身移動操作隱式世界動作模型

編輯｜楊文

過去兩年，人形機器人賽道的競爭焦點，正從整機硬件進一步延伸到模型能力。

整機廠商密集發(fā)布新品，翻跟頭、跳舞、跑馬拉松的視頻輪番刷屏。但在喧囂背后，行業(yè)也逐漸形成一個共識：決定人形機器人能力上限的，已經不只是關節(jié)與電機。能否理解環(huán)境、預測變化，并協(xié)調全身完成任務，正在成為其走向通用的關鍵。

世界模型、VLA 與人形機器人基礎模型，也由此成為近兩年這一領域最重要的技術方向之一。

熱鬧之下，三道難題始終擺在整個行業(yè)面前。

其一，人形機器人的真機演示數(shù)據采集成本高，采集時需要同步記錄第一人稱視頻、本體感知數(shù)據與可執(zhí)行的全身指令，受制于遙操作難度、安全風險、硬件可得性與環(huán)境多樣性，很難在短時間內形成大規(guī)模、高質量的數(shù)據積累。

其二，現(xiàn)有不少世界動作模型沿用像素級視頻預測路線，計算開銷大，且大量容量被消耗在與控制關聯(lián)很弱的畫面細節(jié)上。人形機器人快速的自身運動和視角抖動又會進一步放大視覺預測噪聲。

其三，許多現(xiàn)有方案仍將上肢操作與移動控制分開建模，上下半身協(xié)調性不足，難以支撐自然流暢的全身控制。

在這一背景下，具身智能公司智在無界發(fā)布了Being-M0.7。這是全球首個面向人形機器人全身移動操作的隱式世界動作模型（Latent World-Action Model，簡稱 Latent WAM），也是業(yè)內首次將隱式世界模型能力從桌面靈巧操作擴展到全身移動操作的模型。

• 論文鏈接：https://research.beingbeyond.com/being-m07/being-m07.pdf
• 項目主頁：https://research.beingbeyond.com/being-m07

它使用超 10000 小時以人為中心的混合模態(tài)數(shù)據進行預訓練，再通過少量真機演示數(shù)據完成本體適配，并在真實人形機器人上完成了多項高難度的全身移動操作任務。

從 Being-H 到 Being-M，一條持續(xù)兌現(xiàn)的技術路線

Being-M0.7 背后，是智在無界堅持多年的一條技術路線。

這家公司是全球最早押注大規(guī)模人類視頻訓練路線的具身智能企業(yè)之一，同時布局通用靈巧操作與通用移動靈巧操作兩條模型主線，也是國內首個推出原生具身隱式世界動作模型的團隊。

其路線的核心判斷在于，機器人真機演示數(shù)據昂貴、稀缺，很難像互聯(lián)網文本和視頻那樣持續(xù)擴大規(guī)模。與之相比，人類每天都在用第一人稱視角與物理世界交互，這些海量的人類行為數(shù)據蘊含著關于場景演化、物體動力學與身體協(xié)調的豐富先驗。與其等待機器人數(shù)據慢慢積累，不如先讓模型從人類經驗中學習世界的運行方式，再將這些知識遷移到具體的機器人本體上。

今年 4 月發(fā)布的 Being-H0.7，驗證了這一判斷在靈巧操作側的可行性。該模型將訓練數(shù)據規(guī)模擴展到 20 萬小時人類視頻，在 6 項國際性評測中取得綜合排名全球第一、其中 4 項登頂?shù)某煽?/strong>，并成為首個覆蓋跨本體、跨場景、連續(xù)動態(tài)、流體、柔性物體、物理規(guī)律和上下文推理七大關鍵維度的通用具身世界模型。

Being-M0.7 則是這條隱式世界動作模型路線的最新成果。

如果說 Being-H 系列回答的是手如何操作世界，Being-M0.7 回答的則是整個身體如何在世界中協(xié)調地移動與作業(yè)。人形機器人的移動靈巧操作（loco-manipulation）要求模型同時決策去哪里、身體如何朝向、手腳如何配合、姿態(tài)如何保持穩(wěn)定，這是一個在時間維度與身體維度上都高度耦合的問題，也是通用人形機器人繞不開的能力關口。

Being-M0.7 是一個隱式世界動作模型，先在第一人稱視頻和人體運動數(shù)據上進行預訓練，采用 Mixture of Transformers（MoT）結構；隨后通過動作專家后訓練，在多樣化全身操作任務的機器人軌跡數(shù)據上完成控制落地。

與許多依賴像素級視頻生成的世界模型不同，Being-M0.7 在隱空間中預測未來環(huán)境狀態(tài)，并將其與緊湊的全身運動表征耦合在一起。像素級預測計算昂貴，且大量算力會被消耗在與控制關系不大的外觀細節(jié)上，第一人稱視角下劇烈的自身運動與視角抖動還會讓預測充滿噪聲。隱空間預測把建模能力集中在語義狀態(tài)、物體布局與場景演化這些真正與控制相關的結構上，既保留了世界模型預判未來的本質，又大幅降低了計算開銷。

物理理解，如何轉化為全身行動？

模型是否真正具備全身移動操作能力，最終還要回到真實場景中檢驗。

智在無界圍繞 Being-M0.7 公布了四個真機 Demo，覆蓋了液體交互、鏡像推理、長程任務與遮擋避障四類極具挑戰(zhàn)性的場景。

這些任務共同檢驗一個問題：機器人能否根據對環(huán)境和未來變化的預測，持續(xù)生成與當前場景相匹配的全身動作。

魚缸撈魚

機器人走到水箱前，使用手持網具撈取水中的玩具魚。液體沒有固定形狀，會流動，會對浸入其中的物體產生浮力與阻力，水面折射還會讓水下目標的視覺位置發(fā)生偏移。機器人必須理解水、漁網與魚之間的相互作用，在視覺信息被水體扭曲的情況下，協(xié)調手臂完成一次動態(tài)目標的工具化捕撈。這項任務考驗的正是未來狀態(tài)預測、工具使用與不確定物體動力學下的動作協(xié)調能力。

https://mp.weixin.qq.com/s/qsKY9GS489RnuW3CHDOGtQ

鏡像取物

機器人面前有一個只在背面和側面開口的盒子，盒內物品從機器人自身視角完全不可見，唯一的線索來自前方鏡子里的反射。機器人需要根據鏡中畫面，推斷隱藏物體在真實三維空間中的位置，再接近盒子并伸手抓取。這要求模型理解鏡子、盒子和物體之間的空間關系和鏡面反射原理，在部分可觀測條件下，將間接視覺證據轉化為可執(zhí)行動作。

https://mp.weixin.qq.com/s/qsKY9GS489RnuW3CHDOGtQ

移動置物取物

機器人行走至桌前，把一個籃子里的法棍轉移到另一個籃子，再從籃中拿起花束轉身離開。任務由多個子任務串聯(lián)而成，機器人需要在行走、抓取、轉移、轉身等行為間連續(xù)切換，并在整個過程中保持對場景的持續(xù)理解。它考驗的不只是單次抓取成功率，還包括長程任務中的狀態(tài)保持、物體級空間推理，以及移動與靈巧操作之間的全身協(xié)同。

https://mp.weixin.qq.com/s/qsKY9GS489RnuW3CHDOGtQ

搬箱避障

機器人抱著箱子前行，前方出現(xiàn)障礙后，它沒有完全停下重新規(guī)劃，而是調整身體朝向，側身從障礙物之間的狹窄空間穿過。搬運物體占據了部分第一人稱視野，也改變了機器人的負載和重心。模型需要結合已有的環(huán)境信息與實時反饋，判斷可通行區(qū)域，調整行走方向和全身姿態(tài)，同時保持自身平衡與所載物體的穩(wěn)定。多方向移動、避障和負載感知操作，在這里被統(tǒng)一進同一個閉環(huán)行為中。

https://mp.weixin.qq.com/s/qsKY9GS489RnuW3CHDOGtQ

這些演示說明，機器人并非按照固定軌跡開環(huán)執(zhí)行，而是結合當前觀測、實時反饋以及對未來的預測持續(xù)生成并修正全身動作。

MoT 架構與統(tǒng)一運動表征，破解具身數(shù)據稀缺難題

支撐上述能力的，是 Being-M0.7 在數(shù)據與架構層面的一組關鍵設計。

人形機器人需要通過第一人稱視覺信息完成空間感知，也需要輸出未來要執(zhí)行的運動和控制指令。高質量人體運動數(shù)據通常需要借助動作捕捉設備獲得，而視覺與運動嚴格對齊的第一人稱配對數(shù)據更為稀缺。

如果一個模型只能使用同時包含視覺和運動的數(shù)據，可訓練數(shù)據的規(guī)模將受到嚴重限制。Being-M0.7 要解決的問題，正是如何讓配對數(shù)據、純視頻數(shù)據和純運動數(shù)據共同參與訓練。

智在無界選擇的是Vision-Motion MoT（Mixture-of-Transformers，混合 Transformer 多模態(tài)架構）。Vision-Motion MoT 為視覺和運動保留各自的模態(tài)專屬投影與處理模塊，同時通過共享的多模態(tài)注意力進行跨模態(tài)交互。視覺狀態(tài)變化和連續(xù)運動具有不同的數(shù)據分布，不必被強行壓入完全相同的參數(shù)體系；當兩種模態(tài)同時存在時，它們又可以在共享上下文中交換信息。

這使模型能夠同時兼容三類數(shù)據。

對于視頻 — 運動配對數(shù)據，模型聯(lián)合學習未來環(huán)境狀態(tài)和運動軌跡；對于純視頻數(shù)據，只計算視覺分支的訓練目標；對于純運動數(shù)據，則只訓練運動分支。不同來源的數(shù)據通過同一個訓練目標共同約束模型，而不需要分別訓練多個彼此割裂的單模態(tài)系統(tǒng)。

從概率建模角度看，配對數(shù)據刻畫視覺與運動之間的聯(lián)合關系，單模態(tài)數(shù)據則為這一聯(lián)合分布提供邊際約束。即便數(shù)據模態(tài)并不完整，也能被納入同一個訓練框架。

Being-M0.7 訓練框架概覽。左上：預訓練數(shù)據由視頻 — 運動配對數(shù)據、純視頻數(shù)據和純運動數(shù)據共同構成。左下：研究團隊構建了一套人類與人形機器人共享的統(tǒng)一運動表征，為訓練和推理提供更豐富的監(jiān)督信號與反饋。右側：右側：Being-M0.7 的整體模型架構。

基于這一架構，團隊構建了超 10000 小時的混合模態(tài)預訓練數(shù)據，涵蓋人類第一人稱視頻、第一人稱視頻與運動的配對數(shù)據，以及純人體運動序列。

Being-M0.7 的數(shù)據配方（Data Recipe）。 預訓練語料來源于多個外部公開數(shù)據集，包括 Ego4D、Xperience、Nymeria、Bones-SEED、SnapMoGen、HumanML3D 和 Lafan1；同時還包括內部數(shù)據集。

另一個關鍵設計，是人類與人形機器人共享的統(tǒng)一運動表征。

Being-M0.7 提出了一種統(tǒng)一的動作表示，將來自不同來源的人體運動數(shù)據轉換為以頭部為根節(jié)點的統(tǒng)一表示，使其與第一人稱視覺天然對齊。通過統(tǒng)一坐標系、消除初始朝向等標準化處理，降低了不同數(shù)據集之間的分布差異，提高了跨數(shù)據源的一致性。

進一步地，Being-M0.7 采用了一種僅保留頭部、雙手和雙腳的緊湊運動表示，在保留關鍵交互和接觸信息的同時，有效彌合了人類與機器人之間的形態(tài)差異。該表示不僅為機器人后訓練提供了比動作標簽更豐富的監(jiān)督信號，還能夠在推理階段提供運動層面的反饋，支持全身協(xié)同控制。

在預訓練階段，模型通過視覺編碼器將圖像映射至隱空間，并使用緊湊統(tǒng)一運動表征。模型采用流匹配（Flow Matching）目標進行訓練，根據一段短時間的視覺 — 運動歷史和任務指令，聯(lián)合預測未來狀態(tài)變化與運動軌跡。

在真機數(shù)據采集環(huán)節(jié)，團隊搭建了一套基于 PICO VR 的全身遙操作系統(tǒng)。操作員佩戴 PICO 頭顯、兩個腳踝追蹤器和兩個手持控制器，由 VR 系統(tǒng)實時估計人體姿態(tài)，再通過全身運動控制器將其轉換為宇樹 G1 可執(zhí)行的 29 自由度全身控制指令。機器人在遙操執(zhí)行動作的同時，記錄機載 RGB 相機第一人稱視角圖像，本體感知及運動控制指令。作為 Being-M0.7 在特定任務上的后訓練微調數(shù)據。

Being-M0.7 真機數(shù)據采集系統(tǒng)。操作員通過 VR 設備提供全身運動指令，系統(tǒng)將人體姿態(tài)轉換為機器人控制命令，并同步采集第一人稱圖像、本體感知與運動軌跡。

由于模型已經在預訓練階段建立了視覺 — 運動先驗，真機數(shù)據不再需要從頭教授所有運動規(guī)律，主要承擔兩項任務：一是將預訓練先驗落地到人形機器人的具體控制空間；二是學習真實機器人所需的低層控制命令與反饋機制。這一過程由輕量級動作專家（Action Expert）完成。動作專家讀取 Latent WAM 的中間隱藏狀態(tài)，將其作為高層規(guī)劃上下文，再結合當前視覺觀測、本體感知信息和執(zhí)行進度，生成機器人可以直接執(zhí)行的動作塊。

推理階段，模型以較低頻率生成未來的視頻–運動規(guī)劃，并將其中間隱藏狀態(tài)轉換為可復用的策略緩存（KV Cache）。統(tǒng)一運動表示不僅融合視覺和本體感知反饋，還利用機器人最新的運動狀態(tài)對預測的全身運動規(guī)劃進行校正，使策略能夠及時響應身體和末端執(zhí)行器的運動偏差。動作專家則復用當前 KV Cache，以較高頻率連續(xù)生成動作，并在緩存刷新時無縫融入最新機器人反饋。該設計實現(xiàn)了低頻世界規(guī)劃與高頻動作控制的解耦，在保證實時性的同時，使機器人始終受到長期規(guī)劃和實時反饋的共同引導。

可擴展的融合范式，通往更通用的具身智能

Vision-Motion MoT 架構的意義，不只在于解決 Being-M0.7 這一款模型的訓練問題，它確立的是一套可持續(xù)擴展的多模態(tài)融合范式。

這套范式最直接的改變發(fā)生在數(shù)據層面。

超 10,000 小時的混合模態(tài)數(shù)據，把人形機器人模型訓練可用的監(jiān)督信號來源，從昂貴稀缺的機器人真機演示，擴展到了海量的人類行為數(shù)據。數(shù)據瓶頸的松動，是任何 Scaling Law 得以成立的前提。

與此同時，Being-M0.7也調整了模型學習的順序。

在被適配為機器人可執(zhí)行指令之前，模型先從大規(guī)模人類中心數(shù)據中學習視覺上下文、未來動態(tài)和人形運動學結構。隨后，動作專家再將這些預測與運動先驗轉化為具體機器人的控制命令。換言之，模型先建立對未來狀態(tài)和身體運動的預測能力，再學習如何在特定本體上行動。這構成了它與直接從機器人示教中學習動作映射的傳統(tǒng)模仿學習方案之間的一項重要差異。后者往往從「看到什么、輸出什么動作」開始，Being-M0.7 則在動作生成之前加入了一層對未來狀態(tài) — 運動的聯(lián)合建模。

更重要的是，這套架構并不要求所有新增數(shù)據都具備完整的視覺 — 運動配對。經過清洗和處理后，單獨的人類視頻與運動序列都可以被納入同一個模型。隨著數(shù)據規(guī)模進一步擴大，這套融合范式也有望持續(xù)拓展能力邊界。

放到整個行業(yè)的坐標系中，Being-M0.7 的發(fā)布，或許代表著人形機器人競爭邏輯的一次變化。

過去幾年，行業(yè)的注意力更多集中在誰的本體更靈活、誰的運動演示更驚艷。隨著硬件性能持續(xù)提升，模型能否理解場景、預測變化并生成協(xié)調的全身動作，以及背后是否存在可以持續(xù)擴大的數(shù)據體系，將越來越成為拉開差距的關鍵。

大語言模型的發(fā)展已經證明，可規(guī)?；臄?shù)據與訓練飛輪，往往決定一條技術路線最終能夠走多遠。具身智能正站在相似的臨界點上：真機數(shù)據無法像互聯(lián)網語料一樣快速增長，機器人還可以從哪里獲得持續(xù)進化所需的經驗？

從 Being-H 到 Being-M，智在無界的判斷是讓機器人先從人類行為中學習世界，再把這些知識轉化為真實物理空間中的行動。

當理解成為行動的前提，通用人形機器人才真正走出了實驗室敘事，開始通向千行百業(yè)的物理世界。