機(jī)器人雙手迎來全棧訓(xùn)練系統(tǒng)：靈初智能EgoSteer讓靈巧手無所不能

編輯｜冷貓

記得何同學(xué)做過一個(gè)超復(fù)雜的流水線項(xiàng)目嗎？

內(nèi)容來源：老師好我叫何同學(xué)

這個(gè)視頻發(fā)布于 2024 年 1 月，當(dāng)時(shí)要實(shí)現(xiàn)自動(dòng)疊紙盒，把禮物放進(jìn)紙盒的自動(dòng)化操作，正是這樣一個(gè)機(jī)械臂和自動(dòng)化編程組合成的流水線。

如果有一個(gè)能像人一樣靈活的機(jī)器手來折疊包裝，長(zhǎng)時(shí)間批量地工作，何同學(xué)團(tuán)隊(duì)耗費(fèi)心力打造的龐大流水線的功能，就能夠被兩個(gè)小體積的靈巧手給完美實(shí)現(xiàn)。

并且也不需要考慮各種流水線上的穩(wěn)定性，靈巧手自己就能夠解決遇到的位置偏移，變形等問題，全面自主。相比復(fù)雜的機(jī)械臂和自動(dòng)化，靈巧手的自由度和泛用性顯然是其不可比擬的。

這很難，但和人類雙手接近的靈巧手，已經(jīng)出現(xiàn)了。

這一對(duì)雙臂靈巧手，在精細(xì)操作、長(zhǎng)程任務(wù)和泛化性上均展現(xiàn)出了亮眼的成績(jī)，而它來自于靈初智能。

在這兩個(gè)靈巧手準(zhǔn)確協(xié)同，實(shí)現(xiàn)精巧操作的背后，是一套靈初智能與北大 - 靈初聯(lián)合實(shí)驗(yàn)室共同發(fā)布并開源的技術(shù)范式，稱為 EgoSteer，是一套雙靈巧手通用操作大模型和全棧系統(tǒng)。

• 論文鏈接：https://egosteer.github.io/EgoSteer.pdf
• 項(xiàng)目主頁(yè)：https://egosteer.github.io/#/

到目前為止，業(yè)界能跟隨自由語言指令、還能在全新場(chǎng)景里泛化的模型少之又少。

π0.7、DreamZero 這些近期在通用性上取得突破的工作，把機(jī)器人能干的活兒從「一個(gè)任務(wù)」推到了「一批任務(wù)」，但它們大多依賴昂貴的真機(jī)數(shù)據(jù)。但我們知道，具身靈巧手最好的數(shù)據(jù)，必然來自人類的雙手。

https://mp.weixin.qq.com/s/EFmICtdSJAMXNmz0fxwJUw

EgoSteer 是一個(gè)里程碑式的進(jìn)步。它能跟隨開放式的自然語言指令，完成一百多種語義各異的靈巧操作任務(wù)，還能用少量示范快速學(xué)會(huì)復(fù)雜的長(zhǎng)程任務(wù)。該全棧系統(tǒng)已完整開源代碼、模型權(quán)重，數(shù)據(jù)也將近期開源，為雙靈巧手通用操作開究提供了一套高質(zhì)量、可復(fù)現(xiàn)、可迭代的全棧基線

數(shù)據(jù)，模型和系統(tǒng)，深度技術(shù)拆解

下面我們從三個(gè)層面把它拆開：數(shù)據(jù)、模型和系統(tǒng)閉環(huán)。這三塊拼在一起，才能真正被稱為「全?！瓜到y(tǒng)。

近萬小時(shí)人手視頻，變成訓(xùn)練數(shù)據(jù)

先說一個(gè)反直覺的事實(shí)：制約靈巧手大模型的瓶頸，往往落在數(shù)據(jù)上。但數(shù)據(jù)本身其實(shí)并不稀缺，稀缺的是能拿來訓(xùn)練的數(shù)據(jù)。

第一人稱人類視頻，也就是戴著相機(jī)以人的視角拍下的操作畫面，是天然的富礦。全網(wǎng)這類可用素材大約有 11.6 萬小時(shí)，人手在里面擰、捏、遞、疊，蘊(yùn)含著海量的交互知識(shí)。問題在于，這些視頻原始狀態(tài)下噪聲大得驚人：鏡頭劇烈晃動(dòng)、雙手頻繁被遮擋、既沒有可靠的語言標(biāo)注，也沒有精確的動(dòng)作標(biāo)注。直接拿去訓(xùn)練，模型學(xué)到的是一堆彼此矛盾的監(jiān)督信號(hào)，下游策略只會(huì)被帶偏。

靈初把處理這些視頻的管線單獨(dú)做成了一個(gè)系統(tǒng)，叫EgoSmith。它是一條四階段的全自動(dòng)流水線，目標(biāo)是把視頻變成帶精細(xì)語言和動(dòng)作標(biāo)注的可訓(xùn)練數(shù)據(jù)。

EgoSmith 概覽：EgoSmith 能夠?qū)⒃肼曒^大的第一視角視頻整理為高質(zhì)量的靈巧操作 VLA 數(shù)據(jù)，為語言驅(qū)動(dòng)的機(jī)器人預(yù)訓(xùn)練提供可規(guī)模化的人手交互先驗(yàn)。

第一階段是預(yù)過濾。用簡(jiǎn)單但有效的啟發(fā)式規(guī)則先做一遍粗篩：在 128 個(gè)采樣點(diǎn)的網(wǎng)格上算平均光流，光流大的往往對(duì)應(yīng)人在走動(dòng)、并沒有在操作，直接丟掉；再用 YOLO 檢測(cè)畫面里手的數(shù)量、尺度和位置，靠幾何規(guī)則剔除嚴(yán)重遮擋或有旁人亂入的幀，只留下手部操作清晰可見的片段。

第二階段是 4D 運(yùn)動(dòng)估計(jì)，把頭和手的運(yùn)動(dòng)還原到真實(shí)物理空間里。EgoSmith 用更輕更穩(wěn)的 DPVO 做相機(jī)跟蹤和關(guān)鍵幀深度，用 Any4D 做逐幀的度量尺度深度預(yù)測(cè)，兩者對(duì)齊尺度比之后，恢復(fù)出更準(zhǔn)確的相機(jī)軌跡，再把相機(jī)坐標(biāo)系下的手部運(yùn)動(dòng)轉(zhuǎn)換到統(tǒng)一的世界坐標(biāo)系。

第三階段是多層級(jí)語言標(biāo)注，這是「聽懂人話」的基礎(chǔ)。先用 Qwen3.5-VL-Plus 把那些沒有實(shí)質(zhì)手物交互的片段再濾掉一批，剩下的每一段都生成從粗到細(xì)的五級(jí)語言指令：L1 是動(dòng)詞加賓語這樣的原子指令，L2 是要點(diǎn)摘要，L3 以物體為中心，L4 以手為中心區(qū)分左右手分工，L5 則細(xì)到分步動(dòng)作。

第四階段是后過濾，做多級(jí)質(zhì)量控制。episode 級(jí)看相機(jī)平移分布剔除離群、用硬閾值丟掉頭部運(yùn)動(dòng)過大的片段；chunk 級(jí)把手腕姿態(tài)轉(zhuǎn)到中間幀、把手指關(guān)鍵點(diǎn)投影到逐幀手腕系，剔除坐標(biāo)空間的離群值；frame 級(jí)算相機(jī)、手腕、手指的幀間差分，用硬閾值濾掉突變跳變。一層層篩下來，那些因?yàn)槿S重建漂移、尺度不準(zhǔn)、跳幀而變得不可靠的片段被系統(tǒng)性地清除。

最終產(chǎn)出是一個(gè)標(biāo)準(zhǔn)化的數(shù)據(jù)集：橫跨 12 個(gè)開源數(shù)據(jù)集，9.6K 小時(shí)、209 萬個(gè)片段、10.4 億幀，覆蓋 8969 個(gè)不同的物體名詞和 623 個(gè)動(dòng)作動(dòng)詞。

讓 VLA 學(xué)會(huì)「想象」：只在訓(xùn)練時(shí)出現(xiàn)的世界模型

有了干凈的數(shù)據(jù)，接下來就是最重要的訓(xùn)練模型環(huán)節(jié)。

EgoSteer的模型本體是一個(gè)基于流匹配（flow matching）的 VLA，但它最有意思的設(shè)計(jì)，是給這個(gè) VLA 掛了一個(gè)世界模型專家，而這個(gè)專家只在訓(xùn)練時(shí)存在，推理時(shí)直接丟掉，不帶來任何額外的計(jì)算負(fù)擔(dān)。

EgoSteer 概覽：一種結(jié)合世界模型增強(qiáng)的 VLA 模型，用于實(shí)現(xiàn)可控的靈巧操作。

要理解這個(gè)設(shè)計(jì)的巧思，得先看清模型的骨架。EgoSteer 由三部分組成，共享一個(gè)視覺語言主干：

第一部分是主干，用的是預(yù)訓(xùn)練視覺語言模型 Qwen3-VL（2B 規(guī)模），采用因果注意力，負(fù)責(zé)把圖像、語言、狀態(tài)這些多模態(tài)輸入編碼成表示。

第二部分是動(dòng)作專家，一個(gè)基于 DiT 的模塊，約 3 億參數(shù)，通過流匹配來生成動(dòng)作塊（action chunk）。它采用聯(lián)合注意力，既看自己，也看主干的表示。

第三部分是世界模型專家，一個(gè)輕量的 4 層 Transformer，約 7000 萬參數(shù)。它干的事聽起來有點(diǎn)抽象：給定當(dāng)前要執(zhí)行的動(dòng)作和相應(yīng)的相機(jī)運(yùn)動(dòng)，去預(yù)測(cè)未來那一幀畫面的 DINOv3 特征。

為什么要預(yù)測(cè)未來？團(tuán)隊(duì)的洞察是，VLA 天生擅長(zhǎng)視覺和語言的理解，卻缺乏對(duì)「下一秒會(huì)發(fā)生什么」的想象，而這種想象的缺失，恰恰限制了動(dòng)作生成的精度。

世界模型專家正是在這一環(huán)節(jié)進(jìn)行補(bǔ)強(qiáng)。訓(xùn)練時(shí)，它拿真實(shí)動(dòng)作、相對(duì)相機(jī)運(yùn)動(dòng)和一串可學(xué)習(xí)的查詢 token 作為輸入，去回歸未來幀經(jīng) DINOv3 編碼后的語義特征。

這里有兩個(gè)值得說的細(xì)節(jié)。一是它選擇回歸 DINOv3 特征，而放棄直接預(yù)測(cè)像素，因?yàn)檎Z義特征天然過濾掉了光照變化和背景噪聲，比在像素空間里預(yù)測(cè)圖像提供的梯度更穩(wěn)定、更直接。二是這個(gè)專家只有 4 層，且以固定間隔去注意主干的層。

它存在的價(jià)值，是讓「預(yù)測(cè)未來」這個(gè)目標(biāo)產(chǎn)生的梯度回流到主干，主干對(duì)世界的理解變強(qiáng)了，動(dòng)作專家的精度自然跟著水漲船高。到了推理階段，這個(gè)專家功成身退，一點(diǎn)推理開銷都不留。

EgoSteer 用一套統(tǒng)一的動(dòng)作空間：手腕位姿用 3D 位置加 6D 旋轉(zhuǎn)表示，手部姿態(tài)用五根手指指尖在手腕坐標(biāo)系下的位置表示，雙臂雙手加起來是 48 維。人手?jǐn)?shù)據(jù)和機(jī)器人數(shù)據(jù)被強(qiáng)行拉到同一種表示格式下。人類操作的寶貴數(shù)據(jù)，就是通過這套統(tǒng)一表示，平滑地流向機(jī)器人。

最后一個(gè)工程細(xì)節(jié)關(guān)乎「流暢」。機(jī)器人真機(jī)推理時(shí)，如果每生成一個(gè)動(dòng)作塊就停頓一下等下一次推理，動(dòng)作會(huì)一頓一頓的。為此， EgoSteer 采用了訓(xùn)練時(shí)的 Real-Time Chunking（RTC）技術(shù)：訓(xùn)練時(shí)喂給模型一段干凈的、帶隨機(jī)延遲的動(dòng)作前綴作為已知條件，只讓它去噪后續(xù)動(dòng)作，以覆蓋推理延遲。

人在閉環(huán)：「無縫接管」失敗機(jī)器人

數(shù)據(jù)和模型之外，全棧系統(tǒng)的第三塊是機(jī)器人系統(tǒng) Robot-Stack。它把遙操作數(shù)據(jù)采集、模型推理部署、人在閉環(huán)糾偏這三件事，融進(jìn)了同一套底層控制里。

這套設(shè)計(jì)的第一層價(jià)值是一致性。無論機(jī)器人是在自主跑模型，還是人戴著數(shù)據(jù)手套在手動(dòng)遙操作，底層共用完全相同的控制環(huán)路和 FK/IK 計(jì)算邏輯，跑在同一批 ROS2 節(jié)點(diǎn)上。

真正精彩的是「人在閉環(huán)糾偏」的接管機(jī)制。想象一個(gè)場(chǎng)景：機(jī)器人在執(zhí)行任務(wù)，眼看要失敗了，一位專家需要立刻接管。這個(gè)接管的瞬間是個(gè)大坑，如果直接把人手的絕對(duì)姿態(tài)映射到機(jī)器人上，機(jī)器人的狀態(tài)會(huì)在交接的一剎那突變，物理上就是一個(gè)劇烈的抖動(dòng)，輕則任務(wù)失敗，重則損壞器件。

靈初的解法非常巧妙，稱之為「相對(duì)動(dòng)作映射」。操作員踩下腳踏板發(fā)出接管信號(hào)的那一刻，系統(tǒng)記錄下機(jī)器人當(dāng)前的末端姿態(tài)和人手當(dāng)前的姿態(tài)作為各自的基準(zhǔn)。

此后，系統(tǒng)只把操作員手部的相對(duì)運(yùn)動(dòng)量疊加到機(jī)器人的當(dāng)前狀態(tài)上。直觀地說，操作員只要順著機(jī)器人當(dāng)下的姿勢(shì)去比劃，就能平滑地接過控制權(quán)，全程沒有突變抖動(dòng)。糾正完成后再踩一次腳踏板，控制權(quán)無縫交還給模型。接管成功率超過 85%。

這套機(jī)制的妙處在于，它讓在線糾偏的數(shù)據(jù)收集變得極其低門檻。專家可以在機(jī)器人失敗的任意狀態(tài)下絲滑接管、示范正確做法，而且只有這些「介入片段」會(huì)被留下來作為糾偏訓(xùn)練數(shù)據(jù)。

靈初用三輪 DAgger 迭代，在 56 個(gè)任務(wù)上一共只采集了 3.7K 條軌跡、8.3 小時(shí)的糾正數(shù)據(jù)。靠這套控制棧，團(tuán)隊(duì)以極低的人力成本，采集了覆蓋 193 個(gè)桌面操作任務(wù)、187 小時(shí)的高質(zhì)量真機(jī)數(shù)據(jù)，涵蓋從簡(jiǎn)單抓放到非抓握、重定向、雙手協(xié)作、接觸密集等 7 大類操作。

把數(shù)據(jù)、模型、系統(tǒng)三塊串起來，EgoSteer 的訓(xùn)練遵循三個(gè)階段。第一階段用 9.6K 小時(shí)的人類第一人稱數(shù)據(jù)做預(yù)訓(xùn)練，只用頭部相機(jī)，在 128 張 A800 上訓(xùn)了 175K 步、約 164 小時(shí)。第二階段用 187 小時(shí)多樣化的真機(jī)數(shù)據(jù)做后訓(xùn)練，加上胸部相機(jī)形成雙視角，學(xué)習(xí)率降到原來的十分之一。第三階段是多輪人在閉環(huán) DAgger 糾偏。

實(shí)驗(yàn)結(jié)果

EgoSteer 的評(píng)測(cè)拆成了幾個(gè)彼此獨(dú)立的維度，每一個(gè)都在回答一個(gè)具體的疑問：它到底能不能聽懂話、能不能應(yīng)付沒見過的場(chǎng)景、那些精巧的模塊是不是真的有用、近萬小時(shí)人手?jǐn)?shù)據(jù)最終換來了什么。

可操控性與泛化

EgoSteer 全程只用一個(gè)共享模型，不為任何單一任務(wù)做專門微調(diào)，所有動(dòng)作都由開放式的自由語言指令直接驅(qū)動(dòng)。評(píng)測(cè)覆蓋 7 大類操作，從簡(jiǎn)單抓放（PnP）到非抓握推撥、物體重定向、雙手協(xié)作、接觸密集型任務(wù)，一共 40 個(gè)日常復(fù)雜任務(wù)，每個(gè)任務(wù)在隨機(jī)雜亂的場(chǎng)景里試驗(yàn) 10 次。

最終的整體平均成功率是 75%。

EgoSteer 在涵蓋 7 個(gè)類別的 40 項(xiàng)任務(wù)中的可控操作性能。它能夠穩(wěn)健地遵循自由形式的語言指令完成任務(wù)，實(shí)現(xiàn)總體 75% 的成功率，展現(xiàn)出良好的泛化能力。

EgoSteer 把評(píng)測(cè)任務(wù)切成了三檔難度。

第一檔是訓(xùn)練時(shí)見過的任務(wù)，模型表現(xiàn)穩(wěn)定。第二檔是組合泛化，指令把已知技能重新拼裝，這類需要理解指令結(jié)構(gòu)、重新編排子技能的任務(wù)，成功率65%。第三檔最難，是語義上完全沒見過的新任務(wù)，成功率62%。

一個(gè)模型在沒見過的語義任務(wù)上還能保住六成的成功率，說明它學(xué)到的是一套可以遷移的操作先驗(yàn)，并沒有停留在對(duì)特定指令的死記硬背。

數(shù)據(jù)規(guī)模

這個(gè)實(shí)驗(yàn)證明了，人手?jǐn)?shù)據(jù)的規(guī)模在具身智能模型中依舊非常寶貴。

這是一條清晰的 scaling 曲線。團(tuán)隊(duì)用從零訓(xùn)練、3K、6K、9.6K 小時(shí)四個(gè)預(yù)訓(xùn)練規(guī)模跑了對(duì)照，隨著數(shù)據(jù)量上去，預(yù)訓(xùn)練損失收斂得更低，真機(jī)成功率也穩(wěn)步爬升，到 9.6K 小時(shí)時(shí)達(dá)到60%，而完全從零訓(xùn)練的模型只有約30%。三十個(gè)百分點(diǎn)的差距，幾乎全部來自預(yù)訓(xùn)練數(shù)據(jù)。

橫向和同期工作比，在一組 10 個(gè)相對(duì)容易的任務(wù)上，EgoSteer 平均成功率 74%，同期的 Being-H0.5 是 39%，π0.5 是 22%。論文的分析是，這兩個(gè)對(duì)比模型都吃虧在預(yù)訓(xùn)練和后訓(xùn)練階段的動(dòng)作表示不一致、輸入分辨率更小、缺少部署優(yōu)化，所以只能應(yīng)付最基本的抓放，指令跟隨弱、泛化有限、執(zhí)行也不夠精準(zhǔn)。

預(yù)訓(xùn)練價(jià)值的終極檢驗(yàn)

最后一問，也是最能體現(xiàn)預(yù)訓(xùn)練價(jià)值的一問：一個(gè)在人手視頻上預(yù)訓(xùn)練好的模型，能不能只用少量示范，就快速學(xué)會(huì)一個(gè)全新的、跨本體的、復(fù)雜的長(zhǎng)程任務(wù)。

兩個(gè)實(shí)驗(yàn)給了答案。在 RealMan 機(jī)器人上，僅用 120 條示范，EgoSteer 就在一個(gè) 18 步、耗時(shí) 40 秒的折紙盒任務(wù)上做到了75% 成功率。在換了一套本體的 AgiBot G1 機(jī)器人上，僅用 200 條示范，在一個(gè) 9 步、耗時(shí) 1 分鐘的拆蛋糕盒任務(wù)上做到了83%。

對(duì)照組的結(jié)果近乎殘酷。同樣的數(shù)據(jù)量下，傳統(tǒng)模仿學(xué)習(xí)方法 Diffusion Policy 和 IMLE、以及沒有做過預(yù)訓(xùn)練的同架構(gòu)模型，在這兩個(gè)長(zhǎng)程任務(wù)上的成功率全部是 0%。真正讓「少樣本學(xué)會(huì)一個(gè)長(zhǎng)程任務(wù)」成為可能的，是近萬小時(shí)人手視頻攢下的操作先驗(yàn)，而不單單是模型架構(gòu)本身。

更多技術(shù)信息，請(qǐng)參閱原論文。

用雙手創(chuàng)造未來

具身智能已經(jīng)是一片火熱的研究領(lǐng)域，行業(yè)內(nèi)仍有一座座難以攀登的技術(shù)高峰。怎么把噪聲漫天的人手視頻洗成能訓(xùn)練的數(shù)據(jù)，怎么讓模型在動(dòng)手之前先預(yù)演下一幀，怎么讓一個(gè)人類專家絲滑地接管一臺(tái)機(jī)器人，這些問題是各類具身智能研究者，嘗試通過不同的路徑去解決的瓶頸。

靈初智能顯然在技術(shù)領(lǐng)域默默耕耘，埋頭在數(shù)據(jù)管線、預(yù)訓(xùn)練范式和真機(jī)閉環(huán)這些看不見的地方較勁，用 EgoSteer 把數(shù)據(jù)、模型、系統(tǒng)三頭一起補(bǔ)齊。

靈初智能成立于 2024 年 9 月，總部在上海，首席科學(xué)家楊耀東是北大助理教授，領(lǐng)銜北大 - 靈初聯(lián)合實(shí)驗(yàn)室。創(chuàng)始團(tuán)隊(duì)年齡跨度從 70 后一路排到 00 后，既有在黑莓、Sonos、達(dá)闥、京東摸爬滾打近二十年的產(chǎn)業(yè)老兵王啟斌，也有天才少年陳源培。

就在今年，這家成立才一年半的公司宣布完成 20 億元人民幣的天使輪加 Pre-A 輪融資，國(guó)開金融、上海徐匯資本等一眾國(guó)資和產(chǎn)業(yè)資本進(jìn)場(chǎng)。它此前推出的 Psi R 系列，是業(yè)內(nèi)首個(gè)端到端強(qiáng)化學(xué)習(xí)具身模型，也是最早做出能完成長(zhǎng)程任務(wù)的具身模型的團(tuán)隊(duì)之一。從那時(shí)起，它的技術(shù)路線就和行業(yè)主流的「夾爪加仿真」拉開了距離，一門心思押在「強(qiáng)化學(xué)習(xí)加人手?jǐn)?shù)據(jù)加靈巧手」這條更難走的路上。

真正能往前推進(jìn)具身智能行業(yè)進(jìn)化的，未必是最高最炫的機(jī)器人，而是那些愿意花力氣去清洗數(shù)據(jù)、去打磨閉環(huán)、去把一條完整鏈路跑通并開源出來的團(tuán)隊(duì)。

靈巧的手，終究要接住瑣碎而真實(shí)的人間事務(wù)。具身智能的雙手，也能創(chuàng)造未來。