地瓜機器人Uranus：讓世界模型像仿真器一樣工作

機器人仿真為什么難？

開發一臺能自主完成復雜任務的機器人，離不開大量的測試與驗證。然而，真實世界的測試昂貴、耗時且難以復現。讓一臺機械臂在真實環境中試錯成千上萬次，意味著設備、人力、場地和時間成本都要持續投入。更麻煩的是，真實環境很難完全復現，光照、物體位置、桌面狀態等，只要其中一個條件變化，測試結果就可能受到影響。

傳統仿真器，例如 Isaac Sim、MuJoCo，提供了一種替代方案：在虛擬環境中驗證算法，再遷移到真實世界。但這條路同樣崎嶇，手工構建仿真場景本身就是一項浩大的工程。3D建模、材質設定、物理參數調校等，每一個新環境都可能需要數天甚至數周的搭建。

有沒有一種方法，能像生成圖片和視頻一樣“生成”一個仿真環境？更進一步——能不能像真正的仿真器那樣，做到逐幀交互、逐幀閉環？

Uranus：一幀一反饋的世界模型

地瓜機器人算法團隊提出了Uranus，一個基于視頻擴散模型、工作在幀級閉環模式下的交互式世界模型。它將機器人仿真從“手工搭建”推進到“數據驅動”的全新范式。

給定幾幀參考圖像、機器人關節狀態、相機參數和一句文本描述，模型就能自回歸地生成多相機視角下連續、可控的未來視頻流，用于模擬機器人與環境的交互過程。

Uranus 模型架構：模型在參考幀和歷史幀約束下，根據輸入的動作通過 flow matching 生成下一幀。

幀級閉環是 Uranus 的核心能力。與傳統的“輸入一段動作、一次性輸出整段視頻”的開環生成不同，Uranus 的工作方式更像一個真正的仿真器：按幀推進生成過程，并將每一幀結果反饋給下一步預測，使動作指令可以在過程中實時調整。

具體來說，這一過程分為三步：

• 每一步只生成一幀：模型根據當前觀測（參考圖 + 歷史幀）和動作指令，預測下一時刻的多相機畫面
• 生成結果立刻反饋：新生成的幀被追加到歷史窗口中，成為下一步預測的條件
• 動作可以實時調整：因為是一幀一幀推理的，你可以在任意時刻改變動作指令，模型會立刻響應

這相當于一個幀級的“視覺數字孿生”：給定初始畫面和機器人模型，開發者可以像操作真實機器人一樣，生成畫面中逐步“駕駛”Uranus，而這一過程不需要手工 3D 建模。

四個能力，讓生成模型更接近仿真器

1. 讓不同機器人說同一種“圖像語言”

傳統方法通常需要為每種機器人單獨適配或訓練模型。Uranus 則通過統一的骨架渲染管線徹底解耦了具身結構與模型輸入：

• 只需提供 URDF 或 MJCF 格式的機器人描述文件，結合關節位置（qpos）
• 系統自動通過前向運動學（FK）計算 3D 關節坐標，投影到相機平面渲染為骨架圖
• 同一個模型即可支持G1 人形機器人、Franka 協作臂、雙臂系統乃至移動平臺

換言之，一個模型，支持多種具身；訓練一次，即可在不同機器人本體上復用。

這對閉環交互至關重要。因為在閉環模式下，模型每時每刻都在接收自己上一幀的預測結果作為輸入。如果模型只能處理單一機器人，每換一個本體就要重新訓練，閉環的泛化性就無從談起。Uranus 的骨架渲染管線讓不同機器人的動作都落到同一個“圖像語言”里，這樣無論驅動的是 G1 還是 Franka，模型看到的是統一格式的骨架圖。

2. 閉環跑得更久，畫面不容易漂

幀級閉環的難點在于誤差會不斷累積。每一步的微小預測誤差都會作為歷史條件喂入下一步，幾十步之后，畫面可能開始漂移，甚至出現明顯失真。這也是很多視頻生成模型只能穩定生成幾秒鐘片段的重要原因。Uranus 通過三項關鍵設計突破了長時閉環生成的瓶頸：

• 因果注意力掩碼（Causal Mask）：確保每一幀只能看到歷史上下文，嚴格遵循自回歸閉環的因果結構
• 幀相對位置編碼（Frame-Relative RoPE）：讓模型在訓練時只見過短片段，推理時卻能泛化到任意長度的閉環 rollout
• 參考幀注意力匯（Reference Sink）：利用 Transformer 中天然存在的“注意力匯”現象，將初始參考幀永久保留在上下文窗口中作為視覺錨點——無論閉環跑多少步，模型始終有一個“干凈的起點”可以參考，有效抑制畫質漂移

在這些設計支持下，Uranus 可以在訓練只用 2 秒片段的情況下，在推理階段穩定生成 60s 級別的閉環視頻，并保持較好的畫面連續性。

訓練 2 秒，閉環60秒，這也是 Uranus 長時閉環生成能力最直觀的體現。

3. 多個相機，看到同一個世界

機器人通常配備多個相機。以操作任務為例，機器人可能同時使用腕部相機、環境相機等多路視覺輸入。Uranus 支持同步生成 3 路以上相機視角，并保持不同視角之間的空間一致性。

為此，Uranus 設計了交替式空間-時間注意力機制：

• 空間模式：同一時刻不同相機之間交換信息，保證多視圖幾何一致性
• 時間模式：同一相機沿時間軸建模運動動態，在閉環推理時，只有這些層需要建立 KVCache

這兩種模式在 DiT 的各層之間交替執行，兼顧了計算效率與生成質量。

4. 相機可以移動，觀察角度更靈活

除了動作可控，Uranus 還支持相機軌跡控制。通過Plücker 射線嵌入，模型可以將每一幀的相機外參和內參編碼為逐像素幾何特征。這種表示完全由相機標定參數直接決定，無需額外任何學習。

在閉環交互場景中，開發者這意味著你可以像操作傳統仿真器一樣，在任意時刻移動相機位置和角度。模型會根據新的相機參數，在下一步生成對應視角的畫面。

這意味著，Uranus 不只能模擬機器人動作，也能支持動態觀察：既可以看整體環境，也可以切換到末端視角，觀察機器人與物體的接觸過程。

兩個 Demo：G1 與 Franka 的閉環操作

以下演示展示了 Uranus 在幀級閉環模式下，對兩種不同機器人、不同軌跡的交互仿真效果。

Demo 1：G1 人形機器人閉環操作

G1 機器人在不同場景下執行多種操作軌跡，Uranus 在多相機視角下實時生成連續交互畫面。

[agibot_demo.mov]

演示內容：G1 機器人完成商品條碼掃描，三路相機視角同步輸出，幀級閉環連續 Rollout。

Demo 2：Franka 協作臂閉環操作

Franka 機械臂在不同環境和軌跡下的操作效果，展示模型的跨本體具身泛化能力和對復雜末端軌跡的響應能力。

[droid_demo.mov]

演示內容：Franka 機械臂完成物品抓放，展示閉環模式下對末端執行器姿態、夾爪開合的控制能力。

技術架構速覽：輸入動作，生成下一幀

從架構上看，Uranus 是一個由動作和相機軌跡共同約束的多視角交互視頻模型。

模型接收參考幀、歷史幀、機器人動作、相機參數和文本描述，基于預訓練的Wan 2.1 視頻 DiT骨干，通過 Flow Matching（逐步去噪）生成下一幀畫面。新生成的畫面繼續進入歷史窗口，參與下一步預測，從而形成幀級閉環。

Uranus：動作和相機軌跡約束的多視角可交互視頻模型。

模型提供1.3B 和 14B兩個參數規模，分別適用于快速實驗和高保真閉環生成場景。

讓逐幀生成真正跑起來

幀級閉環對工程效率提出了嚴苛的要求。每生成一幀，都需要完成一次完整的去噪擴散過程，如果每一步都從頭計算注意力，計算開銷會隨著序列長度快速增長。

為降低推理成本，Uranus 引入了KV-Cache 和滑動窗口機制：

• 預填充階段：參考幀和歷史幀的 Key/Value 被計算并緩存
• 去噪階段：當前幀只計算自己的 Key/Value，與緩存中的歷史拼接即可完成注意力——無需重復計算
• 滑動窗口淘汰：當歷史幀超過窗口大小時，自動淘汰最舊的幀，保證每步開銷恒定

訓練側，Uranus 采用HSDP、序列并行 和 VAE Tile 并行的混合策略，支持 64 GPU 規模訓練。通過參數分片、數據并行、序列并行等方式，系統可以處理高分辨率、多視角、長序列視頻訓練帶來的顯存和通信壓力。

推理階段，Uranus則通過KV-Cache、+ 滑動窗口淘汰和+ 序列并行機制，減少重復計算，讓每一步的延遲和顯存占用保持相對穩定——無論生成多少幀，開銷不變，以支持多環境并行實時 Rrollout。

從生成視頻，到交互式仿真

Uranus 重新定義了“用生成模型做仿真”這件事。

幀級閉環是 Uranus 區別于一般視頻生成模型的核心特性。正是因為它能一幀一幀地接收動作、一幀一幀地產出畫面、再將畫面反饋給下一步，它才能成為一個真正可用的交互式仿真器，而不是一個只能“播放”的視頻生成器。

圍繞 Uranus同時，地瓜機器人正在探索一種新的機器人仿真構建方式：我們

• 不再需要手工搭建 3D 場景
• 不再為每種機械臂單獨訓練模型
• 不再受限于秒級的生成長度
• 用數據驅動的方式，讓機器人在“想象”中學會與世界交互

真實世界測試仍然是機器人開發中不可替代的一環。Uranus 的價值，在于為真機測試之外的訓練、評測和策略迭代提供新的工具，讓機器人能夠在更可控的環境中完成更多輪試錯。

地瓜機器人將持續推進 Uranus 的技術迭代，并在后續公布完整技術報告、訓練細節和定量實驗結果。