專訪螞蟻數科：入局具身數據深水區，用技術把“苦活”干成“酷活”

作者：彭堃方

編輯：呂鑫燚

出品：具身研習社

最近行業有一種頗具諷刺意味的觀點：“模型公司在燒錢，數據公司在掘金”。

坦白說，這種說法是一個真實存在的現象。但只要機器人想要認識物體、理解動作、掌握操作能力，就需要看見更多真實的人類行為，也需要在更多場景中反復學習。只要具身智能繼續發展，數據采集、加工與交付就一定會成為一門生意。

但問題在于，這門生意究竟靠什么成立、有沒有過于粗獷，以至于短視呢？

倘若只是找一批采集員、租一個場地、架起設備，按照腳本重復抓取、放置、開關抽屜，再按視頻時長報價，今天確實可能賺到錢。但這種模式很難長期支撐具身智能，也很難形成真正穩固的產業價值。

2023 年，大模型訓練范式尚未收斂，市場上曾出現大量直接抓取語料、簡單整理后出售的公司。到了 2024 年，缺少加工、沒有壁壘的基礎語料迅速貶值，產業風向也開始轉變，模型廠商加注專家標注、Agent 軌跡和思維鏈等高質量數據。

在螞蟻數科天璣實驗室首席科學家張博看來，具身智能大概率也會經歷相似的過程，只是周期更長。“這里面有沒有投機者、有沒有掘金者？一定有。想賺快錢，在這個階段也能搞得定。”他說，“但時間會證明，最終技術方向和對數據的要求會收斂，會收斂到有價值、有技術壁壘的數據場景和數據管線上去。

沿著這條判斷再往前看，具身智能當然需要數據公司，卻未必需要大量簡單粗放、按小時販賣視頻的數據公司。這個行業真正缺少的，是把現實世界的行為持續轉化為模型可學習資產的基礎設施。

螞蟻數科天璣實驗室聯合浙江大學、香港大學、香港科技大學、香港科技大學（廣州）、新加坡國立大學、北京智源人工智能研究院、中國科學院大學、西安交通大學等高校和科研機構共同發起和維護的 Open-AoE，正試圖進入這片更難的區域。

它首批開放約 2000 小時由消費級智能手機采集的第一人稱人類操作數據，匯集 500 多位貢獻者，覆蓋 400 多種消費級手機型號、400 多個真實場景和 8000 多項任務，并提供從可視化、4D 重建、Human-to-Robot 重映射，到主流模型訓練格式轉換的一整套 data-to-model 工具鏈。它想回答的問題已經超出了“怎樣采到更多 Ego 視頻”，開始轉向“怎樣讓這些視頻真正進入模型訓練”。

這是一場開源，也是螞蟻數科對具身數據生意的一次重新定義，找到突圍“苦活”的技術路徑。

近一年來，Ego 數據成為數據賽道的當紅辣子雞。

仔細看 Ego 數據的走紅，其實首先源于一個樸素的產業矛盾：機器人產生數據的速度，遠遠趕不上模型消耗數據的速度。

過去幾年，具身智能主要依賴真機遙操作采集。這類數據與目標本體天然對齊，在后訓練和特定任務學習中具有直接價值。但它的瓶頸也十分明顯。機器人數量有限，設備成本高，采集依賴熟練操作員，機器還會遇到故障、充電、維護和任務重置等問題。

螞蟻數科曾對真機采集效率進行測算，一臺設備配合一名采集員，一天能夠形成的有效數據通常只有 2 到 4 小時，平均約 3 小時。張博對此有一個頗具沖擊力的說法：“人一天生活 24 個小時，機器人一天只能采出 3 小時有效數據。數據獲取的速度，居然比人類自然創造行為數據的速度還慢。這樣的數據供給，很難帶來模型能力的規模化躍遷。

而 Ego 路線最吸引產業的一點，恰恰是可擴展性。

人戴著相機或手機，在真實環境中做飯、整理衣物、使用工具、清潔桌面、裝配物品，這些自然發生的動作被持續記錄下來。相比真機遙操作，它繞開了機器人數量的限制，也把采集場景從固定數據場擴展至辦公室、家庭、商店、農田和工作間。

一旦采集設備足夠便宜，普通人的工作和生活都可能成為數據來源。機器人一天只能有限運轉，人類卻在全球數以億計的真實環境中持續行動。人類行為擁有天然的場景廣度、任務長尾和交互多樣性，這些都是通用具身模型必須學習的內容。

年初，螞蟻數科已經發布 AoE（Always-on Egocentric），提出了一種更輕量的路徑：利用普通智能手機和成本低于 20 美元的磁吸頸掛采集第一人稱操作。相關真機實驗顯示，在 50 條機器人遙操作數據的基礎上加入 200 條 AoE 人類演示后，機器人“合上筆記本電腦”任務成功率由 45%提升至 95%，“拿取并放置”由 45%提升至 75%；在更長時序的“推碗并倒入種子”任務中，成功率也從 0 提升至 20%。這意味著手機記錄的人類操作已經可以向機器人策略提供有效的結構與語義先驗。

但 Ego 數據“很好”，卻也僅僅解決了數據來源的一部分問題，它并不意味著模型已經獲得了一條可訓練數據。

問題首先在于視頻質量高度不穩定。不同手機的焦距、視場角、畸變、曝光、白平衡、HDR 和編碼鏈路不同；不同人的身高、佩戴角度、操作節奏也不同。手可能突然離開畫面，鏡頭可能被衣物遮擋，動作可能只完成一半。低成本設備降低了采集門檻，也把輸入的異構性推到了前所未有的程度。

其次，真實生活不是按照訓練腳本組織的。一個人做飯時，可能先拿碗，再尋找食材，中途清理臺面，隨后接聽電話。長視頻里充滿等待、轉身、無效動作和任務切換。模型需要的原子動作邊界、手部位姿、相機運動與語言描述，都不會自動從 MP4 文件里長出來。

更深層的問題來自“人”與“機器人”的身體差異。人類擁有五指、柔性關節和復雜觸覺，機器人可能使用二指夾爪、靈巧手或不同自由度的機械臂。人類手腕的軌跡無法原封不動地成為機器人動作。數據必須經過手部重建、相機軌跡估計、坐標轉換和本體映射，才能與具體機器人建立聯系。

此外，不同模型對同一段數據的需求也不相同。VLA 關心機器人能夠執行的末端動作，世界動作模型希望理解手部和相機運動如何導致未來畫面變化，世界模型可能從顯式動作、弱監督或潛動作中學習環境動力學。同一個視頻，需要被轉化為不同的動作語義和數據格式。

所以，Ego 數據的爆發只是把具身數據從“采不到”推向了“采到了，但不知道怎樣用好”，這樣更難以回答的問題上去。

當數據真正送到模型團隊手里，他們關心的會迅速變成另一組問題：能留下多少有效訓練窗口？手部信號是否完整？動作邊界是否準確？語言和畫面能否對齊？能不能直接接入現有訓練框架？

從這個角度看，具身數據行業的競爭，遲早會從采集規模轉向 AI-ready 能力。“這一切來自于螞蟻天璣實驗室10多年來服務支付寶 App 生物安全檢測與 Android 安全認證所帶來的設備層面技術積累，在 Ego 時代，這些看似距離機器人很遠的能力，成為普通手機能否轉化為規模化具身數據終端的關鍵。”張博補充道。

對于這些懸而未決，卻已經成為具身數據桎梏的難題，螞蟻數科此次開源 Open-AoE 算是一次完整的回應。

它試圖解決的第一個問題，是怎樣讓數據采集真正走向普惠。張博將這條路線總結為：“在設備和采集成本上瘋狂做減法，在后處理和算法上瘋狂做加法。

在他的設想里，Ego 采集不應該依賴昂貴的專業設備。“我們希望每一個自然人的數據都能夠被采集，不需要先買 GoPro，也不需要幾萬塊錢的專業設備。每個人的工作和生活，都可以變成 AI 能夠訓練的一條數據。”這也是 Open-AoE 初心的表達：“讓 Ego 數據人人可采、人人可用，也讓每一次真實操作都成為具身智能的下一條訓練數據。

低成本采集并不意味著把質量完全交給用戶。Open-AoE 采用“輕前端、重算法、重平臺”的設計，手機端只承擔即時反饋：檢查手部是否進入畫面、焦距是否鎖定、光線是否足夠、佩戴方式是否合規以及設備是否過熱。當手部出畫或視角異常時，系統立即給出提醒。計算量更大、需要全局判斷的任務則被放到后端完成。

第二個問題，是如何把高度異構的視頻收斂為統一資產。

Open-AoE 已經覆蓋 400 多種消費級手機型號。每一種手機背后都對應不同鏡頭、傳感器、ISP、分辨率模式和固件，再疊加人的佩戴姿態差異，原始數據幾乎不可能天然一致。

對此，Open-AoE 先完成幾何校正、去畸變、視角與穩定性校正，再處理亮度、白平衡、編解碼和動態清晰度，最終統一到后續重建與標注可以消費的視頻規范，同時保留相機內參和數據血緣。

這套能力與螞蟻數科原有積累高度相關。

第三個問題，是怎樣定義“好數據”。

整體來說，Open-AoE 將數據篩選拆成三層漏斗。第一層在端側檢查時長、幀率、手部可見性與佩戴狀態；第二層在云端處理視頻完整性、模糊、曝光、第一人稱視角、標簽和敏感內容；第三層進一步判斷動作意圖是否完整、任務是否具有訓練價值、數據是否與已有分布互補。通過篩選后，視頻才會進入相機軌跡估計、MANO 手部重建文本標注和原子動作切分。

最終交付還要經過完整性、正確性和一致性三道驗收。這里的質量標準已經不再是“視頻能不能正常播放”，而是它能否穩定進入訓練和重映射流程。

具體來看，在數據分布上，為了避免“規模大、場景多”口說無憑，Open-AoE 直接從 2000 小時發布數據中隨機抽取約 100 小時做統一統計。樣本包含 46802 個原子動作區間、193 個動作動詞、7346 個交互物體短語和 522 條原始場景描述；貢獻者時長呈明顯長尾，貢獻最多的 10 個匿名 ID 合計僅占 13.7%。場景也沒有集中在廚房和桌面，數據進一步延伸至辦公室、臥室、手工與工作間、客廳、浴室、戶外、洗衣和零售服務等空間。換句話說，這批數據的廣度同時發生在“誰在操作、在哪里操作、操作什么，以及通過什么相機看到操作”四個層面。

更關鍵的是，項目沒有只用一張 t-SNE 圖來證明“分布很散”。技術報告將 Open-AoE、OpenEgo、EgoDex 和 EgoXtreme 放入同一套實驗框架，在歸一化后的 CLIP 高維特征空間中進行 3000 次平衡隨機抽樣，每次從每個數據集中無放回抽取 2000 個視覺 embedding，再比較 Effective Rank、Participation Ratio、Meaningful Coverage、Normalized Cluster Entropy、Effective Clusters 和 kNN Domain Mixing 六項指標。Open-AoE 六項均取得最高均值，其中 Effective Rank 為 97.43、Participation Ratio 為 40.47；前三項中的 Effective Rank、Participation Ratio 和 kNN Domain Mixing，更是在 3000 次試驗中每一次都排名第一。這組結果說明，其視覺變化覆蓋了更多有效特征方向，同時與外部 Ego 數據域保持更強連接，較少被單一設備和固定場景鎖死。

數據質量則被拆成“標注是否完整、標注是否對應畫面、數據進入訓練后還剩多少”三類可驗證指標。在約 100 小時分析樣本中，動作標注覆蓋 99.99% 的受評時間軸，每分鐘包含 13.97 個動作片段；Idefics2 對圖像—標注一致性的序列級宏平均評分達到 4.583/5，85.4% 的序列平均得分不低于 4。統一采用 2 秒歷史、2 秒未來、2 秒步長切窗后，每小時可生成約 1760 個候選訓練窗口，達到理論上限的 97.8%；至少一只手有效的幀或條目占 98.93%，雙手同時有效達到 98.02%，動作、邊界框、標注置信度、手部姿態和相機姿態五類監督信號在序列級全部可用。

這些實驗把“高質量”從主觀判斷變成了一組可以復核的技術指標：既看分布是否足夠寬，也看語義、時間軸和多模態信號是否完整，更看數據經過真實訓練切窗后會損失多少。Open-AoE 的技術領先性，由此不只體現在采集規模和工具鏈完整度，還體現在它開始為具身數據建立一套接近 Benchmark 的驗證方法。

第四個問題，是數據怎樣走完進入模型的最后一公里。

Open-AoE 把工具鏈分為三個方向。AoE-Visualization 讓研究者同步查看視頻、MANO 手部網格、關鍵點、軌跡和動作描述；AoE-Reconstruct-Retarget 負責從視頻恢復手物交互資產，并將人類動作映射到不同機器人本體；AoE-Training-Ready 則面向 VLA、世界動作模型和世界模型，處理坐標系、采樣頻率、時間窗口、歸一化和圖像—語言字段。

它已經接入 GR00T N1.7、π0.5、ACT、Diffusion Policy、LingBot-VA、Ctrl-World、iVideoGPT 等多種訓練路線。這里做的遠不止文件格式轉換，而是在回答：一段人類操作，在不同模型體系中究竟應該被表示成什么。

這也是 Open-AoE 與一批開源 Ego 數據集最明顯的區別。開源一個壓縮包，可以降低數據獲取成本；開源一條 data-to-model 鏈路，才可能降低整個行業反復建設私有管線的成本。

張博說，螞蟻數科團隊內部也配備模型訓練人員，但他們的目標并非刷新 SOTA：“他們不是為了證明我們又做出了一個最好的模型，而是驗證這份數據放在不同模型、不同訓練范式里，到底有沒有效；同時在服務螞蟻靈波過程中，數據團隊與模型團隊的協作能力也得到快速提升”。

這句話點出了數據公司的邊界，也抬高了數據公司的門檻。它不必成為模型公司，卻必須理解模型；它不必主導每一種技術路線，卻要知道數據怎樣影響路線選擇。

具身數據行業里，大部分真正決定質量的工作，都不容易被展示。

采集設備適配、壞例識別、隱私脫敏、動作切分、相機軌跡估計、手部重建、坐標轉換、格式對齊，這些工作很少出現在機器人演示視頻里，也很難像模型 Benchmark 一樣形成醒目的排行榜。

張博將其稱為所謂的“dirty work”。“我們是在干苦活，但最終會通過技術把這個苦活干成一個很酷的活。”他說，“很多 researcher 會覺得這是一份 dirty work，可越是這種 dirty work 被解決，大家越愿意 follow 你。模型做到 98 分，別人可以說我做到 99 分，然后來 pick 你；可越是這些關鍵的細節和精巧的工程問題，大家越愿意 follow。”

在他看來，這種依賴最終會形成壁壘：“企業的壁壘，一種是擁有全世界最好的模型，另一種就是把這些“dirty、detail”的事情工程化、標準化，而且做得比別人好。這也是很重的商業壁壘。”

這恰好回應了“數據公司是否只是在掘金”的質疑。真正簡單的掘金生意，依賴行業早期的信息差和供需錯位：模型公司著急要數據，市場還不知道什么數據有效，于是視頻時長先被當成最直觀的計價單位。隨著模型訓練路線逐漸清晰，粗放數據的價格一定會下降，數據公司的價值也會重新分層。

最底層賣人力，中間層賣交付，往上則是賣數據工程、數據配方和基礎設施。

Open-AoE 所代表的方向，已經靠近第三層。螞蟻數科開放 2000 小時數據和工具鏈，表面上是在降低行業獲取數據的成本，背后也在建立自己的質量語言、工程接口和行業認知。

事實上，標準很少由一紙文件直接建立。更多時候，它來自被大量使用的工具、接口和工作流。當越來越多研究者用同一種方式加工數據，當更多模型團隊圍繞同一套字段與質量要求開展實驗，事實標準便可能在使用中形成。

據了解，不僅開源，這套完整的技術鏈路已經在武漢數智天螞落地，并通過政府+產業合作持續探索更加豐富的具身場景

對螞蟻數科而言，這當然是一種產業卡位。

它一端連接大量自然人的真實操作，另一端連接機器人本體、VLA、世界動作模型和世界模型；中間沉淀設備適配、質量控制、重建重映射和 Training-Ready 能力。當數據需求從通用時長走向特定場景、任務定向和模型配方，這套基礎設施便有機會成為持續產生商業價值的入口。Open-AoE 之外，螞蟻數科已經開放面向企業的更大規模、特定場景和標簽定制合作，覆蓋從采集方案到訓練格式交付的端到端流程。

對開發者和研究者而言，Open-AoE 的價值不只在于開放數據和工具鏈，也在于讓更多人真正用起來。圍繞這一點，螞蟻數科 DTCoder 可以進一步降低大家使用 AoE 數據的門檻：無論是理解數據結構、閱讀工具鏈代碼，還是完成環境配置、樣例運行和模型適配，開發者都可以借助 AI Coding 更快進入實踐。換句話說，Open-AoE 負責把具身數據生產鏈路開放出來，DTCoder 則幫助更多人更容易地理解、調用和復用這些數據資產。

對產業而言，它的價值更接近一次基礎能力下沉。

過去，高質量具身數據生產集中在少數資金充足的機器人公司和模型公司內部。高校團隊可能拿不到足夠數據，也缺少工業級加工流程；創業公司需要反復搭建自己的質檢、重建和格式轉換工具；不同企業之間的數據難以流動，每一家都在從頭解決相似問題。一套足夠開放的工具鏈，有機會讓這些重復勞動被壓縮。

所以，Open-AoE 不再是發布后靜止的 2000 小時數據，而可能成為一個持續連接真實世界與模型訓練的數據層，而這一整套數據生產工具則將在有形無形中逐漸彌合產業分歧、共塑產業標準。

讓每一個比特都通往AGI

具身智能的數據生意最終可能很大，但“大”不會只來自采集人數和視頻時長。真正決定行業格局的，是誰能把分散、異構、充滿噪聲的人類行為，持續轉化為可靠、可訓練、可跨模型復用的數據資產。

在這個意義上，數據行業當然可以掘金。

只是未來最值錢的，大概不會是拿著鏟子最早沖進礦區的人，而是那些愿意下到礦井深處，修路、通風、測繪，并最終建立起整套開采標準的人。

Open-AoE 的價值，也正在于螞蟻數科選擇了一件不夠輕松，卻可能足夠長久的事：把人人都能產生的真實操作，變成具身智能能夠共同使用的AI基礎設施，讓每一個比特都通往AGI