三個AI智能體設計、審查并優化逼真的3D環境,為機器人訓練創造虛擬世界。
![]()
麻省理工學院的研究人員開發了一套由AI驅動的系統,能夠自動生成逼真的3D室內環境,為機器人提供訓練數據。
該平臺名為SceneSmith,利用三個協同工作的AI智能體,通過布置物體、墻壁和房間布局,建造出廚房、酒店、客廳等細致的虛擬空間。
這些數字環境讓機器人可以安全地練習日常任務、測試不同策略,并在進入現實世界之前提升自身技能。
研究團隊表示,新模型有助于減少對昂貴物理訓練的需求,同時加速更強大、更具適應性的機器人系統的開發。
虛擬機器人訓練
MIT的SceneSmith是一套AI系統,可創建逼真的3D室內環境,讓機器人在進入真實世界前安全地學習和練習日常任務。
機器人領域面臨的最大挑戰之一是收集足夠的訓練數據。不同于從文本中學習的AI聊天機器人,機器人需要在各種不同的環境中與物理對象交互來積累經驗。在現實世界中訓練機器人成本高、速度慢,并且需要大量的人工監督。
研究團隊在一份聲明中表示,SceneSmith通過自動構建類似廚房、臥室、酒店、餐廳、辦公室和車庫等真實場景的細致虛擬環境來解決這一問題。機器人可以在這些數字世界中訓練,嘗試用不同方法完成任務,而無需承擔物理實驗的成本或風險。
該系統依賴三個協同工作的AI智能體。第一個叫“設計師”,負責創建房間布局并擺放家具等物品。第二個叫“評審員”,檢查場景是否逼真,并提出改進建議,例如移除不屬于特定房間的物品。第三個叫“協調者”,管理整個流程,決定設計何時完成,或何時需要進一步修改。
這些AI智能體使用OpenAI的GPT-5.2視覺-語言模型,該模型從海量的文本和圖像中學習,因此系統懂得真實室內空間如何布局,以及日常物品通常如何放置。
用戶只需用自然語言描述一個房間即可。例如,提出“一個車庫,里面有一輛車、一個工作臺、疊放的輪胎,還有一把梯子靠在墻上”,SceneSmith就能生成這個空間的細致虛擬版本。與之前的系統相比,它的場景中包含的交互物體數量最多可達六倍,為機器人提供了更多學習機會。
機器人練習得更好
研究人員使用SceneSmith生成了1300多個虛擬環境,包括逼真的住宅、辦公室、商店和主題空間。機器人練習了常見的家務任務,比如將水果放到盤子上、在架子和桌子之間移動汽水罐、打開櫥柜,以及把杯子放進水槽中。
為評估該系統,研究者在100個不同的SceneSmith環境中測試了機器人控制程序。一個AI智能體負責評估每個機器人是否完成了指定任務。人類評審員對AI評估的認同率超過99%。
團隊還測試了一個主要基于真實世界數據訓練的機器人控制器。盡管它之前從未見過SceneSmith環境,但仍然完成了從碗里拿起蘋果并放到砧板上的任務。研究人員還在虛擬環境中遠程操控機器人,完成打開櫥柜、存放瓶子以及在房間之間穿行等操作,表明這些場景能夠支持逼真的物理交互。
在涉及200多人的用戶研究中,超過90%的人認為SceneSmith的環境比早期方法所創建的環境更加逼真。他們還發現,該系統在遵循文字指令方面表現更好。SceneSmith甚至可以生成新的3D物體,并為它們賦予逼真的物理屬性,如重量、摩擦力和運動方式。
不過,目前生成一個高度細節化的場景可能需要幾個小時,因為AI會仔細審核每一個物體和布局。研究人員認為,更快的計算速度和更大的3D物體庫將顯著提升性能,幫助機器人獲取現實世界應用所需的豐富訓練數據。
如果朋友們喜歡,敬請關注“知新了了”!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.