「源神」稚暉君又雙叒叕開源，這一次機器人直接進入人類生活！

機器之心·2024-12-30

具身智能領域的 ImageNet 何時到來？

編者按：本文來自微信公眾號機器之心（ID：almosthuman2014），作者：機器之心，創(chuàng)業(yè)邦經(jīng)授權轉載。

近期開源的 Deepseek V3，讓國產(chǎn) MoE 大模型在全球圈粉無數(shù)，一躍成為中國 AI 圈的頂流擔當。
而作為中國具身智能的領軍企業(yè)，智元也在2024年底放了個大招，攜手上海人工智能實驗室等單位重磅開源了AgiBot World，具身智能領域也迎來了「ImageNet」時刻！
AgiBot World（智元世界）—— 一個匯集百萬真實機器人數(shù)據(jù)的開源數(shù)據(jù)集。在這個具身數(shù)據(jù)的世界里，機器人不再只是進行簡單的桌面任務，而是全方位融入我們的日常生活。機器人和人類和諧相處世界的大幕，正在徐徐拉開。

2024，哪個場景最符合你對未來機器人的想象？

作你的「家務管家」，洗衣、做飯都交給它？

還是化身「打工人」在超市揀貨、收銀、整理貨架？

亦或是工廠里的「永動機」，搬運、打包，不斷電不下班？

這些「科幻片」里的場景已經(jīng)在路上了！

歡迎來到 AgiBot World，一個匯集百萬真實機器人數(shù)據(jù)的開源數(shù)據(jù)集。具身應用，數(shù)據(jù)先行，作為具身領域的 ImageNet，智元世界有望成為引領我們進入具身智能新時代的「通關密碼」，讓機器人的世界更加真實，從此告別「NPC」人生！

項目開源地址

HuggingFace：https://huggingface.co/agibot-world

Github：https://github.com/OpenDriveLab/agibot-world

項目主頁：https://agibot-world.com/

是的，你沒看錯，加持了 AgiBot World 的百萬真機數(shù)據(jù)，機器人的控制已經(jīng)如此精細?，F(xiàn)在就能在你家客廳優(yōu)雅地插花了。

整套動作行云流水，用金屬制的機械手抓取，嬌嫩的花材也完好無損。?

?刷馬桶這事，等到機器人「出師」后也能放心交給他，再也不用全家抽簽確定誰去刷了。

具身智能領域的 ImageNet 何時到來？

Open X-Embodiment, ICRA 2024

谷歌 DeepMind 通過整合來自 22 種不同本體機器人的數(shù)據(jù)構建了 Open X-Embodiment數(shù)據(jù)集，但大部分數(shù)據(jù)缺乏統(tǒng)一標準化的采集流程，且許多機器人構型已經(jīng)過時，數(shù)據(jù)質量格式參差不齊，在機器人策略學習的過程中甚至會帶來副作用。

為實現(xiàn)規(guī)范化的數(shù)據(jù)采集，來自斯坦福、伯克利、谷歌等構建了 DROID 數(shù)據(jù)集，盡管涵蓋了相對豐富的場景與技能，然而作者團隊在后續(xù)研究中指出 DROID 存在大量低質量數(shù)據(jù)，從而給機器人的學習過程造成「困惑」。

一些具身大模型初創(chuàng)公司基于自采集的大規(guī)模高質量雙臂機器人數(shù)據(jù)訓練的模型展現(xiàn)出了整理、分揀、洗衣等執(zhí)行復雜動作的能力，這進一步印證了高質量數(shù)據(jù)在當前具身智能領域研究階段的重要性，但相關數(shù)據(jù)集目前僅在公司內(nèi)部使用，并未開源。

AgiBot World，讓高質量機器人數(shù)據(jù)觸手可及

為了進一步推動通用具身智能領域研究進展，讓高質量機器人數(shù)據(jù)觸手可及，作為上海模塑申城語料普惠計劃中的一份子，智元機器人攜手上海人工智能實驗室、國家地方共建人形機器人創(chuàng)新中心以及上海庫帕思，重磅發(fā)布全球首個基于全域真實場景、全能硬件平臺、全程質量把控的百萬真機數(shù)據(jù)集開源項目 AgiBot World。

這一里程碑式的開源項目，旨在構建國際領先的開源技術底座，標志著具身智能領域「ImageNet 時刻」已到來。

通過匯聚頂尖資源與技術力量，各方將共同推動具身智能發(fā)展新范式，加速人類邁向通用人工智能的新時代，在全球范圍內(nèi)奠定中國在這一前沿領域的領導地位。

AgiBot World 是全球首個基于全域真實場景、全能硬件平臺、全程質量把控的大規(guī)模機器人數(shù)據(jù)集。

相比于 Google 開源的 Open X-Embodiment 數(shù)據(jù)集，AgiBot World 的長程數(shù)據(jù)規(guī)模高出 10 倍，場景范圍覆蓋面擴大 100 倍，數(shù)據(jù)質量從實驗室級上升到工業(yè)級標準。

多樣任務，十八般武藝樣樣精通

插內(nèi)存條的過程需要毫米級精細控制，稍有不慎可能導致設備損壞，如神經(jīng)纖維般靈敏的末端觸覺傳感器助力機器人精準對接。

飯后勺筷碗盤層層堆疊在洗碗池中，在這條數(shù)據(jù)中，機器人將雜亂的餐具一一準確無誤地整理至洗碗機相應卡槽中，整理洗碗機的操作流程長、動作繁瑣。

?

熨衣服是個「精細活兒」，只見機器人雙手協(xié)作，一只手穩(wěn)穩(wěn)抓住襯衫的一角，另一只手精準控制掛燙機與衣物的距離，細致地熨燙每一道褶皺，讓衣物煥發(fā)平整光澤。

?

對于大件物體搬運，單機器人難以完成。兩個機器人分工協(xié)作，可以分擔重量，也能實時調整位置與角度，以確保物體搬運過程中穩(wěn)定安全。

AgiBot World 數(shù)據(jù)集收錄了八十余種日常生活中的多樣化技能，從抓取、放置、推、拉等基礎操作，到攪拌、折疊、熨燙等精細長程、雙臂協(xié)同復雜交互，幾乎涵蓋了日常生活所需的絕大多數(shù)動作需求。

?全域場景，上得廳堂下得廚房?

AgiBot World 誕生于智元自建的大規(guī)模數(shù)據(jù)采集工廠與應用實驗基地，空間總面積超過 4000 平方米，包含 3000 多種真實物品，真實復刻了家居、餐飲、工業(yè)、商超和辦公五大核心場景。

全面覆蓋了機器人在生產(chǎn)、生活中的典型應用需求，為機器人提供了一個高度真實的生產(chǎn)生活環(huán)境。

通過多場景的高度還原與任務設計，AgiBot World 為機器人研發(fā)和測試構建了實現(xiàn)具身智能的必要條件。

家居場景再現(xiàn)真實住宅布局，包括臥室、客廳、廚房、衛(wèi)生間等核心空間，可以實現(xiàn)家務清潔、物品整理和廚房任務等
超市場景高度還原超市貨架布局與收銀區(qū)設計，包含生鮮、日用、冷凍等多個品類區(qū)域，可以模擬物品上架、貨物盤點、顧客引導、無人結算等
餐廳場景實現(xiàn)智能服務體驗，模擬前廳、后廚與用餐區(qū)域，包括點餐臺、備餐區(qū)、餐桌等，可以實現(xiàn)餐廳服務（點餐、上菜、清理餐桌）、食材傳遞、后廚協(xié)作等
工業(yè)場景模擬分揀與物流自動化，復刻工業(yè)倉庫與生產(chǎn)線，包括分揀系統(tǒng)、打包設備、傳輸帶等，可以實現(xiàn)物料分揀、包裝打包、物流搬運等

客廳、書房、餐廳、衛(wèi)生間、廚房和工廠等都是機器人大顯身手的舞臺。

在客廳，它可以使用工具工具給地面來個全面大掃除，碎屑、灰塵和液體都「無處可逃」。

?

電視機表面容易積灰，交給機器人吧！它可以精確控制撣子撣灰，或者用軟布來清理桌面的污垢，同時避免劃傷表面。

廚房也可以交給機器人承包了。給它食材和配方，分分鐘就能給你變出一盤精致沙拉，切菜、拌料、裝盤全都會，也可以控制清潔工具對瓶內(nèi)外進行刷洗。?

瓶子臟了？碗要洗？躺平吧，這些都交給它們！

?

在超市，機器人可以精準控制掃碼搶掃描、結算貨物，還附贈裝袋一條龍服務。

?在工廠，機器人在流水線上利用機械臂精準控制將物品放入指定的包裝盒中，實現(xiàn)物品自動打包。

AgiBot World 包含超過 100 種真實場景，按家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）進行分布。

此外，80% 的任務為長程任務，時長集中在 60s-150s 之間，且涵蓋多個原子技能，是 DROID 和 OpenX-Embodiment 工作的 5 倍。該數(shù)據(jù)集包含了 3000 多種物品，基本涵蓋了這五大場景，并且仍在不斷擴展和豐富中。

場景和任務分布

各個場景物品分類

數(shù)據(jù)集時長分布

全能硬件，沒有金剛鉆難攬瓷器活

360° 感知：8 個攝像頭環(huán)繞式布局，能夠實時全方位感知周圍環(huán)境的動態(tài)變化。
靈巧操作：可配備具有 6 個主動自由度的靈巧手，保障動作精準且靈活，能夠完成熨衣服等多種復雜操作。
末端精細感知：標配末端六維力傳感器，并可配備高精度視觸覺傳感器，能夠感知力的微小變化，做到「拿捏有度」，從容完成各種精細操作。
高自由度：全身最高 32 個自由度，靈活應對洗衣、做飯、分揀、搬運等復雜任務。

質量把控，嚴師出高徒

AgiBot World 對數(shù)據(jù)質量要求極高，通過專業(yè)培訓、多級質量把控、全程人工在環(huán)，在做到超大規(guī)模真實數(shù)據(jù)采集的前提下，嚴格精細化控制數(shù)據(jù)質量。

任務設計：從設計初稿和設計迭代流程中，邀請了學術界、工業(yè)界、消費者多視角進行任務把關。這樣設計出的任務更加貼近真實的工作和生活場景。
數(shù)據(jù)采集：從采集員培訓到采集質量把控，由完善的管理體系和專業(yè)的管理團隊進行全程保障。
審核標注：對于采集的數(shù)據(jù)，首先會經(jīng)過端云兩側的嚴格篩選，自動剔除不符合要求的數(shù)據(jù)。此外，專業(yè)的審核員會對全量數(shù)據(jù)進行逐幀審核，確保每一個動作都符合任務標準，并對關鍵幀和數(shù)據(jù)特性進行多維度標注。
算法驗證：通過人工審核的數(shù)據(jù)還會進一步通過算法進行驗證。對于未能通過驗證的數(shù)據(jù)，會重新設計任務進行數(shù)據(jù)補采，確保數(shù)據(jù)可用性。