盡管今天語言模型的開源生態(tài)已經(jīng)十分蓬勃,但機器人領(lǐng)域,開源還是很小眾的詞匯,相比于模型的開源,數(shù)據(jù)的開源更為稀缺,甚至有公司直言 " 數(shù)據(jù)是不可能開源的 "。
本來就不走尋常路的星海圖,決定繼續(xù)唱 " 反調(diào) "。
硅星人獨家了解到,星海圖即將開源全球首個開放場景高質(zhì)量真機數(shù)據(jù)集 Galaxea Open-World Dataset,及其 G0- 快慢雙系統(tǒng)全身智能 VLA 模型。這一舉動無疑在相對各自為戰(zhàn)的機器人行業(yè)打開了一條新的路徑。
成立不到兩年,星海圖已完成 7 輪融資、累計近 15 億元人民幣,最新 1 億美元 A4/A5 輪由今日資本與美團系共同領(lǐng)投,公司估值正快速沖向 10 億美元,是目前機器人獨角獸中最有特點的一家公司。
在行業(yè)普遍保守的背景下,走開放路線,讓這家公司不再是技術(shù)構(gòu)想上獨樹一幟,而是真刀真槍地干起了的革命性實踐。
據(jù)硅星人了解,星海圖即將發(fā)布的全球首個開放場景高質(zhì)量真機數(shù)據(jù)集 Galaxea Open-World Dataset 包含 500 小時真實世界移動操作數(shù)據(jù),覆蓋家庭、廚房、零售、辦公等 50 個場景、150 類任務(wù)、1600+ 物體、58 種操作技能,全程使用星海圖 R1 Lite 本體采集,保證動作空間一致性與語言標注的高精度對齊。這一數(shù)據(jù)集的突破性在于其真實性和完整性的完美結(jié)合。以往的機器人數(shù)據(jù)集要么規(guī)模有限,要么局限于實驗室環(huán)境,要么因為多平臺采集導(dǎo)致數(shù)據(jù)一致性問題。而星海圖的數(shù)據(jù)集不僅規(guī)模龐大,更重要的是全部來自真實的生活和工作環(huán)境,同時通過統(tǒng)一硬件平臺確保了數(shù)據(jù)的一致性和可靠性。
星海圖 G0- 快慢雙系統(tǒng)全身智能模型結(jié)合 System-2(規(guī)劃,VLM)+ System-1(執(zhí)行,VLA),分別在 2Hz 與 200Hz 異步運行,實現(xiàn)從自然語言指令到 23 自由度全身控制的長程任務(wù)執(zhí)行。這種架構(gòu)設(shè)計靈感來源于人類認知的 " 雙系統(tǒng)理論 ",巧妙地將深度思考與快速反應(yīng)結(jié)合起來。慢系統(tǒng)負責(zé)理解復(fù)雜指令、分析環(huán)境狀況、制定執(zhí)行計劃,而快系統(tǒng)則專注于精確的動作執(zhí)行和實時反饋控制。兩個系統(tǒng)的異步協(xié)作不僅提高了執(zhí)行效率,也增強了系統(tǒng)的魯棒性和適應(yīng)性。
星海圖 G0 快慢雙系統(tǒng)全身智能模型,結(jié)合 System-2(規(guī)劃,G0-VLM)+ System-1(執(zhí)行,G0-VLA)異步運行,實現(xiàn)從視覺和語言指令到 23 自由度全身控制的長程任務(wù)執(zhí)行。提出 3 階段訓(xùn)練方法:跨本體預(yù)訓(xùn)練泛化感知與語言理解,再用單本體高質(zhì)量數(shù)據(jù)精訓(xùn)動作控制,最后少樣本后訓(xùn)練提升特定任務(wù)表現(xiàn)。
更令人印象深刻的是其三階段訓(xùn)練策略的創(chuàng)新性??绫倔w預(yù)訓(xùn)練泛化感知與語言理解,再用單本體高質(zhì)量數(shù)據(jù)精訓(xùn)動作控制,最后少樣本后訓(xùn)練提升特定任務(wù)表現(xiàn)。這種漸進式的訓(xùn)練方法解決了機器人學(xué)習(xí)中的一個核心問題:如何在保持通用性的同時實現(xiàn)精確控制。星海圖團隊通過大量實驗發(fā)現(xiàn),當(dāng)預(yù)訓(xùn)練平臺與目標機器人之間存在較大體現(xiàn)差距時,跨體現(xiàn)預(yù)訓(xùn)練的效果會顯著減弱,甚至產(chǎn)生負面影響。這一發(fā)現(xiàn)顛覆了業(yè)界對于跨平臺預(yù)訓(xùn)練必然有益的傳統(tǒng)認知,突出了單體現(xiàn)預(yù)訓(xùn)練的重要性,特別是對于需要精確全身協(xié)調(diào)的復(fù)雜任務(wù)。
在實際性能表現(xiàn)上,G0 突破了柔性物體操作、全身移動控制、長程任務(wù)與泛化性的瓶頸,在少樣本遷移與本體特定技能上均顯著優(yōu)于現(xiàn)有最新的 benchmark Pi0,特別在整理床鋪等全身協(xié)調(diào)任務(wù)表現(xiàn)領(lǐng)先。這些任務(wù)的成功執(zhí)行不僅驗證了技術(shù)方案的有效性,更重要的是證明了真實世界數(shù)據(jù)訓(xùn)練的價值。整理床鋪這樣的任務(wù)涉及柔性物體操作、全身協(xié)調(diào)控制、長序列規(guī)劃等多個技術(shù)難點,G0 的優(yōu)異表現(xiàn)表明其已經(jīng)具備了在復(fù)雜真實環(huán)境中執(zhí)行實用任務(wù)的能力。
站在行業(yè)全局的高度來看,如果能夠引起數(shù)據(jù)共享的連鎖反應(yīng),整個機器人行業(yè)或許將打開另外一種局面。
高質(zhì)量機器人數(shù)據(jù)集的開源將顯著降低中小企業(yè)和研究機構(gòu)的研發(fā)門檻。過去,收集大規(guī)模真實世界機器人數(shù)據(jù)需要巨額投資和長期積累,許多有想法的團隊因為缺乏數(shù)據(jù)基礎(chǔ)而無法開展研究?,F(xiàn)在,研究者可以直接基于 Galaxea 數(shù)據(jù)集進行算法創(chuàng)新,大大縮短了從研究到應(yīng)用的周期,讓更多的創(chuàng)新想法有機會得到驗證和實現(xiàn)。
其次,統(tǒng)一的數(shù)據(jù)格式和標注標準有助于建立行業(yè)基準,推動機器人領(lǐng)域的規(guī)范化發(fā)展。不同團隊的研究成果將具有可比性,避免了各自為政、重復(fù)建設(shè)的問題,促進了科學(xué)研究的系統(tǒng)性和累積性進步。這種標準化還為監(jiān)管部門制定相關(guān)政策提供了重要參考,有助于建立機器人安全、倫理等方面的行業(yè)規(guī)范。
更重要的是,開源數(shù)據(jù)集為不同領(lǐng)域的專家提供了共同的研究平臺,激發(fā)了跨學(xué)科創(chuàng)新的活力。計算機視覺、自然語言處理、控制理論等不同領(lǐng)域的研究者可以在同一個數(shù)據(jù)基礎(chǔ)上驗證各自的理論和算法,這種跨領(lǐng)域的交流與合作往往能夠產(chǎn)生意想不到的創(chuàng)新突破。同時,硬件廠商、軟件開發(fā)者、系統(tǒng)集成商等產(chǎn)業(yè)鏈各環(huán)節(jié)也能夠基于統(tǒng)一的數(shù)據(jù)標準進行更好的協(xié)作,形成良性的生態(tài)循環(huán)。
正如開源軟件推動了互聯(lián)網(wǎng)的繁榮,開源機器人數(shù)據(jù)和模型也可能催生出一個更加開放、協(xié)作、創(chuàng)新的機器人生態(tài)系統(tǒng)。在這個生態(tài)中,技術(shù)創(chuàng)新的速度將大幅提升,應(yīng)用場景將更加豐富,而機器人真正走入千家萬戶的愿景也將更快實現(xiàn)。
這家 " 不走尋常路 " 的公司,用實際行動證明了有時候 " 反叛 " 并不意味著對抗,而是為了推動整個行業(yè)向前發(fā)展,或許正在為機器人行業(yè)找到新的方向。