在當(dāng)?shù)貢r(shí)間周一揭幕的行業(yè)頂級會議 SIGGRAPH（國際計(jì)算機(jī)協(xié)會計(jì)算機(jī)圖形學(xué)和交互技術(shù)特別興趣小組年度會議）上，英偉達(dá)推出一系列面向機(jī)器人開發(fā)者的世界模型、應(yīng)用庫和基礎(chǔ)設(shè)施。其中，最引人關(guān)注的是參數(shù)量只有 70 億的開源物理 AI 應(yīng)用和機(jī)器人視覺推理模型 Cosmos Reason。
英偉達(dá)介紹稱，自從 OpenAI 多年前發(fā)布 CLIP 模型以來，視覺語言模型已經(jīng)改變了計(jì)算機(jī)視覺任務(wù)，例如物體與模式的識別等。然而，此前的模型無法解決多步驟任務(wù)，也難以應(yīng)對模糊或新穎的現(xiàn)實(shí)體驗(yàn)。
憑借記憶和理解能力，Cosmos Reason 能夠使機(jī)器人和 AI 具身代理 " 像人類一樣推理 "，并在真實(shí)世界中采取行動。
除此之外，這個(gè)模型還能用于一系列 AI 應(yīng)用。例如自動化對大規(guī)模、多樣化訓(xùn)練數(shù)據(jù)集進(jìn)行整理、標(biāo)注，也能從海量視頻數(shù)據(jù)中提取有價(jià)值的信息并進(jìn)行歸因分析。
目前這個(gè)模型已經(jīng)投入商業(yè)化運(yùn)營。英偉達(dá)披露，公司內(nèi)部的機(jī)器人和自動駕駛團(tuán)隊(duì)正使用這個(gè)模型進(jìn)行數(shù)據(jù)整理與過濾、標(biāo)注以及 VLA（視覺語言動作）后訓(xùn)練。
