財(cái)聯(lián)社 8 月 12 日訊（編輯 史正丞）在當(dāng)?shù)貢r(shí)間周一揭幕的行業(yè)頂級(jí)會(huì)議 SIGGRAPH（國(guó)際計(jì)算機(jī)協(xié)會(huì)計(jì)算機(jī)圖形學(xué)和交互技術(shù)特別興趣小組年度會(huì)議）上，" 全球股王 " 英偉達(dá)推出一系列面向機(jī)器人開(kāi)發(fā)者的世界模型、應(yīng)用庫(kù)和基礎(chǔ)設(shè)施。
其中，最引人關(guān)注的是參數(shù)量只有 70 億的開(kāi)源物理 AI 應(yīng)用和機(jī)器人視覺(jué)推理模型 Cosmos Reason。
憑借記憶和理解能力，Cosmos Reason 能夠使機(jī)器人和 AI 具身代理 " 像人類(lèi)一樣推理 "，并在真實(shí)世界中采取行動(dòng)。
在英偉達(dá)給出的案例中，運(yùn)行視覺(jué)推理模型的機(jī)器人手臂，成功根據(jù) " 面包 + 烤面包機(jī) " 的場(chǎng)景，推斷出最合理的下一步動(dòng)作是將面包放進(jìn)烤面包機(jī)進(jìn)行烘烤，并將思考邏輯轉(zhuǎn)化成機(jī)器手臂的操作指令。
這項(xiàng)功能叫做 " 機(jī)器人規(guī)劃與推理 "。Cosmos Reason 能夠作為機(jī)器人的 " 大腦 "，負(fù)責(zé)有意識(shí)、條理化的決策。視覺(jué)推理模型能夠解釋環(huán)境，并在面對(duì)復(fù)雜指令時(shí)將其分解為任務(wù)并利用常識(shí)執(zhí)行。
除此之外，這個(gè)模型還能用于一系列 AI 應(yīng)用。例如自動(dòng)化對(duì)大規(guī)模、多樣化訓(xùn)練數(shù)據(jù)集進(jìn)行整理、標(biāo)注，也能從海量視頻數(shù)據(jù)中提取有價(jià)值的信息并進(jìn)行歸因分析。
目前這個(gè)模型已經(jīng)投入商業(yè)化運(yùn)營(yíng)。英偉達(dá)披露，公司內(nèi)部的機(jī)器人和自動(dòng)駕駛團(tuán)隊(duì)正使用這個(gè)模型進(jìn)行數(shù)據(jù)整理與過(guò)濾、標(biāo)注以及 VLA（視覺(jué)語(yǔ)言動(dòng)作）后訓(xùn)練。優(yōu)步（Uber）也在使用該模型為自動(dòng)駕駛訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注與生成說(shuō)明。
除此之外，麥格納國(guó)際正在使用該模型開(kāi)發(fā)全自動(dòng)即時(shí)配送解決方案 City Delivery，用來(lái)幫助車(chē)輛更快適應(yīng)新城市環(huán)境。VAST Data、Milestone Systems也在交通監(jiān)控自動(dòng)化、視覺(jué)檢測(cè)等領(lǐng)域應(yīng)用該模型。
除了 Cosmos Reason，英偉達(dá)也在 Cosmos 世界模型中新增了 Cosmos Transfer-2，用來(lái)加速?gòu)?3D 仿真等場(chǎng)景生成合成數(shù)據(jù)，以及一個(gè)經(jīng)過(guò)蒸餾、更為注重速度優(yōu)化的 Cosmos Transfers 版本。
英偉達(dá)也在周一更新了 Omniverse 軟件開(kāi)發(fā)工具包，并公布了新的神經(jīng)重建庫(kù)。其中包括一種渲染技術(shù)庫(kù)，允許開(kāi)發(fā)者使用傳感器數(shù)據(jù)在三維中模擬現(xiàn)實(shí)世界。
這一系列發(fā)布標(biāo)志著 AI 芯片巨頭正在加碼進(jìn)軍機(jī)器人領(lǐng)域，試圖將其培養(yǎng)成 AI 數(shù)據(jù)中心之外的下一個(gè)重要應(yīng)用場(chǎng)景。
