中文字幕乱老妇女一视频,97青草香蕉依人在线视频,男人的天堂国产综合,伊人中文字幕亚洲精品

<style id="pje8p"><tr id="pje8p"></tr></style>
    • 關(guān)于ZAKER 合作
      鈦媒體 16分鐘前

      從 L2 到 L3,VLA 成為智能輔助駕駛“關(guān)鍵跳板”?

      文 | 極智 GeeTech

      當(dāng) AI 具備自主意識,也就實現(xiàn)了從 " 能干活 " 到 " 會做事 " 的轉(zhuǎn)變。

      近日,Gemini 家族迎來一個新成員—— Gemini Robotics On-Device。這是谷歌 DeepMind 首個可以直接部署在機(jī)器人上的視覺 - 語言 - 動作模型(Vision-Language-Action,VLA)。該模型運行時無需依賴數(shù)據(jù)網(wǎng)絡(luò),可以完全在機(jī)器人設(shè)備本地離線運行,并在多種測試場景中實現(xiàn)了強(qiáng)大的視覺、語義和行為泛化能力,能理解自然語言指令,并完成拉開拉鏈、折疊衣物等高靈巧度任務(wù)。

      作為機(jī)器智能領(lǐng)域的關(guān)鍵新范式,VLA 不僅讓機(jī)器人擁有了將語言意圖、視覺感知與物理動作編織成連續(xù)決策流的能力,也成為當(dāng)下輔助駕駛提升智能化水平的重要技術(shù)之一。

      去年以來,谷歌、微軟、Figure AI 等海外公司以及銀河通用、智元機(jī)器人、理想汽車、小鵬汽車等國內(nèi)具身智能和車企均發(fā)布了自己的 VLA 模型,這項技術(shù)成為具身智能和智能輔助駕駛領(lǐng)域的關(guān)鍵性研究之一。

      VLM 走向 VLA

      VLA 模型最早由 DeepMind 提出并應(yīng)用在機(jī)器人領(lǐng)域,旨在解決 " 視覺 - 語言 - 動作 " 三者協(xié)同的智能體控制問題。

      2023 年 7 月,谷歌 DeepMind 推出了全球首個控制機(jī)器人的 VLA 模型—— RT-2。相比傳統(tǒng)的機(jī)器人模型只能支持少數(shù)的特定指令,RT-2 借助于大語言模型強(qiáng)大的語言理解能力,可以直接和用戶進(jìn)行語言交互,并在接收攝像頭的原始數(shù)據(jù)和語言指令后,直接輸出控制信號,完成各種復(fù)雜的操作和各類任務(wù)。

      VLA 在機(jī)器人領(lǐng)域的成功,很快也應(yīng)用到了自動駕駛領(lǐng)域。2024 年 10 月底,谷歌旗下自動駕駛公司 Waymo 推出了一個基于端到端的自動駕駛多模態(tài)模型—— EMMA。

      EMMA 建立在多模態(tài)大語言模型 Gemini 之上,將原始攝像頭傳感器數(shù)據(jù)直接映射到各種特定于駕駛的輸出中,包括規(guī)劃者軌跡、感知目標(biāo)和道路圖元素,通過將所有非傳感器輸入(如導(dǎo)航指令和自車狀態(tài))和輸出(如軌跡和 3D 位置)表示為自然語言文本,最大限度地利用了預(yù)訓(xùn)練的大型語言模型中的世界知識。

      從技術(shù)路徑看,VLA 是繼 VLM(視覺 - 語言模型)之后的進(jìn)化形態(tài),被視為端到端大模型 2.0 ——多模態(tài)機(jī)器學(xué)習(xí)模型。VLA 融合視覺、語言和行動三種能力,將其統(tǒng)一在一個模型里,只輸入到機(jī)器就可執(zhí)行動作的端到端映射,從而賦予模型強(qiáng)大的 3D 空間理解、邏輯推理和行為生成能力,讓自動駕駛能夠感知、思考和適應(yīng)環(huán)境。

      在智能輔助駕駛領(lǐng)域,感知技術(shù)通常由雷達(dá)、激光雷達(dá)、攝像頭等多種傳感器負(fù)責(zé)感知,感知結(jié)果經(jīng)過目標(biāo)檢測、語義分割、軌跡預(yù)測、行為規(guī)劃等一系列模塊處理,最后由控制器下發(fā)方向盤和油門等動作指令。整個流程雖條理清晰,卻存在模塊間誤差累積、規(guī)則設(shè)計復(fù)雜且難以覆蓋所有極端場景的短板。

      VLA 模型正是在此背景下應(yīng)運而生,它舍棄了中間的手工設(shè)計算法,直接用統(tǒng)一的神經(jīng)網(wǎng)絡(luò)從多模態(tài)輸入中學(xué)習(xí)最優(yōu)控制策略,借助語言模型理解人類指令并生成可解釋的決策過程,最后將多模態(tài)信息轉(zhuǎn)化為具體的駕駛操作指令,從而簡化了系統(tǒng)架構(gòu),提高了數(shù)據(jù)利用效率。

      智能輔助駕駛關(guān)鍵跳板

      今年,汽車行業(yè)的智駕之戰(zhàn)明顯比往年來得更加猛烈。比亞迪的天神之眼、吉利的千里浩瀚、奇瑞的獵鷹智駕,以及廣汽的自動駕駛計劃,這些主流車企的動向都說明了,如今的車圈已經(jīng)是 " 得智駕者得天下 " 的時代了。

      自 2023 年以來,智駕行業(yè)掀起 BEV、端到端技術(shù)浪潮后,車企們正逐步將 AI 神經(jīng)網(wǎng)絡(luò)融入感知、規(guī)劃、控制等環(huán)節(jié)。比起傳統(tǒng)基于規(guī)則的方案,基于 AI、數(shù)據(jù)驅(qū)動的 " 端到端 " 擁有更高能力天花板。

      但在端到端模型之外,車企們還輔以了大語言模型、VLM 模型等外掛,提供更強(qiáng)大的環(huán)境理解能力,從而提升智駕能力上限。

      與此同時,VLA 正在成為重要的一環(huán)。VLA 模型擁有更高的場景推理能力與泛化能力,對于智能輔助駕駛技術(shù)的演進(jìn)意義重大。從長遠(yuǎn)來看,在從 L2 級輔助駕駛向 L4 級自動駕駛的技術(shù)躍遷過程中,VLA 有望成為關(guān)鍵跳板。

      在提升汽車智能化方面,新勢力車企最為激進(jìn)。在 NVIDIA GTC 2025 大會上,理想汽車發(fā)布了新一代自動駕駛架構(gòu)—— MindVLA。它通過整合空間智能、語言智能和行為智能,賦予自動駕駛系統(tǒng)以 3D 空間理解能力、邏輯推理能力和行為生成能力,并計劃于 2026 年量產(chǎn)應(yīng)用。

      在 VLA 之前," 端到端 +VLM" 一直是智駕行業(yè)主流技術(shù)方案。因為駕駛時需要多模態(tài)的感知交互系統(tǒng),用戶的視覺、聽覺以及周圍環(huán)境的變化,甚至個人情感的波動,都與駕駛行為密切相關(guān),所以 " 端到端 +VLM" 的技術(shù)架構(gòu)中,端到端系統(tǒng)負(fù)責(zé)處理感知、決策和執(zhí)行的全過程,而 VLM 則作為輔助系統(tǒng),提供對復(fù)雜交通場景的理解和語義解析,但兩者相對獨立。

      比如理想 " 端到端 +VLM" 雙系統(tǒng)架構(gòu)方案,其基于丹尼爾 · 卡尼曼(Daniel Kahneman)在《思考,快與慢》中提出的人類兩套思維系統(tǒng)理論,將端到端系統(tǒng)(相當(dāng)于系統(tǒng) 1)與 VLM 模型(相當(dāng)于系統(tǒng) 2)融合應(yīng)用于自動駕駛技術(shù)方案中,賦予車端模型更高的性能上限和發(fā)展?jié)摿Α?/p>

      其中,系統(tǒng) 1 即端到端模型,是一種直覺式、快速反應(yīng)的機(jī)制,它直接從傳感器輸入(如攝像頭和激光雷達(dá)數(shù)據(jù))映射到行駛軌跡輸出,無需中間過程,是 One Model 一體化的模型。系統(tǒng) 2 則是由一個 22 億參數(shù)的 VLM 視覺語言大模型實現(xiàn),它的輸出給到系統(tǒng) 1 綜合形成最終的駕駛決策。

      而小鵬汽車將云端模型工廠劃分為四個車間,依次進(jìn)行模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾以及車端部署。理想則選擇了先進(jìn)行視覺語言基座模型的預(yù)訓(xùn)練,隨后進(jìn)行模型蒸餾,最后通過駕駛場景數(shù)據(jù)進(jìn)行后訓(xùn)練和強(qiáng)化學(xué)習(xí)。兩種不同的技術(shù)路線帶來了不同的訓(xùn)練成本與效率,正是這種差異使得兩家車企在市場上形成了強(qiáng)烈的對比。

      雖然 " 端到端 +VLM" 大幅提升了智駕水平,但仍有很多問題。比如,端到端和 VLM 要進(jìn)行聯(lián)合訓(xùn)練比較困難,此外還有對 3D 空間理解不夠、駕駛知識和內(nèi)存帶寬不足、難以處理人類駕駛的多模態(tài)性等問題。

      而 VLA 通過統(tǒng)一的大模型架構(gòu),將感知、決策、執(zhí)行無縫串聯(lián),形成 " 圖像輸入 - 語義理解 - 類人決策 - 動作輸出 " 的閉環(huán),可以同步提高智駕的上限和下限,實現(xiàn)空間、行為和語言的統(tǒng)一。

      在推理方面,VLA 模型的能力要遠(yuǎn)高于 " 端到端 +VLM"。VLA 整合了 VLM 的感知能力和端到端模型的決策能力,還引入了 " 思維鏈 " 技術(shù)。這使得它具備了全局上下文理解與類人推理能力,能夠在面對復(fù)雜的交通規(guī)則、潮汐車道、長時序推理等特殊場景時,像人類駕駛員一樣進(jìn)行思考和判斷。

      例如,在推理時長方面,傳統(tǒng)的基于規(guī)則(rule-based)方案只能推理 1 秒鐘的路況信息并做出決策控制;端到端 1.0 階段的系統(tǒng)能夠推理未來 7 秒的路況,而 VLA 模型則能夠?qū)资氲穆窙r進(jìn)行推理,顯著提升了智能輔助駕駛系統(tǒng)的決策能力和適應(yīng)性。

      正因如此,VLA 被業(yè)界認(rèn)為是端到端 2.0 的主要技術(shù)形態(tài)。目前,VLA 尚處于發(fā)展階段,除 DeepMind 的 RT-2 外,還包括 OpenVLA 模型、Waymo 的 EMMA、Wayve 的 LINGO-2、英偉達(dá) NaVILA 等。這其中,Waymo 的 EMMA 和 Wayve 的 LINGO-2 主要面向的是車載領(lǐng)域,RT-2、OpenVLA 和 NaVILA 則主要面向機(jī)器人領(lǐng)域。

      下一代輔助駕駛技術(shù)基石

      VLA 模型工作原理可以分為三個主要步驟:視覺感知、語言理解與決策生成、動作控制,并由多個關(guān)鍵模塊支撐上述步驟,包括視覺編碼器、語言編碼器、跨模態(tài)融合模塊和動作生成模塊。

      視覺編碼器負(fù)責(zé)從圖像或視頻中提取高層次視覺特征,語言編碼器則處理自然語言輸入,跨模態(tài)融合模塊將視覺和語言特征進(jìn)行整合,而動作生成模塊則根據(jù)融合后的信息生成車輛的控制指令。

      在視覺感知階段,車輛的攝像頭、雷達(dá)等傳感器就像是 VLA 模型的 " 眼睛 ",它們持續(xù)收集車輛周圍的視覺信息,包括道路狀況、交通標(biāo)志、其他車輛和行人的位置等。這些原始數(shù)據(jù)被輸入到模型的視覺處理模塊,該模塊利用先進(jìn)的深度學(xué)習(xí)算法,對圖像進(jìn)行特征提取和分析,將復(fù)雜的視覺場景轉(zhuǎn)化為計算機(jī)能夠理解的特征向量。

      例如,它能夠識別出前方的紅色圓形交通信號燈,判斷出旁邊車輛的行駛速度和方向,以及檢測到路邊的行人正在靠近馬路。

      語言理解與決策生成階段是 VLA 模型的 " 大腦 " 核心運作部分。當(dāng)視覺信息被處理后,模型會結(jié)合語言指令和自身的知識庫進(jìn)行分析和推理。

      如果乘客發(fā)出 " 在前方路口右轉(zhuǎn) " 的語音指令,VLA 模型會首先理解這個語言信息,然后將其與當(dāng)前的視覺感知信息進(jìn)行融合。

      它會分析前方路口的交通狀況,如是否有車輛、行人,信號燈的狀態(tài)等,同時考慮交通規(guī)則和安全因素,運用 " 思維鏈 " 技術(shù)進(jìn)行類人推理,最終生成合理的駕駛決策。在這個例子中,模型可能會決定在確保安全的情況下,提前減速,打開右轉(zhuǎn)向燈,并在合適的時機(jī)完成右轉(zhuǎn)動作。

      動作控制階段則是 VLA 模型將決策轉(zhuǎn)化為實際行動的過程。模型生成的駕駛決策,如加速、減速、轉(zhuǎn)向等指令,會被發(fā)送到車輛的執(zhí)行系統(tǒng),就像是給車輛的各個 " 器官 " 下達(dá)操作命令。

      執(zhí)行系統(tǒng)根據(jù)這些指令,精確控制車輛的油門、剎車、方向盤等部件,實現(xiàn)車輛的安全行駛。例如,當(dāng)模型決定減速時,執(zhí)行系統(tǒng)會控制剎車系統(tǒng),逐漸降低車速;當(dāng)需要轉(zhuǎn)向時,會精確調(diào)整方向盤的角度,確保車輛按照預(yù)定的軌跡行駛。

      以在城市復(fù)雜路況下的駕駛場景為例,VLA 模型的工作過程更加清晰。當(dāng)車輛行駛在擁擠的市區(qū)街道時,道路上可能同時存在各種車輛、行人、自行車,還有隨時變化的交通信號燈和復(fù)雜的交通標(biāo)志。

      VLA 模型通過攝像頭和雷達(dá)感知到這些信息后,會快速分析場景。如果遇到前方有行人正在過馬路,同時交通信號燈即將變紅,模型會理解這種復(fù)雜的情況,并根據(jù)語言指令和交通規(guī)則進(jìn)行決策。它可能會決定立即減速停車,等待行人通過馬路并且信號燈變?yōu)榫G燈后,再繼續(xù)行駛。

      最重要的是,VLA 的推理過程全程可求導(dǎo),能夠通過車載顯示向用戶解釋駕駛邏輯,增強(qiáng)用戶信任感。

      有行業(yè)人士表示,VLA 模型對智駕的演進(jìn)意義重大,讓端到端理解世界的能力更強(qiáng)后,在 L2 輔助駕駛到 L4 自動駕駛的飛躍中,VLA 可能會成為下一代智能輔助駕駛技術(shù)的基石。

      但短期內(nèi),VLA 從 " 能用 " 到 " 好用 " 還面臨兩大難點。一是車端算力不足,比如理想車端雙 Orin-X 芯片運行 " 端到端 +VLM" 算力已經(jīng)比較吃緊。而 VLA 的模型結(jié)構(gòu)更復(fù)雜,參數(shù)也會進(jìn)一步擴(kuò)大,對硬件算力和數(shù)據(jù)閉環(huán)的迭代能力要求就更高。

      未來具備更強(qiáng)芯片整合能力和垂直整合能力的企業(yè),有望在 VLA 技術(shù)的競爭中占據(jù)先發(fā)優(yōu)勢。目前行業(yè)頭部競爭者如特斯拉、華為、小鵬、理想、Momenta 等都在逐漸走向軟硬一體,針對自研模型定制化開發(fā)更匹配的智駕芯片,可以做到最大程度的優(yōu)化。

      另一大挑戰(zhàn)是如何將端到端與多模態(tài)大模型的數(shù)據(jù)與信息作深度融合。這考驗著智駕團(tuán)隊的模型框架定義能力、模型快速迭代能力。

      為了解決上述問題,也正在探索多種技術(shù)路徑。如有通過引入可解釋性模塊或后驗可視化工具,對決策過程進(jìn)行透明化;還有利用 Diffusion 模型對軌跡生成進(jìn)行優(yōu)化,確??刂浦噶畹钠交耘c穩(wěn)定性。同時,將 VLA 與傳統(tǒng)規(guī)則引擎或模型預(yù)測控制(MPC)結(jié)合,以混合架構(gòu)提高安全冗余和系統(tǒng)魯棒性也成為熱門方向。

      隨著大模型技術(shù)、邊緣計算和車載硬件的持續(xù)進(jìn)步,VLA 有望在智能輔助駕駛領(lǐng)域扮演更加核心的角色,其不僅能為城市復(fù)雜道路提供更智能的駕駛方案,還可擴(kuò)展至車隊協(xié)同、遠(yuǎn)程遙控及人機(jī)交互等多種應(yīng)用場景。

      VLA 模型引發(fā)的技術(shù)變革正在重塑智能輔助駕駛產(chǎn)業(yè)格局,這場變革的終局或許不是某條技術(shù)路線的完勝,而是催生出分層市場。當(dāng)然,VLA 是否能成為智能輔助駕駛的 " 最終歸宿 " 目前尚難定論。從 CNN 到 Transformer,再到 VLM 與 VLA,技術(shù)迭代速度令人驚嘆,未來新的突破或許已在醞釀。當(dāng)軟件定義汽車進(jìn)入 2.0 時代,真正的較量才剛剛開始。

      相關(guān)標(biāo)簽

      相關(guān)閱讀

      最新評論

      沒有更多評論了

      覺得文章不錯,微信掃描分享好友

      掃碼分享

      熱門推薦

      查看更多內(nèi)容