在靈巧手通用抓取的研究中，由于動作空間維度高、任務(wù)具有長程探索特征且涉及多樣化物體，傳統(tǒng)強(qiáng)化學(xué)習(xí)（RL）面臨探索效率低、獎勵函數(shù)及訓(xùn)練過程設(shè)計復(fù)雜等挑戰(zhàn)。
基于此，北京大學(xué)及 BeingBeyond 團(tuán)隊(duì)提出DemoGrasp框架——
一種簡單且高效的通用靈巧手抓取學(xué)習(xí)方法。
這一核心創(chuàng)新——將連續(xù)決策的多步 MDP（馬爾可夫決策過程）重構(gòu)為基于軌跡編輯的 " 單步 MDP" ——有效提升了強(qiáng)化學(xué)習(xí)在抓取任務(wù)上的學(xué)習(xí)效率和遷移到真機(jī)的性能。
傳統(tǒng) RL 的困境：高維動作空間的復(fù)雜探索
動作空間：每一步都需要輸出高自由度機(jī)器人所有關(guān)節(jié)的指令。
獎勵設(shè)計：需要設(shè)計極其復(fù)雜的密集獎勵函數(shù)，引導(dǎo)機(jī)器人避開碰撞、接觸物體、成功抓取、平滑運(yùn)動等。
課程學(xué)習(xí)：需要設(shè)計復(fù)雜的多階段學(xué)習(xí)流程，幫助 RL 探索
DemoGrasp 的核心創(chuàng)新在于用 " 單條成功演示軌跡 " 替代 " 從零開始的探索 "，將高維抓取任務(wù)轉(zhuǎn)化為 " 演示編輯任務(wù) "，再通過單步 RL 優(yōu)化編輯參數(shù)，最終結(jié)合視覺模仿學(xué)習(xí)實(shí)現(xiàn)虛實(shí)遷移。
一條抓取特定物體的成功軌跡包含了抓取任務(wù)通用的模式（如 " 靠近物體→閉合手指→抬起手腕 "），只需調(diào)整軌跡中的手腕和手指抓取方式，即可適配沒見過的新物體。
DemoGrasp 只需要對一個物體（比如一個方塊）采集一條成功抓取演示軌跡，即可通過物體中心的軌跡編輯做出新物體、新位置的抓取行為：
手腕位姿編輯：在物體坐標(biāo)系下，對原始軌跡中的每一個手腕位點(diǎn)施加一個統(tǒng)一的變換 T ∈ SE ( 3 ) ，通過靈活地調(diào)整手腕抓取方向和位置，適應(yīng)不同大小、形狀、合適抓取點(diǎn)的物體。
手指關(guān)節(jié)編輯：對手指的抓取關(guān)節(jié)角施加一個增量 Δ q_G，通過與演示軌跡的等比例插值，產(chǎn)生一條靈巧手從初始張開姿態(tài)平滑到達(dá)新的抓取姿態(tài)的動作軌跡。
單步強(qiáng)化學(xué)習(xí)
在仿真環(huán)境中，DemoGrasp 利用 IsaacGym 創(chuàng)建了數(shù)千個并行世界，每個世界里都有不同的物體和擺放場景。
學(xué)習(xí)過程：每一個仿真世界中，策略網(wǎng)絡(luò)根據(jù)初始的觀測（末端位姿和物體點(diǎn)云、位姿） 輸出一組手腕和手指編輯參數(shù)，執(zhí)行編輯后的軌跡，根據(jù)執(zhí)行過程是否 " 抓取成功 " 和 " 發(fā)生碰撞 " 獲得獎勵。
通過海量試錯和在線強(qiáng)化學(xué)習(xí)，策略學(xué)會根據(jù)不同形狀物體的觀測輸出合適的編輯參數(shù)。
訓(xùn)練效率：在這個緊湊動作空間的單步 MDP 問題上，DemoGrasp 使用單張 RTX 4090 顯卡訓(xùn)練 24 小時即可收斂到 >90% 的成功率。
視覺蒸餾，虛實(shí)遷移
仿真中的強(qiáng)化學(xué)習(xí)策略依賴精確的物體點(diǎn)云和位姿，這在現(xiàn)實(shí)中難以獲取。DemoGrasp 通過視覺模仿學(xué)習(xí)，將策略蒸餾成與真機(jī)對齊的 RGB 策略，實(shí)現(xiàn)從仿真到真機(jī)的直接遷移。
數(shù)據(jù)收集：在仿真中運(yùn)行強(qiáng)化學(xué)習(xí)策略，記錄下上萬條成功軌跡：包括渲染的相機(jī) RGB 圖像、每一時刻的機(jī)器人本體感知和關(guān)節(jié)角動作。
模型訓(xùn)練：采用流匹配（Flow-Matching）生成模型的方法，學(xué)習(xí)從圖像觀測和機(jī)器人本體感知預(yù)測動作。為縮小仿真到真機(jī)的視覺圖像差異，訓(xùn)練還使用了預(yù)訓(xùn)練的 ViT 提取圖像特征，并在仿真數(shù)據(jù)收集時充分地進(jìn)行域隨機(jī)化（隨機(jī)化光照、背景、物體顏色紋理、相機(jī)參數(shù)等）。
多模態(tài)適配：DemoGrasp 適配單目 / 雙目、RGB/ 深度相機(jī)等多種相機(jī)觀測。實(shí)驗(yàn)表明，雙目 RGB 相機(jī)組合的效果最佳，能夠更好地減少遮擋、利用紋理和輪廓等信息成功抓取小而薄的物體。
實(shí)驗(yàn)結(jié)果：仿真和真機(jī)雙優(yōu)，全面提升靈巧抓取的泛化性和擴(kuò)展性
DexGraspNet 是靈巧抓取領(lǐng)域的權(quán)威數(shù)據(jù)集（3.4K 物體）。
DemoGrasp 在該數(shù)據(jù)集上使用 Shadow Hand 抓取，性能顯著優(yōu)于現(xiàn)有方法：視覺策略成功率達(dá)到 92%，訓(xùn)練集到測試集的泛化差距僅 1%，且適應(yīng)大范圍的物體初始位置隨機(jī)化（50cm × 50cm）、具備更強(qiáng)的空間泛化能力。
DemoGrasp 無需調(diào)整任何訓(xùn)練超參數(shù)，成功適配 6 種不同形態(tài)的機(jī)器人（五指、四指靈巧手，三指夾爪和平行夾爪），在 175 個物體上訓(xùn)練后，在多個未見過的物體數(shù)據(jù)集上達(dá)到 84.6% 的平均成功率。
高性能的虛實(shí)遷移
在真實(shí)機(jī)器人測試中，使用 Franka 機(jī)械臂和因時靈巧手，DemoGrasp 成功抓取了 110 個未見過的物體。
在常規(guī)大小的物體分類上，DemoGrasp 成功率均達(dá)到 90% 以上；
對于扁平物體（手機(jī)殼、剪刀等）和小物體（瓶蓋、小黃鴨等）的困難抓取任務(wù)，策略能夠準(zhǔn)確地抓取物體、避免碰撞，成功率達(dá)到 70%。
DemoGrasp 是融合少量人類演示實(shí)現(xiàn)高效機(jī)器人強(qiáng)化學(xué)習(xí)的新起點(diǎn)，將在未來支持功能性抓取、工具使用、雙手操作等更多靈巧手任務(wù)。
訓(xùn)練時策略的閉環(huán)能力是當(dāng)前方法的一個局限，后續(xù)研究將通過更加細(xì)粒度的演示軌跡拆分，增加強(qiáng)化學(xué)習(xí)策略的實(shí)時調(diào)整、錯誤恢復(fù)能力。
此外，DemoGrasp 可以結(jié)合多模態(tài)大模型，實(shí)現(xiàn)開放場景下的自主抓取智能體。
項(xiàng)目主頁：https://beingbeyond.github.io/DemoGrasp/
論文：https://arxiv.org/abs/2509.22149
一鍵三連「點(diǎn)贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評論區(qū)留下你的想法！
— 完 —
我們正在招聘一名眼疾手快、關(guān)注 AI 的學(xué)術(shù)編輯實(shí)習(xí)生
感興趣的小伙伴歡迎關(guān)注 了解詳情
科技前沿進(jìn)展每日見
