• 跨物體精準(zhǔn)操控： 從微小零件到厚重書本、細(xì)長(zhǎng)棍體乃至復(fù)雜幾何結(jié)構(gòu)，系統(tǒng)首次實(shí)現(xiàn)了跨類別、跨尺寸、跨姿態(tài)的穩(wěn)定旋轉(zhuǎn)與操控，在通用性與精度上均邁出關(guān)鍵一步。

• 任意姿態(tài)多軸旋轉(zhuǎn)： 無(wú)論手掌朝上、朝下還是側(cè)向，均可沿任意軸向?qū)崿F(xiàn)連續(xù)、穩(wěn)定的旋轉(zhuǎn)動(dòng)作，真正做到“手隨心轉(zhuǎn)”。

• 高靈巧、高魯棒遙操作： 能夠自如完成抓取、旋轉(zhuǎn)、擰動(dòng)等多類工具操作，從擰螺絲到家具組裝，展現(xiàn)出應(yīng)對(duì)長(zhǎng)程、復(fù)雜任務(wù)的穩(wěn)定能力。

• 彌合仿真與現(xiàn)實(shí)的鴻溝： 在缺乏大規(guī)模成功操作樣本的條件下，系統(tǒng)依然能夠基于偏分布的真實(shí)數(shù)據(jù)完成高精度學(xué)習(xí)，有效克服靈巧操作中的 Sim2Real 差距，實(shí)現(xiàn)從“實(shí)驗(yàn)室演示”到“真實(shí)世界落地”的從0到1突破。

這次破了什么“卡點(diǎn)”？

過(guò)去，靈巧手研究經(jīng)常受困于“限定條件”：物體形狀簡(jiǎn)單、尺寸受限、手腕姿態(tài)受限。一旦換角度、換抓姿，接觸點(diǎn)與摩擦條件劇變，Sim2Real 就容易崩。

研究團(tuán)隊(duì)提出了一種新穎的模擬到現(xiàn)實(shí)框架，用于靈巧的手內(nèi)旋轉(zhuǎn)。該框架基于關(guān)節(jié)神經(jīng)動(dòng)力學(xué)模型和自主數(shù)據(jù)采集，旨在解決學(xué)習(xí)復(fù)雜交互動(dòng)力學(xué)和獲取真實(shí)世界交互數(shù)據(jù)的核心挑戰(zhàn)。

除此之外，他們還提出了一種手內(nèi)物體旋轉(zhuǎn)策略，該策略在手腕處于復(fù)雜姿態(tài)的情況下，能夠以前所未有的通用性旋轉(zhuǎn)具有挑戰(zhàn)性的物體。

研究團(tuán)隊(duì)的核心思想是通過(guò)一個(gè)更具泛化性的動(dòng)力學(xué)模型來(lái)分解學(xué)習(xí)問(wèn)題，從而實(shí)現(xiàn)更具可擴(kuò)展性的數(shù)據(jù)采集策略。

首先，他們讓模型學(xué)習(xí)了一個(gè)關(guān)節(jié)級(jí)的神經(jīng)動(dòng)力學(xué)模型。該模型分解了系統(tǒng)，并僅使用每個(gè)關(guān)節(jié)自身的本體感覺(jué)歷史來(lái)預(yù)測(cè)其演化。

這種設(shè)計(jì)本身不受物體狀態(tài)估計(jì)困難的影響，并且減少了無(wú)關(guān)變量的變異性，該模型變得非常高效且具有泛化能力。

通過(guò)以與任務(wù)無(wú)關(guān)的方式對(duì)機(jī)械手施加隨機(jī)載荷，模型能夠在避免故障和人工重置需求的同時(shí)采集數(shù)據(jù)。利用低成本且可擴(kuò)展的數(shù)據(jù)學(xué)習(xí)一個(gè)能夠很好地泛化的動(dòng)力學(xué)模型，然后利用該模型訓(xùn)練一個(gè)殘差策略，將基于仿真訓(xùn)練的基礎(chǔ)策略適配到真實(shí)世界，從而實(shí)現(xiàn)廣泛的泛化能力。

幾乎與全手模型一樣強(qiáng)

模型在 310 萬(wàn)條模擬軌跡上訓(xùn)練，并在實(shí)際環(huán)境中進(jìn)行評(píng)估，其表達(dá)能力幾乎與全手模型一樣強(qiáng)。

在數(shù)據(jù)有限的情況下使用 7500 條在真實(shí)世界中自主采集的軌跡以及不同大小的真實(shí)世界數(shù)據(jù)集，模型的樣本效率更高，在實(shí)際環(huán)境中取得了更好的性能。

在 OOD 真實(shí)世界測(cè)試集（“拇指向上”腕關(guān)節(jié)下的任務(wù)相關(guān)轉(zhuǎn)換）上，模型在高數(shù)據(jù)量和低數(shù)據(jù)量情況下都具有更好的泛化能力。

總而言之，對(duì)于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)動(dòng)力學(xué)，在數(shù)據(jù)不足或訓(xùn)練-測(cè)試分布偏移的情況下，聯(lián)合模型顯著優(yōu)于整體手模型；在數(shù)據(jù)充足且進(jìn)行域內(nèi)評(píng)估的情況下，兩者的性能相近，聯(lián)合模型的表達(dá)能力僅略有下降。

同時(shí)，旋轉(zhuǎn)策略使遠(yuǎn)程操作系統(tǒng)能夠執(zhí)行復(fù)雜的、長(zhǎng)時(shí)程的操作任務(wù)。

消融實(shí)驗(yàn)的結(jié)果表明，隨著真實(shí)世界數(shù)據(jù)量和收集迭代次數(shù)的增加，模型性能有所提升。

相比之下，全手模型從額外數(shù)據(jù)中獲益甚微，尤其是在自主收集的情況下，這可能是由于其更高的維度以及自主數(shù)據(jù)與旋轉(zhuǎn)任務(wù)轉(zhuǎn)換之間的分布不匹配所致。

雖然該框架能夠旋轉(zhuǎn)復(fù)雜物體，但模型的性能上限受限于部分觀測(cè)數(shù)據(jù)。相關(guān)人員表示，未來(lái)會(huì)利用更豐富的信號(hào)聯(lián)合建模手-物體之間的運(yùn)動(dòng)轉(zhuǎn)換，以及整合觸覺(jué)信息。

參考資料：

https://meowuu7.github.io/DexNDM/static/pdfs/DexNDM.pdf