1. 模擬引擎——作為交互式模擬器運(yùn)行，生成用于機(jī)器人學(xué)習(xí)的合成數(shù)據(jù)；
2. 策略增強(qiáng)——連接動作頭，通過預(yù)測未來與世界模型的交互過程，進(jìn)一步優(yōu)化決策性能。

團(tuán)隊展示了機(jī)器人的部署情況：

官方表示，UnifoLM-WMA-0屬于Unitree機(jī)器人統(tǒng)一大模型系列成果，專為通用機(jī)器人學(xué)習(xí)量身打造，可以適配多種機(jī)器人本體。

目前，UnifoLM-WMA-0 開源了訓(xùn)練代碼、推理代碼、模型 Checkpoints。GitHub 已收獲 100+ Star。

微調(diào)和訓(xùn)練

宇樹團(tuán)隊也發(fā)表了 UnifoLM-WMA-0 的訓(xùn)練步驟。

首先，團(tuán)隊在 Open-X 數(shù)據(jù)集上微調(diào)視頻生成模型，將其生成能力調(diào)節(jié)至與機(jī)器人作業(yè)場景適配。 模型接收圖像及文本指令，生成與文本指令對應(yīng)的未來動作視頻。

這是微調(diào)模型在測試集上的生成效果：

支持兩種運(yùn)行模式的策略架構(gòu)

隨后他們提出了一種基于世界模型的策略架構(gòu)，同時支持兩種運(yùn)行模式:

1. 決策模式: 提供機(jī)器人與環(huán)境進(jìn)行物理交互的預(yù)測信息, 輔助策略生成動作；
2. 仿真模式: 基于機(jī)器人動作生成高保真環(huán)境反饋。

這是訓(xùn)練后 UnifoLM-WMA 在下游任務(wù)數(shù)據(jù)集上的決策模式，團(tuán)隊在下游任務(wù)數(shù)據(jù)集上分別做了后訓(xùn)練優(yōu)化:

團(tuán)隊還公開了五個模型訓(xùn)練的開源數(shù)據(jù)集。測試結(jié)果顯示，模型作為仿真引擎，可根據(jù)"當(dāng)前圖像"及一定數(shù)量的“機(jī)器人未來動作”，實現(xiàn)交互可控生成。

生成結(jié)果與原視頻對比如下所示:

實現(xiàn)通用機(jī)器人任重道遠(yuǎn)

宇樹宣稱“世界模型—動作”架構(gòu)將完整開源并持續(xù)更新。此開源架構(gòu)旨在推動具身智能發(fā)展，加快通用機(jī)器人實現(xiàn)的進(jìn)程。

作為人形機(jī)器人領(lǐng)域以硬件實力著稱的企業(yè)，宇樹在軟件層面的布局同樣備受關(guān)注。創(chuàng)始人兼CEO王興興表示，公司在具身智能模型研發(fā)上依然保持謹(jǐn)慎投入。雖然企業(yè)規(guī)模已顯著擴(kuò)大，但與大型AI公司相比，宇樹的投入仍有限。

王興興指出，目前機(jī)器人硬件總體“夠用但不夠好”，若要實現(xiàn)規(guī)�；瘧�(yīng)用、更低成本和更高可靠性，仍需不斷完善。而在他看來，具身智能模型研發(fā)是當(dāng)前的核心任務(wù)，現(xiàn)階段模型遠(yuǎn)未成熟，無法滿足行業(yè)需求。

在談到訓(xùn)練數(shù)據(jù)時，他表示，與大語言模型依靠大規(guī)模高質(zhì)量數(shù)據(jù)快速提升不同，機(jī)器人領(lǐng)域在模型與實體對齊上存在更大挑戰(zhàn)，因此對AI模型能力的要求更高。

他強(qiáng)調(diào)，具身智能的突破并非資源和資金投入的單一比拼，過去的經(jīng)驗已證明，中小團(tuán)隊同樣可能取得領(lǐng)先成果。