現(xiàn)實世界的機(jī)器人任務(wù)需要一個可靠且快速運行的系統(tǒng)。PI 開發(fā)了一種名為 Recap（基于優(yōu)勢條件策略的經(jīng)驗與糾正強化學(xué)習(xí)）的方法，它實現(xiàn)了三個步驟：

1. 通過演示訓(xùn)練和糾正指導(dǎo)機(jī)器人，使其能夠從自主經(jīng)驗中改進(jìn)。

2. 使用 Recap 改進(jìn)了最新版本的視覺-語言-動作 (VLA) 模型 π 0.6 ，使其能高效地執(zhí)行例如制作意式濃縮咖啡、組裝盒子和折疊各種衣物等復(fù)雜任務(wù)。

3. 利用 Recap 對 π * 0.6 進(jìn)行自主經(jīng)驗訓(xùn)練，可以使一些最困難任務(wù)的吞吐量提高一倍以上，并將故障率降低 2 倍或更多。

這使得 π * 0.6 能夠達(dá)到實際應(yīng)用所需的魯棒性水平。它能夠連續(xù)一整天制作意式濃縮咖啡，在新家中連續(xù)數(shù)小時不間斷地折疊新衣物，以及組裝工廠中用于實際包裝的紙箱。

模仿學(xué)習(xí)還不夠

為什么僅靠模仿學(xué)習(xí)訓(xùn)練的虛擬邏輯自動化（VLA）難以持續(xù)取得成功，而監(jiān)督學(xué)習(xí)對邏輯邏輯模型（LLM）和其他機(jī)器學(xué)習(xí)系統(tǒng)卻如此有效？

由于機(jī)器人是在與真實的物理環(huán)境交互，像放錯位置等小錯誤會產(chǎn)生與訓(xùn)練數(shù)據(jù)中略有不同的情況。在訓(xùn)練數(shù)據(jù)中，機(jī)器人更有可能犯下更大的錯誤，從而導(dǎo)致誤差累積。

小錯誤可以糾正，但累積誤差會導(dǎo)致失敗。對于產(chǎn)生靜態(tài)輸出的人工智能系統(tǒng)（例如 LLM）來說，這并不是一個大問題。但實際上，這意味著 VLA 不能可靠地成功完成任務(wù)。

如果利用 VLA 自身行為的額外數(shù)據(jù)，就能解決這個問題�？梢酝ㄟ^訓(xùn)練 VLA 來糾正它在現(xiàn)實世界中實際犯的錯誤，累積性錯誤可以通過讓策略（即 VLA）反復(fù)練習(xí)來解決。

指導(dǎo)糾正，練習(xí)強化

Recap 提供了兩種從經(jīng)驗數(shù)據(jù)中獲取良好訓(xùn)練信號的方法：

1. 指導(dǎo)以提供糾正，即專家向機(jī)器人展示如何糾正錯誤或做得更好；

2. 強化學(xué)習(xí)，即機(jī)器人根據(jù)一個回合的總體結(jié)果自行判斷哪些行為更好或更差，并迭代地學(xué)習(xí)執(zhí)行好的行為，同時避免壞的行為。

為了使指導(dǎo)有效，專家級遠(yuǎn)程操作員需要提供糾正措施，指導(dǎo)機(jī)器人如何從實際操作中犯的錯誤中恢復(fù)。這這種干預(yù)針對的是策略實際應(yīng)用到機(jī)器人所處的場景，從而解決了錯誤累積的問題。

然而，僅僅靠糾正是遠(yuǎn)遠(yuǎn)不夠的。糾正措施的監(jiān)督質(zhì)量取決于人能否準(zhǔn)確把握干預(yù)時機(jī)并真正提供高質(zhì)量的糾正。要快速、可靠且始終如一地完成任務(wù)，機(jī)器人需要自主學(xué)習(xí)。

核心挑戰(zhàn)在于功勞分配——理解機(jī)器人執(zhí)行的哪些動作導(dǎo)致了良好的結(jié)果，哪些動作導(dǎo)致了不良的結(jié)果。

獎勵分配是強化學(xué)習(xí)中的一個關(guān)鍵挑戰(zhàn)，Recap 能夠預(yù)測特定情況相對于其他情況的優(yōu)劣

例如，在國際象棋這樣的游戲中，智能體獲勝后會獲得獎勵，價值函數(shù)會根據(jù)當(dāng)前的棋盤狀態(tài)預(yù)測智能體獲勝的概率。如果能夠從機(jī)器人的經(jīng)驗中學(xué)習(xí)價值函數(shù)，就可以通過觀察價值函數(shù)的變化來判斷哪些行為是好是壞。

下圖展示了在執(zhí)行“折疊衣物”過程中，價值函數(shù)所做的預(yù)測：

在執(zhí)行時，只需指示經(jīng)過優(yōu)勢調(diào)整的 VLA 執(zhí)行優(yōu)勢較高的動作，從而得到一個比訓(xùn)練數(shù)據(jù)更優(yōu)的策略。

實際任務(wù)

團(tuán)隊研究了三個應(yīng)用場景：制作意式濃縮咖啡、折疊各種衣物以及組裝包裝盒。

Recap 的第一階段是使用離線強化學(xué)習(xí) (RL) 對 π * 0.6 模型進(jìn)行預(yù)訓(xùn)練和微調(diào)，然后使用從機(jī)器人收集的額外數(shù)據(jù)，通過強化學(xué)習(xí)進(jìn)一步訓(xùn)練該模型。

值得注意的是，在一些難度較高的任務(wù)上，例如制作意式濃縮咖啡，我們看到了最大的改進(jìn)，這些任務(wù)的吞吐量和成功率在加入機(jī)器人實際操作經(jīng)驗后都提高了一倍以上。

從定性角度來看，最終的 π * 0.6 模型在學(xué)習(xí)了演示數(shù)據(jù)和機(jī)器人實戰(zhàn)經(jīng)驗后，能夠熟練掌握各項應(yīng)用。

每項任務(wù)都面臨諸多挑戰(zhàn)，使得高吞吐量的自主執(zhí)行困難重重。即使對于目前最好的 VLA 模型來說，這些階段中的每一個階段都是具有挑戰(zhàn)性的，而 π * 0.6 可以以超過 90% 的成功率完成這些階段。

相關(guān)人員表示，專家提供的演示用于定義新的行為，輔導(dǎo)用于完善策略，而自主經(jīng)驗用于完善行為，最終或許能夠使機(jī)器人達(dá)到超越人類的性能水平。

參考資料：

https://www.pi.website/blog/pistar06#where-are-we-headed