Veo 3 新興的零樣本能力表明，視頻模型正在走向統(tǒng)一的通用視覺(jué)基礎(chǔ)模型。

大型語(yǔ)言模型 (LLM) 的零樣本能力推動(dòng)了自然語(yǔ)言處理從特定任務(wù)模型向統(tǒng)一的通用基礎(chǔ)模型的演進(jìn)。

這種轉(zhuǎn)變?cè)从诤?jiǎn)單的基元：在網(wǎng)絡(luò)規(guī)模數(shù)據(jù)上訓(xùn)練的大型生成模型。

有趣的是，同樣的基元也適用于當(dāng)今的生成視頻模型。Google DeepMind 團(tuán)隊(duì)證明 Veo 3 可以解決各種未經(jīng)明確訓(xùn)練的任務(wù)：分割物體、檢測(cè)邊緣、編輯圖像、理解物理屬性、識(shí)別物體可供性、模擬工具使用等等。這些感知、建模和操縱視覺(jué)世界的能力，使早期的視覺(jué)推理形式（如迷宮和對(duì)稱(chēng)性求解）成為可能。

研究方法

視頻模型是否能夠開(kāi)發(fā)通用的視覺(jué)理解，就像 LLM 開(kāi)發(fā)通用的語(yǔ)言理解一樣？

DeepMind 的回答是肯定。

他們采用了一種很簡(jiǎn)單的方法：使用初始輸入圖像和文本指令來(lái)提示 Veo 3。

在自然語(yǔ)言處理 (NLP) 領(lǐng)域，提示取代了針對(duì)特定任務(wù)的訓(xùn)練或適應(yīng)。在視頻模型的推動(dòng)下，機(jī)器視覺(jué)領(lǐng)域也即將出現(xiàn)類(lèi)似的范式轉(zhuǎn)變。

團(tuán)隊(duì)首先對(duì)視覺(jué)任務(wù)進(jìn)行定性研究，以評(píng)估視頻模型作為視覺(jué)基礎(chǔ)模型的潛力。研究結(jié)果分為四個(gè)層次，每個(gè)層次都建立在最后一個(gè)層次之上。

四個(gè)層次分別為：感知、建模、操作、推理。這種層次結(jié)構(gòu)提供了一個(gè)框架，用于理解視頻模型的新興能力。

結(jié)果顯示，Veo 3 展現(xiàn)出了超越訓(xùn)練任務(wù)的新興零樣本感知能力，很可能會(huì)取代計(jì)算機(jī)視覺(jué)領(lǐng)域中的大多數(shù)定制模型。

感知、操作、推理

DeepMind 團(tuán)隊(duì)針對(duì)不同任務(wù)對(duì) Veo 進(jìn)行定量評(píng)估。包括感知（評(píng)估 Veo 的邊緣檢測(cè)、分割和目標(biāo)提�。�、操作（圖像編輯性能）、迷宮求解、視覺(jué)對(duì)稱(chēng)性和視覺(jué)類(lèi)比。

據(jù)觀(guān)察數(shù)據(jù)顯示，Veo 2 到 Veo 3 的性能大幅提升，可以匹敵甚至超過(guò) Nano Banana 的性能。

感知

盡管沒(méi)有經(jīng)過(guò)專(zhuān)門(mén)訓(xùn)練，Veo 3 也可以被提示檢測(cè)并感知邊緣，邊緣圖比真實(shí)值更詳細(xì)。

操作

通過(guò)實(shí)驗(yàn)，團(tuán)隊(duì)發(fā)現(xiàn) Veo 3 在編輯過(guò)程中尤其擅長(zhǎng)保留細(xì)節(jié)和紋理。如果能夠更好地控制攝像機(jī)移動(dòng)或人物動(dòng)畫(huà)等因素，視頻模型就可以成為功能強(qiáng)大的 3D 感知圖像和視頻編輯器。

推理

Veo 3 展示了零次迷宮求解能力，優(yōu)于 Veo 2的求解能力。在 5×5 網(wǎng)格中，Veo 3 的通過(guò)率為 78%，而 Veo 2 僅為 14%。

在視覺(jué)對(duì)稱(chēng)性求解的測(cè)試中，Veo 3 的表現(xiàn)遠(yuǎn)超 Veo 2 和 Nano Banana。

在視覺(jué)類(lèi)比測(cè)試中，Veo 3 正確地完成了顏色和調(diào)整大小的示例，展示了理解物體之間變化和關(guān)系的能力。

結(jié)語(yǔ)

機(jī)器視覺(jué)正處于類(lèi)似的范式轉(zhuǎn)變的邊緣，這得益于大規(guī)模視頻模型的新興能力。

Veo 3 可以用零樣本的方式解決各種任務(wù)，涵蓋從感知到建模、操作甚至早期形式的視覺(jué)推理。雖然它的性能還不完美，但從 Veo 2 到 Veo 3 的巨大而持續(xù)的改進(jìn)表明，視頻模型將成為視覺(jué)的通用基礎(chǔ)模型，就像 LLM 之于語(yǔ)言一樣。

參考資料：https://arxiv.org/pdf/2509.20328