謝賽寧則表示，使用 patch token 并不意味著就是在做稠密任務(wù)。VLM和REPA的性能與它們在IN1K上的得分高度相關(guān)，而與patch級別的對應(yīng)關(guān)系只有很弱的關(guān)聯(lián)。這并不是 [CLS] token 的問題，而是高層語義與低層像素相似性之間的差別。

但僅三個月后，他隨機(jī)表示自己的判斷不夠深入，新論文 iREPA 的研究帶來了更深度的理解。

謝賽寧在 X 平臺上表示，擴(kuò)散模型是其底層表征的渲染器。這套新的方案可以幫助大家更清晰地了解這些表征的真正含義

他稱這場討論為“新型網(wǎng)絡(luò)茶水間效應(yīng)的小實(shí)驗(yàn)”，大家一起辯論、討論，然后努力把它變成真正的科學(xué)研究。

空間結(jié)構(gòu)至關(guān)重要

表征對齊（REPA）通過將來自強(qiáng)大的預(yù)訓(xùn)練視覺編碼器的表征提煉為中間擴(kuò)散特征，來指導(dǎo)生成式訓(xùn)練。

在這之前，我們需要關(guān)注一個問題：目標(biāo)表征的哪個方面對生成至關(guān)重要？是其全局語義信息，還是其空間結(jié)構(gòu)？

普遍觀點(diǎn)認(rèn)為，更強(qiáng)的全局語義性能能夠帶來更好的生成效果。為了驗(yàn)證這一觀點(diǎn)，團(tuán)隊(duì)首先對 27 種不同的視覺編碼器和不同模型規(guī)模進(jìn)行了大規(guī)模的實(shí)證分析。

團(tuán)隊(duì)發(fā)現(xiàn)，雖然 PE-Core-G 在 ImageNet-1K 上的準(zhǔn)確率高達(dá) 82.8%，但當(dāng)用作 REPA 的目標(biāo)表示時，其性能卻更差。

除此之外，同一編碼器系列中較大的型號可能具有相似或更差的生成性能。對于表征對齊而言，較大的模型變體往往會導(dǎo)致相似（DINOv2）甚至更差的生成性能。

也就是說，更高的全局信息量并不意味著更好的 REPA 性能。多項(xiàng)趨勢表明，在使用 REPA 時，全局性能與生成 FID 的相關(guān)性并不高。

比如，僅驗(yàn)證準(zhǔn)確率達(dá)到 24.7% 的 SAM2-S，在使用 REPA 時，其生成性能優(yōu)于其他驗(yàn)證準(zhǔn)確率高出約 60% 的模型。

同一編碼器家族中，較大的編碼器可能具有更高的驗(yàn)證準(zhǔn)確率，但生成性能卻更差。

通過 CLS 標(biāo)記向 patch 標(biāo)記添加全局信息可以提高全局性能，但會降低生成性能。

研究證明，空間結(jié)構(gòu)而非全局性能是生成性能的更好指標(biāo)。

研究還表明，空間結(jié)構(gòu)與發(fā)電性能的相關(guān)性遠(yuǎn)高于線性探測。

在不同的模型尺度上，空間結(jié)構(gòu)與 gFID 的相關(guān)性始終高于線性探測。

iREPA 改進(jìn)表述一致性

研究人員對原始的 REPA 訓(xùn)練方案進(jìn)行了兩項(xiàng)直接的修改，從而增強(qiáng)了空間特征從教師（視覺編碼器）到學(xué)生（擴(kuò)散變換器）模型的遷移。

一個是使用卷積投影層代替多層感知器（MLP）。團(tuán)隊(duì)用一個輕量級的卷積層代替 MLP，該卷積層直接作用于空間網(wǎng)格。

REPA 中的標(biāo)準(zhǔn) MLP 投影層在將目標(biāo)表示的特征遷移到擴(kuò)散特征時會丟失空間信息，而使用更簡單的卷積層則可以更好地遷移空間信息。

第二是運(yùn)用空間歸一化層，向目標(biāo)表示的圖像塊標(biāo)記添加了一個簡單的空間歸一化層。通過犧牲全局信息來提高圖像塊標(biāo)記之間的空間對比度，從而獲得更好的生成性能。

結(jié)果顯示，在目標(biāo)表示和模型規(guī)模的變化下，iREPA 始終比基線 REPA 具有更快的收斂速度，且在所有視覺編碼器上均能持續(xù)提升生成質(zhì)量。

空間改進(jìn)不僅持續(xù)提升性能，而且模型規(guī)模越大，性能提升的百分比也越大；這表明空間改進(jìn)能夠隨著模型規(guī)模的增大而擴(kuò)展。

在消融實(shí)驗(yàn)中，空間歸一化層和卷積投影層均能顯著提高收斂速度，兩者結(jié)合使用效果最佳。

總而言之，團(tuán)隊(duì)在 REPA-E 和 MeanFlow w/ REPA 的基礎(chǔ)上應(yīng)用了空間改進(jìn)，并取得了一致的性能提升。

參考資料：

https://x.com/sainingxie/status/2000709656491286870

https://arxiv.org/abs/2512.10794

https://x.com/YouJiacheng/status/1957073253769380258