作者：Ye Tian、Ling Yang等

解讀：AI生成未來

亮點直擊

深入的基準測試與分析：ParaBench，一個新的基準測試，旨在系統(tǒng)性地評估“思考感知”型圖像生成與編輯任務。它不僅關注最終生成的圖像和文本的質(zhì)量，更核心的是評估兩者之間的對齊程度。

并行的多模態(tài)擴散框架：提出了一個純粹基于離散擴散的并行框架，用于“思考感知”型的圖像編輯與生成。該框架允許文本和圖像兩種模態(tài)在每一個去噪步驟中進行雙向的注意力交互，從而有效緩解了自回歸（AR）順序生成流程中固有的錯誤累積問題。

并行強化學習（ParaRL）：引入了一種新穎的并行強化學習策略 ParaRL。該方法沿著整個去噪軌跡分配語義獎勵，而不是僅僅獎勵最終結果，從而進一步增強了輸出模態(tài)之間的一致性和整體性能。

全面的評估與最先進的對齊效果：通過廣泛的實驗，本文驗證了該框架的有效性。在 ParaBench 基準測試中，與現(xiàn)有技術（SOTA）模型 Bagel 相比，本工作在“輸出對齊”指標上取得了 6.9% 的顯著提升，同時在單模態(tài)指標上保持了相當?shù)男阅埽瑸?ldquo;思考感知”型圖像合成建立了一個更穩(wěn)健的范式。

解決的問題

在“思考感知”型的生成任務中，模型會先生成一步推理（即“思考過程”），然后基于這個推理來生成或編輯圖像。盡管這種方法在很多情況下能提升效果，但本文發(fā)現(xiàn)了一個關鍵的失敗模式：在某些復雜任務中，預先進行的推理反而會導致最終圖像的語義保真度下降。

這個問題源于現(xiàn)有方法大多采用順序、自回歸的生成流程。在這種流程中，推理文本的任何模糊、不準確或錯誤都會被傳遞并放大到后續(xù)的圖像生成階段，導致最終生成的圖像與用戶的核心指令產(chǎn)生偏差。現(xiàn)有的評估基準只關注最終圖像，忽略了中間推理步驟的質(zhì)量及其與最終圖像的對齊性，因此無法定位和解決這一問題。

提出的方案

為了解決上述問題，提出了一個并行的多模態(tài)擴散框架 MMaDA-Parallel，并輔以一種新穎的訓練策略 ParaRL。

MMaDA-Parallel 框架：

并行生成：與先生成文本再生成圖像的順序模式不同，該框架讓推理文本和目標圖像在統(tǒng)一的擴散過程中同時、并行地生成。

雙向交互：在每個去噪步驟中，文本和圖像的 token 之間都可以進行雙向的注意力交互。這意味著文本的生成可以隨時參考正在形成的圖像特征，反之亦然。這種持續(xù)的跨模態(tài)“協(xié)商”機制避免了單向的錯誤傳播。

并行強化學習（ParaRL）：

軌跡級優(yōu)化：傳統(tǒng)的強化學習只在生成過程的最后一步（即最終輸出）計算獎勵。ParaRL 的創(chuàng)新之處在于，它在去噪過程的多個中間步驟都計算獎勵信號。

語義對齊獎勵：獎勵信號直接來源于中間步驟生成的文本和圖像之間的語義對齊度（例如，通過 CLIP 分數(shù)衡量）。通過在整個生成軌跡上持續(xù)強化這種對齊，模型能夠?qū)W會生成內(nèi)部一致性更強的多模態(tài)內(nèi)容。

應用的技術

離散擴散模型（Discrete Diffusion Models）：框架的基礎。文本（通過 LLaDA tokenizer）和圖像（通過 MAGVIT-v2 quantizer）都被統(tǒng)一表示為離散的 token 序列，使得單一的擴散模型可以同時處理兩種模態(tài)。

交錯序列與雙向注意力（Interleaved Sequence & Bidirectional Attention）：將輸入和輸出的文本與圖像 token 排列在一個單一的序列中，并使用特殊標記（sentinels）分隔。這使得模型可以在一個統(tǒng)一的上下文中進行全面的雙向跨模態(tài)注意力計算。

并行去噪與雙重調(diào)度器（Parallel Denoising & Dual Schedulers）：在解碼（采樣）過程中，模型在一個共享的時間軸上并行去噪。但針對文本和圖像兩種模態(tài)，分別采用了不同的掩碼調(diào)度器（masking schedulers）——文本采用線性揭示調(diào)度，圖像采用余弦揭示調(diào)度——以適應它們各自的生成特性。

基于 GRPO 的強化學習：ParaRL 的實現(xiàn)基于 Group Relative Policy Optimization (GRPO) 目標函數(shù)，并對其進行了調(diào)整以適應擴散模型的非自回歸特性和軌跡級獎勵的設定。獎勵函數(shù)基于歸一化后的 CLIP 分數(shù)，以確保訓練的穩(wěn)定性。

達到的效果

顯著提升跨模態(tài)對齊性：在ParaBench 基準上，MMaDA-Parallel（結合 ParaRL）在所有開源模型中取得了最高的“輸出對齊”（Output Alignment）分數(shù)（59.8%），相比之前的 SOTA 模型 Bagel（52.9%）提升了 6.9%。

保持高質(zhì)量的單模態(tài)輸出：在提升對齊性的同時，模型在文本質(zhì)量和圖像質(zhì)量等單模態(tài)指標上與 Bagel 表現(xiàn)相當，盡管 Bagel 的訓練數(shù)據(jù)量要大得多。

驗證了并行框架與軌跡優(yōu)化的優(yōu)越性：

消融實驗證明：

與順序生成基線相比，并行解碼能顯著提高輸出對齊性。

與只在最終輸出應用獎勵的傳統(tǒng)強化學習相比，本文提出的軌跡級優(yōu)化（ParaRL）能帶來更穩(wěn)定和更顯著的性能增益。圖 2：MMaDA-Parallel 支持并行、感知思維的圖像編輯和生成。與 Bagel 相比，MMaDA-Parallel 的推理質(zhì)量更高，生成的文本和圖像輸出之間的一致性也更強。MMaDA-Parallel

關于“思考感知”型合成的發(fā)現(xiàn)與基準測試

為了研究預生成推理是否真正能提升性能，本文在圖像編輯任務上進行了一項對照研究，因為這類任務比單純的圖像合成提供了更清晰的、基于指令的評估。從已有的基準測試中采樣輸入，并使用 Bagel——一個支持“思考感知”型生成的先進開源統(tǒng)一模型——在開啟和關閉“思考”功能兩種模式下生成成對的輸出。在圖 1(c) 和表 1 中報告了在 Kris-Bench上的平均編輯評估指標。

圖 1：順序與并行思維感知圖像合成。(a) 順序生成（Bagel、GPT4o）可能存在推理模糊或錯誤的問題。(b) 平行生成可在每個去噪步驟中調(diào)整文本和圖像，從而減少幻覺和錯誤。(c) 定量比較顯示推理會降低某些類別的性能。(d) 較差的類別也表現(xiàn)出較弱的推理-圖像對齊，突出了加強跨模態(tài)對齊的必要性。

發(fā)現(xiàn)。雖然推理步驟在大多數(shù)任務上提升了性能，但也出現(xiàn)了一個顯著的反常趨勢：在相當一部分（約 23%）的案例中，性能反而下降了，尤其是在復雜的組合編輯任務中。更深入的分析表明，這些失敗通常源于低質(zhì)量或模糊的推理文本，這些文本誤導了圖像生成過程。這暴露了現(xiàn)有評估協(xié)議中的一個關鍵缺陷：它們只評估最終的圖像，卻忽略了作為另一種生成模態(tài)的中間推理的質(zhì)量。

混合模態(tài)的基準測試。這一分析揭示了當前評估范式的一個根本局限性：現(xiàn)有的基準只評估圖像，忽略了推理本身的質(zhì)量及其與圖像的一致性。為了解決這一差距，本文引入了 ParaBench，這是一個專為全面評估“思考感知”型圖像合成而設計的新基準。ParaBench 包含 300 個具有挑戰(zhàn)性的提示，其中 200 個用于編輯，100 個用于生成。編輯提示經(jīng)過精心策劃，用以測試廣泛的能力，不僅涵蓋常規(guī)操作（如添加、移除、替換），還包括需要推理的復雜任務。100 個生成提示則專注于復雜場景的開放式創(chuàng)意合成。本文使用 GPT-4.1 在六個細粒度維度上對模型在 ParaBench 上的表現(xiàn)進行評估：對于文本輸出，評估文本質(zhì)量和文本對齊；對于視覺輸出，評估圖像質(zhì)量、圖像對齊和圖像一致性；最后，評估兩者間的整體輸出對齊。

為了展示 ParaBench 的診斷能力，將其應用于一個代表性的基線模型 Bagel。雖然完整的量化結果在附錄 A 中呈現(xiàn)，但表 1 通過關注兩個關鍵指標——文本質(zhì)量和輸出對齊——突顯了一個重要發(fā)現(xiàn)。結果顯示，推理步驟的質(zhì)量與最終性能之間存在明確的相關性。值得注意的是，那些表現(xiàn)下降的類別，其推理質(zhì)量和推理-圖像協(xié)同性也同樣遭受了顯著的下降。這種模式強烈表明，糟糕的推理不僅未能提供有益的指導，反而主動地誤導了生成過程，從而驗證了明確提升文本與圖像生成協(xié)同性的必要性。

關于并行多模態(tài)擴散的動機。本文的基準測試結果揭示了當前“思考感知”型生成的一個關鍵限制：順序生成范式（即推理先于圖像合成）創(chuàng)建了一種剛性的依賴關系，這可能傳播錯誤并限制跨模態(tài)協(xié)同。當推理質(zhì)量下降時，它會直接損害后續(xù)的圖像生成，正如在空間和時間編輯任務中觀察到的相關性能下降所證明的那樣。為了解決這個根本問題，本文提出了一個并行的統(tǒng)一多模態(tài)擴散框架，該框架能夠同時生成推理文本和圖像，從而促進真正的多模態(tài)協(xié)作，并消除順序方法中固有的錯誤傳播。

基礎算法與架構

離散擴散模型已在圖像和文本生成任務中展現(xiàn)出強大的性能�；�于統(tǒng)一的離散擴散視角，MMaDA證明了單一的擴散框架可以聯(lián)合建模多種模態(tài)；然而，其解碼過程在不同模態(tài)間仍然是順序的。為了克服這一限制，本文提出了一個并行的多模態(tài)擴散框架，該框架：(i) 將所有模態(tài)表示為離散的 token，(ii) 將它們排列在一個帶有雙向注意力的交錯序列中，以及 (iii) 采用一個跨模態(tài)共享的單一掩碼預測器，從而實現(xiàn)文本和圖像的同步去噪。該框架的概覽如圖 3 所示。

圖 3：并行生成架構：在(a)訓練期間，圖像和文本響應被屏蔽，并使用統(tǒng)一屏蔽預測器并行預測，屏蔽令牌似然目標對其進行了優(yōu)化。在（b）采樣期間，模型執(zhí)行并行解碼，聯(lián)合生成圖像和文本響應，從而實現(xiàn)高效的多模態(tài)響應生成。

交錯的離散序列布局。遵循 MMaDA 框架，本文在一個統(tǒng)一的離散 token 空間內(nèi)處理文本和圖像。具體來說，本文使用 LLaDA tokenizer對文本進行分詞，并使用一個預訓練的 MAGVIT-v2量化器將圖像編碼為離散視覺 token 網(wǎng)格。這些被 token 化的模態(tài)隨后被序列化為一個單一的交錯序列，使用明確的分隔符（sentinels）和任務標簽來實現(xiàn)完全的雙向跨模態(tài)注意力：

在訓練期間，本文將輸入和輸出模板拼接成一個單一序列，允許模型在一個統(tǒng)一的上下文中從輸出關注到輸入。任務 token <|task|> 根據(jù)不同場景被實例化為不同形式，<|thinkgen|> 用于“思考感知”型生成，<|thinkedit|> 用于“思考感知”型編輯。這種單序列設計消除了自回歸跨模態(tài)流程所引入的順序不對稱性和曝光偏差。

訓練目標。令表示拼接后的訓練序列（輸入部分后跟輸出部分），其中是序列中的 token 總數(shù)。本文保持輸入部分不變，只對輸出部分施加噪聲。在一個采樣的時間步，對于輸出部分中的每個 token，本文以概率將其替換為 [MASK]，并以概率  保持不變；輸入部分的 token 則保持不變：

等價地，對于輸出中的位置，經(jīng)過 t步后的吸收態(tài)邊緣分布為，其中， 是 [MASK] 的 one-hot 分布。

并行擴散模型被構建為一個在文本和圖像 token 聯(lián)合詞匯表上的統(tǒng)一掩碼-token 預測器。令表示拼接的輸入-輸出序列中的 token 位置。由于在擴散過程中只有輸出部分被加噪，模型會在當前被掩碼的位置上預測真實 token 。為了更好地平衡不同模態(tài)間的訓練動態(tài)，本文使依賴于時間步的損失權重具有模態(tài)特異性：輸出圖像部分和輸出文本部分的 token 分別被賦予獨立的權重。為簡潔起見，本文使用一個統(tǒng)一的、感知 token 的權重函數(shù)來表示目標函數(shù)。本文優(yōu)化一個經(jīng)過時間步重加權的交叉熵損失：

其中是指示函數(shù)，且

本文憑經(jīng)驗發(fā)現(xiàn)，對文本 token 應用一個隨時間步變化的權重，并對圖像 token 使用一個恒定權重 ，能夠顯著穩(wěn)定圖像質(zhì)量和輸出對齊的訓練過程。本文在圖 3(a) 中闡釋了這一過程，并在附錄 D 中包含了詳細的附加預備知識和消融研究。

使用雙重調(diào)度器的并行去噪。解碼過程沿著一個共享的擴散時間軸進行，如圖 3(b) 所示。本文定義了兩個模態(tài)特定的調(diào)度器，，它們指定了在步驟 t時未被掩碼 token 的目標比例。在每個逆向步驟中：(i) 模型聯(lián)合預測所有當前被掩碼位置的分布；(ii) 對于每個模態(tài)，一部分 token 被采樣（例如，通過基于置信度的采樣），而其余位置則保留為 [MASK]。因為注意力在整個序列上是雙向的，文本和圖像可以在解碼的每一步相互提供信息。在本文的實驗中，文本調(diào)度器實現(xiàn)為一個完全線性的揭示調(diào)度，結合半自回歸的基于置信度的解碼，而圖像調(diào)度器則遵循一個余弦揭示調(diào)度，并采用全局基于置信度的解碼。

使用并行強化學習進行后訓練

用于并行合成的監(jiān)督式微調(diào)。本文方法中的一個關鍵挑戰(zhàn)是，現(xiàn)有的生成和編輯數(shù)據(jù)集缺乏并行合成框架所需的推理軌跡。為了解決這個問題，本文首先通過聚合來自不同來源的樣本來構建一個合適的訓練數(shù)據(jù)集。對于每個包含輸入圖像（用于編輯任務）、指令和最終輸出圖像的樣本，本文使用一個多模態(tài)大語言模型（在本文的實現(xiàn)中為 Qwen-2.5-VL）來生成相應的推理軌跡。關于數(shù)據(jù)集構建過程的更多細節(jié)，包括來源和類別，詳見附錄 F。然后，本文使用這個數(shù)據(jù)集對 MMaDA進行監(jiān)督式微調(diào)。這個過程將其改造為一個能夠執(zhí)行“思考感知”型合成的并行變體，其中推理和生成是同時發(fā)生的。

去噪軌跡上的協(xié)同效應。在分析微調(diào)后模型的生成結果時，本文觀察到某些語義概念在中間的去噪步驟中，會同步地出現(xiàn)在文本和圖像中。如圖 5 所示，當任務是把一件襯衫變成“鮮艷的彩虹色”時，具體的顏色詞匯和它們對應的視覺特征會在同一個時間步出現(xiàn)。這一觀察引出了一個關鍵洞見：跨模態(tài)對齊并非一個終點現(xiàn)象，而是在整個生成軌跡中逐步建立的。這意味著，對這些中間步驟施加監(jiān)督，而不僅僅是最終輸出，可以進一步改善這種對齊。

圖 5：抽樣的協(xié)同作用。根據(jù)提示"將藍色襯衫換成鮮艷的彩虹色"，文字和圖像中的特定顏色解碼在同一步驟中出現(xiàn)

使用軌跡優(yōu)化的并行強化學習�；�于這一洞見，本文進一步引入了并行強化學習（ParaRL），這是一種新穎的訓練范式，它直接利用了這種中間步驟的跨模態(tài)協(xié)同效應。ParaRL 不僅僅獎勵最終的輸出，而是將在每個去噪步驟中文本和圖像 token 之間的對齊度作為密集的獎勵信號。

具體來說，對于一個給定的查詢 ，生成的響應是一條完整的軌跡 ，其中  是去噪步驟的總數(shù)， 是在步驟  解碼出的 token 集合。雖然這種形式為每個中間響應  提供了步級獎勵 ，但對整個密集軌跡進行優(yōu)化在計算上是不可行的。為了使訓練可行，本文采用了一種稀疏優(yōu)化策略。在每次在線部署（online rollout）期間，本文預先選擇采樣步數(shù)  并固定一個步索引的子集 ，并且只對時間步  計算獎勵  及其對應的標準化優(yōu)勢 。采用了一個擴散 GRPO 目標函數(shù)，該函數(shù)能夠適應 token 級別的似然比，并在這些采樣步驟上計算優(yōu)勢值：

其中 。在這個目標函數(shù)中，求和是在稀疏采樣的步驟  上進行的。項  遍歷了在采樣步驟  的狀態(tài)  中的所有 token，而  表示在步驟  之前生成的所有 token 的完整歷史。最后， 是用于生成部署樣本的行為策略， 控制 KL 懲罰的強度。

軌跡獎勵設計。在典型的軌跡級優(yōu)化框架中，通常需要一個訓練良好的過程獎勵模型（PRM）或價值函數(shù)，因為中間的部分輸出通常缺乏足夠的語義信息來進行可靠的評估。令人驚訝的是，在本文的并行文圖生成設置中，本文發(fā)現(xiàn)中間的片段已經(jīng)具有語義意義。例如，即使是部分解碼的文本 token 通常也足以揭示語義線索，從而可以計算與同時生成的圖像內(nèi)容的對齊度，如圖 4 所示。這一觀察使本文能夠繞過對專用 PRM 的需求：本文直接使用文本和圖像之間的語義對齊作為獎勵信號。

圖 4：我們提出的并行強化學習（ParaRL）概述。ParaRL 并非只對最終去噪輸出進行操作，而是沿著整個去噪軌跡引入獎勵信號，在整個生成過程中持續(xù)強化語義一致性。

與具有二元獎勵的任務（如數(shù)學推理）不同，本文的跨模態(tài)對齊目標提供了一個連續(xù)的獎勵信號。然而，作為獎勵來源的原始 CLIP 分數(shù)可能表現(xiàn)出高方差和任意的尺度，這使得它在強化學習中直接使用時不穩(wěn)定。為了確保訓練穩(wěn)定性，因此采用了一種受先前在連續(xù)獎勵 RL 工作中啟發(fā)的歸一化方案。本文首先在訓練分布上估計 CLIP 分數(shù)的均值  和標準差 ，計算是在隨機 1% 的數(shù)據(jù)子集上進行的。令  為在步驟  生成內(nèi)容的原始 CLIP 分數(shù)。本文首先使用  對該分數(shù)進行標準化。然后將此標準化分數(shù)裁剪到  范圍內(nèi)，并進行線性縮放，得到最終的獎勵 ，該獎勵被限制在  范圍內(nèi)：

在公式 3 中使用的相應優(yōu)勢  則是通過在部署樣本上進行標準化得到的：。

實驗

本文在自建的 ParaBench 基準上進行了主要評估，并使用 GPT-4.1 作為“裁判”來評估六個細粒度指標。MMaDA-Parallel 與多個業(yè)界領先模型進行了比較，包括 Bagel、GPT-4o、Gemini-2.5 等。

主要結果： 如表 2 所示，MMaDA-Parallel 在所有開源模型中取得了最高的輸出對齊分數(shù)，驗證了其并行解碼和軌跡級優(yōu)化的有效性。盡管訓練數(shù)據(jù)量遠小于 Bagel，MMaDA-Parallel 在通用的文本和圖像質(zhì)量上仍能與之匹敵。與頂尖的閉源模型（如 GPT-4o）相比，本工作顯著縮小了在對齊指標上的差距，展示了卓越的數(shù)據(jù)效率。此外，ParaRL 階段一致地提升了輸出的文圖一致性，表明軌跡級優(yōu)化有效地加強了整個生成過程中的跨模態(tài)基礎。

關鍵貢獻分析： 本文通過消融實驗回答了兩個核心研究問題：

并行解碼是否優(yōu)于順序解碼？ 實驗（表 3）表明，本文的并行框架在關鍵的對齊指標上顯著優(yōu)于順序生成基線，驗證了并行、交互式解碼對于減少錯誤傳播和產(chǎn)生連貫的多模態(tài)輸出至關重要。軌跡級微調(diào)是否優(yōu)于輸出級微調(diào)？ 實驗（表 4）顯示，與僅在最終輸出計算獎勵的傳統(tǒng) RL 相比，本文提出的 ParaRL（軌跡級優(yōu)化）在文圖一致性和輸出對齊方面帶來了更顯著的增益，并且訓練動態(tài)更穩(wěn)定。進一步分析（表 5）發(fā)現(xiàn)，在軌跡中采樣 3 個步驟（）進行獎勵計算，是在性能和效率之間的最佳平衡點。

總結

本工作研究了一個關鍵現(xiàn)象，即順序的“思考感知”型模型在處理復雜任務時，可能會反常地出現(xiàn)性能下降。本文使用自行提出的 ParaBench 基準進行了深入分析，該基準獨特地評估了兩種輸出模態(tài)，并發(fā)現(xiàn)性能下降與生成模態(tài)之間的對齊度不佳有很強的相關性。為了解決這個問題，提出了一個通過監(jiān)督式微調(diào)訓練的并行多模態(tài)擴散框架，并利用并行強化學習（ParaRL）——一種沿著整個去噪軌跡應用獎勵的新穎方法——對其進行進一步優(yōu)化。實驗驗證了本文的方法顯著改善了跨模態(tài)對齊和語義一致性，為“思考感知”型圖像合成建立了一個更加穩(wěn)健的范式。

參考文獻

[1] MMADA-PARALLEL: MULTIMODAL LARGE DIFFUSION LANGUAGE MODELS FOR THINKING-AWARE EDITING AND GENERATION

       原文標題 : 文生圖也會“精神分裂”？北大、字節(jié)聯(lián)手揭秘：越思考越畫錯！并行框架終結AI“左右互搏”