團(tuán)隊對 Transformer 進(jìn)行持續(xù)研究，特別注重提高處理擴(kuò)展文本序列時的計算效率。

為了提高效率，DeepSeek 首次引入了稀疏注意力 (DSA)，實(shí)現(xiàn)了細(xì)粒度稀疏注意力，在保持模型輸出質(zhì)量的同時提高了長上下文訓(xùn)練和推理效率。

為了評估 DSA 的影響，團(tuán)隊特意將 DeepSeek-V3.2-Exp 的訓(xùn)練配置與 V3.1-Terminus 進(jìn)行了對齊。結(jié)果顯示，DeepSeek-V3.2-Exp 的表現(xiàn)與 V3.1-Terminus 相當(dāng)。

DeepSeek 還披露了 V3.2-Exp 的技術(shù)報告，一起來看更多細(xì)節(jié)。

預(yù)訓(xùn)練和后訓(xùn)練

密集訓(xùn)練階段

在此階段，模型保持密集注意力機(jī)制，并凍結(jié)除 lightning 索引器之外的所有模型參數(shù)。

總共訓(xùn)練索引器 1000 步，每一步由 16 個 128K 個標(biāo)記的序列組成，總共產(chǎn)生 21 億個token。

稀疏訓(xùn)練階段

索引器預(yù)熱后，引入細(xì)粒度的 token 選擇機(jī)制，并優(yōu)化所有模型參數(shù)，使模型適應(yīng) DSA 的稀疏模式。

值得注意的一點(diǎn)是，團(tuán)隊將索引器的輸入從計算圖中分離出來，以便進(jìn)行單獨(dú)優(yōu)化。

專家訓(xùn)練

后訓(xùn)練也采用了與稀疏持續(xù)預(yù)訓(xùn)練階段相同的稀疏注意力機(jī)制。為了更嚴(yán)格地評估引入 DSA 的影響，DeepSeek-V3.2-Exp 保留了與 DeepSeek-V3.1-Terminus 相同的后訓(xùn)練流程、算法和數(shù)據(jù)。

每項任務(wù)首先會開發(fā)一個專門針對該特定領(lǐng)域的專用模型，所有專家模型均基于相同的預(yù)訓(xùn)練 DeepSeek-V3.2 基礎(chǔ)檢查點(diǎn)進(jìn)行微調(diào)。

除了寫作任務(wù)和常規(guī)問答之外，還涵蓋了五個專業(yè)領(lǐng)域：數(shù)學(xué)、競技編程、通用邏輯推理、代理編碼和代理搜索。

每個專用模型都經(jīng)過大規(guī)模強(qiáng)化學(xué)習(xí) (RL) 計算訓(xùn)練，并采用不同的模型為長鏈思維推理和直接響應(yīng)生成訓(xùn)練數(shù)據(jù)。實(shí)驗結(jié)果表明，基于提煉數(shù)據(jù)訓(xùn)練的模型的性能僅略低于特定領(lǐng)域的專家模型，并且性能差距可以通過后續(xù)的強(qiáng)化學(xué)習(xí)訓(xùn)練有效消除。

混合強(qiáng)化學(xué)習(xí)訓(xùn)練

DeepSeek-V3.2-Exp 仍然采用 GRPO 作為強(qiáng)化學(xué)習(xí)訓(xùn)練算法。與之前使用多階段強(qiáng)化學(xué)習(xí)訓(xùn)練的 DeepSeek 模型不同，V3.2-Exp 將推理、代理和人類對齊訓(xùn)練合并到一個強(qiáng)化學(xué)習(xí)階段。這種方法有效地平衡了不同領(lǐng)域的性能，同時避免了多階段訓(xùn)練范式中常見的災(zāi)難性遺忘問題。

獎勵模式也分為兩種：代理任務(wù)采用基于規(guī)則的結(jié)果獎勵、長度懲罰和語言一致性獎勵；一般任務(wù)采用生成式獎勵模型，其中每個提示都有各自的評估標(biāo)準(zhǔn)。獎勵設(shè)計平衡了兩個因素：

1. 長度與準(zhǔn)確性；

2. 語言一致性與準(zhǔn)確性。

能力評估

在模型能力的基準(zhǔn)測試中，DeepSeek-V3.2-Exp 在長序列上的計算效率顯著提升。但與 DeepSeek-V3.1-Terminus 相比，無論是在短上下文任務(wù)還是長上下文任務(wù)中，我們均未觀察到性能顯著下降。

在 BrowseComp 和 SWE Verified 上，V3.2-Exp 和 V3.1-Terminus 模型的性能在整個訓(xùn)練過程中均穩(wěn)步提升，且曲線高度一致，這反映了 DSA 的訓(xùn)練穩(wěn)定性。

DSA 在長上下文場景中實(shí)現(xiàn)了顯著的端到端加速，與 DeepSeek-V3.1-Terminus 中的 MLA 相比，它所需的計算量要少得多。

DeepSeek 團(tuán)隊人員表示，他們?nèi)栽诜e極地在現(xiàn)實(shí)世界場景中進(jìn)行進(jìn)一步的大規(guī)模測試，以揭示稀疏注意力架構(gòu)的潛在局限性。

更多技術(shù)細(xì)節(jié)請參考報告： https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf