夢(mèng)晨 發(fā)自 凹非寺

　　量子位 | 公眾號 QbitAI

　　在A(yíng)CL 2025的頒獎典禮上，由DeepSeek梁文鋒作為通訊作者、與北京大學(xué)等聯(lián)合發(fā)表的論文榮獲最佳論文獎。

　　這次ACL 2025規?？涨?，總投稿量達到8360篇，相較于去年的4407篇幾乎翻倍，競爭異常激烈 。

　　

 

　　簡(jiǎn)單來(lái)說(shuō)，他們提出的原生稀疏注意力(NSA)機制，通過(guò)算法與硬件的協(xié)同優(yōu)化，直接把長(cháng)文本處理速度提升了11倍。更厲害的是，性能不僅沒(méi)降反而還超越了傳統的全注意力模型。

　　一作袁境陽(yáng)在會(huì )上發(fā)表演講，透露這項技術(shù)可以把上下文長(cháng)度擴展到1百萬(wàn)tokens，將被應用到下一個(gè)前沿模型中。

　　結合論文發(fā)表于DeepSeek-R1推出之后，實(shí)驗設置中也提到使用了DeepSeek-R1的蒸餾數據來(lái)微調了新的模型。

　　大家紛紛猜測，這項技術(shù)將被用于下一代DeepSeek-V4以及DeepSeek-R2。

　　

 

　　給注意力機制瘦身，速度狂飆11倍

　　長(cháng)久以來(lái)，大語(yǔ)言模型處理長(cháng)文本就像是戴著(zhù)鐐銬跳舞。傳統的全注意力機制計算復雜度隨序列長(cháng)度呈平方級增長(cháng)，處理64k長(cháng)度的文本時(shí)，注意力計算竟然要占到總延遲的70-80%。

　　這篇論文的解決思路很巧妙：既然不是所有詞之間的關(guān)系都同等重要，為什么不讓模型學(xué)會(huì )”抓重點(diǎn)”呢?

　　NSA采用了一種動(dòng)態(tài)分層的稀疏策略，通過(guò)三條并行的注意力分支協(xié)同工作：

　　壓縮注意力，負責捕捉粗粒度的全局信息模式，就像快速瀏覽全文抓住大意;

　　選擇性注意力，則專(zhuān)注于序列中最重要的詞塊，相當于精讀關(guān)鍵段落;

　　滑動(dòng)注意力，負責獲取局部的上下文信息，確保細節不丟失。

　　

 

　　這種設計最精妙的地方在于，它不是簡(jiǎn)單地丟棄信息，而是通過(guò)精心設計的算法平衡了計算密度。

　　更重要的是，整個(gè)架構針對現代GPU硬件進(jìn)行了深度優(yōu)化，實(shí)現了端到端的原生可訓練模式。

　　

 

　　在實(shí)際測試中，處理64k長(cháng)度序列時(shí)，NSA在解碼、前向傳播和反向傳播的全生命周期中都展現出驚人的速度優(yōu)勢。

　　解碼階段速度提升11.6倍，前向傳播提升9倍，反向傳播也有6倍的加速，無(wú)論是模型推理還是訓練，都能獲得實(shí)實(shí)在在的效率提升。

　　

 

　　不僅快還更準，長(cháng)文本處理迎來(lái)新突破

　　速度快只是NSA的一面，更讓人驚訝的是它在各項基準測試中的表現。

　　在通用基準測試中，采用NSA預訓練的27B參數模型在9個(gè)評測指標中有7個(gè)超越了全注意力基線(xiàn)。特別是在推理相關(guān)的基準測試上，DROP提升了0.042，GSM8K提升了0.034，顯示出稀疏注意力在強制模型聚焦關(guān)鍵信息方面的獨特優(yōu)勢。

　　

 

　　長(cháng)文本處理能力的測試結果更是亮眼。在64k上下文的”大海撈針”測試中，NSA在所有位置都實(shí)現了完美的檢索準確率。在LongBench基準測試上，NSA取得了0.469的平均分，不僅超越了全注意力基線(xiàn)(+0.032)，更是大幅領(lǐng)先其他稀疏注意力方法。

　　

 

　　特別值得一提的是，在需要復雜推理的多跳問(wèn)答任務(wù)上，NSA相比全注意力分別提升了0.087(HPQ)和0.051(2Wiki);在代碼理解任務(wù)(LCC)上提升了0.069;在段落檢索任務(wù)(PassR-en)上提升了0.075。

　　

 

　　研究團隊還進(jìn)行了一項有趣的實(shí)驗：

　　他們用DeepSeek-R1的數學(xué)推理數據對模型進(jìn)行微調，然后在美國數學(xué)邀請賽(AIME 24)上測試。

　　結果顯示，NSA-R在8k上下文設置下的準確率達到0.121，而全注意力模型只有0.046;即使在16k上下文下，NSA-R仍然保持0.146的準確率，遠超全注意力的0.092。

　　

 

　　這些結果充分證明了NSA不是通過(guò)犧牲性能來(lái)?yè)Q取速度，而是真正實(shí)現了效率和能力的雙贏(yíng)。

　　Three More Thing

　　這次總共評選出4篇最佳論文，另外三篇包括：

　　北大團隊的《Language Models Resist Alignment: Evidence From Data Compression》

　　研究了大型語(yǔ)言模型的“彈性”，指模型經(jīng)過(guò)對齊訓練(讓模型符合人類(lèi)價(jià)值觀(guān)、減少有害輸出)后，很容易因為后續的微調而變回預訓練時(shí)的狀態(tài)，就像彈簧被拉伸后會(huì )反彈一樣。

　　這意味著(zhù)現有的對齊方法可能只是表面上改變了模型，不夠穩固。未來(lái)需要更有效的對齊技術(shù)，才能讓模型真正穩定地符合人類(lèi)需求，尤其是在開(kāi)源模型中，要避免惡意微調輕易破壞安全機制。

　　

 

　　斯坦福團隊的《Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs》

　　研究了大模型“公平性” 上的一個(gè)新視角 “差異感知”。簡(jiǎn)單來(lái)說(shuō)，就是模型應該在合適的場(chǎng)景下對不同群體做出區分，而不是一味地 一視同仁。

　　研究發(fā)現那些在傳統公平性測試中表現好的模型，在 “差異感知” 上得分并不高;模型能力越強(比如 MMLU 分數越高)，情境感知能力越好，但差異感知能力未必提升;現有的 “去偏見(jiàn)” 方法(比如提示模型 “保持無(wú)偏見(jiàn)”)反而會(huì )讓模型更 無(wú)視差異，甚至把正確答案改錯。

　　

 

　　亥姆霍茲信息安全中心等團隊的《A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive》。

　　這篇論文指出大模型生成回答時(shí)的采樣機制與人類(lèi)決策類(lèi)似，包含描述性成分(反映概念的統計常態(tài))和規定性成分(隱含的概念理想狀態(tài))。

　　研究通過(guò)實(shí)驗驗證，無(wú)論是新創(chuàng )概念還是現有概念(涵蓋 10 個(gè)領(lǐng)域的 500 個(gè)概念)，LLMs 生成的樣本都會(huì )偏離統計平均值，向其認為的 “理想值” 偏移，且這種現象在 15 種不同模型中均顯著(zhù)存在。案例研究顯示，這種偏向可能導致醫療等領(lǐng)域的有偏決策，引發(fā)倫理問(wèn)題。

　　

 

　　DeepSeek論文地址：

　　https://arxiv.org/abs/2502.11089

　　參考鏈接：

　　[1]https://x.com/aclmeeting/status/1950572483637067786

　　[2]https://x.com/casper_hansen_/status/1950649481617342803