(資料圖片)

在2025年的最后一天，當(dāng)大多數(shù)人準(zhǔn)備迎接新年時，DeepSeek團(tuán)隊向?qū)W術(shù)社區(qū)提交了一篇技術(shù)論文。這篇論文迅速在人工智能領(lǐng)域引起關(guān)注。論文的標(biāo)題為《mHC：流形約束超連接》，由謝振達(dá)、魏毅軒、曹煥奇等研究人員共同完成，DeepSeek創(chuàng)始人梁文鋒也位列作者之中。

這是繼2025年3月，DeepSeek團(tuán)隊發(fā)布了關(guān)于“原生稀疏注意力”（NSA）的研究后，第二次在大模型訓(xùn)練核心架構(gòu)上突破。NSA技術(shù)的核心是讓AI學(xué)會像人類一樣“快速閱讀”。當(dāng)面對一本數(shù)萬字的小說或長篇報告時，AI不再需要笨拙地分析和記憶每一個詞與所有其他詞的關(guān)系，而是能智能地抓住重點信息，略過不重要的部分，從而極大地提升了處理長文本的效率。

相關(guān)實驗數(shù)據(jù)顯示，NSA技術(shù)帶來了顯著的效率提升。在處理長文本時，訓(xùn)練速度提升了6-9倍，而在實際回答問題的推理階段，解碼速度更是提高了11.6倍。除了更快，它還更“聰明”——在多項需要復(fù)雜推理的測試中，使用NSA的模型準(zhǔn)確率比傳統(tǒng)方法高出5%-8%。

而2025年12月31日發(fā)布的mHC與專注于讓AI“讀得快”的NSA不同。mHC關(guān)注的是神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞的“穩(wěn)定性”。過去的10年中，幾乎所有AI模型都依賴于2015年微軟研究院提出的殘差連接設(shè)計。它如同一條信息“快車道”，但對于更深、更復(fù)雜的模型，這條車道有時會讓信號過度放大，導(dǎo)致訓(xùn)練失控。

2024年9月，DeepSeek曾嘗試改進(jìn)這一設(shè)計，提出了“超連接”，但遇到了訓(xùn)練不穩(wěn)定的難題。此次的mHC通過引入巧妙的數(shù)學(xué)約束——雙隨機(jī)矩陣，成功解決了這一問題。這好比為神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)過程”劃定了一個安全的操場，既允許它自由探索和嘗試，又確保其不會失控“跑飛”，從而讓更大、更復(fù)雜的模型能夠被穩(wěn)定地訓(xùn)練出來。

比如在處理一本6萬字的小說時，傳統(tǒng)AI模型會把70%的時間浪費(fèi)在重復(fù)計算上，而新技術(shù)可以讓它像人類一樣抓住重點、跳過冗余。

NSA技術(shù)使手機(jī)等移動設(shè)備運(yùn)行長文本AI應(yīng)用成為可能，為醫(yī)療記錄分析、整本小說理解等場景提供了技術(shù)基礎(chǔ)。而mHC則是在不增加計算量的情況下，通過改變信息流動方式提升模型性能，同樣的計算資源，更好的效果。

而這篇論文的意義還在于充分體現(xiàn)了DeepSeek一以貫之的技術(shù)哲學(xué)。正如科技媒體人花叔評論的那樣，當(dāng)你發(fā)現(xiàn)一個方法有效但不穩(wěn)定時，不要放棄，而是去找約束條件。雙隨機(jī)矩陣就是這樣一個約束——它保留了HC的表達(dá)能力（可學(xué)習(xí)的連接權(quán)重），同時通過數(shù)學(xué)性質(zhì)保證了穩(wěn)定性（加權(quán)平均不會爆炸）。在自由和約束之間找平衡，這個思路可能在很多領(lǐng)域都適用。

這也解釋了DeepSeek為什么能做到別人做不到的事，這篇論文給出的答案是：去質(zhì)疑那些“所有人都覺得沒必要改”的東西。