作者：中國信息通信研究院人工智能研究所副總工程師，高級工程師 王蘊韜 

0   引言

自Transformer架構提出以來，圍繞其架構的創(chuàng)新一直是產(chǎn)學研各界的研究焦點。總體來看，對于其注意力機制的補丁式創(chuàng)新和替代性創(chuàng)新成為了主要研究方向。補丁式創(chuàng)新主要采用更為簡單的算子或精度來模擬注意力機制的計算，替代性創(chuàng)新主要通過其他算法替代注意力機制來挖掘上下文關系。除此之外，越來越多回歸循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）的算法架構及對于多層感知機（Multi-Layer Perceptron，MLP）架構的創(chuàng)新百花齊放，為未來算法架構的創(chuàng)新探索打下了堅實基礎。

1  Transformer的不可能三角

Transformer架構的有效性很大程度上來源于注意力（Attention）機制，而注意力機制的特點在于其ON2的復雜度與多頭機制的并行性，這樣在詞元（Token）生成類任務上，由于每步的二次復雜度和KV緩存的內存限制，在推理過程中往往表現(xiàn)出較低的效率。如果降低注意力機制的計算復雜度，能夠較好提升推理效率，但這就犧牲了模型精度和效果；基于傳統(tǒng)RNN的模型可以達到較好的效果和高效的推理效率，但由于沒有多頭機制，無法實現(xiàn)高效的并行訓練，因此無法擴大規(guī)模。因此，模型架構面臨著一個不可能三角的問題，分別是并行訓練、低成本推理和良好的擴展性能。如何平衡好這三點，成為優(yōu)化與改進Transformer結構的核心指導思路。

2  針對Transformer自身的改進

自2017年Attention is all you need論文發(fā)表以來，以Transformer為核心架構的大模型蓬勃發(fā)展，總體來看呈現(xiàn)出了兩類架構演進態(tài)勢：一類是對Transformer模塊的改進；另一類是對Transformer子層的改進。這些改進主要是針對Transformer原始架構進一步提升上下文能力，減小計算量消耗，提升模型效率及可擴展性。

2.1  針對Transformer模塊的改進

針對Transformer模塊的改進主要可以分為5個方向[1]。一是減少內存占用和計算量。對于Transformer的核心優(yōu)化在于其消耗計算資源的自注意力機制（Self-Attention），目前主要通過減少不必要的計算和數(shù)據(jù)存儲，優(yōu)化其計算效率，包括限制注意力的計算范圍，近似原始計算以降低復雜度，對基礎算子進行優(yōu)化（如TimeMixer++[2]），采用模型壓縮和內存優(yōu)化技術以及引入其他算法（如殘差自注意力、累積自注意力機制）。在實現(xiàn)這些改進時，需要在計算效率和模型性能之間取得平衡，確保在降低資源消耗的同時，模型的準確性和泛化能力不受顯著影響，代表性架構還包括Lite Transformer[3]、Funnel Transformer[4]、DeLighT[5]、RealFormer[6]等。二是優(yōu)化自適應計算時間。Transformer中順序計算的次數(shù)與輸入大小無關，而只取決于層數(shù)，這使得它在計算上不具備通用性或圖靈不完備。Transformer對所有輸入都使用相同的計算量將降低計算效率。因此以Universal Transformer[7]為代表的架構應運而生，其特點是模型可以根據(jù)輸入數(shù)據(jù)的復雜程度，用RNN網(wǎng)絡來動態(tài)學習并決定模型在每個位置上迭代的次數(shù)，同時引入了一個停頓概率，來判斷模型在每個位置計算是否需要繼續(xù)迭代，直到滿足某個閾值條件為止，代表性架構還包括Conditional Computation Transformer[8]、DeeBERT[9]。三是使用循環(huán)或分層的結構。如Transformer-XL[10]通過引入相對位置編碼和段落級別的循環(huán)機制，能夠更好適應不同長度輸入，將前一段隱狀態(tài)作為當前段輸入，以此形成循環(huán)機制，既能夠更好保持長序列信息，又能夠更好利用段落的上下文信息，通過循環(huán)機制有效解決了標準Transformer在處理長序列時的局限性，代表性架構還包括Compressive Transformer[11]、Memformer[12]。又如Hi-Transformer[13]使用了分層的設計方法，將輸入數(shù)據(jù)分成不同的層次進行處理，通過在較高層次上聚合信息，使模型能夠更好地捕捉全局上下文，代表性架構還包括HIBERT[14]、Vision Transformer[15]、TimeSformer[16]。四是使用其他方式對Transformer架構進行優(yōu)化，如可微分架構搜索（Differentiable Architecture Search）[17]使用了神經(jīng)架構搜索架構搜索最佳網(wǎng)絡結構，又如Macaron Transformer[18]通過自注意力層和前饋網(wǎng)絡層交替排列的方式實現(xiàn)特征提取和上下文建模之間更好的融合，代表性架構還包括Sandwich Transformer[19]。

2.2  針對Transformer子層的改進

總體來看，Transformer模塊一般包括4個子層：位置編碼；多頭注意力（Multi-head attention）；層歸一化的殘差連接；位置前饋網(wǎng)絡。

目前針對多頭注意力機制的改進較多，主要聚焦于降低注意力機制的計算復雜度，或改變注意力機制使其能夠學習更多的內容。許多方法可以降低注意力機制的復雜性[20]。一是采用低階近似值的方式降低注意力機制計算復雜度，如Linformer[21]、Performer[22]、Nystromformer[23]、Synthesizer[24]。二是使用稀疏的注意力機制，將注意力機制的復雜性降低到序列長度的線性，如Longformer[25]通過固定給定令牌可以參加的位置來增加稀疏性。又如Reformer[26]，通過對輸入令牌進行排序或聚類來引入可學習的稀疏性，代表性架構還包括Big Bird[27]、Performer[28]、Routing Transformer[29]。三是改進多頭注意力機制，如注意力頭被允許相互交流或共享信息[30]，學習最佳的注意力跨度，并在不同的注意力頭中使用不同的注意力跨度，代表性架構包括Talking-heads Attention[31]、Multi-Scale Transformer[32]、Mixture of Head Attention[33]。

對于位置編碼來說，目前主要使用了四種位置編碼方式進行優(yōu)化：絕對位置編碼（如標準變換器的位置編碼）；相對位置編碼（例如在Transformer-XL中）；具有絕對和相對位置信息的混合編碼（如Roformer[34]）；以其他方式提供序列順序信息的隱式編碼（如R-Transformer[35]）。

在殘差連接以及前饋網(wǎng)絡方面，主要修訂包括改變多頭注意力機制和位置前饋網(wǎng)絡后的殘差塊，包括設置層歸一化的位置、用其他方式替換層歸一化、完全刪除層歸一化，或引入逆殘差層以節(jié)省內存（用于Reformer）。對于改變位置前饋網(wǎng)絡的方法，包括改變激活函數(shù)、增加其表征能力或刪除前饋網(wǎng)絡等也都涉及到了相關的修改。近期英偉達推出了nGPT[36]架構，對包括嵌入、多層感知機（MLP）、注意力矩陣、隱藏狀態(tài)等向量全部在超球面上歸一化為單位范數(shù)，實現(xiàn)了上下文越長，訓練速度越快。

3  Transformer與其他架構的結合

除了對于Transformer自身架構進行調整和完善，產(chǎn)業(yè)界和學術界也都圍繞提升模型效率、可擴展性及其性能做了架構創(chuàng)新，采用了Transformer架構與其他架構混合的方式進行探索，以發(fā)揮各自的優(yōu)勢，提升模型的整體性能。

3.1  CNN與Transformer的結合

盡管Transformer在自然語言處理中表現(xiàn)出色，但在圖像處理中，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）在特定任務上仍然具有效率和結構優(yōu)勢。混合架構利用Transformer的長程依賴處理能力以及CNN的局部特征提取能力，在需要同時關注細節(jié)和全局信息的任務中取得了優(yōu)異表現(xiàn)。如Swin Transformer引入了局部注意力機制，與卷積操作進行結合，表現(xiàn)了良好的擴展性和效率；視覺Transformer（Vision Transformer， ViT）將圖像劃分為小塊，然后使用Transformer處理，以捕獲全局的圖像特征；Conformer在語音識別中，將CNN和Transformer結合，既能提取局部特征，又能建模長距離依賴；ConvNeXt使用改進的卷積操作和網(wǎng)絡架構，能夠捕捉長距離依賴關系，實現(xiàn)全局信息的融合，與自注意力機制的功能相似。

3.2  RNN與Transformer的結合

盡管Transformer在處理長序列時表現(xiàn)優(yōu)異，但RNN（尤其是LSTM和GRU）在建模時間序列或動態(tài)序列任務上仍具優(yōu)勢。將RNN的動態(tài)序列建模能力與Transformer的全局依賴能力結合，可能在某些任務上實現(xiàn)突破。如LSTM + Transformer架構作為一種混合深度模型，近年來在學術界和工業(yè)界都受到了極大的關注，該混合架構在序列分析任務上取得了絕佳表現(xiàn)，在文本生成、機器翻譯、時間序列預測等多個領域取得了突破性進展，架構如BiLSTM-Transformer[37]，以及本文第二部分提到的Transformer-XL和Universal Transformer，包括更早些時候如2019年提出的R-Transformer、Compressive Transformer等都是代表性案例，同時如RNN + Transformer架構在教學系統(tǒng)應用[38]、神經(jīng)網(wǎng)絡機器翻譯[39]、語音識別[40]等都取得了優(yōu)異表現(xiàn)。

3.3  GNN與Transformer的結合

圖神經(jīng)網(wǎng)絡（Graph Neural Networks， GNN）在處理圖結構數(shù)據(jù)（如社交網(wǎng)絡、知識圖譜、分子結構等）方面具有獨特優(yōu)勢，并逐漸發(fā)展出一些適合擴展到大模型的架構。Transformer可以擴展GNN的感知范圍，GNN可以幫助Transformer捕捉復雜的圖結構信息，并有效從相鄰節(jié)點聚合信息。如圖注意力網(wǎng)絡（Graph Attention Networks，GAT）引入了圖數(shù)據(jù)的注意力機制，能夠讓節(jié)點動態(tài)調整其鄰居的重要性，類似于Transformer的注意力機制，但適用于圖結構。隨著數(shù)據(jù)規(guī)模的擴大，GAT的改進模型，如Graphormer、圖變換網(wǎng)絡（Graph Transformer Network，GTN）不斷在處理大規(guī)模復雜圖數(shù)據(jù)上取得進展。

3.4  混合專家系統(tǒng)

混合專家模型（Mixture of Experts， MoE）指將多個子模型（專家模型）組合起來的架構，可以在處理復雜任務時根據(jù)輸入的不同特征動態(tài)選擇激活某些專家子模型。這種架構特別適合大規(guī)模分布式系統(tǒng)。如GShard和Switch Transformer模型，通過引入大量的專家子模型，根據(jù)輸入動態(tài)選擇活躍的專家，極大地提升了模型容量和性能。又如早期的稀疏門控專家混合模型（Sparsely-Gated Mixture of Experts），通過稀疏激活的方式來僅調用一部分專家網(wǎng)絡，減少計算資源的消耗。近期出現(xiàn)的混合專家統(tǒng)一轉換器（Mixture-of-Experts Universal Transformers，MoEUT）[41]允許統(tǒng)一轉換器（Universal Transformers，UT）以計算和內存高效的方式進行擴展，解決了UT基礎計算參數(shù)比問題。隨著計算資源和模型規(guī)模的增加，MoE的架構可能成為未來大模型架構的一個重要方向。

4  非Transformer架構的算法創(chuàng)新

自2022年以來，也出現(xiàn)了一些新的非Transformer的算法和架構，主要創(chuàng)新點在于對于注意力機制的替代，完全脫離了Transformer架構中最為核心的QKV及前饋神經(jīng)網(wǎng)絡（Feed-Forward Neural Network，F(xiàn)FN）的算法體系，同樣得到了學術界及產(chǎn)業(yè)界的關注，甚至在某些領域已經(jīng)取得了超過Transformer架構的性能表現(xiàn)。

4.1  回歸RNN架構的創(chuàng)新

RNN架構憑借強大的順序和上下文感知能力曾在各類任務上表現(xiàn)驚艷，但受到反向訓練瓶頸，因規(guī)模定律（Scaling Law）而跌落神壇，但如RWKV、Mamba、xLSTM等RNN衍生模型接連出現(xiàn)，在多項任務中取得了超過Transformer的優(yōu)異表現(xiàn)。

RWKV[42]模型將RNN的時間遞歸特性與Transformer的并行計算能力相結合。它采用類似RNN的結構，但在訓練和推理時具備Transformer級別的性能，能夠高效處理長序列數(shù)據(jù)。RWKV在開源社區(qū)受到熱烈關注。一些開發(fā)者開始在自然語言處理任務中應用RWKV，以驗證其在實際場景中的性能和效率。

狀態(tài)空間模型（State Space Model，SSM）[43]利用連續(xù)時間的線性動態(tài)系統(tǒng)，通過遞歸和卷積操作，高效建模長序列數(shù)據(jù)。S4模型是其中的代表，采用特殊的參數(shù)化方法，使得模型在處理長序列時既高效又穩(wěn)定。SSM和S4在語音識別、時間序列預測等任務中表現(xiàn)出色，受到學術界的重視。一些研究者開始將其應用于自然語言處理等領域。S5模型是對S4的改進，進一步優(yōu)化了狀態(tài)空間模型的計算效率和穩(wěn)定性。通過結合循環(huán)、卷積和連續(xù)時間模型的優(yōu)勢，S5能夠高效并行地處理超長序列數(shù)據(jù)。

Mamba架構[44]受益于SSM的思想，在S4的基礎上增加了選擇機制，因此Mamba架構有時也被稱為S6。它通過高效的自注意力機制、層次化特征提取和適應性計算來減少計算復雜度和內存占用，同時增強對輸入序列的理解能力。與傳統(tǒng)Transformer相比，Mamba在計算效率和性能上都有顯著提升，尤其在自然語言處理和計算機視覺任務中表現(xiàn)優(yōu)越。該架構已在學術界和產(chǎn)業(yè)界獲得關注并應用于多種復雜任務。

xLSTM架構[45]采用更復雜的門控結構，提高了對輸入、遺忘和輸出信息的管理能力，有效解決了RNN可能的梯度消失問題，同時它引入了選擇性記憶機制，允許模型在每個時間步選擇性地更新狀態(tài)，而并非強制更新所有狀態(tài)，同時該架構允許一定程度的并行計算，提升了處理長序列時的計算效率。與Transformer相比，xLSTM需要更少的計算資源，因此對于實時或資源受限的應用場景更為合適。

近期，Bengio團隊對傳統(tǒng)的兩種RNN架構LSTM和GRU進行了大刀闊斧的改造，從中誕生了兩個新模型：minLSTM和minGRU[46]，通過從其輸入、遺忘和更新門中刪除其隱藏的狀態(tài)依賴關系，將不再需要反向傳播計算，同時二者使用的參數(shù)比傳統(tǒng)版本大量減少，且在訓練期間能夠實現(xiàn)完全的并行化（長度為512序列速度提高了175倍，長度為4 096序列速度提高了1 300倍），實現(xiàn)了和Mamba類似的效率。

4.2  非注意力機制的創(chuàng)新

Hyena Hierarchy[47]是一種基于長距離卷積的序列建模方法，旨在替代Transformer中的注意力機制。它通過分層的卷積操作，能夠高效捕獲序列中的長程依賴關系，同時顯著降低計算復雜度和內存占用。Hyena在學術界引起了廣泛關注，被認為是可能替代Transformer的高效架構之一。目前，該模型正處于研究和實驗階段，實際應用還在探索中。

RetNet[48]引入了保留機制（Retention Mechanism），作為Transformer中自注意力機制的替代。該機制通過參數(shù)化的指數(shù)衰減函數(shù)，隱式地捕獲序列中的依賴關系，具有線性計算復雜度和更好的擴展性。RetNet由Meta AI提出，作為一種新興的序列建模架構，引起了學術界的興趣。目前，研究者們正對其在大規(guī)模語言模型中的性能進行評估。

MLP-Mixer[49]是谷歌公司在2021年提出的模型，但在2022年及以后仍有廣泛的研究和應用。該模型完全基于MLP，沒有使用卷積或自注意力機制。MLP-Mixer通過交替應用Token-Mixing和Channel-Mixing層，能夠在整個序列范圍內混合信息，捕捉長距離依賴關系，實現(xiàn)了與自注意力機制類似的全局信息交互。

ConvMixer[50]將卷積操作與MLP-Mixer架構相結合，提出了一種純卷積的模型，能夠在不使用自注意力機制的情況下達到與Transformer類似的性能。該模型通過對圖像進行分塊并應用深度卷積，實現(xiàn)高效的特征提取和融合。ConvMixer在圖像分類任務中取得了競爭性的結果，引起了計算機視覺領域的興趣。一些研究正在探索其在其他任務和領域中的應用潛力。

FNet[51]同樣由谷歌公司于2021年提出，使用傅里葉變換替代了自注意力機制。模型通過對輸入序列應用二維快速傅里葉變換，將時間域的信息轉換到頻域。在傅里葉變換后，應用非線性激活和前饋網(wǎng)絡，豐富特征表示。傅里葉變換具有全局性，可以快速捕捉序列中所有位置之間的關系，實現(xiàn)在頻域內的全局信息交互，從而替代自注意力機制。

總體來看，非Transformer架構之所以能夠實現(xiàn)與自注意力機制相同的功能，一是在于采用了不同算法實現(xiàn)了全局信息交互，這些模型通過傅里葉變換、長卷積、跨位置的MLP等方式，實現(xiàn)了在序列中全局范圍的信息混合和交互，能夠捕捉到長距離的依賴關系。二是能夠實現(xiàn)相較自注意力機制更為簡單的計算方式。相比自注意力機制的O（n2）時間復雜度，這些模型采用了O（n\logn）或O（n）的計算方式，提高了對長序列的處理效率。三是能夠有效捕捉長距離依賴關系。通過遞歸、卷積和頻域轉換等方法，這些模型能夠有效地對序列中遠距離元素之間的關系進行建模，與自注意力機制的核心功能相當。四是能夠實現(xiàn)模型參數(shù)的壓縮和優(yōu)化。上述模型采用參數(shù)共享、分層結構等方式，減少模型參數(shù)數(shù)量，降低計算和存儲成本。

4.3  多層感知機架構的創(chuàng)新

柯爾莫哥洛夫-阿諾爾德網(wǎng)絡（Kolmogorov-Arnold Network，KAN）[52]是基于柯爾莫哥洛夫-阿諾爾德超越定理的一種神經(jīng)網(wǎng)絡架構。該定理由蘇聯(lián)數(shù)學家安德雷·柯爾莫哥洛夫和他的學生弗拉基米爾·阿諾德提出，指出任何多元連續(xù)函數(shù)都可以表示為一系列一元連續(xù)函數(shù)的有限組合。這為神經(jīng)網(wǎng)絡的構建提供了理論基礎，使得可以通過一元函數(shù)的組合來逼近任意復雜的多元函數(shù)。根據(jù)萬能逼近定理，為了提升模型精度，需要不斷提升模型的寬度，如果需要做出一個無窮精度的模型，則需要訓練一個無窮寬度的網(wǎng)絡，這顯然是不可行的。KAN網(wǎng)絡使用一元函數(shù)的組合來逼近多元函數(shù)的方法，相當于提出了一個用有限大小網(wǎng)絡實現(xiàn)無窮精度模型的方式，如果說多層感知機是對大腦中的神經(jīng)元模仿，那么KAN更像是視網(wǎng)膜中神經(jīng)元的模仿，其節(jié)點和節(jié)點間鏈接與傳統(tǒng)多層感知機網(wǎng)絡正好顛倒了過來。目前為止，KAN網(wǎng)絡可以僅通過三層架構方式就擬合絕大部分復雜函數(shù)，但這只是理論數(shù)據(jù)，尚未有實驗數(shù)據(jù)就KAN與Transformer架構進行對比。

5  大語言模型架構未來發(fā)展淺析

預測下一個Token是否就能實現(xiàn)通用智能的論斷仍存在爭論，規(guī)模定律還能延續(xù)多久也難以判斷，但可以看到的是，“分久必合，合久必分”的態(tài)勢再次得到了印證，收斂至Transformer的算法架構再次呈現(xiàn)了發(fā)散態(tài)勢。

中短期來看，預訓練大模型路線將持續(xù)收獲規(guī)模定律（Scaling Law）紅利。正如薩頓所說，以算力提升模型水平仍有較大的探索空間。隨著RNN、Transformer等新老架構的不斷革新，更為精細經(jīng)濟的尺度定律將平衡好參數(shù)、數(shù)據(jù)及算力的關系，在保持性能的基礎上有效降低參數(shù)規(guī)模，從而降低計算成本。

長期來看，非Transformer的其他人工智能技術創(chuàng)新同樣更需要重視。人工智能在問題求解、知識推理和規(guī)劃、不確定知識和不確定推理、溝通、感知和行動等領域也同樣取得了重要進展。在大模型之前出現(xiàn)的眾多算法，如強化學習（2015年）、進化算法（2002年）、記憶增強網(wǎng)絡（2014年）、膠囊網(wǎng)絡（2017年）、元學習（2017年）、持續(xù)學習（2017年）、認知架構（1990年）、生物啟發(fā)計算模型（2015年）等概念也在各自領域發(fā)揮著關鍵作用。隨著Transformer算法的發(fā)散，能夠持續(xù)發(fā)揮規(guī)模定律的新架構有較大概率仍通過對已有架構的創(chuàng)新融合來實現(xiàn)，過于超前的架構難以形成學術與產(chǎn)業(yè)的可持續(xù)閉環(huán)，也無法與已有計算設施高效銜接，但同樣需要注意的是，不同于傳統(tǒng)數(shù)字芯片的模擬新計算范式或創(chuàng)新提速，光電計算、量子計算、生物計算等其他計算范式探索也將邁出堅實步伐。

6  結束語

基于Transformer架構的補丁式創(chuàng)新主要涌現(xiàn)于架構剛提出時期，近兩年則主要聚焦于注意力機制以及多層感知網(wǎng)絡的替換式創(chuàng)新，重新回歸改進后能夠并行計算的RNN架構也成為近期研究熱點。除架構創(chuàng)新外，在推理階段依托強化學習思維鏈增加推理能力，或通過提升模型精度等方式，為繼續(xù)收獲規(guī)模定律提出了短期新思路，但實現(xiàn)通用人工智能路徑萬千，未來其他尚未被工業(yè)界驗證的“隱形賽道”架構仍需更多理論研究和實踐探索。