隨著大模型技術(shù)的飛速發(fā)展，模型參數(shù)量急劇增長，模型能力持續(xù)增強，智能應(yīng)用百花齊放。基礎(chǔ)設(shè)施的可用性決定了大模型研發(fā)及服務(wù)的效率，大模型服務(wù)的可用性又決定了智能應(yīng)用的服務(wù)質(zhì)量。在此背景下，高質(zhì)量大模型基礎(chǔ)設(shè)施成為推動大模型應(yīng)用落地的關(guān)鍵要素。為充分發(fā)揮大模型基礎(chǔ)設(shè)施的賦能作用，更好支撐大模型發(fā)展，推動大模型應(yīng)用落地，特編制此研究報告。

1月8日，在大模型工程化成果發(fā)布會上，中國信息通信研究院（簡稱“中國信通院”）人工智能研究所發(fā)布《高質(zhì)量大模型基礎(chǔ)設(shè)施研究報告（2024年）》，由中國信通院人工智能研究所平臺與工程化部主任曹峰解讀。

報告聚焦大模型基礎(chǔ)設(shè)施的五大核心能力領(lǐng)域：計算、存儲、網(wǎng)絡(luò)、開發(fā)工具鏈和運維管理，系統(tǒng)梳理了大模型發(fā)展對基礎(chǔ)設(shè)施提出的新需求，剖析了基礎(chǔ)設(shè)施發(fā)展的關(guān)鍵技術(shù)，并提出體系化評價指標。同時，報告通過分析業(yè)界典型實踐案例，為企業(yè)建設(shè)高質(zhì)量大模型基礎(chǔ)設(shè)施提供了參考。

報告核心觀點

1. 計算資源分配粗放，高效異構(gòu)算力融合調(diào)度成為新需求。一是異構(gòu)資源統(tǒng)一納管。算力資源利舊帶來不同架構(gòu)AI芯片納管需求，大模型在科學、工業(yè)仿真等領(lǐng)域應(yīng)用加深帶來CPU和AI芯片納管需求。華為、移動、電信等廠商積極推動異構(gòu)智算管理平臺研發(fā)，通過統(tǒng)一編程接口、智能調(diào)度等技術(shù)，實現(xiàn)對多類異構(gòu)算力資源協(xié)同管理，提高算力利用率。二是智能化調(diào)度實現(xiàn)算力經(jīng)濟最大化。通過自動化監(jiān)控、預測、自適應(yīng)調(diào)度等技術(shù)優(yōu)化資源利用，采用“AI+歷史數(shù)據(jù)+實時數(shù)據(jù)”分析，實現(xiàn)算力需求精準預測，動態(tài)調(diào)度。

2. 海量數(shù)據(jù)處理低效，高性能大模型存儲技術(shù)成為新關(guān)鍵。一是長記憶存儲助力推理降本增效。通過高性能存儲的大范圍全局共享和持久化KV Cache能力，可實現(xiàn)高性價比推理加速，經(jīng)企業(yè)實踐驗證，推理吞吐提速可超50%，推理成本顯著下降。二是加速卡直通存儲實現(xiàn)數(shù)據(jù)直達。通過加速卡和存儲設(shè)備的數(shù)據(jù)一跳直達，可以消除CPU處理瓶頸，極大提升數(shù)據(jù)從存儲到加速卡的數(shù)據(jù)傳輸效率，經(jīng)企業(yè)實踐驗證，可實現(xiàn)TB/s級帶寬和億級IOPS，每個機架單元的存儲性能可達50GB/s以上，大幅提升集群可用度。三是數(shù)據(jù)編織技術(shù)提高全流程效率。通過數(shù)據(jù)編織技術(shù)，實現(xiàn)全局數(shù)據(jù)可視可管，跨域統(tǒng)一視圖。

3. 并行計算規(guī)模攀升，高通量大規(guī)模網(wǎng)絡(luò)技術(shù)成為新方案。一是負載均衡技術(shù)助力解決“算等網(wǎng)”問題。經(jīng)企業(yè)實踐驗證，逐流方案通過定制化的xCCL配合網(wǎng)絡(luò)路徑優(yōu)化，在保證網(wǎng)絡(luò)高可靠性的同時，網(wǎng)絡(luò)鏈路利用率可達90%以上。逐包方案通過自適應(yīng)路由等技術(shù)，可實現(xiàn)整網(wǎng)吞吐達到90%以上。二是參數(shù)面、存儲面/樣本面、業(yè)務(wù)面、帶外管理面網(wǎng)絡(luò)互聯(lián)有效提升大模型訓練效率。在訓前、訓中、訓后，多網(wǎng)絡(luò)面互聯(lián)解決訓練過程涉及的數(shù)據(jù)、模型、模型參數(shù)、檢查點等的寫入和導出問題。

4. 模型參數(shù)急劇增長，高效能大模型開發(fā)技術(shù)成為新解法。一是訓練加速技術(shù)涌現(xiàn)支撐大模型高效構(gòu)建。計算資源優(yōu)化方法通過混合精度計算等方式，減少計算和存儲需求，有效提升模型效率。計算優(yōu)化策略通過算子融合、梯度積累技術(shù)等實現(xiàn)模型執(zhí)行效率提升。二是推理技術(shù)提升模型推理效率。模型壓縮通過低比特量化、稀疏化等方式實現(xiàn)模型訓中、訓后的低損與高效壓縮。推理引擎技術(shù)進一步提升推理性能和兼容性。

5. 基礎(chǔ)設(shè)施故障率高，高容錯大模型運維技術(shù)成為新手段。一是訓前健康檢查保障作業(yè)零隱患運行。通過全棧隱患排查，降低作業(yè)啟動失敗頻率，避免計算資源損失。二是訓中故障可預測、可恢復。通過智能監(jiān)控告警技術(shù)，進行端側(cè)監(jiān)控、擁塞分析等輔助故障定位，基于既有運維知識庫，實現(xiàn)異常預測、RCA根因定位，有效提升集群穩(wěn)定運行時長。