飛象原創(chuàng)（魏德齡/文）“有時(shí)候，我感覺(jué)我們?cè)诖蛟煲患ぞ撸窆糯娜怂茉焓骰蚰举|(zhì)工具一樣。有時(shí)候，我感覺(jué)我們?cè)诮ㄔ煲凰疫h(yuǎn)洋輪船，幫助人們發(fā)現(xiàn)大洋彼岸的新大陸。”這段來(lái)自MindSpore高級(jí)工程師Loannis Lamprou的開(kāi)場(chǎng)白感性地訴說(shuō)了昇思的價(jià)值。
業(yè)界經(jīng)常把人工智能比喻為一塊人類正在開(kāi)拓的全新大陸，其中蘊(yùn)藏的巨大智算價(jià)值，有待通過(guò)高效的工具來(lái)予以挖掘利用，大陸上的算力又如同新一輪的全球物種交換，能夠?yàn)閹缀跛行袠I(yè)帶來(lái)升級(jí)。
而從剛剛落幕的昇思人工智能框架峰會(huì)上眾多嘉賓學(xué)者的口中不難發(fā)現(xiàn)，昇思正在成為開(kāi)拓AI新大陸的破浪者，幫助行業(yè)用戶挖掘最大算力價(jià)值的工具利器。
釋潛能，靠框架
“如何把幾千萬(wàn)人民幣的資源發(fā)揮到極致，依靠的就是AI大模型訓(xùn)練框架。”智譜AI CEO張鵬在現(xiàn)場(chǎng)分享2024年的感受時(shí)談到，怎樣把資源利用好的關(guān)鍵其實(shí)在于框架的不斷改進(jìn)。
對(duì)此，中國(guó)移動(dòng)研究院AI中心技術(shù)負(fù)責(zé)人王斌在業(yè)界大咖討論環(huán)節(jié)給出了下面一組關(guān)于昇思在實(shí)踐落地中的實(shí)踐結(jié)果數(shù)字。在中國(guó)移動(dòng)哈爾濱的全球運(yùn)營(yíng)商最大單體智算中心的項(xiàng)目中，移動(dòng)需要思考選擇什么樣的框架，才能駕馭好如此規(guī)模的計(jì)算裝置，從而發(fā)揮出最高性能。
經(jīng)過(guò)對(duì)比，昇思和NPU實(shí)現(xiàn)了更好的軟硬件協(xié)同，在同等集群和同等模型、同等超常配置下，昇思性能比Pytorch高15%左右。中國(guó)移動(dòng)基于昇思框架，在千億參數(shù)模型訓(xùn)練上，最長(zhǎng)實(shí)現(xiàn)了22天的穩(wěn)態(tài)訓(xùn)練。在集群性能中，通過(guò)選擇昇思+NPU，采用多維并行策略下，整個(gè)集群線性度達(dá)到98%，達(dá)到業(yè)界領(lǐng)先水平。
在中國(guó)電信的TeleChat2系列模型項(xiàng)目中，電信與昇思通過(guò)通力合作，同樣克服了如算子適配、性能優(yōu)化、精度對(duì)齊等諸多困難。“無(wú)論是從我們角度上的模型訓(xùn)練效果，還是昇思角度上的集群訓(xùn)練效率，都達(dá)到了很好的共贏結(jié)果。”中國(guó)電信人工智能研究院高級(jí)算法總監(jiān)宋雙永表示。
“在AI技術(shù)體系中，AI框架處于‘承上啟下’的位置，南向使能多樣化算力，北向孵化各類算法模型，是人工智能應(yīng)用創(chuàng)新的土壤和源泉。”中國(guó)人工智能學(xué)會(huì)副理事長(zhǎng)、中國(guó)工程院何友院士在大會(huì)演講中講解了AI框架的作用，并且表示昇思作為自主創(chuàng)新的AI框架，過(guò)去4年開(kāi)源社區(qū)影響力快速提升，已躋身全球主流AI框架第一梯隊(duì)。
經(jīng)歷5年發(fā)展，昇騰硬件伙伴從5家發(fā)展到60多家，伙伴基于昇騰開(kāi)發(fā)的硬件產(chǎn)品已經(jīng)近千款。軟件伙伴也從100多家發(fā)展到2000多家，聯(lián)合開(kāi)發(fā)的解決方案接近4000多個(gè)，廣泛應(yīng)用于互聯(lián)網(wǎng)、金融、政府、電信、能源、交通、公共事業(yè)等行業(yè)核心業(yè)務(wù)場(chǎng)景。
本次大會(huì)的成果發(fā)布環(huán)節(jié)中，昇思攜手18家生態(tài)伙伴重磅發(fā)布基于昇思AI框架的大模型原生開(kāi)發(fā)成果，面向金融、工業(yè)、互聯(lián)網(wǎng)、電信、能源、交通等重點(diǎn)行業(yè)推出豐富的AI應(yīng)用，加速千行萬(wàn)業(yè)數(shù)智化升級(jí)。
面對(duì)大模型技術(shù)的跨越式演進(jìn)，昇思也正在持續(xù)探索AI框架的未來(lái)和無(wú)限可能。
用昇思，能深思
隨著以O(shè)penAI發(fā)布的o1出現(xiàn)，計(jì)算過(guò)程正在從單任務(wù)、單模型走向多任務(wù)、多模型。深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相融合的方式，讓框架需要解決在多模型協(xié)同交互下的復(fù)雜編程問(wèn)題，推理和強(qiáng)化學(xué)習(xí)任務(wù)的混合部署和調(diào)度問(wèn)題，訓(xùn)推權(quán)重的在線轉(zhuǎn)換與并行策略的動(dòng)態(tài)調(diào)整問(wèn)題。
另外，大模型的參數(shù)量、序列長(zhǎng)度和模態(tài)結(jié)構(gòu)繼續(xù)以指數(shù)級(jí)速度演進(jìn)。對(duì)此框架要解決的問(wèn)題是異構(gòu)模型帶來(lái)的計(jì)算不均衡問(wèn)題，超長(zhǎng)序列帶來(lái)的內(nèi)存爆炸問(wèn)題和模型并行出現(xiàn)的流水線空跑問(wèn)題。
“昇思在設(shè)計(jì)之初就構(gòu)筑了框架原生分布式并行能力，最大化實(shí)現(xiàn)算法泛化性，以應(yīng)對(duì)快速迭代的模型技術(shù)。”華為ICT戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁彭紅華表示，昇思持續(xù)探索前沿分布式技術(shù)，以更高效的AI框架加速模型創(chuàng)新。
對(duì)此，昇思圍繞開(kāi)發(fā)者編程體驗(yàn)、大模型訓(xùn)練及AI框架基礎(chǔ)能力，持續(xù)升級(jí)框架架構(gòu)：
首先在開(kāi)發(fā)者編程體驗(yàn)方面，昇思兼容業(yè)界主流生態(tài)，提供一致開(kāi)發(fā)體驗(yàn)，持續(xù)降低遷移學(xué)習(xí)成本。
其次在大模型訓(xùn)練方面，昇思提供更豐富的分布式并行策略，結(jié)合自動(dòng)搜索仿真調(diào)優(yōu)，為大模型訓(xùn)練節(jié)約端到端成本。
最后，面向最新類o1模型帶來(lái)的技術(shù)挑戰(zhàn)，完善多模型多任務(wù)調(diào)度、訓(xùn)推無(wú)縫轉(zhuǎn)換能力，強(qiáng)化學(xué)習(xí)親和架構(gòu)，加速類o1模型演進(jìn)升級(jí)；面向AI4S場(chǎng)景，昇思持續(xù)升級(jí)底層函數(shù)式編程體驗(yàn)，并打造高性能AI4S使能套件，聯(lián)合行業(yè)用戶、科研機(jī)構(gòu)、學(xué)術(shù)專家共同加速科研創(chuàng)新，推動(dòng)科技進(jìn)步。
“今天我可以很自豪地說(shuō)，昇思MindSpore已經(jīng)成為大模型時(shí)代AI框架的新選擇！用昇思，更能深思。”昇思MindSpore開(kāi)源社區(qū)理事長(zhǎng)丁誠(chéng)的這句話，后者可謂表達(dá)了在AI深度思考能力上的持續(xù)創(chuàng)新，前者則無(wú)疑體現(xiàn)了如今火熱的社區(qū)人氣。
集眾智，匯眾力
“我們始終堅(jiān)信每一個(gè)個(gè)體之力如同滄海一粟，唯有集眾智、匯眾力，才能將昇思推向未來(lái)的新高度。”丁誠(chéng)專門(mén)在演講最后強(qiáng)調(diào)了共促框架生態(tài)繁榮的意義。
昇思賦能開(kāi)發(fā)者激發(fā)學(xué)術(shù)與技術(shù)創(chuàng)新，開(kāi)放治理，共建開(kāi)源框架繁榮生態(tài)。昇思社區(qū)專門(mén)面向?qū)W習(xí)階段的開(kāi)發(fā)者，提供30多個(gè)主題課程，600多場(chǎng)線上線下的專題活動(dòng)，幫助每一個(gè)開(kāi)發(fā)者掌握AI技術(shù)知識(shí)。在實(shí)踐階段，社區(qū)已經(jīng)發(fā)布了1100多個(gè)實(shí)習(xí)任務(wù)，舉辦30多場(chǎng)大賽，幫助開(kāi)發(fā)者在實(shí)踐中成長(zhǎng)開(kāi)發(fā)技能。在充分掌握AI技能以后，社區(qū)將提供專項(xiàng)學(xué)術(shù)論文專項(xiàng)基金，以社區(qū)項(xiàng)目制支持的方式，讓開(kāi)發(fā)者更好地獲得創(chuàng)新資源和成果激勵(lì)。
開(kāi)源四年以來(lái)，昇思MindSpore在社區(qū)活躍度方面整體取得了近百倍的增長(zhǎng)。社區(qū)貢獻(xiàn)者從200增長(zhǎng)到了3.7萬(wàn)，累積代碼提交突破10萬(wàn)，下載量從10萬(wàn)增長(zhǎng)到1100萬(wàn)，這些用戶來(lái)自全球130多個(gè)國(guó)家和地區(qū)，遍布2400多座城市。昇思還與200多個(gè)科研團(tuán)隊(duì)在各AI領(lǐng)域進(jìn)行深入合作，累計(jì)發(fā)表頂會(huì)論文1700多篇，位居中國(guó)第一，全球第二。
在社區(qū)力量的支持下，昇思聯(lián)合各界和累積原生適配了50多個(gè)大模型，并且通過(guò)套件的能力封裝，可以實(shí)現(xiàn)開(kāi)發(fā)、訓(xùn)練、微調(diào)、部署的全流程開(kāi)箱即用。同時(shí)有1700多名社區(qū)伙伴采用昇思框架，累積孵化了超過(guò)2000個(gè)解決方案，在互聯(lián)網(wǎng)、金融、能源、交通等關(guān)鍵行業(yè)獲得廣泛應(yīng)用。
中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院預(yù)測(cè)，中國(guó)AI框架2024年新增市場(chǎng)昇思份額將達(dá)30%。這標(biāo)志著昇思MindSpore成為大模型時(shí)代AI框架的新選擇，作為中國(guó)乃至世界的框架“新勢(shì)力”，引領(lǐng)技術(shù)創(chuàng)新，加速全面智能化時(shí)代到來(lái)。
彭紅華在致辭中表示，華為一直堅(jiān)持打造開(kāi)放的計(jì)算產(chǎn)業(yè)生態(tài)，堅(jiān)持根技術(shù)創(chuàng)新，與產(chǎn)業(yè)界共同打造堅(jiān)實(shí)的、可持續(xù)的計(jì)算產(chǎn)業(yè)生態(tài)。人工智能框架是AI時(shí)代的操作系統(tǒng)與軟件底座，領(lǐng)先的AI框架需要同時(shí)具備“更高效、更敏捷、更開(kāi)放”的技術(shù)與生態(tài)能力，未來(lái)，華為將持續(xù)投入昇思MindSpore，堅(jiān)持以開(kāi)源的方式，向業(yè)界開(kāi)放技術(shù)創(chuàng)新成果，攜手產(chǎn)業(yè)界客戶、伙伴和廣大開(kāi)發(fā)者共促中國(guó)人工智能框架生態(tài)健康、高速發(fā)展。
正如古人用石器開(kāi)辟文明，航海家乘風(fēng)破浪發(fā)現(xiàn)新大陸，昇思作為時(shí)代的“遠(yuǎn)洋輪船”，正在將AI技術(shù)帶向廣闊的新世界。這是AI框架的挖掘算力潛能的力量，也是不斷向前的探索精神與眾智聚力所形成的時(shí)代合力。框架“新勢(shì)力”昇思正與全球開(kāi)發(fā)者、科研機(jī)構(gòu)、行業(yè)伙伴一道，開(kāi)拓更深遠(yuǎn)的科技大陸，共享AI的無(wú)限可能。
