近日，由中國通信學會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網(wǎng)絡算網(wǎng)一體創(chuàng)新發(fā)展論壇?”在成都圓滿落下帷幕。在本次論壇上，中國移動研究院、山東移動攜手產(chǎn)業(yè)合作伙伴，重磅發(fā)布了智算“芯合”異構混訓系統(tǒng)1.0和算力原生基礎軟件棧2.0成果。

成果發(fā)布活動現(xiàn)場

智算“芯合”異構混訓系統(tǒng)1.0：支撐AI大模型跨廠商、跨架構規(guī)模訓練

眾所周知，大模型訓練對算力有著極高需求，但不同類型的智算芯片難以聚合成資源集群，以支持更大規(guī)模模型的訓練。為此中國移動深耕智算異構混合并行訓練技術，推動不同智算芯片之間形成“合力”，構建智算融通生態(tài)。

針對異構混合訓練中任務分配不均衡、通信協(xié)議不兼容等關鍵問題，山東移動依托中移齊魯創(chuàng)新院研發(fā)團隊開展系統(tǒng)性攻關，100%自主研發(fā)實現(xiàn)3D并行非均勻切分功能，支持流水線并行、數(shù)據(jù)并行等主流并行模式的混合訓練，并基于山東智算科研資源池進行性能調優(yōu)和功能適配開發(fā)，實現(xiàn)百億大模型在英偉達、天數(shù)智芯、壁仞、海光等多家智算芯片上的混合訓練，訓練加速比達95%以上，能夠顯著降低人工智能大模型訓練成本，提高國產(chǎn)智算芯片訓練效率。

智算“芯合”異構混訓系統(tǒng)示意圖

智算“芯合”算力原生基礎軟件棧2.0：智算應用跨架構遷移一站式解決方案

隨著多樣化異構智算芯片不斷涌現(xiàn)，上層AI應用難以在智算芯片間靈活遷移、智算生態(tài)互不兼容等問題日益突出，為此中國移動聯(lián)合業(yè)界提出算力原生技術，推動智算應用實現(xiàn)跨架構運行，實現(xiàn)AI應用與智算芯片之間的解耦。

山東移動研發(fā)團隊積極參與算力原生技術攻關與應用，承擔高性能計算庫研發(fā)工作，自主完成算子優(yōu)化開發(fā)，性能已接近英偉達同類型算子，為智算“芯合”算力原生基礎軟件棧性能提升筑牢根基。當前，“芯合”算力原生基礎軟件棧2.0成果已實現(xiàn)泛AI應用在英偉達、華為等6家智算芯片間高效流轉遷移，轉換效率超95%，能夠為AI模型推理、AI應用開發(fā)等行業(yè)客戶提供智算應用跨架構遷移一站式解決方案。

智算“芯合”算力原生基礎軟件棧示意圖

未來，山東移動將圍繞智算領域加強科技創(chuàng)新，持續(xù)構建自主核心能力，加快原創(chuàng)技術攻關，以科技創(chuàng)新推動產(chǎn)業(yè)創(chuàng)新，支撐國產(chǎn)智算生態(tài)繁榮和產(chǎn)業(yè)升級，為我國智算算力生態(tài)體系建設貢獻力量。