摘要: 在人工智能大模型迅猛發展的當下，大模型參數和計算量呈指數級增長，大規模深度學習模型的訓練離不開多硬件設備的分布式計算。在鯤鵬昇騰科教創新
在人工智能大模型迅猛發展的當下，大模型參數和計算量呈指數級增長，大規模深度學習模型的訓練離不開多硬件設備的分布式計算。在鯤鵬昇騰科教創新卓越中心的算力支持下，北京大學計算機學院崔斌教授團隊創新研發了面向大模型的高效分布式訓練框架，大幅提升了大規模分布式訓練模型的效率。
針對模型訓練任務的多樣性和復雜性所帶來的負載不均問題，研究團隊創新設計出了細粒度模型切分與并行策略搜索算法。此方法依托昇騰強大的計算資源管理能力，及算子優化技術對訓練策略的適配，完成了統一訓練接口到智能切分策略的全過程。首先通過總結多種大模型訓練的共同特點，設計出統一的接口來啟動和管理不同任務負載的模型訓練任務，對訓練時所花費的算力、內存、網絡通信等進行精確地計算。接著基于這些數據細致拆解龐大且復雜的大模型，根據不同模塊分配不同的訓練策略以適應各模塊的負載差異，實現訓練任務的高效并行。目前，該方案已實現比分片數據并行、3D 并行等全局模版化并行方案提升15% 的訓練效率。
除此之外，團隊還解決了分布式計算所涉及的硬件間通信傳輸效率問題。結合昇騰高速互聯總線技術的高帶寬低時延優勢，系統會很根據不同的通信需求，對硬件設備進行分組以優化組隊時間，運用計算通信重疊技術讓“計算”和“通信”同步進行，提高訓練流水線的效率，并在模型切分的決策時考慮計算通信重疊的性能影響，綜合多方面因素選取最適合的分布式運行方案，最終實現數據傳輸效率和資源利用率的最大化。
該研究成果不僅為模型大規模訓練提供了高效的解決方案，更展現了自主算力在分布式計算領域的巨大潛力。目前，研究成果已在國際頂級學術會議NeurIPS、ICLR、AAAI發表3篇論文，為國內AI技術突破提供了理論支撐與實踐范式。
北京大學 鯤鵬昇騰科教創新卓越中心的這一突破彰顯了校企協同創新的顯著成效。未來，中心將持續加速AI前沿技術在自主計算平臺的深度落地，為我國人工智能產業的自主化突破提供強勁動能。
新教育 · 新觀察 · 新視點
