11/01/2023，光纖在線訊，隨著生成式 AI 的熱潮席卷全球，用于訓練生成式 AI 的大型高性能網(wǎng)絡基礎設施開始受到客戶和行業(yè)的關注。這不僅僅是因為巨大的市場潛力，更因為生成式 AI 應用對當前網(wǎng)絡的技術與產(chǎn)品帶來的巨大挑戰(zhàn)。

全新 NVIDIA Spectrum-X 網(wǎng)絡平臺構筑阿里生成式 AI 云底座


由于生成式 AI 訓練任務的特性，其對網(wǎng)絡的要求與傳統(tǒng)的 DC 網(wǎng)絡在多方面存在差異。主要體現(xiàn)在：

性能至上，對于網(wǎng)絡帶寬及通信效率的要求高，需要實現(xiàn)從 GPU 到網(wǎng)絡，再到其它 GPU 的端到端帶寬平衡，從而達到最大化集群訓練性能的目的。

AI 網(wǎng)絡流量并發(fā)性高和突發(fā)性流量多，對于數(shù)據(jù)的完整性要求極高，依賴于 RDMA 轉發(fā)保證帶寬最大化和數(shù)據(jù)的完整性，降低對 CPU 資源消耗。

模型并行加數(shù)據(jù)并行共存的通信機制導致對于網(wǎng)絡時延敏感，網(wǎng)絡中的任何額外的時延都可能影響數(shù)以百計的 GPU 之間的通信效率。

需要無收斂的網(wǎng)絡拓撲保證各種通信場景下的網(wǎng)絡帶寬沒有瓶頸。

由于傳統(tǒng)的網(wǎng)絡解決方案無法滿足這些需求，NVIDIA 依靠多年在 AI 和高速通信鄰域的積累，推出了 Spectrum-X 以太網(wǎng)解決方案，以推動以太網(wǎng)技術可以更好的適配生成式 AI 基礎設施的要求。

NVIDIA  Spectrum?-X 是首個專為基于以太網(wǎng)的 AI 云提高性能和效率而設計的平臺。NVIDIA Spectrum-X 依托于 NVIDIA Spectrum?-4 以太網(wǎng)交換機和 NVIDIA BlueField-3 DPU 的緊密結合，專為 AI 工作負載構建了端到端的創(chuàng)新網(wǎng)絡平臺，大幅提升了以太網(wǎng)在大規(guī)模、可擴展環(huán)境中的通信效率，并在多租戶環(huán)境中實現(xiàn)了一致的、可預測的性能，提高了生成式 AI 云的性能和能效。NVIDIA Spectrum-X 網(wǎng)絡平臺還包括 Cumulus Linux、NetQ 、Air 和 DOCA 加速軟件等，以及 NVIDIA 的 LinkX 系列線纜和光模塊產(chǎn)品，共同助力該網(wǎng)絡平臺實現(xiàn)絕佳的性能。

NVIDIA Spectrum-X 網(wǎng)絡平臺集成了 NVIDIA Spectrum-4 以太網(wǎng)交換機、NVIDIA BlueField-3 DPU、NVIDIA LinkX 線纜及加速軟件和 SDK，通過無損以太網(wǎng)的端到端動態(tài)路由、基于可編程擁塞控制的性能隔離技術等先進的 RoCE 擴展功能，構建了一個專為 AI 云而優(yōu)化和加速的端到端 高性能 400GbE 以太網(wǎng)絡。測試顯示，與傳統(tǒng)以太網(wǎng)相比，采用 NVIDIA Spectrum-X 網(wǎng)絡平臺可將大規(guī)模 AI 工作負載的性能提高到 1.7 倍，并將網(wǎng)絡的有效通信帶寬提升到 1.6 倍。

NVIDIA Spectrum-X 網(wǎng)絡平臺，實現(xiàn)了 GPU 到 GPU 直接的端到端加速和優(yōu)化，大幅減少了大規(guī)模生成式 AI 模型的運行時間，提升了 GPU 的效率，優(yōu)化了 AI 平臺的總體擁有成本（TCO）和降低了基礎設施的整體功耗。同時，它還具有高度的通用性，有力的支撐了各種生成式 AI 應用，由于它也是標準的以太網(wǎng)，實現(xiàn)了與已有的基于以太網(wǎng)堆棧的云架構和云服務互通。

阿里云作為全球領先的云供應商，擁有巨型的通用計算平臺。同時，阿里云也持續(xù)向加速計算領域擴張，建成并持續(xù)擴張以 “PAI 靈駿” 算力服務為代表大型的 GPU 集群。阿里云基礎設施網(wǎng)絡團隊從 2017 年開始構建端網(wǎng)融合的可預期高性能 RDMA 網(wǎng)絡架構，過去幾年已經(jīng)在高性能存儲領域實現(xiàn)了大規(guī)模部署，目前正在大規(guī)模 AI 計算領域持續(xù)創(chuàng)新迭代和規(guī)模部署，以適配 AI 計算對高性能網(wǎng)絡的訴求。阿里云也充分認識到技術創(chuàng)新對以太網(wǎng)方案持續(xù)支持高性能網(wǎng)絡，尤其是生成式 AI 基礎設施的重要性。為此，阿里云聯(lián)合 NVIDIA 對 Spectrum-X 解決方案進行測試，以評估新技術對高性能網(wǎng)絡的適應能力。

測試的主要內容和結果
阿里云測試環(huán)境配置

測試環(huán)境使用了 2 臺 Spine 交換機，4 臺 ToR 交換機，16 臺 HGX GPU 服務器并配置了 NVIDIA BlueField-3 DPU，基于NVIDIA 51.2T Spectrum-4 交換芯片的 SN5600，以太網(wǎng)交換機，支持 128*400G 或者 64*800G 端口。每臺 GPU 服務器配置 8 張 BlueField-3 DPU，每 4 臺 GPU 服務器為一組連接到一臺 ToR 交換機，共 4 組連接到 4 臺 ToR 交換機。ToR 交換機通過 200G 網(wǎng)絡連接到 BlueField-3 DPU，4 臺 ToR 交換機通過 2 臺 Spine 交換機連接在一起，構成無阻塞胖樹網(wǎng)絡。 



主要的測試內容

這些測試由多個級別的工作負載組成，從簡單到復雜:
RDMA 基準性能測試，覆蓋帶寬和延遲。
孤立場景下的 All to All 和 All Reduce 集合通信測試，專注于 NCCL 性能基準。
在共享資源和有背景噪聲環(huán)境下的性能測試。
故障場景的測試。



測試結果顯示，由于使用了端到端的逐包負載均衡優(yōu)化技術（Adaptive Routing）和零配置 RoCE 擁塞控制（ZTR CC）使得網(wǎng)絡利用率顯著提升，并顯著減少由于網(wǎng)絡擁塞和 In-Cast 問題帶來的時延和抖動。網(wǎng)絡帶寬利用率在各種測試場景下均可超過 90%。這種逐包負載均衡技術也可以對多種故障情況（本端和遠端）做出響應，合理的利用網(wǎng)絡內的帶寬資源。在真實訓練任務的測試過程中，Spectrum-X 可以降低 20% 以上的訓練時間。在獲得這一切收益的同時，網(wǎng)絡的配置工作量大大降低，運維人員不再需要進行復雜的配置和頻繁的調優(yōu)工作。

這些測試結果表明 NVIDIA Spectrum-X 加速網(wǎng)絡平臺的突破性技術可大幅提升大規(guī)模生成式 AI 工作負載的性能，并大幅縮短生成式 AI 模型的運行時間。通過采用 NVIDIA Spectrum-X 網(wǎng)絡平臺，客戶可進一步為千行百業(yè)的客戶提供極具性能和成本優(yōu)勢的生成式 AI 云服務，將 AI 通用大模型和行業(yè)大模型賦能和融合各種應用場景。NVIDIA 和阿里云的開發(fā)人員將基于 NVIDIA Spectrum-X 網(wǎng)絡平臺的加速軟件和 SDK 進一步在虛擬化、定制化可編程擁塞控制、遙測、快速故障響應等方面展開合作，推動這一新解決方案的進一步發(fā)展和應用。    

針對這一聯(lián)合測試，阿里云基礎設施網(wǎng)絡研發(fā)事業(yè)部總經(jīng)理蔡德忠表示：“高性能網(wǎng)絡技術是 AI 計算 Scaling Law 的關鍵所在，這個領域需要持續(xù)不斷的創(chuàng)新迭代，阿里云始終堅持網(wǎng)絡的開放性，也是網(wǎng)絡開源生態(tài)的領導者和積極貢獻者，阿里云與 NVIDIA 在 AI 計算和高性能存儲領域合作多年，將持續(xù)探索創(chuàng)新基于 Open Ethernet 的高性能網(wǎng)絡方案，助力 AI 計算集群的大規(guī)模高效擴展�！�

NVIDIA 網(wǎng)絡高級副總裁 Gilad Shainer 表示：“生成式 AI（Generative AI）是面向下一代業(yè)務需求的典型代表，為了支撐成千上萬的用戶的需求，生成式 AI 云需要最先進及最可靠的網(wǎng)絡基礎架構滿足各種 AI 業(yè)務的平滑增長。阿里云和 NVIDIA 在 Spectrum-X 以太網(wǎng)平臺上的策略合作，可以充分利用 Spectrum-X 的先進路由技術和云上業(yè)務性能隔離技術，使阿里云及其廣大用戶可以盡情享受生成式 AI 的服務。”