12/12/2024，光纖在線(xiàn)訊，近日，在集團(tuán)公司指導(dǎo)下，中國(guó)聯(lián)通研究院與中國(guó)聯(lián)通浙江分公司、聯(lián)通服裝制造軍團(tuán)協(xié)同攻關(guān)，針對(duì)AI敏感數(shù)據(jù)的本地存儲(chǔ)異地訓(xùn)練需求提出了創(chuàng)新的業(yè)務(wù)模式，并成功在杭州與金華兩地間實(shí)施了業(yè)界首次30TB樣本數(shù)據(jù)的跨200公里存算分離拉遠(yuǎn)訓(xùn)練，經(jīng)過(guò)實(shí)際測(cè)算，訓(xùn)練效率高達(dá)97%。通過(guò)本次測(cè)試充分驗(yàn)證了存算分離技術(shù)的安全性、可行性和高效性，為未來(lái)AI技術(shù)的發(fā)展提供了新的思路和方向。

      存算分離技術(shù)是指將存儲(chǔ)數(shù)據(jù)的倉(cāng)庫(kù)和對(duì)數(shù)據(jù)進(jìn)行計(jì)算的加工廠(chǎng)獨(dú)立開(kāi)來(lái)，在訓(xùn)練時(shí)直接將數(shù)據(jù)從遠(yuǎn)端存儲(chǔ)設(shè)備中拉過(guò)來(lái)進(jìn)行計(jì)算，而不需要先存儲(chǔ)到本地的磁盤(pán)再進(jìn)行處理，可以有效保證用戶(hù)數(shù)據(jù)的安全性和一致性。

      當(dāng)前，AI智算需求旺盛，海量樣本數(shù)據(jù)處理過(guò)程中存在兩大挑戰(zhàn)：一是數(shù)據(jù)多存儲(chǔ)于企業(yè)端，部分安全性要求較高的數(shù)據(jù)不便外遷；二是樣本數(shù)據(jù)量激增，AI智算中心在具備強(qiáng)大算力的同時(shí)，還需額外配備存儲(chǔ)資源，顯著提升了建設(shè)成本。在此背景下，業(yè)內(nèi)對(duì)實(shí)現(xiàn)“存算分離拉遠(yuǎn)、樣本隨訓(xùn)隨拉”需求迫切。

      作為“數(shù)字信息運(yùn)營(yíng)服務(wù)國(guó)家隊(duì)，數(shù)字技術(shù)融合創(chuàng)新排頭兵”，中國(guó)聯(lián)通針對(duì)該需求積極開(kāi)展算力智聯(lián)網(wǎng)體系架構(gòu)、關(guān)鍵技術(shù)和相關(guān)場(chǎng)景研究，提出了存算分離的創(chuàng)新服務(wù)模式，目前已經(jīng)在ITU推進(jìn)智算領(lǐng)域相關(guān)標(biāo)準(zhǔn)布局工作，在IETF推進(jìn)廣域無(wú)損需求和技術(shù)框架研究，同時(shí)在CCSA制定了面向智算承載的廣域網(wǎng)能力增強(qiáng)系列標(biāo)準(zhǔn)，聯(lián)合產(chǎn)業(yè)合作伙伴共同推進(jìn)智算互聯(lián)、廣域無(wú)損等核心技術(shù)攻關(guān)。在長(zhǎng)距RDMA廣域無(wú)損技術(shù)攻關(guān)方面，實(shí)現(xiàn)百公里到千公里覆蓋范圍的RDMA遠(yuǎn)距離、高吞吐無(wú)損傳輸；在精準(zhǔn)流控技術(shù)攻關(guān)方面，實(shí)現(xiàn)租戶(hù)級(jí)流控，保證租戶(hù)間業(yè)務(wù)隔離，計(jì)算效率不損失；在存儲(chǔ)讀寫(xiě)性能優(yōu)化方面，通過(guò)采用多線(xiàn)程處理、增強(qiáng)并發(fā)能力以及系統(tǒng)級(jí)的優(yōu)化等措施，將分布式存儲(chǔ)文件系統(tǒng)在拉遠(yuǎn)場(chǎng)景中的文件讀/寫(xiě)性能提升超過(guò)5倍，從而滿(mǎn)足了NLP模型和CV模型在拉遠(yuǎn)訓(xùn)練中的需求。

      在聯(lián)通服裝制造軍團(tuán)“衣瞳行業(yè)模型”訓(xùn)練場(chǎng)景中，原始數(shù)據(jù)主要基于服裝多模態(tài)數(shù)據(jù)，服裝生產(chǎn)廠(chǎng)家使用“衣瞳行業(yè)模型”可實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，但是很多服裝廠(chǎng)家的服裝數(shù)據(jù)需要產(chǎn)權(quán)保護(hù)不愿公開(kāi)，而基于存算分離的創(chuàng)新訓(xùn)練模式，剛好完美契合了用戶(hù)需求。本次存算拉遠(yuǎn)測(cè)試驗(yàn)證的主要特色包括：

      
      第一，以跨地市AI大模型訓(xùn)練能力創(chuàng)新重構(gòu)智算訓(xùn)練模式。傳統(tǒng)的智算集中訓(xùn)練模式，需要用戶(hù)將樣本上傳到智算中心進(jìn)行落盤(pán)訓(xùn)練，但是部分用戶(hù)對(duì)隱私樣本落盤(pán)存在安全顧慮。浙江聯(lián)通通過(guò)IP廣域無(wú)損方案，實(shí)現(xiàn)了杭州存、金華訓(xùn)的“數(shù)據(jù)不落盤(pán)”拉遠(yuǎn)訓(xùn)練，以算網(wǎng)協(xié)同的能力，為企業(yè)用戶(hù)隱私樣本訓(xùn)練探索出了一條新路。

      第二，樣本數(shù)據(jù)總量達(dá)30TB，傳輸距離超200公里，計(jì)算拉遠(yuǎn)效率大于97%。通過(guò)聯(lián)通服裝制造軍團(tuán)“衣瞳行業(yè)模型”的AI訓(xùn)練存算分離現(xiàn)網(wǎng)測(cè)試。充分驗(yàn)證了針對(duì)AI訓(xùn)練業(yè)務(wù)存算拉遠(yuǎn)的技術(shù)可行性，未來(lái)有相關(guān)數(shù)據(jù)敏感業(yè)務(wù)需求的用戶(hù)可通過(guò)運(yùn)營(yíng)商算力服務(wù)，完成隱私樣本不出園區(qū)的拉遠(yuǎn)訓(xùn)練，實(shí)現(xiàn)成本與安全的最佳平衡。

      
      中國(guó)聯(lián)通研究院副院長(zhǎng)、首席科學(xué)家唐雄燕介紹，存算分離能適應(yīng)未來(lái)智算高效化與專(zhuān)業(yè)化需求，增強(qiáng)安全性與數(shù)據(jù)保護(hù)，為技術(shù)創(chuàng)新與產(chǎn)業(yè)升級(jí)提供有力支持。不僅能夠優(yōu)化資源利用、提高系統(tǒng)性能，還能促進(jìn)技術(shù)創(chuàng)新與可持續(xù)發(fā)展，是智算產(chǎn)業(yè)未來(lái)發(fā)展的重要趨勢(shì)。

      浙江聯(lián)通網(wǎng)絡(luò)部（科技創(chuàng)新部）總經(jīng)理湯瀅琪表示，浙江聯(lián)通將加速推進(jìn)數(shù)字融合，持續(xù)助力傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，特別是打造“高通量、高性能、高智能”的算力智聯(lián)網(wǎng)AINet，積極探索彈性帶寬、任務(wù)式服務(wù)、數(shù)據(jù)快遞、無(wú)損傳輸?shù)葎?chuàng)新服務(wù)模式。

      面向未來(lái)，中國(guó)聯(lián)通將持續(xù)深耕算網(wǎng)技術(shù)創(chuàng)新，通過(guò)算力智聯(lián)網(wǎng)研發(fā)建設(shè)，推進(jìn)網(wǎng)絡(luò)向新、技術(shù)向新、服務(wù)向新，持續(xù)提供領(lǐng)先的聯(lián)網(wǎng)通信和算網(wǎng)數(shù)智產(chǎn)品，加速推動(dòng)以算力和數(shù)據(jù)為核心的新質(zhì)生產(chǎn)力發(fā)展，賦能千行百業(yè)的數(shù)字化轉(zhuǎn)型升級(jí)。

編輯：楊揚(yáng) 李珮雯
監(jiān)制：夏競(jìng)輝
來(lái)源：人民郵電報(bào)