5/16/2025,光纖在線訊,隨著元宇宙、生成式AI、超高清視頻等技術的爆發(fā)式增長,傳統(tǒng)數(shù)據(jù)中心正面臨帶寬密度、能耗效率和傳輸時延的"三重瓶頸"。在此背景下,光電合封(Co-Packaged Optics,CPO)技術正引發(fā)系統(tǒng)架構的范式變革——通過將光引擎與邏輯芯片深度集成,重構"光進銅退"的產(chǎn)業(yè)演進路徑。騰訊提前布局CPO技術攻關,不僅著眼于解決當前200G/400G高速互連的物理極限,更致力于構建支撐未來數(shù)據(jù)中心互聯(lián)的底層技術基座,推動數(shù)字基礎設施向更高能效、更強擴展性的方向演進。
1、CPO技術及應用解析
圖 1. 可插拔方案、OBO方案、CPO方案 對比
在當今的超大規(guī)模數(shù)據(jù)中心中,AI 算力集群對于互聯(lián)網(wǎng)絡提出了大規(guī)模、高吞吐、高可靠性等嚴苛要求。與此同時,AI 系統(tǒng)架構也處于持續(xù)的變革之中,從單機 8 卡到超節(jié)點,Cable Tray、中板線卡、正交插卡等方案相繼被提出。在傳統(tǒng)的互連方案里,信號從芯片傳輸?shù)?nbsp;IO 接口需要歷經(jīng)“封裝 - 過孔 - PCB/cable - 連接器” 的復雜信道。隨著信號速率的不斷提升,插損和反射的影響愈發(fā)顯著。業(yè)界預計當基頻超過 100GHz 時,傳統(tǒng)方案將難以繼續(xù)適用。若要持續(xù)擴大集群規(guī)模,傳統(tǒng)方案架構不可避免地會面臨銅介質(zhì)傳輸距離受限、系統(tǒng)能效低下以及鏈路可靠性低等諸多難題。
光電合封 CPO(Co-Packaged Optics) 是將傳統(tǒng)外部的光電轉換器件變?yōu)楣韫庖媾c邏輯芯片集成在同一 基板(Substrate)上,憑借高度集成的光電協(xié)同設計,CPO 成為突破傳統(tǒng)方案瓶頸的關鍵技術,具有以下顯著優(yōu)勢:
●
支持更高速率、降低功耗
合封技術極大地縮短了芯片到光電轉換模組的信號傳輸距離。這一改變不僅能夠大幅降低信號傳輸過程中的插入損耗,從而為支持更高傳輸速率創(chuàng)造條件;而且合封之后,對于互聯(lián)電接口 SerDes 驅動能力的要求也隨之降低,進而有效降低了所需功耗。
●
提升可靠性
相較于傳統(tǒng)光模塊,CPO 中的光引擎集成度更高、可靠性更強。這種高度集成和高可靠性的特點,直接提升了系統(tǒng)整體的可靠性,為數(shù)據(jù)中心的穩(wěn)定運行提供了有力保障。
●
提升傳輸距離與集群規(guī)模
CPO 芯片直接輸出光信號,其接口帶寬更大。相較于電信號,光信號可以傳輸更遠距離。這一特性使得 CPO 技術能夠支撐更大規(guī)模的 AI 算力集群互聯(lián),滿足超大規(guī)模數(shù)據(jù)中心不斷發(fā)展的需求。
2、騰訊CPO交換機開發(fā)實踐
在數(shù)字經(jīng)濟浪潮席卷全球的時代背景下,技術創(chuàng)新始終是驅動產(chǎn)業(yè)變革的核心引擎。騰訊網(wǎng)絡團隊以前瞻性戰(zhàn)略眼光,率先布局CPO這一前沿技術領域。早在2022年,團隊便啟動與全球領先芯片廠商博通公司的戰(zhàn)略合作,共同推進CPO交換機的研發(fā)進程。經(jīng)過持續(xù)攻堅,當年即推出并點亮業(yè)界首款25.6T CPO數(shù)據(jù)中心交換機——Gemini,標志著該技術從實驗室走向產(chǎn)業(yè)化的重要里程碑。
作為顛覆性創(chuàng)新技術,CPO雖具備顯著的性能優(yōu)勢,但其現(xiàn)網(wǎng)應用仍面臨諸多技術挑戰(zhàn)。為此,騰訊技術團隊對CPO產(chǎn)品認真打磨優(yōu)化,通過系統(tǒng)級架構優(yōu)化突破性能瓶頸,依托實驗室環(huán)境完成嚴苛的性能測試,充分驗證了CPO技術在現(xiàn)網(wǎng)部署的可行性,更為后續(xù)規(guī)模化應用奠定堅實基礎?;谇捌诔浞值尿炞C積累,團隊近期啟動了CPO技術的現(xiàn)網(wǎng)規(guī)?;渴稹?
圖2. 騰訊 Gemini CPO 交換機
Gemini 交換機集成 12.8T 光引擎(OE),提供 16 個 800G 光接口,另外 12.8T 交換容量通過面板上的 32 個 QSFP112 可插拔接口提供。與同樣具備 25.6T 交換容量、128 個可插拔接口的 4U 高度傳統(tǒng)交換機相比,Gemini 的體積僅為傳統(tǒng)交換機的一半,同時功耗降低了 26%、傳輸延遲也降低了 20%。
之前業(yè)界并無數(shù)據(jù)中心 CPO 交換機先例,在 Gemini 的開發(fā)過程中,騰訊團隊遇到了諸多前所未有的技術關注點及難題,并成功實現(xiàn)了逐一突破。
● 繞纖設計
傳統(tǒng)交換機借助PCB走線將高速信號從交換芯片連接至面板連接器。而在CPO交換機中,這部分走線被集成在了基板上。與之類似,CPO交換機需要把OE光引擎的光信號通過光纖連接到面板接口。繞纖設計時,必須綜合考量光纖彎曲半徑、光纖應力、對機內(nèi)風道的影響以及可生產(chǎn)性和可維護性等多方面因素。Gemini交換機總共包含288根光纖,這些光纖由4組2種不同長度的光纖模組組成??梢灶A見,隨著CPO集成度的不斷提高,光纖數(shù)量將進一步增加。為此,騰訊團隊提出了打印光纖軟板(Shuffle)方案,該方案能夠大幅提升安裝效率和系統(tǒng)可靠性。
圖 3. 繞纖及光纖軟板方案
● 防塵設計
FAU及光接口端面的潔凈度是保障光信號傳輸質(zhì)量與穩(wěn)定性的關鍵因素。若端面存在微小灰塵顆粒,將引發(fā)光信號的散射、反射或吸收現(xiàn)象,直接影響信號傳輸性能。為此,騰訊團隊進行了系統(tǒng)性防塵設計,同時針對FAU及內(nèi)部光接口設計了專門的密封結構,不僅在生產(chǎn)環(huán)節(jié)可以有效阻隔外界灰塵污染,確保產(chǎn)品的一致性與產(chǎn)出良率,同時在運行過程可抵御環(huán)境灰塵侵入,從而保證長期運行的可靠性。
● 散熱設計
相較于可插拔交換機,CPO將OE熱源從面板轉移至交換芯片附近,這使得發(fā)熱密度顯著增大,而且多個熱源都需要實現(xiàn)良好散熱。為了保證達到最佳的散熱效果,騰訊團隊針在散熱器材質(zhì)和結構方面進行了優(yōu)化,充分保障了光引擎和交換芯片die熱源接觸的一致性以及良好的散熱性能。
此外,傳統(tǒng)可插拔模塊的液冷方案存在工程實現(xiàn)上的難題,而CPO方案在散熱設計上更為靈活,能夠同時兼容風冷方案和液冷方案。Gemini交換機設計兼容了風冷和液冷兩種散熱方式,采用液冷冷板方案的整機功耗可以再下降10%。
圖 4. 液冷方案示意圖
● 生產(chǎn)便利性
CPO設備的生產(chǎn)對環(huán)境和工藝有著極高的要求。不僅需要保持高潔凈度,F(xiàn)AU還需實現(xiàn)微米級精度的耦合對準。因此,系統(tǒng)繞纖、防塵設計時必須充分考慮生產(chǎn)的便利性。騰訊團隊針對FAU對準設計了快速對準結構,可以方便的實現(xiàn)高精度耦合。此外針對面板光接口設計了一體化模組,可大大提升生產(chǎn)效率。
圖 5. 面板光接口模組及FAU
作為一項新興技術,CPO在規(guī)模化部署過程中仍面諸多挑戰(zhàn),這些挑戰(zhàn)均需在實際現(xiàn)網(wǎng)環(huán)境中進行系統(tǒng)性驗證。
● 可維護性挑戰(zhàn)
傳統(tǒng)交換機采用光模塊可插拔設計,某一光模塊發(fā)生故障時可單獨替換。而CPO的光引擎(OE)與芯片深度集成,無法獨立更換。盡管光引擎的可靠性較傳統(tǒng)光模塊已提升兩個數(shù)量級,但整機失效模式及運維策略仍需進一步研究,以確保系統(tǒng)效率與穩(wěn)定性。
● ELS 可靠性驗證
Gemini CPO 交換機采用外部 ELS(External Light Source)為光引擎提供光源。ELS 如果失效會影響多個通道,雖然相較于集成于 CPO 內(nèi)部的光源設計,外部 ELS 方式運行溫度更低、可靠性更高,而且失效后也可進行更換,但是整機層面的可靠性表現(xiàn)仍需依托現(xiàn)網(wǎng)環(huán)境進行長期驗證。
3、現(xiàn)網(wǎng)部署及未來應用場景展望
CPO技術憑借其大帶寬、遠距離傳輸及高可靠性的顯著優(yōu)勢,正在成為下一代數(shù)據(jù)中心網(wǎng)絡的關鍵支撐技術。為驗證該技術的實際效能,騰訊網(wǎng)絡團隊開展了現(xiàn)網(wǎng)部署實踐——通過在真實運營環(huán)境中部署CPO交換機,不僅積累了第一手的建設運維經(jīng)驗,還系統(tǒng)性地采集并分析多維度的運營數(shù)據(jù)。這一實踐不僅可以評估CPO技術在復雜網(wǎng)絡場景中的可行性與性能表現(xiàn),更為后續(xù)在更多業(yè)務場景中的規(guī)模化應用奠定了堅實基礎。
圖 6. CPO交換機部署架構方案
圖6展示了CPO交換機在AI模型計算網(wǎng)絡的應用方案,CPO交換機作為AI模型計算網(wǎng)接入交換機與GPU服務器直接互聯(lián),每兩臺交換機組成一個GPU服務器接入Block。CPO交換機可提供32個400G支持可插拔光模塊的端口,并使用騰訊自研400G BR4硅光模塊與GPU服務器對接。對于CPO交換機的16個800G直出光端口,通過定制的配線架拆分成64個200G直出光端口連接計算網(wǎng)核心層交換機,為GPU服務器提供無阻塞的跨Block通信能力。核心交換機采用騰訊自研交換機TCS9500,使用騰訊自研200G BR2硅光模塊對接CPO交換機的直出光端口。
圖 7. CPO交換機現(xiàn)場部署圖
在部署上線過程中,我們也發(fā)現(xiàn)了CPO交換機帶來的一些優(yōu)勢:
首先,CPO交換機憑借光口直出的設計,顯著提升了網(wǎng)絡建設的效率。如圖7所示,中間銀色的為CPO交換機,其直出光端口位于設備的上半部分,而可插拔光模塊端口則位于下半部分。由于直出光端口無需插拔光模塊,只需插入光纖并進行布線,從而省去了光模塊插入和調(diào)試的繁瑣步驟,這大幅提升了現(xiàn)場建設的效率。
不僅如此,CPO交換機在功耗和端口密度方面也展現(xiàn)出顯著優(yōu)勢。其低功耗和高密度特性可以在同一機架中部署更多的交換設備,同時有效降低租金電費支出?;谏暇€后的功耗預估,采用CPO交換機后的電費可節(jié)省30%以上。
然而,正如任何技術革新都伴隨著挑戰(zhàn)一樣,CPO交換機引入也為網(wǎng)絡運營帶來了新的考驗。例如,上文提到的CPO OE需要ELS部件提供光源,一旦該部件發(fā)生故障,將導致多個光端口同時失效,進而可能引發(fā)大范圍的網(wǎng)絡故障。為了應對這一挑戰(zhàn),網(wǎng)絡管理系統(tǒng)新增了采集ELS運行信息的功能。當ELS部件的運行狀態(tài)信息上傳至網(wǎng)絡管理系統(tǒng)后,系統(tǒng)會將該數(shù)據(jù)與CPO直出光端口的收發(fā)光情況進行實時交叉驗證,從而在ELS部件性能異常或直出光端口異常時提前發(fā)出告警,確保網(wǎng)絡服務質(zhì)量。
展望未來,CPO技術的應用前景廣闊,它可以應用于更多的場景中。譬如在GPU Scale-Up互聯(lián)網(wǎng)絡中,當前普遍采用銅纜進行互聯(lián)。然而,CPO技術相較于銅纜具有諸多優(yōu)勢,能夠為Scale-Up網(wǎng)絡帶來更優(yōu)的性能表現(xiàn)。具體而言,CPO技術能夠提供更大的傳輸帶寬,更好地支撐800G以上的傳輸需求;同時,它允許跨機器通過光纖直連,提供遠超100米的傳輸距離,從而實現(xiàn)更大的Scale-Up規(guī)模;此外,CPO技術還能顯著降低線纜的安裝和維護難度,隨著Scale-Up規(guī)模的擴大,銅纜數(shù)量將呈指數(shù)級上升,其重量和線徑也將給施工和運維帶來極大挑戰(zhàn),而CPO技術則能有效解決這一問題。
結語:以CPO技術驅動光互聯(lián)革新,攜手構建可持續(xù)發(fā)展算力生態(tài)
騰訊網(wǎng)絡團隊始終以前瞻性視野引領行業(yè)發(fā)展,自率先布局CPO技術研發(fā)以來,歷經(jīng)技術攻關,成功實現(xiàn)Gemini CPO交換機的規(guī)模化部署與應用。這不僅實現(xiàn)了高速網(wǎng)絡技術從理論創(chuàng)新到工程實踐的完整閉環(huán),更構建起支撐后續(xù)發(fā)展的技術基座。展望未來,騰訊將持續(xù)深化與產(chǎn)業(yè)鏈上下游的戰(zhàn)略協(xié)作,著力打造開放協(xié)同的技術生態(tài)系統(tǒng),共同推動全球數(shù)字化進程邁向更高能級。