CFCF2021 | 京東云陳琤： 光模塊在光互聯(lián)部署中的問(wèn)題及展望
發(fā)布時(shí)間：2021-07-09 00:15:22 熱度：2535
7/09/2021，光纖在線訊，6月23~25日，在CFCF2021光連接大會(huì)上，京東云高級(jí)架構(gòu)師陳琤發(fā)表《數(shù)據(jù)通信光互聯(lián)運(yùn)維實(shí)踐與展望》的主題報(bào)告，分享了數(shù)據(jù)中心光互聯(lián)光模塊使用過(guò)程中的問(wèn)題以及解決方案，以及京東云如何看待未來(lái)光互聯(lián)的發(fā)展。
陳琤表示：數(shù)據(jù)中心光互聯(lián)在25G/100G大規(guī)模部署中遇到的問(wèn)題，為下一代數(shù)據(jù)中心光互聯(lián)的規(guī)劃部署提供了豐富的經(jīng)驗(yàn)。同時(shí)表示數(shù)據(jù)中心發(fā)展的方向一在于高吞吐量，二要求架構(gòu)靈活，易擴(kuò)展；三則是整個(gè)網(wǎng)絡(luò)設(shè)備、系統(tǒng)開(kāi)放化，即：硬件解耦，并進(jìn)一步開(kāi)放控制軟件與硬件的解耦。這就要求光模塊面向高速率、低功耗、高密度、低成本以及標(biāo)準(zhǔn)化。
現(xiàn)網(wǎng)環(huán)境中的光互聯(lián)故障與運(yùn)維
從數(shù)據(jù)中心現(xiàn)網(wǎng)光鏈路的故障及運(yùn)維經(jīng)驗(yàn)來(lái)看，部署數(shù)據(jù)中心光互聯(lián)的主要問(wèn)題歸結(jié)為四類(lèi)：
1、兼容適配。
主要是分為兩類(lèi)，一類(lèi)是光模塊與設(shè)備兼容性的問(wèn)題，另外是光模塊之間的互聯(lián)互通問(wèn)題。由于網(wǎng)絡(luò)協(xié)議過(guò)于寬泛，不同廠家角色不同，模塊廠家跟設(shè)備廠家對(duì)同樣協(xié)議的理解也會(huì)產(chǎn)生一些偏差，而這些偏差到互聯(lián)網(wǎng)手里組合到一塊用之后就會(huì)出現(xiàn)一些兼容性的問(wèn)題。
2、 FEC信號(hào)糾錯(cuò)
從25G、100G的網(wǎng)絡(luò)架構(gòu)里面引入了25G NRZ的調(diào)制，在短波包括兩公里以內(nèi)的CWDM的模塊上面都需要在電學(xué)上面用FEC補(bǔ)償光學(xué)上面造成信號(hào)的惡化。利用誤碼儀將信號(hào)提前FEC糾錯(cuò)。 首先就是我們提高對(duì)模塊pre-FEC的要求，更重點(diǎn)的一點(diǎn)需要光器件與光模塊供應(yīng)商共同探討解決。
3、硬件失效
在部署初期，通常會(huì)遇到較多的MA失效情況，特別是400G和200G模塊，由于PAM4調(diào)制對(duì)端面的污損或者是反射更敏感，會(huì)導(dǎo)致MPI急劇的惡化，這個(gè)對(duì)真正的部署中造成的影響比較多。另一個(gè)是光模塊中的激光器引起的失效，第三是環(huán)境氣體的腐蝕引起的失效。
4.IIC總線故障/數(shù)值診斷故障
比較典型的案例就是IIC訪問(wèn)集中出現(xiàn)在初始化階段，模塊有初始化時(shí)間，如果對(duì)IIC做一些非常規(guī)的操作，有可能會(huì)導(dǎo)致模塊訪問(wèn)的問(wèn)題，處理不好會(huì)對(duì)模塊造成錯(cuò)誤的觸發(fā)。隨著400G模塊進(jìn)入大量部署的階段，要求光模塊廠商做到固件在線升級(jí)。
京東云認(rèn)為未來(lái)的400G部署過(guò)程中的成本、運(yùn)維風(fēng)險(xiǎn)值得探索
2015年，京東云主要采用10G 服務(wù)器，Server-TOR更多使用10G AOC，2017年轉(zhuǎn)為25G AOC，并在2021年引入25G DAC與AOC并存。而在當(dāng)前京東云依然以25G服務(wù)器存續(xù)量較大的情況下。首先將考慮Fabric層和spine層采用PAM4技術(shù)的400G光互聯(lián)，然后在接入層會(huì)保持之前的NRZ的使用。到了下一步服務(wù)器帶寬進(jìn)一步提升的時(shí)候，會(huì)考慮400G在上面匯聚層我們會(huì)用100G的點(diǎn)對(duì)點(diǎn)的互聯(lián)。
然而，新的光互聯(lián)技術(shù)帶來(lái)新的挑戰(zhàn)，京東云認(rèn)為400G 光互聯(lián)部署尤其是PAM4技術(shù)面臨著三大問(wèn)題：第一，DSP作為信號(hào)處理將帶來(lái)功耗及成本的挑戰(zhàn)，采用PAM4信號(hào)處理，DSP還是CDR的解決方案?二是，F(xiàn)an-out方案下的部署和運(yùn)維風(fēng)險(xiǎn)；三是監(jiān)控及運(yùn)維下沉到光鏈路。
總結(jié)來(lái)說(shuō)，光互連帶寬的主要驅(qū)動(dòng)力是服務(wù)器接入帶寬以及數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模的發(fā)展。200G/400G的大規(guī)模部署取決于網(wǎng)絡(luò)規(guī)模以及綜合成本，新的網(wǎng)絡(luò)架構(gòu)的落地還需要更多探索。
陳琤表示：數(shù)據(jù)中心光互聯(lián)在25G/100G大規(guī)模部署中遇到的問(wèn)題，為下一代數(shù)據(jù)中心光互聯(lián)的規(guī)劃部署提供了豐富的經(jīng)驗(yàn)。同時(shí)表示數(shù)據(jù)中心發(fā)展的方向一在于高吞吐量，二要求架構(gòu)靈活，易擴(kuò)展；三則是整個(gè)網(wǎng)絡(luò)設(shè)備、系統(tǒng)開(kāi)放化，即：硬件解耦，并進(jìn)一步開(kāi)放控制軟件與硬件的解耦。這就要求光模塊面向高速率、低功耗、高密度、低成本以及標(biāo)準(zhǔn)化。
現(xiàn)網(wǎng)環(huán)境中的光互聯(lián)故障與運(yùn)維
從數(shù)據(jù)中心現(xiàn)網(wǎng)光鏈路的故障及運(yùn)維經(jīng)驗(yàn)來(lái)看，部署數(shù)據(jù)中心光互聯(lián)的主要問(wèn)題歸結(jié)為四類(lèi)：
1、兼容適配。
主要是分為兩類(lèi)，一類(lèi)是光模塊與設(shè)備兼容性的問(wèn)題，另外是光模塊之間的互聯(lián)互通問(wèn)題。由于網(wǎng)絡(luò)協(xié)議過(guò)于寬泛，不同廠家角色不同，模塊廠家跟設(shè)備廠家對(duì)同樣協(xié)議的理解也會(huì)產(chǎn)生一些偏差，而這些偏差到互聯(lián)網(wǎng)手里組合到一塊用之后就會(huì)出現(xiàn)一些兼容性的問(wèn)題。
2、 FEC信號(hào)糾錯(cuò)
從25G、100G的網(wǎng)絡(luò)架構(gòu)里面引入了25G NRZ的調(diào)制，在短波包括兩公里以內(nèi)的CWDM的模塊上面都需要在電學(xué)上面用FEC補(bǔ)償光學(xué)上面造成信號(hào)的惡化。利用誤碼儀將信號(hào)提前FEC糾錯(cuò)。 首先就是我們提高對(duì)模塊pre-FEC的要求，更重點(diǎn)的一點(diǎn)需要光器件與光模塊供應(yīng)商共同探討解決。
3、硬件失效
在部署初期，通常會(huì)遇到較多的MA失效情況，特別是400G和200G模塊，由于PAM4調(diào)制對(duì)端面的污損或者是反射更敏感，會(huì)導(dǎo)致MPI急劇的惡化，這個(gè)對(duì)真正的部署中造成的影響比較多。另一個(gè)是光模塊中的激光器引起的失效，第三是環(huán)境氣體的腐蝕引起的失效。
4.IIC總線故障/數(shù)值診斷故障
比較典型的案例就是IIC訪問(wèn)集中出現(xiàn)在初始化階段，模塊有初始化時(shí)間，如果對(duì)IIC做一些非常規(guī)的操作，有可能會(huì)導(dǎo)致模塊訪問(wèn)的問(wèn)題，處理不好會(huì)對(duì)模塊造成錯(cuò)誤的觸發(fā)。隨著400G模塊進(jìn)入大量部署的階段，要求光模塊廠商做到固件在線升級(jí)。
京東云認(rèn)為未來(lái)的400G部署過(guò)程中的成本、運(yùn)維風(fēng)險(xiǎn)值得探索
2015年，京東云主要采用10G 服務(wù)器，Server-TOR更多使用10G AOC，2017年轉(zhuǎn)為25G AOC，并在2021年引入25G DAC與AOC并存。而在當(dāng)前京東云依然以25G服務(wù)器存續(xù)量較大的情況下。首先將考慮Fabric層和spine層采用PAM4技術(shù)的400G光互聯(lián)，然后在接入層會(huì)保持之前的NRZ的使用。到了下一步服務(wù)器帶寬進(jìn)一步提升的時(shí)候，會(huì)考慮400G在上面匯聚層我們會(huì)用100G的點(diǎn)對(duì)點(diǎn)的互聯(lián)。
然而，新的光互聯(lián)技術(shù)帶來(lái)新的挑戰(zhàn)，京東云認(rèn)為400G 光互聯(lián)部署尤其是PAM4技術(shù)面臨著三大問(wèn)題：第一，DSP作為信號(hào)處理將帶來(lái)功耗及成本的挑戰(zhàn)，采用PAM4信號(hào)處理，DSP還是CDR的解決方案?二是，F(xiàn)an-out方案下的部署和運(yùn)維風(fēng)險(xiǎn)；三是監(jiān)控及運(yùn)維下沉到光鏈路。
總結(jié)來(lái)說(shuō)，光互連帶寬的主要驅(qū)動(dòng)力是服務(wù)器接入帶寬以及數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模的發(fā)展。200G/400G的大規(guī)模部署取決于網(wǎng)絡(luò)規(guī)模以及綜合成本，新的網(wǎng)絡(luò)架構(gòu)的落地還需要更多探索。
