技術(shù)探秘 | 如何利用儀表構(gòu)造InfiniBand流量在數(shù)據(jù)中心測試中的應用
發(fā)布時間：2024-05-20 15:14:39 熱度：1279
5/20/2024，光纖在線訊，01.什么是Infiniband：在當今數(shù)據(jù)爆炸的時代，數(shù)據(jù)中心作為信息處理的中心樞紐，面臨著前所未有的挑戰(zhàn)。傳統(tǒng)的通信方式已經(jīng)難以滿足日益增長的數(shù)據(jù)傳輸需求，而InfiniBand技術(shù)的出現(xiàn)，為數(shù)據(jù)中心帶來了全新的通信解決方案。
InfiniBand（IB）是一種高性能計算和數(shù)據(jù)中心網(wǎng)絡架構(gòu)，其設計目標是通過提供低延遲、高帶寬以及可擴展性來滿足大規(guī)模計算和數(shù)據(jù)傳輸?shù)男枨?。讓我們深入了解InfiniBand的基本概念。
InfiniBand網(wǎng)絡采用點對點的直連架構(gòu)。每個設備，如服務器、存儲設備或其他計算資源，都通過InfiniBand適配器直接連接到網(wǎng)絡，形成一個點對點的通信結(jié)構(gòu)。這種設計有助于降低通信的延遲，提高整體性能。
02.Infiniband產(chǎn)生的原因
說到Infiniband網(wǎng)絡，我們首先提到傳統(tǒng)網(wǎng)絡數(shù)據(jù)傳輸?shù)募軜?gòu)。在傳統(tǒng)的互連結(jié)構(gòu)中，操作系統(tǒng)通常是共享網(wǎng)絡資源的唯一所有者，這導致應用程序無法直接訪問網(wǎng)絡。相反，數(shù)據(jù)傳輸通常需要依賴操作系統(tǒng)將數(shù)據(jù)從應用程序的虛擬緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧和線路。在傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中，應用程序需要通過操作系統(tǒng)來實現(xiàn)數(shù)據(jù)的傳輸。
這個過程包括：
· 應用程序緩沖區(qū)：數(shù)據(jù)通常存儲在應用程序的緩沖區(qū)中，等待被傳輸。
· 操作系統(tǒng)介入：應用程序通過系統(tǒng)調(diào)用等方式請求操作系統(tǒng)將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡堆棧中。
· 網(wǎng)絡堆棧傳輸：操作系統(tǒng)將數(shù)據(jù)從應用程序緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧，其中包括協(xié)議棧的處理，例如TCP/IP協(xié)議。
· 網(wǎng)絡線路傳輸：最終，數(shù)據(jù)通過網(wǎng)絡線路傳輸?shù)侥繕斯?jié)點。這種結(jié)構(gòu)下，應用程序無法直接控制網(wǎng)絡的數(shù)據(jù)傳輸，而是依賴于操作系統(tǒng)進行中介。
InfiniBand技術(shù)的突出特點之一是以應用為中心的網(wǎng)絡交互方式。這種方式下，應用程序能夠直接通過網(wǎng)絡進行數(shù)據(jù)的交換，而無需直接涉及操作系統(tǒng)。
以下是InfiniBand實現(xiàn)以應用為中心方式的關(guān)鍵機制：
· 遠程直接內(nèi)存訪問（RDMA）
InfiniBand網(wǎng)絡支持遠程直接內(nèi)存訪問（RDMA）技術(shù)。通過RDMA，應用程序可以在不涉及操作系統(tǒng)的情況下直接訪問和交換內(nèi)存中的數(shù)據(jù)。這種直接的內(nèi)存訪問方式消除了傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中的中介步驟，大大降低了數(shù)據(jù)傳輸?shù)难舆t。
· 用戶空間網(wǎng)絡堆棧
InfiniBand網(wǎng)絡允許在用戶空間中實現(xiàn)網(wǎng)絡堆棧，使得應用程序能夠直接處理網(wǎng)絡協(xié)議。這樣一來，應用程序不再需要通過操作系統(tǒng)的內(nèi)核空間進行數(shù)據(jù)傳輸，而是可以直接在用戶空間中完成網(wǎng)絡操作，提高了效率和靈活性。
· 零拷貝技術(shù)
InfiniBand還支持零拷貝技術(shù)，通過這一技術(shù)，應用程序可以直接在內(nèi)存中操縱數(shù)據(jù)，而無需將數(shù)據(jù)復制到中間緩沖區(qū)。這降低了數(shù)據(jù)傳輸?shù)拈_銷，提高了效率。
03.Infiniband網(wǎng)絡架構(gòu)與TCP/IP
InfiniBand架構(gòu)與傳統(tǒng)的TCP/IP模型在網(wǎng)絡通信中有著顯著的差異，尤其在分布式存儲和高性能計算領(lǐng)域的應用上。InfiniBand架構(gòu)分為五層，類似于傳統(tǒng)的TCP/IP模型。這五層分別是：
· 物理層：處理硬件接口、電氣和光學傳輸?shù)鹊讓蛹毠?jié)。
· 數(shù)據(jù)鏈路層：負責數(shù)據(jù)的封裝和解封裝，錯誤檢測和糾正。
· 網(wǎng)絡層：處理數(shù)據(jù)的路由和轉(zhuǎn)發(fā)，確保數(shù)據(jù)在不同設備之間的正確傳遞。
· 傳輸層：負責端到端的可靠數(shù)據(jù)傳輸，包括流控制和錯誤恢復。
· 應用層：提供網(wǎng)絡服務給應用程序，如TCP、UDP等。
InfiniBand在分布式存儲領(lǐng)域，尤其是在分布式并行計算場景的存儲前端網(wǎng)絡中得到廣泛應用。其強調(diào)高性能、低延遲，適用于大規(guī)模并行計算機集群和需要高吞吐量的應用場景。
TCP/IP則更為普遍地應用于商業(yè)網(wǎng)絡和一般互聯(lián)網(wǎng)通信。它是目前互聯(lián)網(wǎng)通信的主流協(xié)議，用于支持各種應用，包括網(wǎng)頁瀏覽、電子郵件、文件傳輸?shù)取?br>
InfiniBand架構(gòu)通過引入遠程直接內(nèi)存訪問（RDMA）技術(shù)等創(chuàng)新，解決了網(wǎng)絡傳輸過程中服務器端數(shù)據(jù)處理的延遲問題。RDMA技術(shù)允許通過網(wǎng)絡接口直接訪問內(nèi)存數(shù)據(jù)，無需內(nèi)核干預，從而實現(xiàn)高吞吐量和低延遲的網(wǎng)絡通信。
04.Infiniband網(wǎng)絡有哪些優(yōu)勢
通過InfiniBand實現(xiàn)以應用為中心的網(wǎng)絡交互方式，帶來了一系列優(yōu)勢，并與傳統(tǒng)網(wǎng)絡結(jié)構(gòu)形成了關(guān)鍵區(qū)別：
· 1、低時延
由于應用程序能夠直接進行數(shù)據(jù)交換，而無需經(jīng)過多層的操作系統(tǒng)介入，因此InfiniBand網(wǎng)絡實現(xiàn)了更低的傳輸延遲。這對于對延遲要求較高的應用場景非常重要。
· 2、高帶寬
InfiniBand的應用為中心方式能夠更有效地利用網(wǎng)絡資源，提高了整體的帶寬利用率。這使得InfiniBand網(wǎng)絡在大規(guī)模數(shù)據(jù)傳輸和高性能計算等方面表現(xiàn)出色。
· 3、高效能
通過支持RDMA、用戶空間網(wǎng)絡堆棧和零拷貝技術(shù)，InfiniBand實現(xiàn)了更為高效的數(shù)據(jù)傳輸方式。這種高效能直接影響到應用程序的性能和響應速度。
4、靈活性
以應用為中心的方式使得應用程序更靈活地控制數(shù)據(jù)傳輸和網(wǎng)絡操作，無需過多依賴于操作系統(tǒng)的限制。這為應用程序提供了更大的自主性和定制性。
如何使用測試儀構(gòu)造基于UDP的infiniband流量[/color]
信而泰L23測試平臺Renix支持構(gòu)造UDP報文頭內(nèi)的各種InfiniBand報文協(xié)議棧,通過構(gòu)造Infinbind流量，模擬CA設備與被測設備之間進行請求（request）或者響應（response）消息的交互，以此來驗證被測設備針對Infiniband協(xié)議字段的識別和處理能力。
測試拓撲及主要配置步驟如下：
如圖所示，測試儀P1與P2端口與DUT的A、B端口互聯(lián)，通過在測試儀A端口構(gòu)造Infiniband流量發(fā)送至A端口，應答消息由B端口發(fā)送至測試儀B端口，來模擬CA設備之間的消息交互場景。
1、創(chuàng)建流量；
2、添加UDP頭部；
3、在UDP頭部前添加Rocev2instance；
4、編輯協(xié)議字段并發(fā)送流量；
創(chuàng)建完成后可以在流模板幀界面可以看到創(chuàng)建的該條流量是基于UDP的infiniband流量，并且每個字段都支持自定義編輯。
被測設備收到測試儀發(fā)出的Infiniband消息后會解析其中的消息字段并做出響應，通過這種方式可以測試執(zhí)行send、recive、write、read、原子操作的場景。報文交互現(xiàn)象如下圖所示：
每個Infiniband報文分為payload、路由報文頭（header）、CRC校驗等，其中header包含以下內(nèi)容：
· 本地路由頭部(LRH)：包括目標端口本地ID（DLID）和源端口本地ID（SLID）。兩者都占據(jù)16-bits，前者用來表示報文通過交換機需要到達的子網(wǎng)目的地端口；后者用來表示報文源頭的子網(wǎng)ID。
· 全局路由頭部（GRH）：包括目標端口全局ID（DGID）和源端口全局ID（SGID）。兩者都占據(jù)128-bits，高64-bits表示CA端口的子網(wǎng)ID，低64-bits表示端口的全局唯一ID（GUID）。
· 基礎(chǔ)傳輸頭部（BTH）：包括Opcode、DestQP和PSN。Opcode表示報文操作類型；DestQP表示對端CA的目標QP（QueuePair，是IB協(xié)議中信息傳輸?shù)闹匾獧C制）；PSN（PacketSequenceNumber）占24-bits，表示報文序列號，可以用于報文順序檢查和報文重傳。
06.信而泰DarYu/BigTao系列網(wǎng)絡測試儀
DarYu-X系列高性能網(wǎng)絡測試儀是信而泰推出的面向高端路由器、高端交換機、數(shù)據(jù)中心交換機以及高性能應用層設備的測試產(chǎn)品，具有高性能、高密度、高速率等特點，支持單框運行、多框級聯(lián)等模式。它采用模塊化設計，提供3個或12個插槽，測試接口覆蓋以太網(wǎng)1G到400G范圍內(nèi)的所有速率，實現(xiàn)按需擴展，幫助企業(yè)用戶輕松應對測試業(yè)務的快速增長和未來業(yè)務發(fā)展。
BigTao-V系列網(wǎng)絡測試儀可實現(xiàn)針對網(wǎng)絡設備和網(wǎng)絡系統(tǒng)的流量測試及協(xié)議仿真，在功能、性能及安全性方面提供全面測試解決方案，滿足研發(fā)、實驗和質(zhì)量控制等過程中的測試需求。
如果您需要了解更多資訊，歡迎來電垂詢
產(chǎn)品咨詢熱線：010-82349338
InfiniBand（IB）是一種高性能計算和數(shù)據(jù)中心網(wǎng)絡架構(gòu)，其設計目標是通過提供低延遲、高帶寬以及可擴展性來滿足大規(guī)模計算和數(shù)據(jù)傳輸?shù)男枨?。讓我們深入了解InfiniBand的基本概念。
InfiniBand網(wǎng)絡采用點對點的直連架構(gòu)。每個設備，如服務器、存儲設備或其他計算資源，都通過InfiniBand適配器直接連接到網(wǎng)絡，形成一個點對點的通信結(jié)構(gòu)。這種設計有助于降低通信的延遲，提高整體性能。
02.Infiniband產(chǎn)生的原因
說到Infiniband網(wǎng)絡，我們首先提到傳統(tǒng)網(wǎng)絡數(shù)據(jù)傳輸?shù)募軜?gòu)。在傳統(tǒng)的互連結(jié)構(gòu)中，操作系統(tǒng)通常是共享網(wǎng)絡資源的唯一所有者，這導致應用程序無法直接訪問網(wǎng)絡。相反，數(shù)據(jù)傳輸通常需要依賴操作系統(tǒng)將數(shù)據(jù)從應用程序的虛擬緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧和線路。在傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中，應用程序需要通過操作系統(tǒng)來實現(xiàn)數(shù)據(jù)的傳輸。
這個過程包括：
· 應用程序緩沖區(qū)：數(shù)據(jù)通常存儲在應用程序的緩沖區(qū)中，等待被傳輸。
· 操作系統(tǒng)介入：應用程序通過系統(tǒng)調(diào)用等方式請求操作系統(tǒng)將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡堆棧中。
· 網(wǎng)絡堆棧傳輸：操作系統(tǒng)將數(shù)據(jù)從應用程序緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧，其中包括協(xié)議棧的處理，例如TCP/IP協(xié)議。
· 網(wǎng)絡線路傳輸：最終，數(shù)據(jù)通過網(wǎng)絡線路傳輸?shù)侥繕斯?jié)點。這種結(jié)構(gòu)下，應用程序無法直接控制網(wǎng)絡的數(shù)據(jù)傳輸，而是依賴于操作系統(tǒng)進行中介。
InfiniBand技術(shù)的突出特點之一是以應用為中心的網(wǎng)絡交互方式。這種方式下，應用程序能夠直接通過網(wǎng)絡進行數(shù)據(jù)的交換，而無需直接涉及操作系統(tǒng)。
以下是InfiniBand實現(xiàn)以應用為中心方式的關(guān)鍵機制：
· 遠程直接內(nèi)存訪問（RDMA）
InfiniBand網(wǎng)絡支持遠程直接內(nèi)存訪問（RDMA）技術(shù)。通過RDMA，應用程序可以在不涉及操作系統(tǒng)的情況下直接訪問和交換內(nèi)存中的數(shù)據(jù)。這種直接的內(nèi)存訪問方式消除了傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中的中介步驟，大大降低了數(shù)據(jù)傳輸?shù)难舆t。
· 用戶空間網(wǎng)絡堆棧
InfiniBand網(wǎng)絡允許在用戶空間中實現(xiàn)網(wǎng)絡堆棧，使得應用程序能夠直接處理網(wǎng)絡協(xié)議。這樣一來，應用程序不再需要通過操作系統(tǒng)的內(nèi)核空間進行數(shù)據(jù)傳輸，而是可以直接在用戶空間中完成網(wǎng)絡操作，提高了效率和靈活性。
· 零拷貝技術(shù)
InfiniBand還支持零拷貝技術(shù)，通過這一技術(shù)，應用程序可以直接在內(nèi)存中操縱數(shù)據(jù)，而無需將數(shù)據(jù)復制到中間緩沖區(qū)。這降低了數(shù)據(jù)傳輸?shù)拈_銷，提高了效率。
03.Infiniband網(wǎng)絡架構(gòu)與TCP/IP
InfiniBand架構(gòu)與傳統(tǒng)的TCP/IP模型在網(wǎng)絡通信中有著顯著的差異，尤其在分布式存儲和高性能計算領(lǐng)域的應用上。InfiniBand架構(gòu)分為五層，類似于傳統(tǒng)的TCP/IP模型。這五層分別是：
· 物理層：處理硬件接口、電氣和光學傳輸?shù)鹊讓蛹毠?jié)。
· 數(shù)據(jù)鏈路層：負責數(shù)據(jù)的封裝和解封裝，錯誤檢測和糾正。
· 網(wǎng)絡層：處理數(shù)據(jù)的路由和轉(zhuǎn)發(fā)，確保數(shù)據(jù)在不同設備之間的正確傳遞。
· 傳輸層：負責端到端的可靠數(shù)據(jù)傳輸，包括流控制和錯誤恢復。
· 應用層：提供網(wǎng)絡服務給應用程序，如TCP、UDP等。
InfiniBand在分布式存儲領(lǐng)域，尤其是在分布式并行計算場景的存儲前端網(wǎng)絡中得到廣泛應用。其強調(diào)高性能、低延遲，適用于大規(guī)模并行計算機集群和需要高吞吐量的應用場景。
TCP/IP則更為普遍地應用于商業(yè)網(wǎng)絡和一般互聯(lián)網(wǎng)通信。它是目前互聯(lián)網(wǎng)通信的主流協(xié)議，用于支持各種應用，包括網(wǎng)頁瀏覽、電子郵件、文件傳輸?shù)取?br>
InfiniBand架構(gòu)通過引入遠程直接內(nèi)存訪問（RDMA）技術(shù)等創(chuàng)新，解決了網(wǎng)絡傳輸過程中服務器端數(shù)據(jù)處理的延遲問題。RDMA技術(shù)允許通過網(wǎng)絡接口直接訪問內(nèi)存數(shù)據(jù)，無需內(nèi)核干預，從而實現(xiàn)高吞吐量和低延遲的網(wǎng)絡通信。
通過InfiniBand實現(xiàn)以應用為中心的網(wǎng)絡交互方式，帶來了一系列優(yōu)勢，并與傳統(tǒng)網(wǎng)絡結(jié)構(gòu)形成了關(guān)鍵區(qū)別：
· 1、低時延
由于應用程序能夠直接進行數(shù)據(jù)交換，而無需經(jīng)過多層的操作系統(tǒng)介入，因此InfiniBand網(wǎng)絡實現(xiàn)了更低的傳輸延遲。這對于對延遲要求較高的應用場景非常重要。
· 2、高帶寬
InfiniBand的應用為中心方式能夠更有效地利用網(wǎng)絡資源，提高了整體的帶寬利用率。這使得InfiniBand網(wǎng)絡在大規(guī)模數(shù)據(jù)傳輸和高性能計算等方面表現(xiàn)出色。
· 3、高效能
通過支持RDMA、用戶空間網(wǎng)絡堆棧和零拷貝技術(shù)，InfiniBand實現(xiàn)了更為高效的數(shù)據(jù)傳輸方式。這種高效能直接影響到應用程序的性能和響應速度。
4、靈活性
以應用為中心的方式使得應用程序更靈活地控制數(shù)據(jù)傳輸和網(wǎng)絡操作，無需過多依賴于操作系統(tǒng)的限制。這為應用程序提供了更大的自主性和定制性。
如何使用測試儀構(gòu)造基于UDP的infiniband流量[/color]
信而泰L23測試平臺Renix支持構(gòu)造UDP報文頭內(nèi)的各種InfiniBand報文協(xié)議棧,通過構(gòu)造Infinbind流量，模擬CA設備與被測設備之間進行請求（request）或者響應（response）消息的交互，以此來驗證被測設備針對Infiniband協(xié)議字段的識別和處理能力。
測試拓撲及主要配置步驟如下：
如圖所示，測試儀P1與P2端口與DUT的A、B端口互聯(lián)，通過在測試儀A端口構(gòu)造Infiniband流量發(fā)送至A端口，應答消息由B端口發(fā)送至測試儀B端口，來模擬CA設備之間的消息交互場景。
1、創(chuàng)建流量；
2、添加UDP頭部；
3、在UDP頭部前添加Rocev2instance；
4、編輯協(xié)議字段并發(fā)送流量；
創(chuàng)建完成后可以在流模板幀界面可以看到創(chuàng)建的該條流量是基于UDP的infiniband流量，并且每個字段都支持自定義編輯。
被測設備收到測試儀發(fā)出的Infiniband消息后會解析其中的消息字段并做出響應，通過這種方式可以測試執(zhí)行send、recive、write、read、原子操作的場景。報文交互現(xiàn)象如下圖所示：
每個Infiniband報文分為payload、路由報文頭（header）、CRC校驗等，其中header包含以下內(nèi)容：
· 本地路由頭部(LRH)：包括目標端口本地ID（DLID）和源端口本地ID（SLID）。兩者都占據(jù)16-bits，前者用來表示報文通過交換機需要到達的子網(wǎng)目的地端口；后者用來表示報文源頭的子網(wǎng)ID。
· 全局路由頭部（GRH）：包括目標端口全局ID（DGID）和源端口全局ID（SGID）。兩者都占據(jù)128-bits，高64-bits表示CA端口的子網(wǎng)ID，低64-bits表示端口的全局唯一ID（GUID）。
· 基礎(chǔ)傳輸頭部（BTH）：包括Opcode、DestQP和PSN。Opcode表示報文操作類型；DestQP表示對端CA的目標QP（QueuePair，是IB協(xié)議中信息傳輸?shù)闹匾獧C制）；PSN（PacketSequenceNumber）占24-bits，表示報文序列號，可以用于報文順序檢查和報文重傳。
06.信而泰DarYu/BigTao系列網(wǎng)絡測試儀
DarYu-X系列高性能網(wǎng)絡測試儀是信而泰推出的面向高端路由器、高端交換機、數(shù)據(jù)中心交換機以及高性能應用層設備的測試產(chǎn)品，具有高性能、高密度、高速率等特點，支持單框運行、多框級聯(lián)等模式。它采用模塊化設計，提供3個或12個插槽，測試接口覆蓋以太網(wǎng)1G到400G范圍內(nèi)的所有速率，實現(xiàn)按需擴展，幫助企業(yè)用戶輕松應對測試業(yè)務的快速增長和未來業(yè)務發(fā)展。
BigTao-V系列網(wǎng)絡測試儀可實現(xiàn)針對網(wǎng)絡設備和網(wǎng)絡系統(tǒng)的流量測試及協(xié)議仿真，在功能、性能及安全性方面提供全面測試解決方案，滿足研發(fā)、實驗和質(zhì)量控制等過程中的測試需求。
如果您需要了解更多資訊，歡迎來電垂詢
產(chǎn)品咨詢熱線：010-82349338
