9/10/2015,加快數(shù)據(jù)傳輸并將CPU及DDR總線(xiàn)的使用效率推到極致是一個(gè)好的數(shù)據(jù)中心架構(gòu)的評(píng)估標(biāo)準(zhǔn)。日前，PMC將其N(xiāo)VRAM技術(shù)與高速網(wǎng)卡公司Mellanox聯(lián)合，共同展示了NVMe over RDMA 以及P2P的高速傳輸實(shí)例，有效將CPU以及DDR總線(xiàn)資源解放出來(lái)，并顯著地提升了數(shù)據(jù)傳輸速度。此次聯(lián)合演示包含兩部分，首先展示了如何將NVMe和RDMA組合起來(lái)，在遠(yuǎn)端大規(guī)模提供低延遲、高性能、基于塊的NVM訪(fǎng)問(wèn)。第二部分的演示則將Mellanox的RDMA對(duì)端發(fā)起操作與PMC的Flashtec NVRAM加速卡集成在一起，將內(nèi)存映射的I/O（MMIO）作為一個(gè)RDMA目標(biāo)，以實(shí)現(xiàn)遠(yuǎn)端大規(guī)模的持久性?xún)?nèi)存訪(fǎng)問(wèn)。下面將逐一作詳細(xì)介紹：

NVM Express over RDMA

       NVMe over RDMA (NoR) 展示出將NVMe協(xié)議延展到RDMA之上的潛在可能。該項(xiàng)演示中共采用了兩臺(tái)電腦，一臺(tái)作為客戶(hù)端，另一臺(tái)則作為服務(wù)器——其中配備Mellanox ConnectX-3 Pro NIC，且通過(guò)RoCEv2相連。演示中所采用的NVMe設(shè)備即為性能極高而延遲極低的PMC Flashtec™ NVRAM 加速卡。下圖為該演示的框圖。


       此演示顯示出，利用RDMA來(lái)傳送NVMe命令及數(shù)據(jù)結(jié)果帶來(lái)了微乎其微的額外延遲，且不影響吞吐量。

       對(duì)比本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備的平均延遲，如下表所示，NoR方案中延遲增加低于10微妙。

      而另外這組數(shù)據(jù)則對(duì)比了本地NVMe設(shè)備與遠(yuǎn)端NVMe設(shè)備吞吐量的測(cè)試結(jié)果。從下表中可以看出，NoR方案中吞吐量并無(wú)減少。 


RDMA與PCIe設(shè)備之間的點(diǎn)到點(diǎn)傳輸 

       此項(xiàng)演示中，通過(guò)在標(biāo)準(zhǔn) RDMA之上增加服務(wù)器CPU和DRAM的分流，采用對(duì)端發(fā)起的方式來(lái)將遠(yuǎn)端客戶(hù)端與一臺(tái)服務(wù)器的NVRAM/NVMe設(shè)備直連。我們將Mellanox提供的RoCEv2-capable ConnectX-3 Pro RDMA NIC與PMC的Flashtec NVRAM加速卡組合在一起，實(shí)現(xiàn)NIC和NVRAM之間的對(duì)端發(fā)起操作。對(duì)端發(fā)起操作可以實(shí)現(xiàn)遠(yuǎn)端客戶(hù)對(duì)NVRAM加速卡的直接訪(fǎng)問(wèn)，相比傳統(tǒng)的RDMA流程，可降低延遲，且有效地釋放CPU和DRAM資源。 


       同樣，該演示采用的兩臺(tái)電腦，一臺(tái)作為客戶(hù)端，另一臺(tái)則作為服務(wù)器。利用服務(wù)器中的PCIe交換設(shè)備可以將對(duì)端發(fā)起操作的性能大大提升。    

       對(duì)比采用傳統(tǒng)RDMA和對(duì)端發(fā)起的RDMA時(shí)服務(wù)器上可用的后臺(tái)DRAM帶寬，用perftest得出的數(shù)據(jù)如下：


 下表則對(duì)采用傳統(tǒng)RDMA和對(duì)端發(fā)起的RDMA時(shí)的平均延遲作出了比較，結(jié)果得自于  RDMA mode of fio:


       RDMA以及NVMe兩項(xiàng)技術(shù)均處于蓬勃上升的階段，RDMA能提供遠(yuǎn)距離、大規(guī)模的低延遲及高效率的數(shù)據(jù)移動(dòng)，而NVMe則能提供對(duì)SSD的低延遲訪(fǎng)問(wèn)。將兩項(xiàng)技術(shù)相結(jié)合能實(shí)現(xiàn)非凡的性能。

供貨情況

       NVRAM對(duì)端發(fā)起的解決方案包含有Mellanox提供的任意RDMA兼容的HCA以及PMC的Flashtec NVRAM加速卡。與之相輔的還有操作系統(tǒng)的驅(qū)動(dòng)代碼（現(xiàn)在Linux上得到支持）以及Mellanox和PMC提供的相關(guān)軟件。所有實(shí)現(xiàn)該項(xiàng)技術(shù)所需的代碼均可見(jiàn)于 www.pmcs.com/lit。

關(guān)于Mellanox

Mellanox是一家提供端到端InfiniBand及以太網(wǎng)互聯(lián)解決方案并提供服務(wù)器與存儲(chǔ)相關(guān)服務(wù)的領(lǐng)軍公司。Mellanox的互聯(lián)解決方案通過(guò)提供最高的吞吐量及最低的延遲來(lái)提升數(shù)據(jù)中心的效率。Mellanox提供一系列的高速互聯(lián)產(chǎn)品：轉(zhuǎn)接卡、交換機(jī)、軟件、線(xiàn)纜及芯片等，可以為包括高性能計(jì)算、企業(yè)級(jí)數(shù)據(jù)中心、Web 2.0、云、存儲(chǔ)及金融服務(wù)等多種多樣的市場(chǎng)加速應(yīng)用的運(yùn)行，并將其商業(yè)收益最大化。更多詳情，請(qǐng)?jiān)L問(wèn)www.mellanox.com。

關(guān)于PMC

PMC（納斯達(dá)克代碼: PMCS）是半導(dǎo)體以及軟件解決方案的創(chuàng)新領(lǐng)導(dǎo)者，致力于推動(dòng)網(wǎng)絡(luò)上大數(shù)據(jù)的連接、傳送以及存儲(chǔ)。秉持長(zhǎng)久以來(lái)累積的技術(shù)優(yōu)勢(shì)，PMC在存儲(chǔ)、光網(wǎng)絡(luò)以及移動(dòng)網(wǎng)絡(luò)領(lǐng)域持續(xù)創(chuàng)新。PMC的高集成度解決方案可提升性能，加速網(wǎng)絡(luò)升級(jí)以實(shí)現(xiàn)下一代網(wǎng)絡(luò)服務(wù)。詳情參見(jiàn)www.pmcs.com。請(qǐng)?jiān)谖⒉�，微信（PMCChina），以及博客上關(guān)注PMC。