介紹：

NVMe-oF 全稱是 NVMe over Fabrics（本文均采用縮寫 NVMe-oF），它把 NVMe 在單系統(tǒng)內(nèi)部提供的高性能、低延遲和極低的協(xié)議開銷等優(yōu)勢進(jìn)一步發(fā)揮到客戶端與存儲(chǔ)系統(tǒng)互聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)中。NVMe-oF 定義了使用多種通用的傳輸層協(xié)議來實(shí)現(xiàn) NVMe 遠(yuǎn)程連接能力。更快的存儲(chǔ)，則需要更快的網(wǎng)絡(luò)才能發(fā)揮最大的存儲(chǔ)價(jià)值。

NVMe over FC：基于傳統(tǒng)的 FC 網(wǎng)絡(luò)（主機(jī)總線適配器 HBA 和光纖交換機(jī)構(gòu)建的專有通信網(wǎng)絡(luò)），與 FC-SAN（SCSI）可以同時(shí)運(yùn)行在同一個(gè) FC 網(wǎng)絡(luò)中，最大化地復(fù)用 FC 網(wǎng)絡(luò)基礎(chǔ)環(huán)境，發(fā)揮 NVMe 新型協(xié)議的優(yōu)勢。常用于傳統(tǒng)集中存儲(chǔ)的升級(jí)改造。

NVMe over RDMA：通過遠(yuǎn)程直接內(nèi)存訪問技術(shù)，允許客戶端程序遠(yuǎn)程訪問存儲(chǔ)系統(tǒng)的內(nèi)存空間進(jìn)行數(shù)據(jù)傳輸。具有數(shù)據(jù)零拷貝（不涉及網(wǎng)絡(luò)堆棧執(zhí)行數(shù)據(jù)傳輸）、Kernel Bypass（應(yīng)用程序可以直接從用戶空間執(zhí)行數(shù)據(jù)傳輸，無需內(nèi)核參與）、減少 CPU 資源消耗（應(yīng)用程序可以訪問遠(yuǎn)程內(nèi)存，而無需在遠(yuǎn)程服務(wù)器中消耗任何 CPU Cycle）等特點(diǎn)。

• InfiniBand?– 通過 InfiniBand 網(wǎng)絡(luò)使用 RDMA，在高性能計(jì)算 HPC 領(lǐng)域非常流行，與 FC 相似，需要專有的網(wǎng)絡(luò)適配器和交換網(wǎng)絡(luò)支撐。

• RoCE?– 全稱 RDMA over Converged Ethernet，即通過以太網(wǎng)實(shí)現(xiàn) RDMA，目前有兩個(gè)版本：RoCEv1 不可路由，僅可以在 2 層工作；RoCEv2 使用 UDP/IP，具有 3 層路由能力。

• iWARP?– 構(gòu)建在 TCP/IP 之上。跟 RoCE 協(xié)議繼承自 Infiniband 不同，iWARP 本身不是直接從 Infiniband 發(fā)展而來的。Infiniband 和 RoCE 協(xié)議都是基于 “Infiniband Architecture Specification”，也就是常說的 “IB 規(guī)范”。而 iWARP 是自成一派，遵循著一套 IETF 設(shè)計(jì)的協(xié)議標(biāo)準(zhǔn)。雖然遵循著不同的標(biāo)準(zhǔn)，但是 iWARP 的設(shè)計(jì)思想受到了很多 Infiniband 的影響，并且目前使用同一套編程接口。

NVMe over TCP：與前兩種實(shí)現(xiàn)方式不同，該方案無需任何特殊的硬件要求，基于通用標(biāo)準(zhǔn)以太網(wǎng)環(huán)境。成本低是該協(xié)議的優(yōu)勢，缺點(diǎn)是需要更多的 CPU 資源參與數(shù)據(jù)處理，受限于 TCP/IP 協(xié)議，在數(shù)據(jù)傳輸中相對 RDMA 會(huì)引入更多的延遲。

目前不需要特殊硬件支持的只有NVMe over TCP，VMware vSphere 7.0U3開始支持，如果存儲(chǔ)提供NVMe over TCP協(xié)議，可在不改變網(wǎng)絡(luò)環(huán)境的情況下，使用NVMe over TCP協(xié)議代替iSCSI連接塊存儲(chǔ)設(shè)備。

下面介紹VMware環(huán)境NVMe over TCP配置方法：

?

1.1NVMe over TCP 的網(wǎng)絡(luò)拓?fù)涫纠?/h1>

1.2添加NVMe over TCP適配器

選擇主機(jī)“配置”>“存儲(chǔ)”>“存儲(chǔ)適配器”>“添加軟件適配器”>“添加NVMe over TCP適配器”

選擇要啟用NVMe適配器的網(wǎng)卡，點(diǎn)擊確定

根據(jù)需要添加兩個(gè)NVMe over TCP啟動(dòng)器

?

1.3添加VMKernel

在主機(jī)“配置”>“網(wǎng)絡(luò)”>“虛擬交換機(jī)”頁面，點(diǎn)擊“添加網(wǎng)絡(luò)”按鈕，選擇“Vmkernel網(wǎng)絡(luò)適配器”

選擇交換機(jī)，可選標(biāo)準(zhǔn)交換機(jī)或分布式端口組

勾選“NVMe over TCP”

配置IP地址

完成

1.4VMKernel綁定網(wǎng)卡

選擇上一步創(chuàng)建的VMKernel點(diǎn)擊“編輯設(shè)置”

在“綁定和故障切換”頁面，選擇關(guān)聯(lián)NVMe over TCP啟動(dòng)器的網(wǎng)卡為活動(dòng)適配器

?

1.5掃描存儲(chǔ)鏈路

在兩個(gè)選擇添加的NVMe over TCP啟動(dòng)器下，打開“控制器”選項(xiàng)卡，點(diǎn)擊“添加控制器”

輸入存儲(chǔ)端IP，勾選“中央發(fā)現(xiàn)控制器”或點(diǎn)擊“發(fā)現(xiàn)控制器”，點(diǎn)擊“確定”

1.6存儲(chǔ)端操作

在存儲(chǔ)端創(chuàng)建主機(jī)，選擇啟動(dòng)器類型為NVMe，勾選主機(jī)nqn，創(chuàng)建主機(jī)。