使用 iSCSI Extensions For RDMA (iSER)，為採用 VMware® ESXi 或 VJBOD 的 QNAP NAS 提升效能

1. 挑戰

在虛擬化環境中，磁碟、儲存配置、網路、虛擬平台和應用程式都是影響整體效能與穩定性的關鍵因素。 中小企業 (SMB) 的 IT 人員時常需要調整最佳效能，並找出系統瓶頸所在。

身為致力耕耘中小企業市場的儲存設備供應商，QNAP 不僅瞭解這些挑戰，更深知除了儲存系統外，儲存網路也是提升儲存效能的一大關鍵。 目前 QNAP SMB NAS 的主要產品系列皆支援業界採用多年的解決方案：iSCSI Extensions for RDMA (iSER)。 我們的目標是為專業 IT 人員提供一個可大幅改善虛擬化環境效能的必備解決方案，從而協助所屬企業提高 IT 整體效益。

2. iSCSI Extensions for RDMA (iSER) 簡介

自 QTS 4.3.3 版起，VMware 虛擬伺服器與搭載 Intel 或 AMD 的 QNAP NAS 之間，可透過 iSCSI 連線啟用 iSER。 唯一的條件就是每部伺服器和 NAS 必須具有與 iSER 相容的網路卡。 在 QTS 4.3.5 中，iSER 也可透過 QNAP 虛擬 JBOD (VJBOD) 連線啟用。

iSER 協定與傳統的 iSCSI 協定不同，允許傳輸的資料略過網路驅動程式和傳輸層，直接進入 ESXi 伺服器或 NAS 的記憶體緩衝區。 如此不但能改善資料傳輸效能，還可減少 NAS 的延遲情況與 CPU 負載量。

QNAP 也發現，虛擬機的效能因此提高 60％ 到 100％， 而隨機存取的延遲時間也可縮減至少 50％。 上述結果顯示，iSER 特別適合將 QNAP NAS 用作 VMware ESXi 資料存放區以代管商業應用程式或虛擬桌面基礎架構 (VDI) 的企業。 

下面章節將列出在虛擬化環境啟用 iSER 時的系統需求和必要步驟。 此外，本文件也將概略說明，對於使用 Qtier(?) 的混合型儲存 NAS、全快閃式儲存 NAS，以及配置 SSD 快取並作為 VJBOD 的 NAS 而言，iSER 如何為它們提升運作效能。

*如需測試設定與結果的相關資訊，請參閱第五章。 效能提升的幅度會隨系統設定而不同。

3. 系統需求

在 QNAP NAS 啟用 iSER 的系統需求如下：

硬體需求

• VMware：
  • 至少一個搭載 Intel 或 AMD CPU 且執行 QTS 4.3.3 或以上版本的 QNAP NAS 裝置。
  • 至少一個 VMware ESXi 伺服器（目前 QTS 僅支援 iSER 搭配 VMware ESXi）。
• VJBOD： 兩個搭載 Intel 或 AMD CPU 且執行 QTS 4.3.5 或以上版本的 QNAP NAS 裝置。

網路需求

• 每個 QNAP NAS 及 VMware ESXi 伺服器必須安裝與 iSER 相容的網路卡*。
• 所有 NAS 裝置和 VMware ESXi 伺服器必須透過支援 iSER** 的 Mellanox 交換器連接，或者不經由交換器而直接連接。

軟體需求

• VMware ESXi 5.5、6.0 及 6.5 必須安裝 iSER 相容性驅動程式。 請前往 http://www.mellanox.com/page/products_dyn?product_family=29 下載該驅動程式
  備註： 由於 VMware ESXi 6.7 或以上版本已預先安裝此驅動程式，因此您無須另行安裝。

*下表列出目前支援 iSER 的網路卡， 如欲購買擴充卡，請造訪 QNAP 官方網站或與授權經銷商聯繫。

型號	規格	產品
LAN-10G2SF-MLX 雙埠 10 GbE	介面卡： Mellanox Connect-3 Pro EN 連接器： SFP+
LAN-40G2SF-MLX 雙埠 40 GbE	介面卡： Mellanox ConnectX-3 Pro EN 連接器： QSFP

** 下面為可搭配 iSER 使用的 Mellanox 乙太網路交換器建議清單。 Mellanox Spectrum 交換器屬於超低延遲性交換器，其無壅塞交換架構支援全線速傳送流量且無丟包問題。 Mellanox 交換器具備最佳化流量壅塞管理機制，可讓 iSER 發揮最高效能。 如欲深入瞭解與 iSER 相容的交換器及網路卡，請參閱 Mellanox 官方網站或與授權經銷商聯繫。

4. 於現有的 VMware 虛擬化環境部署 iSER

本章說明如何在 QNAP NAS 與 VMware ESXi 6.0 伺服器之間的 iSCSI 連線啟用 iSER。 如果您的環境包含多個 NAS 裝置或多個 VMware 伺服器，請針對每個 NAS 和伺服器執行適當的步驟。

4-1. 配置 NAS 的網路設定

在更改任何設置之前，請先確定 QNAP NAS 是否搭載 Intel 或 AMD 處理器，且執行 QTS 4.3.3 或以上版本。

1. 關閉 NAS 和 VMware ESXi 伺服器，然後在每個裝置中安裝與 iSER 相容的網路卡。
2. 連接 NAS 與 VMware ESXi 伺服器；您可透過與 iSER 相容的交換器連接，也可以將它們直接連接。
3. 開啟 NAS 與 ESXi 伺服器。
4. 登入 NAS 的 QTS 並前往〔控制台〕>〔網路與虛擬交換器〕>〔網路介面卡〕。 找出屬於 iSER 相容網路卡的網路介面卡，然後為其指定位於專用子網路上的一組固定 IP 位址。 此外，建議將〔巨幀封包〕設成 9,000，以便在使用 iSER 時充分提升效能。
   

4-2. 安裝 Mellanox iSER 驅動程式（不適用於 VMware ESXi 6.5 或以上版本）

1. 前往 http://www.mellanox.com/page/products_dyn?product_family=29 下載 Mellanox iSER 驅動程式。
2. 將驅動程式上傳到 ESXi 伺服器。 在此教學範例中，我們直接將驅動程式儲存到 NAS，然後使用 Putty 與 SSH 將驅動程式上傳到 ESXi 伺服器。
   

3. （選擇性步驟）移除所有舊版的驅動程式。
   不能同時使用其他版本的 iSER 驅動程式。 如果已安裝其他版本的驅動程式，請先停止 ESXi 伺服器上的所有操作和虛擬機器，然後移除現有的驅動程式。
   
   您可以執行指令 esxcli software vib list | grep mlx 來確認目前安裝的驅動程式版本和名稱。 下面顯示用來移除舊版驅動程式的指令，共三個部分：nmlx4-core、nmlx4-en 及 nmlx4-rdma。
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. 執行以下指令安裝新的驅動程式：
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. 安裝完畢後，請重新啟動 VMware ESXi 並執行指令 esxcli software vib list | grep mlx，以確認成功安裝 net-mlx4-core、net-mlx4-en 及 net-mlx4-ib 驅動程式，且版本皆為 1.9.10.5-10EM-600.0.0.2494585。

4-3. 配置 ESXi 伺服器的網路設定

本節逐步說明如何在 ESXi 伺服器上設定 iSER 連線。

1. 登入 VMware vCenter。
2. 在左側面板中選擇 VMware ESXi 伺服器。
3. 前往〔Configuration〕（設定）分頁的〔Networking〕（網路），然後按下〔Add Networking〕（新增網路）以開啟〔Add Network Wizard〕（新增網路精靈）。
   
   從 vCenter 新增 ESXi 伺服器的虛擬交換器。
4. 若您希望 Guest OS 可以存取網路介面，請選擇〔Virtual Machine〕（虛擬機器）作為〔Connection Type〕（連線類型），然後點擊〔Next〕（下一步）。若否，請直接跳至步驟 6。
5. 在〔Network Access〕（網路存取）頁面上，選擇新安裝的 iSER 相容網路卡。 接著按〔Next〕（下一步），然後再按〔Next〕（下一步）以保留所有預設的設定值，接下來按下〔Finish〕（完成）以完成〔Add Network〕（新增網路）精靈的設定流程。
   
   選擇新增的網路卡繼續設定。
6. 再按一次〔Add Networking〕（新增網路）。 選擇〔VMkernel〕作為〔Connection Type〕（連線類型）。接著確認選取新安裝的 iSER 相容網路卡，然後依照精靈步驟完成設定操作。 保留預設的〔Port Group〕（連接埠群組）屬性。
7. 在〔IP Settings〕（IP 位址）頁面上，指定網路介面卡的固定 IP 位址。 然後依序按〔Next〕（下一步）與〔Finish〕（完成），關閉精靈。
   
   繼續新增 VMkernel 類型並指定網路卡的固定 IP。
8. 前往〔Configuration〕（設定）分頁的〔Networking〕（網路），確定畫面上顯示 iSER 網路卡的新虛擬交換器。
   
   新增的虛擬交換器包含 VM 網路（可選）和 VMkernel。

4-4. 將網路連線從 iSCSI 變更為 iSER

1. 登入 VMware vCenter。
2. 在左側面板中選擇 VMware ESXi 伺服器。
3. 前往〔Configuration〕（設定）分頁的〔Storage Adapters〕（儲存介面卡）。 iSER 類型在此頁面除了顯示現有的〔iSCSI Software Adapter〕（iSCSI 軟體介面卡）之外，還應顯示〔Mellanox iSCSI over RDMA (iSER) Adapter〕（Mellanox iSCSI over RDMA (iSER) 介面卡）。
   備註： 如果您正在設定新的虛擬環境，則需要先建立 iSCSI 軟體介面卡，然後重新啟動 ESXi 伺服器，才能看見 Mellanox iSCSI over RDMA (iSER) 介面卡。
   
   已按照章節 4-3 配置 NAS 和 VMware ESXi 網路設定後，才會顯示 Mellanox iSCSI over RDMA (iSER) 介面卡。
4. 選擇〔iSCSI Software Adapter〕（iSCSI 軟體介面卡）裝置，然後按〔Properties〕（屬性）。
5. 從〔Network Configurations〕（網路設定）分頁的清單移除全部現有的連接埠繫結。 另外，也須從〔Dynamic Discovery〕（動態探索）與〔Static Discovery〕（靜態探索）分頁的清單移除所有 iSCSI 目標。 這樣可確保連線僅使用 iSER 協定。
   
   從〔Network Configurations〕（網路設定）、〔Dynamic Discovery〕（動態探索）及〔Static Discovery〕（靜態探索）的清單清除所有項目。
6. 關閉 iSCSI 軟體介面卡的屬性。 前往〔Configuration〕（設定）的〔Storage Adapters〕（儲存介面卡）頁面，選擇〔Mellanox iSCSI over RDMA (iSER) Adapter〕（Mellanox iSCSI over RDMA (iSER) 介面卡）下的裝置，然後按〔Properties〕（屬性）。
7. 在〔Network Configurations〕（網路設定）分頁上，按〔Add〕（新增）以建立新的 VMKernel 連接埠繫結。 選擇章節 4-3 中，為 iSER 連線建立的 VMKernel。
   
   編輯 Mellanox iSCSI over RDMA (iSER) 介面卡裝置屬性，然後新增 iSER 虛擬交換器以重新掃描 iSCSI 目標。
8. 針對〔Mellanox iSCSI over RDMA (iSER) Adapter〕（Mellanox iSCSI over RDMA (iSER) 介面卡）下需要 iSER 連線的每個裝置重複執行步驟 5 和 6。
   
   QNAP iSCSI 目標與 LUN 現在將使用新的 iSER 網路介面卡自動連接。
   
   QNAP NAS 上的 iSCSI LUN 會使用 iSER 介面卡連接。

5. 在 QNAP NAS 上透過 VJBOD 使用 iSER

本節說明如何透過 VJBOD 連線在兩個 QNAP NAS 裝置上啟用 iSER。

備註：兩個 NAS 裝置皆須執行 QTS 4.3.5 或以上版本。

1. 在本機 NAS 登入 QTS，然後前往〔主選單〕>〔儲存空間與快照〕>〔儲存空間〕>〔硬碟/VJBOD〕。
2. 依序選取〔VJBOD〕>〔建立 VJBOD〕。
   〔建立虛擬 JBOD 硬碟精靈〕隨即出現。
3. 點擊〔下一步〕。
   〔連線到一台遠端 QNAP NAS〕畫面隨即出現。
4. 選擇搭載 iSER 相容網路卡的遠端 NAS 裝置。
5. 輸入遠端 NAS 裝置的密碼，然後點擊〔下一步〕。
   〔選取介面〕畫面隨即開啟。
   
6. 在〔本機 NAS 介面〕下方選取一個 iSER 相容的介面卡。
7. 在〔遠端 NAS 介面〕下方選取一個 iSER 相容的介面卡。
8. 選取〔可用時使用 iSER〕，然後點擊〔下一步〕。
9. 按照精靈顯示的其餘步驟完成建立 VJBOD。

若要確認 iSER 是否正在運作，請前往〔主選單〕>〔儲存空間與快照〕>〔儲存空間〕>〔硬碟/VJBOD〕，然後選取遠端硬碟。 如果 iSER 連線已建立，〔連線類型〕會顯示〔iSER〕。

備註： 如果遠端硬碟中斷連線，QTS 會先嘗試用 iSER 重新連線硬碟。 若連線失敗，QTS 接著會以 iSCSI 重新連線硬碟。 若要將連線類型從 iSCSI 改回 iSER，請取消連線並重新連線到遠端硬碟。

6. 效能測試與結果報告

QNAP 測試團隊使用下列設備測量 iSER 的效能優勢（與一般 iSCSI 比較）：

QNAP NAS

• TVS-EC2480-SAS-RP：混合型儲存陣列
• TES-EC3085U：全快閃式儲存陣列

VMware

• 五個 Dell PowerEdge R420 伺服器構成的 VMware ESXi 6.0 叢集。 每個伺服器皆配備 Intel Xeon E5-2450 CPU 和 128GB RAM。
• 虛擬機器作業系統： Windows 2012 R2 64bit

網路

• Mellanox 40GbE LAN-40G2SF-MLX 網路卡，安裝於 NAS 和每個 PowerEdge 伺服器上。
• Mellanox 40GbE Spectrum SN2410 交換器，用於連接 VMware ESXi 伺服器和 NAS。

備註： 為顯示效能提升幅度，僅使用 40GbE 連接線來連接 NAS 與 Mellanox 40GbE 交換器。 不過在一般情況下，可以設定多條 10GbE 和 40GbE 連線以及數個交換器，進一步提高採用 iSER 後的效能和儲存可用性。

每個 VMware ESXi 伺服器皆安裝 IOmeter，且設定配置如下：
備註： 本測試使用一般 IOmeter 設定。 實際存取模式會隨應用程式而不同。

6-1. 單個虛擬機器搭配 Qtier™： 採用 iSER 後連續讀寫效能提升 100%（達 4000 MB/s）

在本次測試中，我們針對與混合型儲存 NAS 連接的單個虛擬機器測試效能。 此類配置設定常見於商業應用程式（如郵件伺服器），因其需要良好效能與大量儲存空間。

根據測試結果，連續讀寫速度提升超過 100% ，連續讀取速度更超過 4,000MB/s。 測試結果顯示，iSER 可大幅提升高效需求應用程式的連續讀寫效能。

6-2. 五個虛擬機器搭配 Qtier™： 採用 iSER 後隨機讀寫效能提升 80%（達 180,000 IOPS）

第二次測試使用與前次測試相同的混合型儲存 NAS 配置。 不過在這次測試中，我們將 VMware 虛擬機器的數量增加到五個。 此測試配置適用於有以下需求的中小企業：在單一 QNAP NAS 上執行需要隨機存取的多個應用程式，例如 Web伺服器或日誌伺服器資料庫。

我們根據測試結果將所有虛擬機器的效能合併計算，藉此顯示整體的讀寫效能。 結果顯示，使用 iSER 時，隨機讀寫效能提高了 80% 以上。 即便在 RAID 10 的配置下僅搭配 12 個 SSD，隨機讀寫效能總共可達 180,000 IOPS。 此外，在連續存取速度上也有所提升。 
另一方面，延遲時間也從 0.9 ms 降低到 0.5 ms，因此當多個應用程式需要隨機存取相同 NAS 裝置時，可加快回應時間。

6-3. 五個虛擬機器搭配全快閃式儲存陣列： 採用 iSER 後隨機讀寫效能提升 60%（達 250,000 IOPS）

前次測試使用混合型儲存 NAS 搭配 Qtier™，結果每個虛擬機器的效能約 36,000 IOPS。 對於 SQL Server 這類的商業應用程式而言，這樣的結果仍需改進。 為了進一步探索 iSER 可帶來的效益，我們將 NAS 更改為 QNAP TES-3085U； 其為配置 30 個 SSD 插槽的全快閃式儲存系統。 我們將此 NAS 與五個 VMware 虛擬機器連接。

由於這次測試設定不需要 Qtier，因此用不到大型儲存池。 測試過程中，我們將 30 個 SSD 分割成 5 個儲存池，每個儲存池都有一個區塊型 iSCSI LUN。 此儲存配置不但降低資料遺失的風險，還可透過個別擷取各儲存池的中繼資料來提升效能。

此次測試中，我們將多個虛擬機器的效能合併計算，藉此觀察整體的讀寫效能。 使用 iSER 時，隨機讀寫效能提高了 80% 以上，總共達 250,000 IOPS。 這表示每個虛擬機器可達 50,000 IOPS。 此數字已超過一般建議 SQL Server 需要的 30,000 IOPS。 相較於使用 iSCSI 時延遲 1.1 ms，延遲時間也進一步縮減到 0.3 ms。

6-4. VJBOD NAS 搭配 SSD 快取： 使用 iSER 時，讀取效能提高了 80%

在 QTS 4.3.5 及以上版本中，可透過 VJBOD 連線啟用 iSER。 測試方法如下：使用 VJBOD 連接兩個硬體規格相同的 QNAP NAS 裝置，然後測試本機 NAS 的遠端硬碟效能。

根據測試結果，使用 iSER 可明顯提高連續讀取與隨機讀取的效能。 連續讀取與隨機讀取的效能分別提升了 72% 和 89%，而隨機延遲時間減少了 41%。 結果也顯示，隨著 iSER 的啟用，效能瓶頸從網路層移轉到儲存層。 換言之，新增 SSD 有助於提升寫入效能。

6-5. 測試總結

使用 iSER 時，多個虛擬機器的隨機讀寫效能提高達 80％，而延遲時間則減少約 50％。 無論是混合型儲存 NAS、全快閃式儲存 NAS，還是配置 SSD 快取並作為 VJBOD 的 NAS，測試結果都一樣。

我們據此得出結論：當 QNAP NAS 作為 VMware ESXi 資料存放區或其他 QNAP NAS 的 VJBOD 時，iSER 可以有效增加 QNAP NAS 的效能。 當配置 SSD 儲存空間時，iSER 可以提升關鍵應用程式的效能，無論其運行於 VMware 叢集或者透過 VJBOD 連接的 QNAP NAS 裝置皆然。

藉由為 QTS 新增 iSER 支援功能，QNAP 充分展現創新能力，讓所有客戶享有高速儲存效能，進而突破儲存效能瓶頸。 未來 QNAP 將繼續透過不同配置來測試 iSER 的效用並公開測試結果，藉此讓有興趣的客戶對 iSER 有更深層的認識。