威聯通科技股份有限公司(QNAP Systems, Inc.) - 網路儲存設備(NAS)

Language

Support

使用 iSCSI Extensions For RDMA (iSER),為採用 VMware® ESXi 的 QNAP NAS 提升效能

1. 挑戰

在虛擬化環境中,磁碟、儲存配置、網路、虛擬平台和應用程式都是影響整體效能與穩定性的關鍵因素。中小企業 (SMB) 的 IT 人員時常需要調整最佳效能,並找出系統瓶頸所在。

身為致力耕耘中小企業市場的儲存設備供應商,QNAP 不僅了解這些挑戰,更深知儲存系統並非提高儲存效能的唯一關鍵。目前 QNAP SMB NAS 的主要系列皆支援業界採用多年的解決方案:iSCSI Extensions for RDMA (iSER)。我們的目標是為專業 IT 人員提供一個可大幅改善虛擬化環境效能的必備解決方案,從而協助所屬企業提高 IT 整體效益。

根據 QNAP 實驗室測試結果,支援 iSER 讓採用 Qtier(™) 的 QNAP 混合型儲存 NAS 提升效能達 50% 以上。

2. iSCSI Extensions For RDMA (iSER) 簡介

自 QTS 4.3.3 版起,VMware 虛擬伺服器與搭載 Intel 或 AMD 的 QNAP NAS 之間,可透過 iSCSI 連線啟用 iSER。唯一的條件就是每部伺服器和 NAS 必須具有與 iSER 相容的網路卡。

iSER 協定與傳統的 iSCSI 協定不同,允許傳輸的資料略過網路驅動程式和傳輸層,直接進入 ESXi 伺服器或 NAS 的記憶體緩衝區。如此不但能改善傳輸效能,還可降低 NAS 的 CPU 負載。

透過採用iSER,QNAP已經證實虛擬機的效能搭配適當的儲存設置,可以提高 60% 到 100%不等,而隨機存取的延遲時間也可縮減至少 50%。上述結果顯示,結合iSER 的 QNAP NAS 將特別適合用作 VMware ESXi 資料存放區以部署商業應用程式或虛擬桌面基礎架構 (VDI)。 

下面章節將列出在虛擬化環境啟用 iSER 時的系統需求和必要步驟。此外,本文件也將概略說明,針對使用 Qtier(™) 的混合型儲存 NAS 以及全快閃式 (All Flash) NAS,iSER 如何為它們提升運作效能。

iSER (右側) 可略過 TCP/IP、網路驅動程式及通訊端程式庫,直接將資料傳輸至應用程式。

*如需測試設定與結果的相關資訊,請參閱第五章。效能提升的幅度會隨系統設定而不同。

3. 系統需求

在 QNAP 和 VMware 環境啟用 iSER 的系統需求如下:

  • 至少一個搭載 Intel 或 AMD CPU 且執行 QTS 4.3.3 或以上版本的 QNAP NAS。
  • 至少一個 VMware ESXi 伺服器(目前 QTS 僅支援 iSER 搭配 VMware ESXi)。
  • 每個 QNAP NAS 及 VMware ESXi 伺服器必須安裝與 iSER 相容的網路卡。
  • VMware ESXi 5.5 及 6.0 必須安裝 iSER 相容性驅動程式** MLNX-OFED-ESX-1.9.10.5。可前往 http://www.mellanox.com/page/products_dyn?product_family=29
    下載該驅動程式 注意:VMware ESXi 6.5 和以上版本內建支援 iSER 協定,目前尚不支援iSER。
  • NAS 和 VMware ESXi 伺服器必須與支援 iSER*** 的 Mellanox 交換器連接或直接連接。
    注意: 其他支援 PFC (優先性流程控制) 的網路交換器也同樣適用,但無法確保效能提升的效果。

*下面列出目前支援啟用 iSER 的QNAP配件網路卡,如欲購買擴充卡,請造訪 QNAP 官方網站或與授權經銷商聯繫。

型號 規格 產品
LAN-10G2SF-MLX 雙埠 10 GbE 介面卡:Mellanox Connect-3 Pro EN 連接器SFP+
LAN-40G2SF-MLX 雙埠 40 GbE 介面卡:Mellanox ConnectX-3 Pro EN 連接器QSFP

** 此驅動程式專門用於啟用 iSER。安裝後可能會影響一般的 iSCSI 連線效能。
*** 下列為建議可搭配 iSER 使用,用於VMware伺服器的網路介面卡與Spectrum交換器清單。Spectrum交換器將有助於為企業提供一個零封包遺失,同時具備高效能與低延遲的網路環境。如欲深入了解可安裝於VMware 伺服器上可使用iSER的網路擴充卡,或與 iSER 相容的交換器,請參閱 Mellanox 官方網站或與授權經銷商聯繫。

網路介面卡 規格
MCX311A-XCCT ConnectX®-3 Pro EN 網路介面卡,10GbE,單孔 SFP+,PCIe3.0 x8 8GT/s,高支架,RoHS R6
MCX312B-XCCT ConnectX®-3 Pro EN網路介面卡,10GbE, 雙孔 SFP+,PCIe3.0 x8 8GT/s,高支架,RoHS R6
MCX312C-XCCT ConnectX®-3 Pro EN 網路介面卡,10GbE, 雙孔SFP+,PCIe3.0 x8 8GT/s,高支架,RoHS R6
MCX313A-BCCT ConnectX®-3 Pro EN 網路介面卡,40/56GbE, 單孔QSFP,PCIe3.0 x8 8GT/s,高支架,RoHS R6
MCX314A-BCCT ConnectX®-3 Pro EN網路介面卡,40/56GbE, 雙孔 QSFP,PCIe3.0 x8 8GT/s,高支架,RoHS R6
MCX342A-XCPN ConnectX®-3 Pro EN於OCP使用的網路介面卡,10GbE雙孔SFP+,PCIe3.0 x8,無支架,RoHS R6
MCX342A-XCQN ConnectX®-3 Pro EN 於OCP IPMI及NC-SI使用的網路介面卡 10GbE雙孔SFP+,PCIe3.0 x8,無支架,RoHS R6
MCX345A-BCPN ConnectX®-3 Pro EN 於OCP使用的網路介面卡, 40GbE 單孔 QSFP, PCIe3.0 x8,無支架, RoHS R6
MCX345A-BCQN ConnectX®-3 Pro EN於OCP IPMI及NC-SI使用的網路介面卡, 40GbE 單孔 QSFP, PCIe3.0 x8,無支架, RoHS R6
MCX346A-BCPN ConnectX®-3 Pro EN 於OCP使用的網路介面卡, 40GbE雙孔QSFP, PCIe3.0 x8,無支架, RoHS R6
MCX346A-BCQN ConnectX®-3 Pro EN 於OCP IPMI及NC-SI使用的網路介面卡, 40GbE雙孔QSFP, PCIe3.0 x8,無支架, RoHS R6
 
機型 規格
MSN2700-BS2F 基於 Spectrum™ 的 40GbE 1U 開放式乙太網路交換器、MLNX-OS、32 個 QSFP 28 連接埠
MSN2700-BS2R 基於 Spectrum™ 的 40GbE 1U 開放式乙太網路交換器、MLNX-OS、32 個 QSFP 28 連接埠
MSN2410-BB2F 基於 Spectrum™ 的 10GbE/100GbE 1U 開放式乙太網路交換器、MLNX-OS、48 個 SFP 28 連接埠
MSN2100-BB2F 基於 Spectrum™ 的 40GbE 1U 開放式乙太網路交換器、MLNX-OS、16 個 QSFP 28 連接埠
MSN2100-BB2R 基於 Spectrum™ 的 40GbE 1U 開放式乙太網路交換器、MLNX-OS、16 個 QSFP 28 連接埠

4. 於現有的 VMware 虛擬化環境部署 iSER

本章說明如何在 QNAP NAS 與 VMware ESXi 伺服器之間的 iSCSI 連線啟用 iSER。如果您的環境包含多個 NAS 或多個 VMware 伺服器,請針對每個 NAS 和伺服器執行適當的步驟。

4-1. 配置 NAS 的網路設定

在更改任何設置之前,請先確定 QNAP NAS 是否搭載 Intel 或 AMD 處理器,且執行 QTS 4.3.3 或以上版本。

  1. 關閉 NAS 和 VMware ESXi 伺服器,然後在每個裝置中安裝與 iSER 相容的網路卡。
  2. 連接 NAS 與 VMware ESXi 伺服器;您可透過與 iSER 相容的交換器連接,也可以將它們直接連接。
  3. 開啟 NAS 與 ESXi 伺服器。
  4. 登入 NAS 的 QTS 作業系統,並前往[控制台]>[網路與虛擬交換器]>[網路介面卡]。找出 iSER 相容網路卡的所屬網路介面卡,然後各別指定一組固定 IP 位址。此外,建議將[巨幀封包]設成 9,000,以便在使用 iSER 時充分提升效能。
    在[網路與虛擬交換器]中編輯新增之網路卡的介面卡。按下[設定]圖示即可找到[巨幀封包]設定。

4-2. 安裝 Mellanox iSER 驅動程式

每個 ESXi 伺服器皆須安裝 Mellanox iSER 驅動程式。

  1. 前往 http://www.mellanox.com/page/products_dyn?product_family=29 下載 Mellanox iSER 驅動程式 MLNX-OFED-ESX-1.9.10.5。
  2. 將驅動程式上傳到 ESXi 伺服器。在此教學範例中,我們直接將驅動程式儲存到 NAS,然後使用 Putty 與 SSH 將驅動程式上傳到 ESXi 伺服器。
使用 #scp 指令將驅動程式上傳到 ESXi 伺服器的根目錄。
  1. (選擇性步驟)移除所有舊版的驅動程式。
    無法同時使用 v1.9.10.5 與其他版本的驅動程式。如果已安裝的驅動程式並非 MLNX-OFED-ESX-1.9.10.5,請先停止 ESXi 伺服器上的所有操作和虛擬機器,然後移除現有的驅動程式。

    您可以執行指令 esxcli software vib list | grep mlx 來確認目前安裝的驅動程式版本和名稱。下面顯示用來移除舊版驅動程式的指令(共三個部分):nmlx4-core、nmlx4-en 及 nmlx4-rdma。
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. 執行以下指令安裝新的驅動程式:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. 安裝完畢後,請重新啟動VMware ESXi 伺服器,並執行指令 esxcli software vib list | grep mlx 以確認成功安裝 net-mlx4-core、net-mlx4-en 及 net-mlx4-ib 驅動程式,且版本皆為 1.9.10.5-10EM-600.0.0.2494585。
可使用 Putty 將驅動程式安裝到 ESXi 伺服器。

4-3. 配置 ESXi 伺服器的網路設定

本節逐步說明如何在 ESXi 伺服器上設定 iSER 連線。

  1. 登入 VMware vCenter。
  2. 在左側面板中選擇 VMware ESXi 伺服器。
  3. 前往[Configuration](設定)分頁的[Networking](網路),然後按下[Add Networking](新增網路)以開啟[Add Network Wizard](新增網路精靈)。
從 vCenter 新增 ESXi 伺服器的虛擬交換器。
  1. 若您需要虛擬機器可以識別iSER網路介面,請先選擇[Virtual Machine](虛擬機器)作為[Connection Type](連線類型),然後按[Next](下一步)。若否,請直接跳至6. 。
  2. 在[Network Access](網路存取)頁面上,選擇新安裝的 iSER 相容網路卡。接著按[Next](下一步),然後再按[Next](下一步)以保留所有預設的設定值,接下來按下[Finish](完成)以完成[Add Network](新增網路)精靈的設定流程。
選擇新增的網路卡繼續設定。
  1. 再按一次[Add Networking](新增網路)。選擇[VMkernel]作為[Connection Type](連線類型)。同樣記得選取新插入支援iSER的網路卡,然後依照精靈完成設定操作。保留預設的[Port Group](連接埠群組)屬性。
  2. 在[IP Settings](IP 位址)頁面上,您可指定網路介面卡的固定 IP 位址。然後依序按[Next](下一步)與[Finish](完成),關閉精靈。
繼續新增 VMkernel 類型並指定網路卡的固定 IP。
  1. 前往[Configuration](設定)分頁的[Networking](網路),確定畫面上顯示 iSER 網路卡的新虛擬交換器。
新增的虛擬交換器包含 VM 網路 ﹝可選﹞ 和 VMkernel。

4-4. 將網路連線從 iSCSI 變更為 iSER

  1. 登入 VMware vCenter。
  2. 在左側面板中選擇 VMware ESXi 伺服器。
  3. 前往[Configuration](設定)分頁的[Storage Adapters](儲存介面卡)。iSER 類型在此頁面除了顯示現有的[iSCSI Software Adapter](iSCSI 軟體介面卡)之外,還應顯示[Mellanox iSCSI over RDMA (iSER) Adapter](Mellanox iSCSI over RDMA (iSER) 介面卡)。
    特別注意:如果您正在設定新的虛擬環境,則需要先建立 iSCSI 軟體介面卡,然後重新啟動 ESXi 伺服器,才能看見 Mellanox iSCSI over RDMA (iSER) 介面卡。
    已按照章節 4-3 配置 NAS 和 VMware ESXi 網路設定後,才會顯示 Mellanox iSCSI over RDMA (iSER) 介面卡。
  4. 選擇[iSCSI Software Adapter](iSCSI 軟體介面卡)裝置,然後按[Properties](屬性)。
  5. 從[Network Configurations](網路設定)分頁的清單移除全部現有的連接埠繫結。另外,也須從[Dynamic Discovery](動態探索)與[Static Discovery](靜態探索)分頁的清單移除所有 iSCSI 目標。這樣可確保連線僅使用 iSER 協定。
    從[Network Configurations](網路設定)、[Dynamic Discovery](動態探索)及[Static Discovery](靜態探索)的清單清除所有項目。
  6. 關閉 iSCSI 軟體介面卡的屬性。前往[Configuration](設定)的[Storage Adapters](儲存介面卡)頁面,選擇[Mellanox iSCSI over RDMA (iSER) Adapter](Mellanox iSCSI over RDMA (iSER) 介面卡)下的裝置,然後按[Properties](屬性)。
  7. 在[Network Configurations](網路設定)分頁上,按[Add](新增)以建立新的 VMKernel 連接埠繫結。選擇章節 4-3 中,為 iSER 連線建立的 VMKernel。
    編輯 Mellanox iSCSI over RDMA (iSER) 介面卡裝置屬性,然後新增 iSER 虛擬交換器以重新掃描 iSCSI 目標。
  8. 針對[Mellanox iSCSI over RDMA (iSER) Adapter](Mellanox iSCSI over RDMA (iSER) 介面卡)下需要 iSER 連線的每個裝置重複執行步驟 5 和 6。

    QNAP iSCSI 目標與 LUN 現在將使用新的 iSER 網路介面卡自動連接。
    QNAP NAS 上的 iSCSI LUN 會使用 iSER 介面卡連接。

5.效能測試與結果報告

QNAP 測試團隊使用下列設備測量 iSER 的效能優勢:

QNAP NAS

  • TVS-EC2480-SAS-RP:混合型儲存陣列
  • TES-EC3085U:全快閃式儲存陣列

VMware

  • 五個 Dell PowerEdge R420 伺服器構成的 VMware ESXi 6.0 叢集。每個伺服器皆配備 Intel Xeon E5-2450 CPU 和 128GB RAM。
  • 虛擬機器作業系統:Windows 2012 R2 64bit

網路功能

  • Mellanox 40GbE LAN-40G2SF-MLX 網路卡,安裝於 NAS 和每個 PowerEdge 伺服器上。
  • Mellanox 40GbE SN2410 切換器,用於連接 VMware ESXi 伺服器和 NAS。

注意:為顯示效能提升幅度,僅使用單條 40GbE 連接線來連接 NAS 與 Mellanox 40GbE 交換器。在一般情況下,可以設定多條 10GbE 和 40GbE 連線以及數個交換器,進一步提高採用 iSER 後的效能和儲存可用性。

每個 VMware ESXi 伺服器皆安裝 IOmeter,且設定配置如下:

Iometer(iSCSI 輸送量)
Outstanding I/Os→ 1 per target (未完成的 IO→每個目標 1 個) Write Throughput → 2M Sequential 100%
Write 100%(寫入輸送量→2M 循序 100% 寫入 100%)
Workers → 20(工作者 → 20) Read Throughput → 2M Sequential 100%
Read 100%(讀取輸送量→2M 循序 100% 讀取 100%)
Ramp up time → 30 seconds
(加速時間→30 秒)
Transferring Size →16GB file(傳輸大小 → 16GB 檔案)
Iometer (iSCSI IOPS)
Outstanding I/Os→ 1 per target(未完成的 IO→每個目標 1 個) Write IOPS →4K Sequential 100% Write 100%(寫入 IOPS→4K 循序 100% 寫入 100%)
Workers→ 20(工作者→ 20) Read IOPS →4K Sequential 100% Read 100%(讀取 IOPS→4K 循序 100% 讀取 100%)
Ramp up time→30 seconds(加速時間→30 秒) Transferring Size→16GB file(傳輸大小→16GB 檔案)

注意:本測試使用一般 IOmeter 設定。實際存取模式會隨應用程式而不同。

5-1. 單個虛擬機器搭配 Qtier™:採用 iSER 後循序讀寫效能提升 100%(達 4000 MB/s)

在本次測試中,我們針對與混合型儲存 NAS 連接的單個虛擬機器測試效能。商業應用程式(如郵件伺服器)經常配置此類設定,其需要良好的效能與強大儲存能力。

NAS 規格
型號 QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
記憶體 32GB
儲存配置 Seagate SAS SSD x12,RAID 10
Seagate SATA HDD x12,RAID 6
單一儲存池、單一區塊型 iSCSI LUN
網路卡 40GbE 網路卡 LAN-40G2SF-MLX

根據測試結果,循序讀寫速度提升超過 100% ,達 4,000MB/s。測試結果顯示,iSER 可大幅提升高效需求應用程式的循序讀寫效能。



5-2.五個虛擬機器搭配 Qtier™:採用 iSER 後隨機讀寫效能提升 80%(達 180,000 IOPS)

第二次測試使用與前次測試相同的混合型儲存 NAS 配置。不過在這次測試中,我們將 VMware 虛擬機器的數量增加到五個。此測試配置適用於有以下需求的中小企業:在單一 QNAP NAS 上執行需要隨機存取的多個應用程式,例如 Web 伺服器或日誌伺服器資料庫。

我們根據測試結果將所有虛擬機器的效能合併計算,藉此顯示整體的讀寫效能。結果顯示,使用 iSER時,隨機讀寫效能提高了 80% 以上。在 RAID 10 的配置下搭配 12 個 SSD,隨機讀寫效能總共可達 180,000 IOPS。此外,在循序存取速度上也有所提升。 另一方面,延遲時間也從 0.9 ms 降低到 0.5 ms,因此當多個應用程式需要隨機存取時,可加快回應時間。



5-3. 五個虛擬機器搭配全快閃式儲存陣列:採用 iSER 後隨機讀寫效能提升 60%(達 250,000 IOPS)

前次測試使用混合型儲存 NAS 搭配 Qtier™,結果每個虛擬機器的效能約 36,000 IOPS。對於 SQL Server 這類的商業應用程式而言,這樣的結果仍有加強空間。為了進一步探索 iSER 可帶來的效益,我們將 NAS 更改為 QNAP TES-3085U;其為配置 30 個 SSD 插槽的全快閃式儲存系統。我們將此 NAS 與五個 VMware 虛擬機器連接。

由於這次測試設定不需要 Qtier,因此用不到大型儲存池。測試過程中,我們將 30 個 SSD 分割成 5 個儲存池,每個儲存池都有一個區塊型 iSCSI LUN。此儲存配置不但降低資料遺失的風險,還可透過個別擷取各儲存池的中繼資料來提升效能。

NAS 規格
型號 QNAP TES-3085U
CPU Intel Xeon D-1548
記憶體 32GB
儲存配置 Samsung SATA SSD x30,RAID 10
5 個儲存池
5 個區塊型 iSCSI LUN
網路卡 40GbE 網路卡 LAN-40G2SF-MLX

此次測試中,我們將多個虛擬機器的效能合併計算,藉此觀察整體的讀寫效能。結果顯示使用 iSER 時,隨機讀寫效能提高了 80% 以上,總共達 250,000 IOPS。這表示每個虛擬機器可達 50,000 IOPS。此數字已超過一般建議 SQL Server 需要的 30,000 IOPS。相較於使用 iSCSI 時延遲 1.1 ms,延遲時間也進一步縮減到 0.3 ms。


5-4.測試總結

在使用 iSER 後,多個虛擬機器的隨機讀寫效能提高達 80%,而延遲時間則減少約 50%。無論是混合型儲存或全快閃式儲存 NAS,皆可觀察到同樣的結果。

QNAP 測試團隊因此得出結論:當 QNAP NAS 作為 VMware ESXi 資料存放區時,iSER 可以有效增加 QNAP NAS 的效能。

QNAP 相信,對於想提升商業應用程式效能的 IT 專業人士來說,iSER 是絕佳的選擇。未來 QNAP 將繼續透過不同配置來測試 iSER 的效益,並公開測試結果。

發佈日期: 2017-05-25
這篇文章對您有幫助嗎?
謝謝您,我們已經收到您的意見。
謝謝您,我們已經收到您的意見。若有任何問題,歡迎來信 support@qnap.com 。
100% 的人認為有幫助。