QNAP Systems, Inc. - ネットワーク接続ストレージ(NAS)

Language

Support

VMware® ESXi での QNAP NAS の性能向上のために、iSCSI Extensions for RDMA (iSER) を使う

1.課題

仮想化環境において、全体的な性能と安定性のためにはドライブ、ストレージ、構成、ネットワーク、ハイパーバイザー、アプリケーションといったすべてが極めて重要な要素です。中小企業 (SMB) の IT 担当者は、性能を最適化し、ボトルネック部分を見つけることを求められることがよくあります。

SMB 市場への注力を謳っているストレージ プロバイダーとして、QNAP はこういった課題を認識しており、ストレージの性能向上にはストレージ・システムだけでなくストレージネットワークが大きく影響することを理解しています。QNAP は、過去数年間エンタープライズに採用されてきたソリューションである iSCSI Extensions for RDMA (iSER) を現在 QNAP SMB NAS 製品の主要シリーズすべてでサポートしています。我々の目標は、仮想化環境で性能を大きく向上できる IT プロフェッショナルにとって必要不可欠なソリューションを提供し、IT の全体的効率性を高められるよう業務を支援することです。

QNAP Lab のテストでは、iSER によって Qtier™ を装備した QNAP Hybrid Storage NAS の性能を 50% 以上高められています。詳細は 第 5 章をご覧ください。

2. iSCSI Extensions for RDMA (iSER) の紹介

QTS version 4.3.3 以降では、iSER は VMware 仮想化サーバーと Intel あるいは AMD ベースの QNAP NAS の間の iSCSI 接続が可能です。必要なことはひとつで、サーバーと NAS それぞれに iSER 対応のネットワークカードが装備されていることです。

iSER プロトコルは従来の iSCSI とは異なり、ネットワーク ドライバーとソケット レイヤーをバイパスして ESXi サーバーあるいは NAS に直接データが転送されます。これにより、データ転送性能が高まり、同時に NAS の待ち時間と CPU 負荷を減らせます。

QNAP は iSER によって仮想マシンの性能が 60% ~ 100%* 向上することを確認しています。また、ランダムアクセスの待ち時間は 50% 以上減少します。これらのテスト結果によって iSER が QNAP NAS を VMware ESXi のデータストアやホスティング ビジネス アプリケーション、仮想デスクトップインフラストラクチャ (VDI) として使用するビジネスに特に適していることが示されています。

次の複数の章では仮想化環境で iSER を有効にするために必要なシステム条件と手順を列挙しています。ドキュメントではまた、iSER が Qtier(™) を使用してどのようにハイブリッドストレージ NAS およびオールフラッシュ NAS の性能を向上するかの基本が示されます。

iSER (右) は、TCP/IP、ネットワーク ドライバー、ソケット ライブラリーをバイパスし、データを直接アプリケーションあるいはストレージ メモリに転送します。

*テスト用設定と結果については第 5 章をご覧ください。性能向上はご利用のシステム構成によって変わります。

3.システム要件

ご利用の QNAP と VMware の環境で iSER を有効にするには、次のことが必要です。

  • QTS 4.3.3 以降が動作している Intel または AMD CPU の 1 台または複数の QNAP NAS。
  • 1 台または複数の VMware ESXi サーバー (現在、QTS は VMware ESXi の iSER のみをサポートします)。
  • 各 QNAP NAS と VMware ESXi サーバーに対する iSER 対応ネットワーク。
  • iSER 対応ドライバー** MLNX-OFED-ESX-1.9.10.5 は VMware ESXi 5.5 と 6.0 にインストールされている必要があります。ドライバーの入手先 http://www.mellanox.com/page/products_dyn?product_family=29
    注記:VMware ESXi 6.5 は現在のところ iSER プロトコルではサポートされていません。
  • NAS と VMware ESXi サーバーは、iSER*** をサポートする Mellanox スイッチかまたはスイッチを介さずに直接接続されている必要があります。
    注記:PFC (Priority Flow Control) をサポートする他のスイッチは使用可能ですが、その場合は iSER による性能向上は保証できません。

*現在 iSER で使用できるネットワークカードは次の通りです。拡張カードの購入は、QNAP のウェブサイトをご覧いただくか、正規販売店にお問い合わせください。

モデル 仕様 製品
LAN-10G2SF-MLX Dual-port 10 GbE アダプター: Mellanox Connect-3 Pro EN コネクター:SFP+
LAN-40G2SF-MLX Dual-port 40 GbE アダプター:Mellanox ConnectX-3 Pro EN コネクター:QSFP

** このドライバーは iSER を有効にするために特別に作られたものです。これをインストールすると、通常の iSCSI 接続時の性能に影響が出る場合があります。

*** 以下は iSER で利用することが推奨されている Mellanox Ethernet カードとスイッチの一覧です。Mellanox Spectrum スイッチは、ラインレートでパケットロスを起こさず、安定した超低遅延のノンブロッキング スイッチングを発揮します。Mellanox スイッチは最高の輻輳管理を備え、iSER の高性能を引き出します。iSER 対応ネットワークカードとスイッチに関する詳細は、Mellanox の公式ウェブサイトをご覧になるか正規販売店にお問い合わせください。

ネットワークカード 仕様
MCX311A-XCCT ConnectX®-3 Pro EN ネットワークインターフェイスカード、10GbE、シングルポート SFP+、PCIe3.0 x8 8GT/s、トール ブラケット、RoHS R6
MCX312B-XCCT ConnectX®-3 Pro EN ネットワークインターフェイスカード、10GbE、デュアルポート SFP+、PCIe3.0 x8 8GT/s、トール ブラケット、RoHS R6
MCX312C-XCCT ConnectX®-3 Pro EN ネットワークインターフェイスカード、10GbE、デュアルポート SFP+、PCIe3.0 x8 8GT/s、トール ブラケット、RoHS R6
MCX313A-BCCT ConnectX®-3 Pro EN ネットワークインターフェイスカード、40/56GbE、シングルポート QSFP、PCIe3.0 x8 8GT/s、トール ブラケット、RoHS R6
MCX314A-BCCT ConnectX®-3 Pro EN ネットワークインターフェイスカード、40/56GbE、デュアルポート QSFP、PCIe3.0 x8 8GT/s、トール ブラケット、RoHS R6
MCX342A-XCPN ConnectX®-3 Pro EN OCP 用ネットワークインターフェイスカード、10GbE デュアルポート SFP+、PCIe3.0 x8、ブラケットなし、RoHS R6
MCX342A-XCQN ConnectX®-3 Pro EN IPMI と NC-SI 付OCP 用ネットワークインターフェイスカード、10GbE デュアルポート SFP+, PCIe3.0 x8、ブラケットなし、RoHS R6
MCX345A-BCPN ConnectX®-3 Pro EN OCP用ネットワークインターフェイスカード、40GbE シングルポート QSFP、PCIe3.0 x8、ブラケットなし、RoHS R6
MCX345A-BCQN ConnectX®-3 Pro EN IPMI と NC-SI 付 OCP 用ネットワークインターフェイスカード、40GbE シングルポート QSFP、PCIe3.0 x8、ブラケットなし、RoHS R6
MCX346A-BCPN ConnectX®-3 Pro EN OCP 用ネットワークインターフェイスカード、40GbE デュアルポート QSFP、PCIe3.0 x8、ブラケットなし、RoHS R6
MCX346A-BCQN ConnectX®-3 Pro EN IPMI と NC-SI 付 OCP 用ネットワークインターフェイスカード、40GbE デュアルポート QSFP、PCIe3.0 x8、ブラケットなし、RoHS R6
モデル 仕様
MSN2700-BS2F Spectrum™ ベースの 40GbE 1U オープン Ethernet スイッチ、MLNX-OS、32 QSFP 28 ポート
MSN2700-BS2R Spectrum™ ベースの 40GbE 1U オープン Ethernet スイッチ、MLNX-OS、32 QSFP 28 ポート
MSN2410-BB2F Spectrum™ ベースの 10GbE/100GbE 1U オープン Ethernet スイッチ、MLNX-OS、48 SFP 28 ポート
MSN2100-BB2F Spectrum™ ベースの 40GbE 1U オープン Ethernet スイッチ、MLNX-OS、16 QSFP 28 ポート
MSN2100-BB2R Spectrum™ ベースの 40GbE 1U オープン Ethernet スイッチ、MLNX-OS、16 QSFP 28 ポート

4.既存の VMware 仮想環境に iSER を展開

この章には、QNAP NAS と 1 台の VMware ESXi の間の iSCSI 接続上で iSER を有効にする方法に関する説明が含まれています。お客様の環境に複数の NAS や複数の VMware サーバーがある場合、各 NAS およびサーバーで適切な手順を実施してください。

4-1.NAS でネットワーク設定を行う

設定を変える前に、その QNAP NAS が Intel または AMD ベースのモデルで、QTS 4.3.3 以降が動作していることを確認してください。

  1. NAS および VMware ESXi サーバーをシャットダウンし、各デバイスに iSER 対応のネットワークカードをインストールしてください。
  2. NAS と VMware ESXi サーバーを iSER 対応のスイッチ経由かあるいは両者を直接接続してください。
  3. NAS と ESXi サーバーをオンにします。
  4. NAS の QTS にログインし、「Control Panel」> 「Network & Virtual Switch」 > 「Interfaces」に進みます、iSER 対応ネットワークカードのインターフェイスを見つけ、それに各スタティック IP アドレスに割り当てます。また、“ジャンボフレーム” を 9,000 に設定して iSER 使用時の性能向上を最大化させることをお勧めします。
「ネットワークと仮想スイッチ」内にある新しく追加したネットワークカードを編集します。ジャンボフレーム設定は「設定」アイコンをクリックすると現れます。

4-2.Mellanox iSER ドライバーのインストール (VMware ESXi 6.5 以降は非該当)

Mellanox iSER ドライバーは ESXi サーバーそれぞれにインストールする必要があります。注記:VMware ESXi 6.5 以降は iSER をネイティブでサポートするため、このドライバーは不要です。

  1. Mellanox iSER ドライバー MLNX-OFED-ESX-1.9.10.5 は http://www.mellanox.com/page/products_dyn?product_family=29からダウンロードします
  2. ドライバーを ESXi サーバーにアップロードします。このチュートリアルで、ドライバーを NAS に直接保存してから、Putty と SSH を使ってドライバーを ESXi サーバーにアップロードします。
コマンド #scp を使用し、ドライバーを ESXi サーバーのルートディレクトリに直接アップロードします。
  1. (オプション) 以前のバージョンのドライバーを削除します。
    同じドライバーの他のバージョンは v1.9.10.5 ドライバーと同時には使用できません。既にインストールされているドライバーのバージョンが MLNX-OFED-ESX-1.9.10.5 よりも古い場合、すべての操作をやめ、ESXi サーバー上の仮想マシンを止め、既存のドライバーを削除します。

    現在インストールされているドライバーのバージョンと名称を確認するには、esxcli software vib list | grep mlx コマンドを実行します。以下は以前のバージョンのドライバーを削除するコマンドで、nmlx4-core、nmlx4-en、nmlx4-rdma の 3 つの部分があります。
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. 次のコマンドを実行して新しいドライバーをインストールします。
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. インストール終了後、VMware ESXi を再起動し、esxcli software vib list | grep mlx コマンドを実行して net-mlx4-core、net-mlx4-en、net-mlx4-ib ドライバーがインストールされていて、すべてのバージョンが 1.9.10.5-10EM-600.0.0.2494585 であることを確認します。
ESXi サーバー上のドライバーをインストールするには Putty が使用できます。

4-3.ESXi サーバーでネットワーク設定を行う

このセクションでは、ESXi サーバー上の iSER 接続の設定についてご説明します。

  1. VMware vCenter にログインします。
  2. 左パネルで VMware ESXi サーバーを選択します。
  3. 「Configuration」 Tab > 「Networking」 に進み、「Add Networking」 をクリックして「Add Network」ウィザードを開きます。
vCenter から ESXi サーバー用に仮想スイッチを新たに追加します。
  1. ゲスト OS がネットワーク インターフェイスにアクセスできるようにしたい場合は、「Connection Type」で「Virtual Machine」を選択してからまず「Next」をクリックします。そうでない場合は手順 6 に進みます。
  2. 「Network Access」ページで、新しくインストールした iSER 対応ネットワークカードを選択します。「Next」をクリックしてからもう一度「Next」をクリックしてすべての設定をデフォルトのままにし、「Finish」をクリックして「Add Network」ウィザードを終了します。
新しく追加してネットワークカードを選択して続けます。
  1. 再度「Add Networking」をクリックします。「Connection Type」として「VMkernel」を選択し、新しくインストールした iSER 対応のネットワークカードが選択されていることを確認し、ウィザードにしたがって設定を終了します。「Port Group」プロパティはデフォルトのままにします。
  2. 「IP Settings」ページで、このネットワークアダプタのスタティック IP アドレスを指定します。「Next」をクリックし、「Finish」をクリックしウィザードを終了します。
VMkernelタイプを追加してネットワークカードにスタティック IP アドレスを指定する操作を続けます。
  1. 「Configuration」 > 「Networking」スクリーンで iSER ネットワークカードに対する新しい仮想スイッチを確認します。
新しい仮想スイッチには VM ネットワーク (オプション) と VMkernelが含まれます。

4-4.iSCSI から iSER へのネットワーク接続を変更する

  1. VMware vCenter にログインします。
  2. 左パネルで VMware ESXi サーバーを選択します。
  3. 「Configuration」 タブ > 「Storage Adapters」 に進みます。このページで、iSER は既存の「SCSI Software Adapter」に加えて 「Mellanox iSCSI over RDMA (iSER) アダプター」として表示されます。
    注記:新しい仮想環境を設定する場合、まず「iSCSI」ソフトウェア アダプターを作る必要があり、次に ESXi サーバーを再起動すると、「Mellanox iSCSI over RDMA (iSER)」アダプターが見えます。
    NAS と VMware ESXi ネットワーク設定の後に現れる Mellanox iSCSI over RDMA (iSER) アダプターは、セクション 4-3 で設定されます。
  4. iSCSI ソフトウェア アダプターデバイスを選択し、「Properties」をクリックします。
  5. 既存のポート バインディングを「Network Configurations」タブの一覧から削除します。さらに iSCSI ターゲットを「Dynamic Discovery」 および 「Static Discovery」タブの一覧から削除します。これにより、接続は iSER プロトコルだけを使うようになります。
    「Network Configuration」、「Dynamic Discovery」、「Static Discovery」の一覧から全項目を消去します。
  6. iSCSI ソフトウェア アダプターのプロパティを閉じます。「Configuration」 > 「Storage Adapters」ページで、「Mellanox iSCSI over RDMA (iSER) アダプター」下のデバイスを選択し、「Properties」をクリックします。
  7. 「Network Configuration」タブで、「Add」をクリックして新しい VMKernel ポート バインディングを作ります。セクション 4-3 の iSER 接続で作成した VMKernel を選択します。
    Mellanox iSCSI over RDMA (iSER) アダプター デバイスのプロパティを編集し、iSER 仮想スイッチを追加して SCSI ターゲットを再スキャンします。
  8. 手順 5 と 6 を iSER 接続が必要な「Mellanox iSCSI over RDMA (iSER) アダプター」の各デバイスに対して繰り返します。

    QNAP iSCSI ターゲットと LUN は、新しい iSER インターフェイスを使って自動的に接続されます。
    QNAP NAS 上の iSCSI LUN は iSER アダプターを使って接続されます。

5.性能テストとその結果

次の機器は iSER が通常の iSCSI とくらべて性能メリットがどれくらいあるかを測るためにQNAP のテストチームによって使われたものです。

QNAP NAS

  • TVS-EC2480-SAS-RP: ハイブリッド ストレージ アレイ
  • TES-EC3085U: オールフラッシュ ストレージ アレイ

VMware

  • 5 台の Dell PowerEdge R420 サーバーによる VMware ESXi 6.0 クラスター。各サーバーには Intel Xeon E5-2450 CPU と 128GB of RAM。
  • 仮想マシン OS: Windows 2012 R2 64bit

ネットワーキング

  • NAS および各 PowerEdge サーバーにインストールされた Mellanox 40GbE LAN-40G2SF-MLX Network Card,。
  • VMware ESXi サーバーと NAS に接続している Mellanox 40GbE Spectrum SN2410 スイッチ。

注記:パフォーマンスの向上度合いを見せるため、各 NAS と Mellanox 40GbE の接続には 1 本の 40GbE ケーブルだけが使われました。ただし、通常の状況では、複数の 10GbE と 40GbE 接続と複数のスイッチを設定することが可能で、iSER でさらに性能を上げ、ストレージの可用性を増すことができます。

各 VMware ESXi サーバーに Iometer がインストールされ、次のように設定されました。

Iometer (iSCSI スループット)
未処理の I/O → ターゲットあたり 1 書き込みスループット → 2M 連続 100%
書き込み 100%
ワーカー → 20 読み取りスループット → 2M 連続 100%
読み取り 100%
ランプアップ時間 →30 秒 転送サイズ → 16GB ファイル
Iometer (iSCSI IOPS)
未処理の I/O → ターゲットあたり 1 書き込みIOPS → 4K 連続 100%
書き込み 100%
ワーカー → 20 読み取りIOPS → 4K 連続 100%
読み取り 100%
ランプアップ時間 →30 秒 転送サイズ → 16GB ファイル

注記:このテストでは一般的な Iometer 設定を使用しています。現実のアクセスパターンはアプリケーションによって変わります。

5-1.Qtier™ に 1つの VM:連続 読み取り/書き込み性能は iSER で 100% 増加し 4000 Mb/s に

このテストでは、ハイブリッドストレージ NAS に接続した 1 台の仮想マシンの性能をテストしました。この種の設定は、高い性能と大きなストレージ容量を必要とするメールサーバーなどの業務アプリケーションでは一般的です。

NAS 仕様
モデル QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
メモリ 32GB
ストレージ構成 Seagate SAS SSD x12, RAID 10
Seagate SATA HDD x12, RAID 6
1 ストレージプール、1 ブロックベースの iSCSI LUN
ネットワークカード 40GbE ネットワークカード LAN-40G2SF-MLX

テスト結果においては、連続読み取り/書き込みで 100% の向上が見られ、連続読み取り速度は 4,000Mb/s に達しています。この結果は、iSER が高い性能を求めるアプリケーションの連続読み取り/書き込み性能を大きく向上できることを示しています。



5-2.Qtier™ に 5つの VM: ランダム 読み取り/書き込み性能は iSER で 80% 増加し 180,000 IOPS に

この 2 つ目のテストでは以前のテストと同じハイブリッドストレージ NAS 設定が使われています。ただし、今回は VMware 仮想マシンの数を 5 台に増やしています。このテストケースは、1 台の QNAP NAS でウェブやログ サーバーのデータベースなどランダムアクセスを必要とする複数のアプリケーションを実行させることを求める小規模から中規模の業務を想定してます。

テスト結果は、全体的な読み取り/書き込み性能を表すよう全仮想マシンの性能を合算しています。結果は、iSER を使用した場合のランダム読み取り/書き込み性能が 80% 増加しました。ランダム読み取り/書き込みは、RAID 10 構成の SSD 12 台だけのトータル性能が 180,000 IOPS に達しました。連続アクセス速度も増加しました。
遅延は 0.9 ms から 0.5 ms に減少し、複数アプリケーションから同一 NAS へのランダムアクセスが必要な場合の応答時間が向上します。



5-3.オールフラッシュ ストレージによる 5 台の VM: ランダム 読み取り/書き込み性能は iSER で 60% 増加し 250,000 IOPS に

以前のテストにおいて、各 VM は Qtier™ を装備したハイブリッドストレージ NAS で約 36,000 IOPS を得ることができました。SQL サーバーなど特定のビジネスアプリケーションでは、この結果はまだ十分とは言えません。iSER を使うメリットをさらに追求するために、NAS を QNAP TES-3085U に変更しました。これは SSD スロットを 30 もつオールフラッシュ ストレージです。この NAS は VMware 仮想マシンに接続されました。

このテストの設定では Qtier は不要なため、ひとつの大容量ストレージプールは必要なくなりました。このテストでは、30 台の SSD を 5 つのストレージプールに分け。それぞれにブロックベースの iSCSI LUN.をひとつ含みます。このストレージ構成は、メタデータがそれぞれのストレージプールから独立して取り出されるためにデータ損失のリスクを下げると同時に性能を向上させます。

NAS 仕様
モデル QNAP TES-3085U
CPU Intel Xeon D-1548
メモリ 32GB
ストレージ構成 Samsung SATA SSD x30, RAID 10
5 ストレージプール
5 ブロックベース iSCSI LUN
ネットワークカード 40GbE ネットワークカード LAN-40G2SF-MLX

テストの間、全体的な読み取り/書き込み性能がわかるよう複数の仮想マシンの性能を合算しています。ランダム読み込み/書き込み性能は iSER によって 80% 以上増加し、トータルで 250,000 IOPS に達しました。このことは、各 VM が 50,000 IOPS に達し得ることを意味します。この数字は SQL サーバーの一般的推奨値である 30,000 IOPS を超えるものです。遅延は iSCSI の 1.1 ms から 0.3 ms へと下がりました。


5-4.テストの総括

iSER により、複数の仮想マシンによるランダム読み込み/書き込み性能最大は 80% 増加し、遅延は約半分に減らすことができます。この結果はハイブリッドストレージとオールフラッシュ NAS の両方に適用されます。

QNAP テストチームによるこの結果は、VMware ESX を使用した場合に iSER が QNAP NAS の性能を効果的に高めることがわかりました。これにより、VMware クラスターで動作する重要なアプリケーションの性能が向上します。iSER のサポートを QTS に追加することで、QNAP は高性能で効率的なストレージを世界中のお客様に提供するためのイノベーションを生み、その約束を果たします。

QNAP は iSER がビジネスアプリケーションの性能を高めたいと考える IT プロフェッショナルにとって正しいオプションであると信じます。今後、QNAP は別な構成でも iSER のテストを行い、その結果を公表します。

リリース日: 2017-05-25
役に立ちましたか ?
ご意見をいただき、ありがとうございます。
ご意見をいただき、ありがとうございます。 ご質問がありましたら、support@qnap.com にお問合せください
100% の人が、これは役に立つと思っています。