QNAP Systems, Inc. - Network Attached Storage (NAS)

Language

Support

Utilisation des extensions iSCSI pour RDMA (iSER), afin d'améliorer les performances des NAS QNAP avec VMware® ESXi

1. Défis

Dans un environnement de virtualisation, les disques, la configuration du stockage, le réseau, l'hypervisor et les applications sont autant de facteurs critiques qui régissent les performances et la stabilité globales. On exige souvent du personnel informatique des petites et moyennes entreprises (PME) qu'il optimise les performances et identifie les goulots d'étranglement.

En tant que fournisseur de stockage engagé sur le marché des PME, QNAP a conscience de ces défis et comprend que la clé de l'augmentation des performances de stockage réside non seulement dans le système de stockage en lui-même, mais aussi dans le réseau de stockage. QNAP prend désormais en charge les extensions iSCSI pour RDMA (iSER), une solution déjà adoptée par les entreprises depuis des années, sur l'ensemble des principales gammes de produits NAS SMB QNAP. Notre objectif est de fournir aux professionnels de l'informatique une solution indispensable capable d'améliorer considérablement les performances dans les environnements virtualisés et permettant aux entreprises d'accroître le rendement global des installations informatiques.

La présence d'iSER augmente les performances d'un NAS QNAP à stockage hybride avec Qtier™ de plus de 50% dans les tests effectués dans les laboratoires de QNAP. Reportez-vous au chapitre 5 pour de plus amples informations.

2. Présentation des extensions iSCSI pour RDMA (iSER)

Dans QTS version 4.3.3 et les versions ultérieures, iSER peut être activé sur les connexions iSCSI effectuées entre les serveurs de virtualisation VMware et un NAS QNAP reposant sur une architecture Intel ou AMD. Chaque serveur et NAS a pour seul prérequis d'être équipé d'une carte réseau compatible iSER.

Le protocole iSER diffère de l'iSCSI traditionnel, dans le sens où il permet de transférer des données pour contourner les couches du socket et pilote réseau, et d'accéder aux tampons mémoire du serveur ESXi ou du NAS directement. Il en résulte de meilleures performances dans le transfert des données et réduit également la latence et la charge du processeur du NAS.

QNAP a constaté que les performances des machines virtuelles peuvent être augmentées de 60% à 100%* grâce à iSER. En outre, la latence d'accès aléatoire peut être réduite de 50% voire plus. Les résultats de ces tests montrent qu'iSER est particulièrement adapté aux entreprises qui utilisent un NAS QNAP comme banque de données VMware ESXi, hébergeant des applications professionnelles ou une infrastructure de bureau virtuel (VDI).

Les chapitres suivants répertorient les exigences système et les étapes requises pour activer iSER dans un environnement de virtualisation. Le document inclut également une démonstration de base sur la façon dont iSER permet d'améliorer les performances d'un NAS à stockage hybride utilisant Qtier (™) et un NAS embarquant uniquement de la mémoire flash.

ISER (Droite) contourne TCP/IP, Pilote réseau et Bibliothèque «socket» pour transférer des données directement vers l'application ou la mémoire de stockage.

*Reportez-vous au chapitre 5 pour connaître la configuration et les résultats du test. Les améliorations des performances varieront selon la configuration de votre système.

3. Configuration nécessaire

L'activation d'iSER dans votre environnement QNAP et VMware requiert les éléments suivants:

  • Un ou plusieurs NAS QNAP équipés d'un processeur Intel ou AMD, exécutant QTS 4.3.3 ou une version ultérieure.
  • Un ou plusieurs serveurs VMware ESXi (actuellement, QTS prend en charge iSER avec VMware ESXi).
  • Une carte réseau compatible iSER pour chaque NAS QNAP NAS et serveur VMware ESXi.
  • Le pilote de compatibilité iSER** MLNX-OFED-ESX-1.9.10.5 doit être installé dans VMware ESXi 5.5 et 6.0. Le pilote est disponible sur http://www.mellanox.com/page/products_dyn?product_family=29
    Remarque: VMware ESXi 6.5 ne prend pas en charge le protocole iSER actuellement.
  • Les serveurs NAS et VMware ESXi doivent être connectés avec un commutateur Mellanox qui prend en charge iSER***, ou bien être directement connecté sans commutateur.
    Remarque: d'autres commutateurs qui prennent en charge PFC (Priority Flow Control) peuvent également être utilisés, mais dans ce cas, l'augmentation des performances d'iSER ne peut être garantie.

*Les cartes réseau actuelles qui peuvent être utilisées avec iSER sont listées ci-dessous. Pour acheter des cartes d'extension, visitez le site web QNAP ou contactez un distributeur autorisé.

Modèle Caractéristiques Produit
LAN-10G2SF-MLX double port 10 GbE Adaptateur: Mellanox Connect-3 Pro EN Connecteur: SFP+
LAN-40G2SF-MLX double port 40 GbE Adaptateur: Mellanox ConnectX-3 Pro EN Connecteur: QSFP

**Ce pilote est spécifiquement conçu pour l'activation d'iSER. L'installation peut affecter les performances courantes des connexions iSCSI.

*** Voici une liste des cartes Ethernet Mellanox et des commutateurs recommandés pour l'utilisation d'iSER. Les commutateurs Mellanox Spectrum fournissent constamment une commutation de latence et de non-blocage à débit en ligne sans perte de paquets. Combinés à une gestion optimale de la congestion, les commutateurs Mellanox permettent de maximiser les performances d'iSER. Pour plus d'informations sur les cartes et commutateurs réseau compatibles iSER, reportez-vous au site officiel de Mellanox ou contactez un distributeur autorisé.

Carte réseau Caractéristiques
MCX311A-XCCT Carte d'interface réseau ConnectX®-3 Pro EN, 10GbE, SFP+ un port, PCIe3.0 x8 8GT/s, support haut, RoHS R6
MCX312B-XCCT Carte d'interface réseau ConnectX®-3 Pro EN, 10GbE, SFP+ double port, PCIe3.0 x8 8GT/s, support haut, RoHS R6
MCX312C-XCCT Carte d'interface réseau ConnectX®-3 Pro EN, 10GbE, SFP+ double port, PCIe3.0 x8 8GT/s, support haut, RoHS R6
MCX313A-BCCT Carte d'interface réseau ConnectX®-3 Pro EN, 40/56GbE, QSFP un port, PCIe3.0 x8 8GT/s, support haut, RoHS R6
MCX314A-BCCT Carte d'interface réseau ConnectX®-3 Pro EN, 40/56GbE, QSFP double port, PCIe3.0 x8 8GT/s, support haut, RoHS R6
MCX342A-XCPN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP, 10GbE, SFP+ double port, PCIe3.0 x8, sans support, RoHS R6
MCX342A-XCQN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP avec IPMI et NC-SI, 10GbE, SFP+ double port, PCIe3.0 x8, sans support, RoHS R6
MCX345A-BCPN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP, 40GbE, QSFP un port, PCIe3.0 x8, sans support, RoHS R6
MCX345A-BCQN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP avec IPMI et NC-SI, 40GbE un port QSFP, PCIe3.0 x8, sans support, RoHS R6
MCX346A-BCPN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP, 40GbE, QSFP double port, PCIe3.0 x8, sans support, RoHS R6
MCX346A-BCQN Carte d'interface réseau ConnectX®-3 Pro EN pour OCP avec IPMI et NC-SI, 40GbE double port QSFP, PCIe3.0 x8, sans support, RoHS R6
Modèle Caractéristiques
MSN2700-BS2F Commutateur Ethernet ouvert 40GbE 1U basé sur Spectrum™ avec MLNX-OS, 32 QSFP 28ports
MSN2700-BS2R Commutateur Ethernet ouvert 40GbE 1U basé sur Spectrum™ avec MLNX-OS, 32 QSFP 28ports
MSN2410-BB2F Commutateur Ethernet ouvert 10GbE/100GbE 1U basé sur Spectrum™ avec MLNX-OS, 48 SFP 28ports
MSN2100-BB2F Commutateur Ethernet ouvert 40GbE 1U basé sur Spectrum™ avec MLNX-OS, 16 QSFP 28ports
MSN2100-BB2R Commutateur Ethernet ouvert 40GbE 1U basé sur Spectrum™ avec MLNX-OS, 16 QSFP 28ports

4. Déploiement d'iSER dans un environnement de virtualisation VMware existant

Ce chapitre contient des instructions expliquant comment activer iSER sur une connexion iSCSI entre un NAS QNAP et un serveur VMware ESXi. Si votre environnement contient plusieurs NAS ou plusieurs serveurs VMware, suivez les étapes concernant chaque NAS et serveur.

4-1. Configuration des paramètres réseau sur le NAS

Avant de modifier les paramètres, assurez-vous que le NAS QNAP est un modèle reposant sur une architecture Intel ou AMD et qu'il exécute déjà QTS 4.3.3 ou une version ultérieure.

  1. Arrêtez le NAS et le serveur VMware ESXi, et installez une carte réseau compatible iSER sur chaque appareil.
  2. Connectez le NAS et le serveur VMware ESXi, soit via un commutateur compatible iSER, soit par connexion directe.
  3. Activez le NAS et le serveur ESXi.
  4. Connectez-vous à QTS sur le NAS et allez dans “Panneau de configuration” > “Réseau & Commutateur virtuel ”>“Interfaces” . Trouvez les interfaces qui appartiennent à la carte réseau compatible iSER et attribuez-leur chacune une adresse IP statique. Nous vous conseillons également de régler “Jumbo Frame” sur 9 000, pour maximiser les performances lors de l'utilisation d'iSER.
Modifiez l'adaptateur de la carte réseau nouvellement ajouté dans «Réseau et commutateur virtuel». Vous trouverez les paramètres de Jumbo Frame en cliquant sur l'icône «Configurer».

4-2. Installation du pilote Mellanox iSER (ne concerne pas VMware ESXi 6.5 ou une version ultérieure)

Le pilote Mellanox iSER doit être installé sur chaque serveur ESXi. Remarque: VMware ESXi 6.5 et les versions ultérieures prennent en charge nativement iSER et ne nécessitent pas ce pilote.

  1. Téléchargez le pilote Mellanox iSER MLNX-OFED-ESX-1.9.10.5 à l'adresse http://www.mellanox.com/page/products_dyn?product_family=29
  2. Trasnférez le pilote sur le serveur ESXi. Dans ce didacticiel, nous avons enregistré le pilote sur le NAS directement, puis utilisé Putty et SSH pour charger le pilote sur le serveur ESXi.
Utilisez la commande #scp pour transférer le pilote sur le répertoire racine du serveur ESXi
  1. (Facultatif) Supprimez toutes les versions précédentes du pilote.
    Le pilote v1.9.10.5 ne peut pas être utilisé en même temps que toute autre version du même pilote. Si une version du pilote différente de MLNX-OFED-ESX-1.9.10.5 est déjà installée, interrompez toutes les opérations et les machines virtuelles sur le serveur ESXi, puis supprimez le pilote existant.

    Exécutez la commande esxcli software vib list | Grep mlx pour confirmer la version et le nom du pilote actuellement installés. Voici la commande permettant de supprimer une version précédente du pilote, qui comporte trois parties: nmlx4-core, nmlx4-en et nmlx4-rdma.
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. Exécutez la commande suivante pour installer le nouveau pilote:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. Une fois l'installation terminée, redémarrez VMware ESXi et exécutez la commande de la esxcli software vib list | grep mlx pour vérifier que les pilotes net-mlx4-core, net-mlx4-en et net-mlx4-ib sont installés, et que tous sont la version 1.9.10.5-10EM-600.0.0.2494585.
Putty peut être utilisé pour installer le pilote sur un serveur ESXi.

4-3. Configuration des paramètres réseau sur le serveur ESXi

Cette section vous guide lors de la configuration de la connexion iSER sur un serveur ESXi.

  1. Connectez-vous à VMware vCenter.
  2. Sélectionnez le serveur VMware ESXi dans le panneau de gauche.
  3. Allez dans “Configuration” Onglet > “Réseautique” puis cliquez sur “Ajouter un réseau” pour ouvrir l'“Assistant Ajouter un réseau.
Ajoutez un nouveau commutateur virtuel pour le serveur ESXi à partir de vCenter.
  1. Si vous souhaitez que le système d'exploitation invité puisse accéder à l'interface réseau, sélectionnez “Machine virtuelle” comme “Type de connexion” et cliquez sur “Suivant” d'abord, sinon, passez à l'étape 6.
  2. Sur la page “Accès réseau”, sélectionnez la carte réseau nouvellement installée compatible iSER. Cliquez sur “Suivant” et “Suivant” en laissant tous les paramètres par défaut, puis cliquez sur “Terminer” pour compléter l'assistant “Ajouter un réseau”.
Sélectionnez la carte réseau nouvellement ajoutée pour continuer.
  1. Cliquez à nouveau sur “Ajouter un réseau”. Sélectionnez “VMkernel” comme “Type de connexion”, assurez-vous que la carte réseau nouvellement installée compatible iSER est sélectionnée et que vous avez suivi l'assistant pour configurer les paramètres. Laissez les propriétés de “Groupe de ports” à leurs valeurs par défaut.
  2. Sur la page “Paramètres IP”, spécifiez une adresse IP statique pour la carte réseau. Puis cliquez sur “Suivant” et “Terminer” pour fermer l'assistant.
Continuez pour ajouter le type VMkernel et spécifiez une adresse IP statique pour la carte réseau
  1. Assurez-vous que vous voyez le nouveau commutateur virtuel pour la carte réseau iSER sur l'écran “Configuration ” > “Réseautique”.
Le nouveau commutateur virtuel contient le réseau VM (optionnel) et VMkernel.

4-4. Modification de la connexion réseau d'iSCSI vers iSER

  1. Connectez-vous à VMware vCenter.
  2. Sélectionnez le serveur VMware ESXi dans le panneau de gauche.
  3. Allez dans “Configuration” Onglet >“Adaptateurs de stockage”. Sur cette page, vous devriez pouvoir voir iSER affiché sous la forme “Adaptateur iSCSI Mellanox sur RDMA (iSER) ” en plus de l'“Adaptateur logiciel iSCSI” existant.
    Remarque: si vous configurez un nouvel environnement de virtualisation, vous devez d'abord créer l'“Adaptateur logiciel iSCSI”, puis redémarrer le serveur ESXi pour voir l'adaptateur “Mellanox iSCSI sur RDMA (iSER)”.
    L'adaptateur iSCSI Mellanox sur RDMA (iSER) apparaît une fois les paramètres réseau du NAS et VMware ESXi configurés dans la section 4-3
  4. Sélectionnez le périphérique “Adaptateur logiciel iSCSI” et cliquez sur “Propriétés”.
  5. Supprimez toutes les liaisons de ports existantes de la liste sur l'onglet “Configurations réseau”. Supprimez également toutes les cibles iSCSI des listes sur les onglets “Découverte dynamique” et “Découverte statique”. Cela permet de garantir que les connexions n'utiliseront que le protocole iSER.
    Effacez tous les éléments des listes dans «Configuration du réseau», «Découverte dynamique» et «Découverte statique»
  6. Fermez les propriétés de l'adaptateur logiciel iSCSI. Sur la page “Configuration” > “Adaptateurs de stockage”, sélectionnez le périphérique sous “Adaptateur iSCSI Mellanox sur RDMA (iSER)” et cliquez sur “Propriétés”.
  7. Sur l'onglet “Configuration réseau”, cliquez sur “Ajouter” pour créer une nouvelle liaison de port VMKernel. Sélectionnez le VMKernel créé pour la connexion iSER à la section 4-3.
    Modifiez les propriétés du périphérique Adaptateur iSCSI Mellanox iSCSI sur RDMA (iSER) et ajoutez le commutateur virtuel iSER pour rechercher à nouveau la cible iSCSI.
  8. Répétez les étapes 5 et 6 pour chaque périphérique sous «Mellanox iSCSI sur l'adaptateur RDMA (iSER)» qui nécessite une connexion iSER.

    La cible et le LUN iSCSI QNAP seront maintenant automatiquement connectés à l'aide de la nouvelle interface iSER.
    Le LUN iSCSI sur le QNAP NAS est connecté à l'aide de l'adaptateur iSER.

5. Tests de performance et résultats

Les équipements suivants ont été utilisés par l'équipe de test QNAP pour mesurer les gains de performance d'iSER par rapport à l'iSCSI classique:

NAS QNAP

  • TVS-EC2480-SAS-RP: matrice de stockage hybride
  • TES-EC3085U: matrice de stockage en mémoire flash intégrale

VMware

  • Cluster VMware ESXi 6.0 de cinq serveurs Dell PowerEdge R420. Chaque serveur embarquait un processeur Intel Xeon E5-2450 et 128 Go de RAM.
  • Système d'exploitation de la machine virtuelle: Windows 2012 R2 64bits

Réseautique

  • Carte réseau Mellanox 40GbE LAN-40G2SF-MLX, installée dans le NAS et dans chaque serveur PowerEdge.
  • Commutateur Mellanox 40GbE Spectrum SN2410, reliant les serveurs VMware ESXi et NAS.

Remarque: pour montrer les gains de performances, un seul câble de 40GbE a été utilisé pour connecter chaque NAS au commutateur Mellanox 40GbE. Cependant, dans des conditions normales, il est possible de configurer plusieurs connexions 10GbE et 40GbE et des commutateurs multiples pour augmenter encore davantage les gains de performance et la disponibilité du stockage avec iSER.

IOmeter a été installé sur chaque serveur VMware ESXi et configuré avec les paramètres suivants.

Iometer (débit iSCSI)
E/S exceptionnelles → 1 par cible Débit en écriture → 2M séquentiel 100%
Écriture 100%
Ouvriers → 20 Débit en lecture → 2M séquentiel 100%
Lecture 100%
Durée de montée en puissance → 30 secondes Taille de transfert → Fichier de 16 Go
Iometer (IOPS iSCSI)
E/S exceptionnelles → 1 par cible Débit en écriture → 4K séquentiel 100%
Écriture 100%
Ouvriers → 20 IOPS en lecture → 4K séquentiel 100%
Lecture 100%
Durée de montée en puissance → 30 secondes Taille de transfert → Fichier de 16 Go

Remarque: ce test a été réalisé en utilisant les paramètres courants d'IOmeter. Les modèles d'accès en condition réelle varient en fonction de l'application.

5-1. Une VM avec Qtier™: Les performances en lecture/écriture séquentielle ont augmenté de 100% avec iSER à 4 000 Mo/s

Dans ce test, nous avons testé les performances d'une machine virtuelle connectée au NAS à stockage hybride. Ce type de configuration est courant pour les applications professionnelles telles que les serveurs de messagerie, qui nécessitent à la fois de bonnes performances et une capacité de stockage élevée.

Spécifications du NAS
Modèle QNAP TVS-EC2480-SAS-RP
Processeur Intel Xeon E3-1246
Mémoire 32Go
Configuration du stockage Seagate SAS SSD x12, RAID 10
Seagate SATA HDD x12, RAID 6
1 pool de stockage, 1 LUN iSCSI basé sur bloc
Carte réseau Carte réseau 40GbE LAN-40G2SF-MLX

Dans les résultats des tests, nous observons une augmentation de plus de 100% pour les lectures séquentielles et les vitesses d'écriture. La vitesse de lecture séquentielle atteint ainsi plus de 4 000 Mo/s. Ce résultat montre qu'iSER peut améliorer considérablement les performances de lecture et d'écriture séquentielles des applications à forte demande.



5-2. Cinq machines virtuelles avec Qtier™: Les performances en lecture/écriture aléatoire ont augmenté de 80% avec iSER à 180000IOPS

Ce deuxième test utilise la même configuration de NAS à stockage hybride que le test précédent. Cependant, cette fois, nous avons porté le nombre de machines virtuelles VMware à cinq. Ce cas de test est représentatif d'une entreprise de petite à moyenne activité qui souhaite exécuter plusieurs applications nécessitant un accès aléatoire, comme une base de données de serveur web ou de journaux, sur un seul NAS QNAP.

Les résultats des tests combinent les performances de toutes les machines virtuelles pour rendre compte des performances totales en lecture et en écriture. Les résultats montrent que les performances aléatoires en lecture et écriture ont augmenté de plus de 80% lors de l'utilisation d'iSER. Les lectures/écritures aléatoires ont atteint un total de 180 000 IOPS avec seulement 12 SSD dans une configuration RAID 10. On observe également une augmentation des vitesses d'accès séquentiel.
La latence a été réduite de 0,9 ms à 0,5 ms, améliorant ainsi le temps de réponse lorsque plusieurs applications nécessitent un accès aléatoire sur le même NAS.



5-3. Cinq machines virtuelles en mémoire flash intégrale: Les performances en lecture/écriture aléatoire ont augmenté de 60% avec iSER à 250000IOPS

Dans le test précédent, chaque VM a pu gagner environ 36 000 IOPS en utilisant le NAS à stockage hybride avec Qtier™. Pour certaines applications professionnelles telles que le serveur SQL, ces résultats doivent encore être améliorés. Pour explorer plus en détail les avantages liés à l'utilisation d'iSER, nous avons changé de NAS pour un QNAP TES-3085U. Il s'agit d'un NAS de stockage en mémoire flash intégrale comptant 30 emplacements pour SSD. Le NAS était connecté à cinq machines virtuelles VMware.

Cette configuration de test ne requiert pas Qtier; par conséquent, un grand pool de stockage n'est plus nécessaire. Pour ce test, les 30 SSD ont été divisés en 5 pools de stockage, chacun contenant un LUN iSCSI basé sur bloc. Cette configuration de stockage diminue le risque de perte de données et augmente également les performances, car les méta-données peuvent être récupérées indépendamment de chaque pool de stockage.

Spécifications du NAS
Modèle QNAP TES-3085U
Processeur Intel Xeon D-1548
Mémoire 32Go
Configuration du stockage Samsung SATA SSD x30, RAID 10
5 pools de stockage
5 LUN iSCSI basés sur bloc
Carte réseau Carte réseau 40GbE LAN-40G2SF-MLX

Pendant le test, nous avons combiné les performances de toutes les machines virtuelles pour rendre compte des performances totales en lecture et en écriture. Les performances aléatoires en lecture et écriture ont augmenté de plus de 80% avec iSER, pour un total de 250 000 IOPS. Cela signifie que chaque VM peut obtenir jusqu'à 50 000 IOPS. Ce nombre dépasse 30 000 IOPS, soit la recommandation générale pour un serveur SQL. La latence a été réduite à 0,3 ms, comparé à 1,1 ms avec iSCSI.


5-4. Conclusions du test

Avec iSER, les performances en lecture et écriture aléatoires de plusieurs machines virtuelles peuvent être augmentées jusqu'à 80%, et la latence peut être réduite d'environ 50%. Ces résultats s'appliquent à la fois au NAS à stockage hybride, et au NAS en mémoire flash intégrale.

La conclusion de l'équipe de test QNAP est la suivante: l'iSER permet d'augmenter efficacement les performances d'un NAS QNAP lorsqu'il est utilisé comme une banque de stockage VMware ESXi. Cela augmente les performances des applications clés qui s'exécutent sur le cluster VMware. En ajoutant la prise en charge d'iSER à QTS, QNAP fait preuve d'innovation et affiche son engagement à offrir un stockage performant et rapide à ses clients à travers le monde.

QNAP croit qu'iSER est une excellente opportunité pour les professionnels de l'informatique qui souhaitent augmenter les performances de leurs applications professionnelles. À l'avenir, QNAP continuera de tester iSER dans différentes configurations, puis publiera les résultats des tests.

Date de sortie: 2017-05-25
Ont-elles été utiles pour vous ?
Merci pour votre commentaire.
Merci pour votre commentaire. Veuillez contacter support@qnap.com si vous avez des questions.
100% des utilisateurs pensent que ces informations sont utiles.