Utilisation des extensions iSCSI pour RDMA (iSER), afin d'améliorer les performances des NAS QNAP avec VMware® ESXi ou VJBOD

1. Défis

Dans un environnement de virtualisation, les disques, la configuration du stockage, le réseau, l'hypervisor et les applications sont autant de facteurs critiques qui régissent les performances et la stabilité globales. On exige souvent du personnel informatique des petites et moyennes entreprises (PME) qu'il optimise les performances et identifie les goulots d'étranglement.

En tant que fournisseur de stockage engagé sur le marché des PME, QNAP a conscience de ces défis et comprend que la clé de l'augmentation des performances de stockage réside non seulement dans le système de stockage en lui-même, mais aussi dans le réseau de stockage. QNAP prend désormais en charge les extensions iSCSI pour RDMA (iSER), une solution déjà adoptée par les entreprises depuis des années, sur l'ensemble des principales gammes de produits NAS SMB QNAP. Notre objectif est de fournir aux professionnels de l'informatique une solution indispensable capable d'améliorer considérablement les performances dans les environnements virtualisés et permettant aux entreprises d'accroître le rendement global des installations informatiques.

2. Présentation des extensions iSCSI pour RDMA (iSER)

Dans QTS version 4.3.3 et les versions ultérieures, iSER peut être activé sur les connexions iSCSI effectuées entre les serveurs de virtualisation VMware et un NAS QNAP reposant sur une architecture Intel ou AMD. Chaque serveur et NAS a pour seul prérequis d'être équipé d'une carte réseau compatible iSER. Dans QTS 4.3.5, iSER peut également être activé sur les connexions QNAP Virtual JBOD (VJBOD).

Le protocole iSER diffère de l'iSCSI traditionnel, dans le sens où il permet de transférer des données pour contourner les couches du socket et pilote réseau, et d'accéder aux tampons mémoire du serveur ESXi ou du NAS directement. Il en résulte de meilleures performances dans le transfert des données et réduit également la latence et la charge du processeur du NAS.

QNAP a constaté que les performances des machines virtuelles peuvent être augmentées de 60 % à 100 %* grâce à iSER. En outre, la latence d'accès aléatoire peut être réduite de 50 % voire plus. Les résultats de ces tests montrent qu'iSER est particulièrement adapté aux entreprises qui utilisent un NAS QNAP comme banque de données VMware ESXi, hébergeant des applications professionnelles ou une infrastructure de bureau virtuel (VDI). 

Les chapitres suivants répertorient les exigences système et les étapes requises pour activer iSER dans un environnement de virtualisation. Le document inclut également une démonstration de base sur la façon dont iSER permet d'améliorer les performances d'un NAS à stockage hybride utilisant Qtier (™) et un NAS embarquant uniquement de la mémoire flash.

*Reportez-vous au chapitre 5 pour connaître la configuration et les résultats du test. Les améliorations des performances varieront selon la configuration de votre système.

3. Configuration nécessaire

L'activation d'iSER sur votre NAS QNAP requiert les éléments suivants :

Configuration matérielle requise

• VMware :
  • Au moins un NAS QNAP équipé d'un processeur Intel ou AMD, exécutant QTS 4.3.3 ou une version ultérieure.
  • Au moins un serveur VMware ESXi (actuellement, QTS prend en charge iSER avec VMware ESXi).
• VJBOD : Deux NAS QNAP équipés d'un processeur Intel ou AMD, exécutant QTS 4.3.5 ou une version ultérieure.

Configuration réseau requise

• Une carte réseau compatible iSER* doit être installée dans chaque NAS QNAP NAS et serveur VMware ESXi.
• Tous les NAS et serveurs VMware ESXi doivent être connectés avec un commutateur Mellanox qui prend en charge iSER**, ou bien être directement connecté sans commutateur.

Logiciels requis

• Un pilote de compatibilité iSER doit être installé dans VMware ESXi 5.5, 6.0 et 6.5. Le pilote peut être téléchargé à l'adresse http://www.mellanox.com/page/products_dyn?product_family=29
  Remarque : Dans VMware ESXi 6.7 et versions ultérieures, il n'est pas nécessaire d'installer un pilote car celui-ci est préinstallé.

*Les cartes réseau actuelles qui peuvent être utilisées avec iSER sont listées ci-dessous. Pour acheter des cartes d'extension, visitez le site web QNAP ou contactez un distributeur autorisé.

Modèle	Caractéristiques	Produit
LAN-10G2SF-MLX double port 10 GbE	Adaptateur : Connecteur EN Mellanox Connect-3 Pro : SFP+
LAN-40G2SF-MLX double port 40 GbE	Adaptateur : Connecteur EN Mellanox ConnectX-3 Pro : QSFP

** Voici une liste des commutateurs Ethernet Mellanox recommandés pour l'utilisation d'iSER. Les commutateurs Mellanox Spectrum fournissent constamment une commutation de latence et de non-blocage à débit en ligne sans perte de paquets. Combinés à une gestion optimale de la congestion, les commutateurs Mellanox permettent de maximiser les performances d'iSER. Pour plus d'informations sur les cartes et commutateurs réseau compatibles iSER, reportez-vous au site officiel de Mellanox ou contactez un distributeur autorisé.

4. Déploiement d'iSER dans un environnement de virtualisation VMware existant

Ce chapitre contient des instructions expliquant comment activer iSER sur une connexion iSCSI entre un NAS QNAP et un serveur VMware ESXi 6.0. Si votre environnement contient plusieurs NAS ou plusieurs serveurs VMware, suivez les étapes concernant chaque NAS et serveur.

4-1. Configuration des paramètres réseau sur le NAS

Avant de modifier les paramètres, assurez-vous que le NAS QNAP est un modèle reposant sur une architecture Intel ou AMD et qu'il exécute déjà QTS 4.3.3 ou une version ultérieure.

1. Arrêtez le NAS et le serveur VMware ESXi, et installez une carte réseau compatible iSER sur chaque appareil.
2. Connectez le NAS et le serveur VMware ESXi, soit via un commutateur compatible iSER, soit par connexion directe.
3. Activez le NAS et le serveur ESXi.
4. Connectez-vous à QTS sur le NAS et allez dans « Panneau de configuration » > « Réseau et commutateur virtuel » > « Interfaces ». Recherchez les interfaces appartenant à la carte réseau compatible iSER et attribuez-leur une adresse IP statique sur un sous-réseau dédié. Nous vous conseillons également de régler Jumbo Frame sur 9 000, pour maximiser les performances lors de l'utilisation d'iSER.
   

4-2. Installation du pilote Mellanox iSER (ne concerne pas VMware ESXi 6.5 ou une version ultérieure)

1. Téléchargez le pilote Mellanox iSER à l'adresse http://www.mellanox.com/page/products_dyn?product_family=29.
2. Transférez le pilote sur le serveur ESXi. Dans ce didacticiel, nous avons enregistré le pilote sur le NAS directement, puis utilisé Putty et SSH pour charger le pilote sur le serveur ESXi.
   

3. (Facultatif) Supprimez toutes les versions précédentes du pilote.
   Le pilote iSER ne peut pas être utilisé en même temps que toute autre version du même pilote. Si une version du pilote différente est déjà installée, interrompez toutes les opérations et les machines virtuelles sur le serveur ESXi, puis supprimez le pilote existant.
   
   Exécutez la commande esxcli software vib list | Grep mlx pour confirmer la version et le nom du pilote actuellement installés. Voici la commande permettant de supprimer une version précédente du pilote, qui comporte trois parties : nmlx4-core, nmlx4-en et nmlx4-rdma.
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. Exécutez la commande suivante pour installer le nouveau pilote :
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. Une fois l'installation terminée, redémarrez VMware ESXi et exécutez la commande esxcli software vib list | grep mlx pour vérifier que les pilotes net-mlx4-core, net-mlx4-en et net-mlx4-ib sont installés, et que tous sont à la version 1.9.10.5-10EM-600.0.0.2494585.

4-3. Configuration des paramètres réseau sur le serveur ESXi

Cette section vous guide dans la configuration de la connexion iSER sur un serveur ESXi.

1. Connectez-vous à VMware vCenter.
2. Sélectionnez le serveur VMware ESXi dans le panneau de gauche.
3. Allez dans l'onglet « Configuration » > « Réseau » puis cliquez sur Ajouter un réseau pour ouvrir l'Assistant « Ajouter un réseau ».
   
   Ajoutez un nouveau commutateur virtuel pour le serveur ESXi à partir de vCenter.
4. Si vous souhaitez que le système d'exploitation invité puisse accéder à l'interface réseau, sélectionnez « Machine virtuelle » comme « Type de connexion » et cliquez sur « Suivant » d'abord, sinon, passez à l'étape 6.
5. Sur la page « Accès réseau », sélectionnez la carte réseau nouvellement installée compatible iSER. Cliquez sur « Suivant » et « Suivant » en laissant tous les paramètres par défaut, puis cliquez sur « Terminer » pour compléter l'assistant « Ajouter un réseau ».
   
   Sélectionnez la carte réseau nouvellement ajoutée pour continuer.
6. Cliquez à nouveau sur « Ajouter un réseau ». Sélectionnez « VMkernel » comme « Type de connexion », assurez-vous que la carte réseau nouvellement installée compatible iSER est sélectionnée et que vous avez suivi l'assistant pour configurer les paramètres. Laissez les propriétés de « Groupe de ports » à leurs valeurs par défaut.
7. Sur la page « Paramètres IP », spécifiez une adresse IP statique pour la carte réseau. Puis cliquez sur « Suivant » et « Terminer » pour fermer l'assistant.
   
   Continuez pour ajouter le type VMkernel et spécifiez une adresse IP statique pour la carte réseau
8. Assurez-vous que vous voyez le nouveau commutateur virtuel pour la carte réseau iSER sur l'écran « Configuration » > « Réseau ».
   
   Le nouveau commutateur virtuel contient le réseau VM (optionnel) et VMkernel.

4-4. Modification de la connexion réseau d'iSCSI vers iSER

1. Connectez-vous à VMware vCenter.
2. Sélectionnez le serveur VMware ESXi dans le panneau de gauche.
3. Allez dans l'onglet « Configuration » > « Adaptateurs de stockage ». Sur cette page, vous devriez pouvoir voir iSER affiché sous la forme « Adaptateur iSCSI Mellanox sur RDMA (iSER) » en plus de l'« Adaptateur logiciel iSCSI » existant.
   Remarque : si vous configurez un nouvel environnement de virtualisation, vous devez d'abord créer l'« Adaptateur logiciel iSCSI », puis redémarrer le serveur ESXi pour voir l'« Adaptateur Mellanox iSCSI sur RDMA (iSER) ».
   
   L'adaptateur iSCSI Mellanox sur RDMA (iSER) apparaît une fois les paramètres réseau du NAS et VMware ESXi configurés dans la section 4-3
4. Sélectionnez le périphérique « Adaptateur logiciel iSCSI » et cliquez sur « Propriétés ».
5. Supprimez toutes les liaisons de ports existantes de la liste sur l'onglet « Configurations réseau ». Supprimez également toutes les cibles iSCSI des listes sur les onglets « Découverte dynamique » et Découverte statique. Cela permet de garantir que les connexions n'utiliseront que le protocole iSER.
   
   Effacez tous les éléments des listes dans « Configuration du réseau », « Découverte dynamique » et « Découverte statique »
6. Fermez les propriétés de l'adaptateur logiciel iSCSI. Sur la page « Configuration » > « Adaptateurs de stockage », sélectionnez le périphérique sous « Adaptateur iSCSI Mellanox sur RDMA (iSER) » et cliquez sur Propriétés.
7. Sur l'onglet « Configuration réseau », cliquez sur « Ajouter » pour créer une nouvelle liaison de port VMKernel. Sélectionnez le VMKernel créé pour la connexion iSER dans la section 4-3.
   
   Modifiez les propriétés du périphérique Adaptateur iSCSI Mellanox iSCSI sur RDMA (iSER) et ajoutez le commutateur virtuel iSER pour rechercher à nouveau la cible iSCSI.
8. Répétez les étapes 5 et 6 pour chaque périphérique sous « Adaptateur Mellanox iSCSI sur RDMA (iSER) » qui nécessite une connexion iSER.
   
   La cible et le LUN iSCSI QNAP seront maintenant automatiquement connectés à l'aide de la nouvelle interface iSER.
   
   Le LUN iSCSI sur le QNAP NAS est connecté à l'aide de l'adaptateur iSER.

5. Utilisation d'iSER avec VJBOD sur un NAS QNAP

Cette section explique comment activer iSER sur deux NAS QNAP lors de la création d'une connexion VJBOD.

Remarque :  Les deux NAS doivent exécuter QTS version 4.3.5 ou ultérieure.

1. Connectez-vous à QTS sur le NAS hôte, puis accédez au « Menu principal » > « Stockage et snapshots » > « Stockage » > « Disques / VJBOD ».
2. Sélectionnez « VJBOD » > « Créer VJBOD ».
   L'assistant « Créer un disque Virtual JBOD » apparaît.
3. Cliquez sur Suivant.
   L'écran « Se connecter à distance à un QNAP NAS » apparaît.
4. Sélectionnez un NAS distant sur lequel une carte réseau compatible ISER est installée.
5. Entrez le mot de passe pour le NAS distant, puis cliquez sur « Suivant ».
   L'écran « Sélectionner les interfaces » apparaît.
   
6. Sous « Interface hôte NAS », sélectionnez un adaptateur compatible iSER.
7. Sous « Interface NAS distante », sélectionnez un adaptateur compatible iSER.
8. Sélectionnez « Utiliser iSER dès que disponible », puis cliquez sur « Suivant ».
9. Suivez le reste de l’assistant jusqu’à ce que vous ayez fini de créer le VJBOD.

Pour vérifier que l’iSER fonctionne, allez dans « Menu principal » > « Stockage et snapshots » > « Stockage » > « Disques / VJBOD » et sélectionnez le disque distant. Si une connexion ISER a été établie, « Type de connexion » affichera « iSER ».

Remarque : Si le disque distant est déconnecté, QTS tentera d’abord de le reconnecter à l’aide de iSER. Si cela échoue, QTS tentera alors de reconnecter le disque à l'aide d'iSCSI. Vous pouvez rétablir le type de connexion d'iSCSI à iSER en déconnectant puis en reconnectant le disque distant.

6. Tests de performance et résultats

Les équipements suivants ont été utilisés par l'équipe de test QNAP pour mesurer les gains de performance d'iSER par rapport à l'iSCSI classique :

NAS QNAP

• TVS-EC2480-SAS-RP : matrice de stockage hybride
• TES-EC3085U : matrice de stockage en mémoire flash intégrale

VMware

• Cluster VMware ESXi 6.0 de cinq serveurs Dell PowerEdge R420. Chaque serveur embarquait un processeur Intel Xeon E5-2450 et 128 Go de RAM.
• Système d'exploitation de la machine virtuelle : Windows 2012 R2 64 bits

Réseautique

• Carte réseau Mellanox 40GbE LAN-40G2SF-MLX, installée dans le NAS et dans chaque serveur PowerEdge.
• Commutateur Mellanox 40GbE Spectrum SN2410, reliant les serveurs VMware ESXi et NAS.

Remarque : pour montrer les gains de performances, un seul câble de 40GbE a été utilisé pour connecter chaque NAS au commutateur Mellanox 40GbE. Cependant, dans des conditions normales, il est possible de configurer plusieurs connexions 10GbE et 40GbE et des commutateurs multiples pour augmenter encore davantage les gains de performance et la disponibilité du stockage avec iSER.

IOmeter a été installé sur chaque serveur VMware ESXi et configuré avec les paramètres suivants.
Remarque : ce test a été réalisé en utilisant les paramètres courants d'IOmeter. Les modèles d'accès en condition réelle varient en fonction de l'application.

6-1. Une VM avec Qtier™ : Les performances en lecture/écriture séquentielle ont augmenté de 100 % avec iSER à 4 000 Mo/s

Dans ce test, nous avons testé les performances d'une machine virtuelle connectée au NAS à stockage hybride. Ce type de configuration est courant pour les applications professionnelles telles que les serveurs de messagerie, qui nécessitent à la fois de bonnes performances et une capacité de stockage élevée.

Dans les résultats des tests, nous observons une augmentation de plus de 100 % pour les lectures séquentielles et les vitesses d'écriture. La vitesse de lecture séquentielle atteint ainsi plus de 4 000 Mo/s. Ce résultat montre qu'iSER peut améliorer considérablement les performances de lecture et d'écriture séquentielles des applications à forte demande.

6-2. Cinq machines virtuelles avec Qtier™ : Les performances en lecture/écriture aléatoire ont augmenté de 80% avec iSER à 180 000 IOPS

Ce deuxième test utilise la même configuration de NAS à stockage hybride que le test précédent. Cependant, cette fois, nous avons porté le nombre de machines virtuelles VMware à cinq. Ce cas de test est représentatif d'une entreprise de petite à moyenne activité qui souhaite exécuter plusieurs applications nécessitant un accès aléatoire, comme une base de données de serveur web ou de journaux, sur un seul NAS QNAP.

Les résultats des tests combinent les performances de toutes les machines virtuelles pour rendre compte des performances totales en lecture et en écriture. Les résultats montrent que les performances aléatoires en lecture et écriture ont augmenté de plus de 80 % lors de l'utilisation d'iSER. Les lectures/écritures aléatoires ont atteint un total de 180 000 IOPS avec seulement 12 SSD dans une configuration RAID 10. On observe également une augmentation des vitesses d'accès séquentiel. 
La latence a été réduite de 0,9 ms à 0,5 ms, améliorant ainsi le temps de réponse lorsque plusieurs applications nécessitent un accès aléatoire sur le même NAS.

6-3. Cinq machines virtuelles en mémoire flash intégrale : Les performances en lecture/écriture aléatoire ont augmenté de 60% avec iSER à 250 000 IOPS

Dans le test précédent, chaque VM a pu gagner environ 36 000 IOPS en utilisant le NAS à stockage hybride avec Qtier™. Pour certaines applications professionnelles telles que le serveur SQL, ces résultats doivent encore être améliorés. Pour explorer plus en détail les avantages liés à l'utilisation d'iSER, nous avons changé de NAS pour un QNAP TES-3085U. Il s'agit d'un NAS de stockage en mémoire flash intégrale comptant 30 emplacements pour SSD. Le NAS était connecté à cinq machines virtuelles VMware.

Cette configuration de test ne requiert pas Qtier ; par conséquent, un grand pool de stockage n'est plus nécessaire. Pour ce test, les 30 SSD ont été divisés en 5 pools de stockage, chacun contenant un LUN iSCSI basé sur bloc. Cette configuration de stockage diminue le risque de perte de données et augmente également les performances, car les méta-données peuvent être récupérées indépendamment de chaque pool de stockage.

Pendant le test, nous avons combiné les performances de toutes les machines virtuelles pour rendre compte des performances totales en lecture et en écriture. Les performances aléatoires en lecture et écriture ont augmenté de plus de 80 % avec iSER, pour un total de 250 000 IOPS. Cela signifie que chaque VM peut obtenir jusqu'à 50 000 IOPS. Ce nombre dépasse 30 000 IOPS, soit la recommandation générale pour un serveur SQL. La latence a été réduite à 0,3 ms, comparé à 1,1 ms avec iSCSI.

6-4. VJBOD NAS avec cache SSD : Performances de lecture augmentées de 80 % avec iSER

Dans QTS 4.3.5 et versions ultérieures, les connexions VJBOD peuvent utiliser iSER. Pour tester cela, nous avons connecté deux périphériques QNAP NAS avec des spécifications matérielles identiques à l'aide de VJBOD, puis testé les performances du disque distant sur le NAS hôte.

Les résultats du test montrent que l’utilisation de l’iSER a considérablement amélioré les performances de lecture séquentielle et aléatoire. Les performances de lecture séquentielle ont augmenté de 72 %, les performances de lecture aléatoire ont augmenté de 89 % et la latence aléatoire a diminué de 41 %. Les résultats montrent également qu'après l'activation d'iSER, les goulots d'étranglement liés aux performances ont été déplacés de la couche réseau à la couche stockage. Cela signifie que l'ajout de disques SSD pourrait améliorer encore les performances en écriture.

6-5. Conclusions du test

Avec iSER, les performances en lecture et écriture aléatoires de plusieurs machines virtuelles peuvent être augmentées jusqu’à 80 %, et la latence peut être réduite d’environ 50 %. Ces résultats s'appliquent au stockage hybride NAS, à tous les NAS flash et aux NAS utilisés en tant que VJBOD avec cache SSD.

La conclusion de nos tests est que iSER peut augmenter efficacement les performances d’un NAS QNAP utilisé soit comme magasin de données VMware ESXi, soit comme VJBOD par un autre NAS QNAP. Lorsqu’il est associé au stockage SSD, iSER peut augmenter les performances des applications clés exécutées sur des clusters VMware ou sur des NAS QNAP connectés à l'aide de VJBOD.

En intégrant la prise en charge d’iSER à QTS, QNAP démontre son innovation et son engagement à fournir un stockage performant à tous les clients, en particulier ceux qui rencontrent des problèmes de performances de stockage. À l’avenir, QNAP continuera d’aider les clients désireux d’utiliser iSER en testant iSER dans différentes configurations, puis en publiant les résultats de test.