iSCSI Extensions for RDMA (iSER) gebruiken om de prestaties van een NAS van QNAP met VMware® ESXi of VJBOD te verbeteren

1. Uitdagingen

De schijven en opslagconfiguratie, het netwerk, de hypervisor en toepassingen vormen in een virtualisatieomgeving allemaal kritieke factoren voor de algehele prestaties en stabiliteit. IT-medewerkers van MKB-bedrijven moeten vaak de prestaties optimaliseren en knelpunten in kaart brengen.

Als aanbieder van opslagoplossingen met oog voor de MKB-markt herkent QNAP deze uitdagingen. Wij begrijpen dat de sleutel tot het verbeteren van de opslagprestaties niet alleen in het opslagsysteem, maar ook in het opslagnetwerk ligt. QNAP ondersteunt nu iSCSI Extensions for RDMA (iSER) – een oplossing die al jarenlang door bedrijven wordt toegepast – op alle belangrijke series met NAS-producten van QNAP voor het MKB. We willen IT-professionals een onmisbare oplossing bieden die de prestaties in gevirtualiseerde omgevingen sterk kan verbeteren, zodat het bedrijf de algehele efficiëntie van IT kan verbeteren.

2. Kennismaking met iSCSI Extensions for RDMA (iSER)

iSER kan in QTS vanaf versie 4.3.3 worden ingeschakeld voor iSCSI-verbindingen tussen virtualisatieservers met VMware en NAS-systemen van QNAP op basis van Intel of AMD. Er geldt maar één eis: elke server en NAS moeten een iSER-compatibele netwerkkaart hebben. In QTS 4.3.5 kan iSER ook worden ingeschakeld voor Virtual JBOD-verbindingen (VJBOD) van QNAP.

Het iSER-protocol verschilt van traditionele iSCSI omdat gegevens die worden overgedragen het netwerkstuurprogramma en socket-lagen kunnen omzeilen en rechtstreeks in de geheugenbuffers op de ESXi-server of NAS komen. Dit leidt tot betere overdrachtsprestaties en vermindert bovendien zowel de latentie als CPU-belasting op de NAS.

QNAP ontdekte dat de prestaties van virtuele machines met behulp van iSER met 60% tot 100%* kunnen worden verhoogd. Tegelijkertijd kan de latentie van willekeurige toegang met 50% of meer worden verlaagd. Deze testresultaten laten zien dat iSER vooral geschikt is voor bedrijven die NAS-systemen van QNAP gebruiken als VMware ESXi-opslagplaatsen, voor het hosten van zakelijke toepassingen of als infrastructuur voor virtuele bureaubladen (VDI). 

In de volgende hoofdstukken staan de systeemvereisten en de vereiste stappen om iSER in te schakelen in een virtualiseringsomgeving. Het document bevat tevens een eenvoudige demonstratie van de manier waarop iSER de prestaties van een NAS met hybride opslag kan verbeteren met behulp van Qtier™, een NAS met volledig flashgeheugen en een NAS die wordt gebruikt als VJBOD met SSD-cache.

*Raadpleeg hoofdstuk 5 voor de testconfiguratie en resultaten. De prestatieverbeteringen hangen af van uw systeemconfiguratie.

3. Systeemeisen

Er moet aan de volgende eisen worden voldaan om iSER op uw NAS van QNAP in te schakelen:

Hardware-eisen

• VMware:
  • Minimaal één NAS van QNAP met een Intel- of AMD-processor en minimaal QTS 4.3.3;
  • Minimaal één VMware ESXi-server (QTS ondersteunt alleen iSER met VMware ESXi);
• VJBOD: Twee NAS-systemen van QNAP met een Intel- of AMD-processor en beide minimaal QTS 4.3.5.

Netwerkvereisten

• Er moet in elke NAS van QNAP en VMware ESXi-server een iSER-compatibele netwerkkaart* zijn geïnstalleerd;
• Alle NAS-apparaten en VMware ESXi-servers moeten zijn verbonden met een Mellanox-switch die iSER ondersteunt** of rechtstreeks zijn verbonden zonder switch.

Software-eisen

• Er moet een stuurprogramma voor iSER-compatibiliteit zijn geïnstalleerd in VMware ESXi 5.5, 6.0 en 6.5. Het stuurprogramma kan worden gedownload op http://www.mellanox.com/page/products_dyn?product_family=29
  Opmerking: In VMware ESXi-versies vanaf 6.7 hoeft u geen stuurprogramma te installeren, want deze wordt standaard al geïnstalleerd.

*Hieronder staan de huidige netwerkkaarten die kunnen worden gebruikt met iSER. Om uitbreidingskaarten te kopen, bezoekt u de QNAP-website of neemt u contact op met een erkend verdeler.

Model	Specificaties	Product
LAN-10G2SF-MLX Dual-port 10 GbE	Adapter: Mellanox Connect-3 Pro EN-connector: SFP+
LAN-40G2SF-MLX Dual-port 40 GbE	Adapter: Mellanox ConnectX-3 Pro EN-connector: QSFP

** Hieronder staat een lijst met aanbevolen ethernet-switches van Mellanox voor gebruik in combinatie met iSER. De Mellanox Spectrum switchen leveren consistente, ultralage latentie en niet-blokkerende switching op lijnsnelheid zonder pakketverlies. In combinatie met optimaal bandbreedtebeheer zorgen de Mellanox switchen voor maximale iSER-prestaties. Raadpleeg de officiële website van Mellanox of neem contact op met een erkende distributeur voor meer informatie over iSER-compatibele switches en netwerkkaarten.

4. iSER implementeren in een bestaande virtualisatieomgeving met VMware

Dit hoofdstuk bevat instructies voor het inschakelen van iSER op een iSCSI-verbinding tussen een NAS van QNAP en een VMware ESXi 6.0-server. Volg de toepasselijke stappen voor elke NAS en server als uw omgeving meerdere NAS-systemen of meerdere VMware-servers bevat.

4-1. Netwerkinstellingen configureren op de NAS

Controleer of de NAS van QNAP een model met Intel- of AMD-processor is en minimaal QTS 4.3.3 heeft voordat u instellingen wijzigt.

1. Schakel de NAS en de VMware ESXi-server uit en installeer een iSER-compatibele netwerkkaart in elk apparaat.
2. Sluit de NAS en de VMware ESXi-server aan via een iSER-compatibele switch of door deze rechtstreeks aan te sluiten.
3. Schakel de NAS en ESXi-server in.
4. Meld u aan bij QTS op de NAS en ga naar ‘Configuratiescherm’ > ‘Netwerk en virtuele switch’ > ‘Aansluitingen’. Zoek de aansluitingen die bij de iSER-compatibele netwerkkaart horen en wijs een statisch IP-adres toe op een speciaal subnet. Het wordt bovendien aanbevolen om ‘Jumbo Frame’ in te stellen op ‘9.000’ om de prestatieverbeteringen te maximaliseren als u iSER gebruikt.
   

4-2. Het Mellanox iSER-stuurprogramma installeren (niet van toepassing op VMware ESXi 6.5 of recentere versies)

1. Download het Mellanox iSER-stuurprogramma op http://www.mellanox.com/page/products_dyn?product_family=29
2. Upload het stuurprogramma naar de ESXi-server. In deze zelfstudie hebben we het stuurprogramma rechtstreeks op de NAS opgeslagen. Daarna gebruiken we Putty en SSH om het stuurprogramma naar de ESXi-server te uploaden.
   

3. (Optioneel) Verwijder alle vorige versies van de driver.
   Het iSER-stuurprogramma kan niet tegelijkertijd worden gebruikt met een andere versie van hetzelfde stuurprogramma. Stop alle bewerkingen en virtuele machines op de ESXi-server en verwijder het bestaande stuurprogramma als er al een andere versie van het stuurprogramma is geïnstalleerd.
   
   Voer de opdracht esxcli software vib list | grep mlx uit om de momenteel geïnstalleerde driverversie en naam te bevestigen. Hieronder staat de opdracht voor het verwijderen van een vorige versie van het stuurprogramma, dat bestaa tuit drie delen: nmlx4-core, nmlx4-en en nmlx4-rdma.
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. Voer de volgende opdracht uit om de nieuwe driver te installeren:
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. Start VMWare ESXi opnieuw op nadat de installatie is voltooid en voer de opdracht esxcli software vib list | grep mlx uit om te verifiëren of de stuurprogramma's net-mlx4-core, net-mlx4-en en net-mlx4-ib zijn geïnstalleerd en allemaal versie 1.9.10.5-10EM-600.0.0.2494585 zijn.

4-3. Netwerkinstellingen configureren op de ESXi-server

Dit hoofdstuk helpt u bij het instellen van de iSER-verbinding met een ESXi-server.

1. Meld u aan bij VMware vCenter.
2. Selecteer de VMware ESXi-server in het linkerpaneel.
3. Ga naar het tabblad ‘Configuratie’ > ‘Netwerk’ en klik op ‘Netwerk toevoegen’ om de wizard ‘Netwerk toevoegen’ te openen;
   
   Voeg vanuit vCenter een nieuwe virtuele switch toe voor de ESXi-server;
4. Selecteer ‘Virtuele machine’ als ‘Verbindingstype’ en klik op ‘Volgende’ als u wilt dat het gastbesturingssysteem toegang tot de netwerkaansluiting heeft; ga anders naar stap 6;
5. Selecteer op de pagina ‘Netwerktoegang’ de nieuw geïnstalleerde, iSER-compatibele netwerkkaart. Klik op ‘Volgende’ en opnieuw op ‘Volgende’. Laat alle standaardinstellingen staan en klik daarna op ‘Voltooien’ om de wizard ‘Netwerk toevoegen’ te voltooien;
   
   Selecteer de nieuw toegevoegde netwerkkaart om verder te gaan;
6. Klik opnieuw op ‘Netwerk toevoegen’; Selecteer ‘VMkernel’ als ‘Verbindingstype’, controleer of de nieuw geïnstalleerde iSER-compatibele netwerkkaart is geselecteerd en volg de wizard om de instellingen te voltooien. Laat de eigenschappen voor ‘Poortgroep’ ongemoeid;
7. Geef op de pagina ‘IP-instellingen’ een statisch IP-adres op voor de netwerkadapter. Klik daarna op ‘Volgende’ en ‘Voltooien’ om de wizard te sluiten;
   
   Voeg het type VMkernel toe en voer een statisch IP-adres in voor de netwerkkaart
8. Controleer of u de nieuwe virtuele switch voor de iSER-netwerkkaart in het scherm ‘Configuratie’ > ‘Netwerk’ ziet;
   
   De nieuwe virtuele switch bevat het VM netwerk (optioneel) en VMkernel.

4-4. De netwerkverbinding wijzigen van iSCSI naar iSER

1. Meld u aan bij VMware vCenter.
2. Selecteer de VMware ESXi-server in het linkerpaneel.
3. Ga naar het tabblad 'Configuratie’ > ‘Opslagadapters’. Als het goed is, ziet u op deze pagina de iSER weergegeven als ‘Mellanox iSCSI over RDMA-adapter (iSER)’ naast de bestaande ‘iSCSI-softwareadapter'.
   Opmerking: Als u een nieuwe virtualisatieomgeving instelt, moet u eerst de ‘iSCSI-softwareadapter’ maken en daarna de ESXi-server opnieuw starten om de ‘Mellanox iSCSI over RDMA-adapter (iSER)’ te kunnen zien;
   
   De Mellanox iSCSI over RDMA (iSER) adapter verschijnt nadat de NAS en VMware ESXi-netwerkinstellingen zijn geconfigureerd in deel 4-3.
4. Selecteer ‘iSCSI-softwareadapter’ en klik op 'Eigenschappen';
5. Verwijder alle bestaande poortkoppelingen in de lijst op het tabblad ‘Netwerkconfiguraties’. Verwijder ook alle iSCSI-doelen in de lijsten op de tabbladen ‘Dynamische detectie’ en ‘Statische detectie’. Dit garandeert dat verbindingen alleen het iSER-protocol zullen gebruiken;
   
   Wis alle items op de lijsten onder ‘Netwerkconfiguratie’, ‘Dynamische detectie’ en ‘Statische detectie’;
6. Sluit de eigenschappen voor de iSCSI softwareadapter. Selecteer op de pagina ‘Configuratie’ > ‘Opslagadapters’ het apparaat onder ‘‘Mellanox iSCSI over RDMA-adapter (iSER)’ en klik op 'Eigenschappen';
7. Klik op het tabblad ‘Configuratie’ op ‘Toevoegen’ om een nieuwe VMKernel-poortkoppeling te maken. Selecteer de VMKernel die voor de iSER-verbinding werd gemaakt in hoofdstuk 4.3;
   
   Bewerk de apparaateigenschappen van de Mellanox iSCSI over RDMA (iSER) Adapter en voeg de iSER virtuele switch toe om het iSCSI-doel opnieuw te scannen.
8. Herhaal de stappen 5 en 6 voor elk apparaat onder ‘Mellanox iSCSI over RDMA-adapter (iSER)’ waarvoor een iSER-verbinding is vereist.
   
   Het QNAP iSCSI-doel en de LUN zijn nu automatisch verbonden met behulp van de nieuwe iSER-interface.
   
   De iSCSI LUN op de QNAP NAS is verbonden met behulp van de iSER-adapter.

5. iSER gebruiken met VJBOD op een NAS van QNAP

Dit hoofdstuk beschrijft hoe u iSER kunt inschakelen op twee NAS-apparaten van WNAP als u een VJBOD-verbinding maakt.

Opmerking:  Beide NAS-apparaten moeten minimaal QTS-versie 4.3.5 hebben.

1. Meld u aan bij QTS op de host-NAS en ga daarna naar ‘Hoofdmenu’ > ‘Opslag en momentopnamen’ > ‘Opslag’ > ‘Schijven/VJBOD’;
2. Selecteer ‘VJBOD’ > ‘VJBOD maken’.
   De wizard ‘Virtual JBOD-schijf maken’ wordt geopend;
3. Klik op ‘Volgende’.
   Het scherm ‘Verbinding maken met een externe NAS van QNAP’ wordt weergegeven;
4. Selecteer een externe NAS waarin een iSER-compatibele netwerkkaart is geïnstalleerd;
5. Voer het wachtwoord in voor de externe NAS en klik daarna op 'Volgende’.
   Het scherm ‘Aansluitingen selecteren’ wordt weergegeven;
   
6. Selecteer onder ‘Aansluiting van host-NAS’ en iSER-compatibele adapter;
7. Selecteer onder ‘Aansluiting van externe NAS’ en iSER-compatibele adapter;
8. Selecteer ‘iSER gebruiken indien beschikbaar’ en klik daarna op 'Volgende';
9. Volg de rest van de wizard totdat u de VJBOD hebt gemaakt.

Ga naar ‘Hoofdmenu’ > ‘Opslag en momentopnamen’ > ‘Opslag’ > 'Schijven/VJBOD’ en selecteer de externe schijf om te verifiëren of iSER werkt. 'Verbindingstype’ zal ‘iSER’ weergeven als er een iSER-verbinding tot stand is gebracht.

Opmerking: QTS zal eerst proberen om verbinding met de schijf te maken via iSER als de externe schijf is losgekoppeld. Als dit mislukt, zal QTS proberen om opnieuw verbinding met de schijf te maken via iSCSI. U kunt het verbindingstype van iSCSI naar iSER wijzigen door de externe schijf los te koppelen en daarna opnieuw aan te sluiten.

6. Prestatietests en resultaten

De volgende apparatuur werd gebruikt door het QNAP-testteam om de prestatievoordelen van iSER te meten in vergelijking met normale iSCSI:

QNAP NAS

• TVS-EC2480-SAS-RP: hybride opslagarray
• TES-EC3085U: volledige flashopslagarray

VMware

• VMware ESXi 6.0 cluster van vijf Dell PowerEdge R420-servers. Elke server heeft een Intel Xeon E5-2450 CPU en 128GB RAM.
• Virtuele machines OS: Windows 2012 R2 64bit

Netwerken

• Mellanox 40GbE LAN-40G2SF-MLX netwerkkaart, geïnstalleerd in de NAS en in elke PowerEdge-server.
• Mellanox 40GbE Spectrum SN2410 Switch die de VMware ESXi-servers en NAS met elkaar verbindt.

Opmerking: Om de prestatievoordelen te tonen, werd slechts één 40GbE-kabel gebruikt om elke NAS te verbinden met de Mellanox 40GbE Switch. In normale omstandigheden is het echter mogelijk om meerdere 10GbE en 40GbE-verbindingen en meerdere switchen te configureren om de prestaties en de beschikbare opslag verder te verhogen met iSER.

IOmeter werd op elke VMware ESXi-server geïnstalleerd en geconfigureerd met de volgende instellingen.
Opmerking: Deze test gebruikt standaard Iometer-instellingen. Toegangspatronen zullen in de praktijk per toepassing verschillen.

6-1. Eén VM met Qtier™: prestaties van achtereenvolgende lees-/schrijfbewerkingen namen met iSER met 100% toe tot 4000 MB/sec.

In deze test testten we de prestaties van een virtuele machine die met de NAS met hybride opslag was verbonden. Dit soort configuraties komt veel voor bij zakelijke toepassingen, zoals e-mailservers, die zowel goede prestaties als een hoge opslagcapaciteit vereisen.

In de testresultaten zien we een toename van meer dan 100% in sequentiële lees- en schrijfsnelheden, met een sequentiële leessnelheid van meer dan 4000MB/s. Dit resultaat toont aan dat iSER de sequentiële lees- en schrijfprestaties van veeleisende toepassingen sterk kan verbeteren.

6-2. Vijf virtuele machines met Qtier™: Random lees/schrijfprestaties toegenomen met 80% met iSER tot 180.000 IOPS

Deze tweede test gebruikt dezelfde NAS-configuratie voor hybride opslag als de vorige test. Deze keer hebben we het aantal virtuele VMware-machines echter verhoogd tot vijf. Deze testcasus is representatief voor een klein tot middelgroot bedrijf dat meerdere toepassingen die willekeurige toegang vereisen – zoals een web- of logboekdatabase op een server – wil uitvoeren op één NAS van QNAP.

De testresultaten combineren de prestaties van alle virtuele machines om de totale lees- en schrijfprestaties weer te geven. De resultaten laten zien dat de willekeurige lees- en schrijfprestaties met meer dan 80% toenamen toen iSER werd gebruikt. Het aantal willekeurige lees-/schrijfbewerkingen bereikte in totaal 180.000 IOPS met slechts 12 SSD-schijven in een RAID 10-configuratie. Er was ook een toename in sequentiële toegangssnelheden. 
De latentie nam af van 0,9 naar 0,5 ms, wat een verbetering betekent van de responstijd als meerdere toepassingen willekeurige toegang tot dezelfde NAS vereisen.

6-3. Vijf VM’s met alleen een flashgeheugen: Random lees/schrijfprestaties toegenomen met 60% met iSER tot 250.000 IOPS

In de vorige test kon elke VM ongeveer 36.000 IOPS behalen met behulp van de NAS met hybride opslag met Qtier™. Voor bepaalde bedrijfstoepassingen, zoals SQL-server, moeten deze resultaten nog verder worden verbeterd. Om de voordelen van het gebruik van iSER verder te verkennen, wisselden we de NAS om voor een QNAP TES-3085U. Dit is een NAS met volledig flashgeheugen met 30 SSD-sleuven. De NAS werd verbonden met vijf virtuele VMware-machines.

Deze testconfiguratie vereist geen Qtier, waardoor er niet langer één grote opslagpool nodig is. Voor deze test werden de 30 SSD-schijven onderverdeeld in 5 opslagpools die elk een iSCSI-LUN's op basis van blokken bevatten. Deze opslagconfiguratie vermindert het risico van gegevensverlies en verbetert tevens de prestaties doordat onafhankelijk voor elke opslagpool metagegevens kunnen worden verkregen.

Tijdens de test combineerden we de prestaties van verschillende virtuele machines om de totale lees- en schrijfprestaties te observeren. Random lees- en schrijfprestaties stegen met meer dan 80% met iSER en bereikten een totaal van 250.000 IOPS. Dit betekent dat elke VM tot 50.000 IOPS kan halen. Dit aantal is hoger dan 30.000 IOPS, wat de algemene aanbeveling is voor een SQL-server. De latentie werd verlaagd tot 0,3 ms, vergeleken met 1,1 ms met iSCSI.

6-4. VJBOD-NAS met SSD-cache: leesprestaties met 80% verbeterd met behulp van iSER

In QTS 4.3.5 en recentere versies kunnen VJBOD-verbindingen gebruikmaken van iSER. Om dit te testen, verbonden we twee NAS-apparaten van QNAP met identieke hardwarespecificaties door middel van VJBOD. Daarna testten we de prestaties van de externe schijf op de host-NAS.

In de testresultaten kunnen we zien dat het gebruik van iSER leidde tot een aanzienlijke toename van de achtereenvolgende en willekeurige leesprestaties. De achtereenvolgende leesprestaties namen toe met 72% en de willekeurige leesprestaties met 89%. De willekeurige latentie nam met 41% af. De resultaten tonen ook aan dat prestatieproblemen van de netwerklaag naar de opslaglaag werden verplaatst nadat iSER was ingeschakeld. Dit betekent dat de schrijfprestaties nog verder kunnen worden verbeterd door meer SSD's toe te voegen.

6-5. Testconclusies

Met iSER kunnen de willekeurige lees- en schrijfprestaties van meerdere virtuele machines met tot wel 80% worden verhoogd en kan de latentie met ongeveer 50% worden verlaagd. Deze resultaten gelden voor NAS-systemen met hybride opslag, NAS-systemen met volledig flashgeheugen en NAS-systemen die worden gebruikt als VJBOD met SSD-cache.

Onze tests leren dat iSER de prestaties van een NAS van QNAP die als VMware ESXi-gegevensopslag of als VJBOD van een andere NAS van QNAP wordt gebruikt, effectief kan verbeteren. In combinatie met SSD-opslag kan iSER de prestaties verbeteren van belangrijke toepassingen die in een VMware-cluster of op NAS-apparaten van QNAP die zijn verbonden via VJBOD.

Door ondersteuning voor iSER aan QTS toe te voegen, laat QNAP zien innovatief te zijn en snelle opslag te willen bieden aan alle klanten – met name klanten die problemen ervaren met de opslagprestaties. QNAP zal in de toekomst klanten die in iSER zijn geïnteresseerd blijven helpen door iSER te testen in verschillende configuraties en de testresultaten daarna te publiceren.