QNAP Systems, Inc. - netwerk opslag (NAS)

Language

Support

iSCSI-extensies gebruiken voor RDMA (iSER) om de prestaties te verbeteren van QNAP NAS met VMware® ESXI

1. Uitdagingen

In een virtualisatieomgeving zijn de schijven, opslagconfiguratie, netwerk, hypervisor en applicaties allemaal essentiële factoren voor de algemene prestaties en stabiliteit. IT-personeel voor kleine en middelgrote ondernemingen (KMO) moeten vaak de prestaties optimaliseren en bottlenecks kunnen vinden.

Als actieve opslagprovider in de KMO-markt, begrijpt QNAP deze uitdagingen en begrijpt het dat de oplossing voor het vergroten van opslagprestaties niet alleen binnen het opslagsysteem ligt, maar ook in het opslagnetwerk. QNAP ondersteunt nu iSCSI-extensies voor RDMA (iSER), een oplossing die al jarenlang wordt gebruikt door bedrijven, op alle grootste series van QNAP KMO NAS-producten. Onze doelstelling is IT-professionals een oplossing bieden die de prestaties sterk kan verhogen in gevirtualiseerde omgevingen en waardoor de algemene IT-efficiëntie in het bedrijf stijgt.

Door iSER in te schakelen worden de prestaties van een QNAP Hybrid Storage NAS met Qtier™ met meer dan 50% verhoogd in labotests van QNAP. Raadpleeg hoofdstuk 5 voor meer informatie.

2. Inleiding tot iSCSI-uitbreidingen voor RDMA (iSER)

In QTS versie 4.3.3 en later kan iSER worden ingeschakeld op iSCSI-verbindingen tussen VMware-virtualisatieservers en Intel of QNAP NAS op basis van AMD. De enige vereiste is dat elke server en NAS een iSER-compatibele netwerkkaart heeft.

Het iSER-protocol verschilt van traditionele iSCSI omdat gegevens kunnen worden overgedragen om de netwerkdriver en socketlayers te omzeilen en rechtstreeks naar de geheugenbuffers van de ESXi-server of NAS te gaan. Dit zorgt voor betere prestaties van gegevensoverdrachten en beperkt ook de latentie en de CPU-belasting op de NAS.

QNAP ontdekte dat de prestaties van virtuele machines kunnen worden verhoogd met 60% tot 100% * met iSER. Ook de latentie van willekeurige toegang kan met 50% of meer worden verlaagd. Deze testresultaten tonen aan dat iSER vooral geschikt is voor bedrijven die QNAP NAS gebruiken als VMware ESXI gegevensopslag, met daarop bedrijfstoepassingen of virtuele desktopinfrastructuur (VDI). 

In de volgende hoofdstukken staan de systeemvereisten en de vereiste stappen om iSER in te schakelen in een virtualiseringsomgeving. Het document vormt ook een basisdemonstratie van hoe iSER de prestaties van een hybride opslag-NAS kan verbeteren met behulp van Qtier(™) en alle flash-NAS.

iSER (rechts) omzeilt de TCP/IP-netwerkdriver en socketbibliotheek om gegevens rechtstreeks naar de toepassing of het opslaggeheugen over te dragen.

*Raadpleeg hoofdstuk 5 voor de testconfiguratie en resultaten. De prestatieverbeteringen hangen af van uw systeemconfiguratie.

3. Systeemvereisten

Om iSER in te schakelen in uw QNAP en VMware-omgeving hebt u het volgende nodig:

  • Een of meer QNAP NAS met een Intel of AMD CPU, met QTS 4.3.3 of nieuwer.
  • Een of meer VMware ESXi-servers (momenteel ondersteunt QTS alleen iSER met VMware ESXi).
  • Een iSER-compatibele netwerkkaart voor elke QNAP NAS en VMware ESXi server.
  • De iSER-compatibiliteitsdriver** MLNX-OFED-ESX-1.9.10.5 moet zijn geïnstalleerd in VMware ESXi 5.5 en 6.0.  De driver is beschikbaar op http://www.mellanox.com/page/products_dyn?product_family=29
    Opmerking: VMware ESXi 6.5 ondersteunt momenteel nog steeds het iSER-protocol niet.
  • De NAS en VMware ESXi-servers moeten ofwel zijn aangesloten op een Mellanox Switch die iSER ondersteunt*** of rechtstreeks zijn verbonden zonder switch.
    Opmerking: Andere switchen die PFC (Priority Flow Control) ondersteunen, kunnen ook worden gebruikt, maar in dat geval kan de toename in prestaties door iSER niet worden gegarandeerd.

*Hieronder staan de huidige netwerkkaarten die kunnen worden gebruikt met iSER. Om uitbreidingskaarten te kopen, bezoekt u de QNAP-website of neemt u contact op met een erkend verdeler.

Model Specificatie Product
LAN-10G2SF-MLX Dual-port 10 GbE Adapter: Mellanox Connect-3 Pro EN Connector: SFP+
LAN-40G2SF-MLX Dual-port 40 GbE Adapter: Mellanox ConnectX-3 Pro EN Connector: QSFP

** Deze driver is specifiek ontworpen om iSER in te schakelen. Door deze te installeren, kunnen de normale iSCSI-verbindingsprestaties worden beïnvloed.

*** Hieronder staat een lijst van Mellanox ethernetkaarten en switchen aanbevolen voor gebruik met iSER. De Mellanox Spectrum switchen leveren consistente, ultralage latentie en niet-blokkerende switching op lijnsnelheid zonder pakketverlies. In combinatie met optimaal bandbreedtebeheer zorgen de Mellanox switchen voor maximale iSER-prestaties. Voor meer informatie over iSER-compatibele netwerkkaarten en switchen, raadpleegt u de officiële website van Mellanox of neemt u contact op met een erkend distributeur.

Netwerkkaart Specificatie
MCX311A-XCCT ConnectX®-3 Pro EN netwerkinterfacekaart, 10GbE, SFP+ enkele poort, PCIe3.0 x8 8GT/s, lange beugel, RoHS R6
MCX312B-XCCT ConnectX®-3 Pro EN netwerkinterfacekaart, 10GbE, SFP+ dubbele poort, PCIe3.0 x8 8GT/s, lange beugel, RoHS R6
MCX312C-XCCT ConnectX®-3 Pro EN netwerkinterfacekaart, 10GbE, SFP+ dubbele poort, PCIe3.0 x8 8GT/s, lange beugel, RoHS R6
MCX313A-BCCT ConnectX®-3 Pro EN netwerkinterfacekaart, 40/56GbE, QSFP enkele poort, PCIe3.0 x8 8GT/s, lange beugel, RoHS R6
MCX314A-BCCT ConnectX®-3 Pro EN netwerkinterfacekaart, 40/56GbE, QSFP dubbele poort, PCIe3.0 x8 8GT/s, lange beugel, RoHS R6
MCX342A-XCPN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP, 10GbE SFP+ dubbele poort, PCIe3.0 x8, geen beugel, RoHS R6
MCX342A-XCQN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP met IPMI en NC-SI, 10GbE SFP+ dubbele poort, PCIe3.0 x8, geen beugel, RoHS R6
MCX345A-BCPN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP, 40GbE QSFP enkele poort, PCIe3.0 x8, geen beugel, RoHS R6
MCX345A-BCQN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP met IPMI en NC-SI, 40GbE QSFP enkele poort, PCIe3.0 x8, geen beugel, RoHS R6
MCX346A-BCPN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP, 40GbE QSFP dubbele poort, PCIe3.0 x8, geen beugel, RoHS R6
MCX346A-BCQN ConnectX®-3 Pro EN netwerkinterfacekaart voor OCP met IPMI en NC-SI, 40GbE QSFP dubbele poort, PCIe3.0 x8, geen beugel, RoHS R6
 
Model Specificatie
MSN2700-BS2F Spectrum™ based 40GbE 1U open ethernetswitch met MLNX-OS, 32 QSFP 28 poorten
MSN2700-BS2R Spectrum™ based 40GbE, 1U open ethernetswitch met MLNX-OS, 32 QSFP 28 poorten
MSN2410-BB2F Spectrum™ based 10GbE/100GbE 1U open ethernetswitch met MLNX-OS, 48 SFP 28 poorten
MSN2100-BB2F Spectrum™ based 40GbE, 1U open ethernetswitch met MLNX-OS, 16 QSFP 28 poorten
MSN2100-BB2R Spectrum™ based 40GbE, 1U open ethernetswitch met MLNX-OS, 16 QSFP 28 poorten

4. iSER implementeren in een bestaande VMware Virtualisatieomgeving

Dit hoofdstuk bevat instructies over het inschakelen van iSER op een iSCSI-verbinding tussen een QNAP NAS en een VMware ESXi-server. Indien uw omgeving meerdere NAS of meerdere VMware-servers bevat, volgt u de juiste stappen voor elke NAS en server.

4-1. Netwerkinstellingen configureren op de NAS

Voordat u instellingen aanpast, moet u nagaan of de QNAP NAS een model met Intel of AMD is en al draait op QTS 4.3.3 of later.

  1. Schakel de NAS en de VMware ESXi-server uit en installeer een iSER-compatibele netwerkkaart in elk apparaat.
  2. Sluit de NAS en de VMware ESXi-server aan via een iSER-compatibele switch of door deze rechtstreeks aan te sluiten.
  3. Schakel de NAS en ESXi-server in.
  4. Meld u aan bij QTS op de NAS en ga naar “Configuratiescherm” > “Netwerk & Virtuele switch” > “Interfaces”. Zoek de interfaces die toebehoren aan de iSER-compatibele netwerkkaart en ken deze elk een statisch IP-adres toe. Het is ook aanbevolen om “Jumbo Frame” in te stellen op 9000 voor maximale prestatieverbeteringen wanneer u iSER gebruikt.
Bewerk de adapter van de onlangs toegevoegde netwerkkaart in ‘Netwerk en virtuele switch’. De Jumbo Frame-instellingen vindt u door te klikken op het pictogram ‘configureren’.

4-2. De Mellanox iSER-driver installeren (niet van toepassing voor VMware ESXI 6.5 of later)

De Mellanox iSER-driver moet zijn geïnstalleerd op elke ESXi-server. Opmerking: VMware ESXi 6.5 en later ondersteunt standaard iSER en heeft deze driver niet nodig.

  1. Download de Mellanox iSER driver MLNX-OFED-ESX-1.9.10.5 vanaf http://www.mellanox.com/page/products_dyn?product_family=29
  2. Upload de driver naar de ESXi-server. In deze tutorial hebben we de driver rechtstreeks naar de NAS opgeslagen en vervolgens Putty en SSH gebruikt om de driver te uploaden naar de ESXi-server.
Gebruik de opdracht #scp om de driver te uploaden naar de standaardmap van ESXi server
  1. (Optioneel) Verwijder alle vorige versies van de driver.
    De v1.9.10.5 driver kan niet tegelijk worden gebruikt met een andere versie van dezelfde driver. Indien een andere versie van de driver dan MLNX-OFED-ESX-1.9.10.5 al is geïnstalleerd, stopt u alle bewerkingen en virtuele machines op de ESXi-server en verwijdert u de bestaande driver.

    Voer de opdracht esxcli software vib list | grep mlx uit om de momenteel geïnstalleerde driverversie en naam te bevestigen. Hieronder staat de opdracht voor het verwijderen van een eerdere versie van de driver. Deze bestaat uit drie delen: nmlx4-core, nmlx4-en en nmlx4-rdma.
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. Voer de volgende opdracht uit om de nieuwe driver te installeren:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. Nadat de installatie is voltooid, start u de VMware ESXi opnieuw op en voert u de opdracht esxcli software vib list | grep mlx uit om te controleren of de net-mlx4-core, net-mlx4-en en net-mlx4-ib drivers zijn geïnstalleerd en dat deze allemaal de versie 1.9.10.5-10EM-600.0.0.2494585 zijn.
Putty kan worden gebruikt om de driver te installeren op een ESXi-server.

4-3. De netwerkinstellingen configureren op de ESXi-server

In dit gedeelte wordt de installatie besproken van de iSER-verbinding op een ESXi-server.

  1. Meld u aan bij VMware vCenter.
  2. Selecteer de VMware ESXi-server in het linkerpaneel.
  3. Ga in “Configuratie” naar het tabblad > “Netwerken” en klik op “Netwerken toevoegen” om de wizard “Netwerk toevoegen te openen.
Voeg een nieuwe virtuele switch toe voor de ESXi-server van vCenter.
  1. Indien u wilt dat de Guest OS toegang heeft tot de netwerkinterface, selecteert u “Virtual Machine” als het “Verbindingstype” en klikt u eerst op “Volgende”. Anders gaat u naar stap 6.
  2. Selecteer op de pagina “Netwerktoegang” de pas geïnstalleerde iSER-compatibele netwerkkaart. Klik op “Volgende” en “Volgende” en laat alle instellingen op standaard. Klik vervolgens op “Voltooien” om de wizard “Netwerk toevoegen” te voltooien.
Selecteer de onlangs toegevoegde netwerkkaart om verder te gaan.
  1. Klik nogmaals op “Netwerken toevoegen”. Selecteer “VMkernel” als het “Verbindingstype”, controleer of de onlangs geïnstalleerde iSER-compatibele netwerkkaart is geselecteerd en volg de wizard om de instellingen te voltooien. Laat de eigenschappen van de “Poortgroep” als standaard.
  2. Voer op de pagina “IP-instellingen” een statisch IP-adres in voor de netwerkadapter. Klik vervolgens op “Volgende” en “Voltooien” om de wizard af te sluiten.
Voeg het type VMkernel toe en voer een statisch IP-adres in voor de netwerkkaart
  1. Controleer of u de nieuwe virtuele switch voor de iSER-netwerkkaart ziet op het scherm “Configuratie” > “Netwerken”.
De nieuwe virtuele switch bevat het VM netwerk (optioneel) en VMkernel.

4-4. De netwerkverbinding wijzigen van iSCSI naar iSER

  1. Meld u aan bij VMware vCenter.
  2. Selecteer de VMware ESXi-server in het linkerpaneel.
  3. Ga in “Configuratie” naar het tabblad > “Opslagadapters”. Op deze pagina moet u de iSER zien die wordt weergegeven als “Mellanox iSCSI over RDMA (iSER) Adapter” naast de bestaande “iSCSI-softwareadapter”.
    Opmerking: Indien u een nieuwe virtualisatieomgeving instelt, moet u eerst de “iSCSI-softwareadapter” creëren en vervolgens de ESXi-server opnieuw opstarten om de “Mellanox iSCSI over RDMA (iSER)” adapter te zien.
    De Mellanox iSCSI over RDMA (iSER) adapter verschijnt nadat de NAS en VMware ESXi-netwerkinstellingen zijn geconfigureerd in deel 4-3.
  4. Selecteer de “iSCSI softwareadapter” en klik op “Eigenschappen”.
  5. Verwijder alle bestaande poortbindingen uit de lijst op het tabblad “Netwerkconfiguraties”. Verwijder ook alle iSCSI-doelen uit de lijsten op de tabbladen “Dynamic Discovery” en “Static Discovery”. Dit zorgt ervoor dat de verbindingen alleen het iSER-protocol gebruiken.
    Verwijder alle items van de lijsten in ‘Netwerkconfiguratie’, ‘Dynamic Discovery’ en ‘Static Discovery’
  6. Sluit de eigenschappen voor de iSCSI softwareadapter. Selecteer op de pagina “Configuratie” > “opslagadapters” het apparaat onder “Mellanox iSCSI over RDMA (iSER) Adapter” en klik op “Eigenschappen”.
  7. Klik op het tabblad “Netwerkconfiguratie” op “Toevoegen” om een nieuwe VMKernel poortbinding te creëren. Selecteer de VMKernel die is gecreëerd voor de iSER-verbinding in hoofdstuk 4-3.
    Bewerk de apparaateigenschappen van de Mellanox iSCSI over RDMA (iSER) Adapter en voeg de iSER virtuele switch toe om het iSCSI-doel opnieuw te scannen.
  8. Herhaal stappen 5 en 6 voor elk apparaat onder ‘Mellanox iSCSI over RDMA (iSER) Adapter’ waar een iSER-verbinding voor is vereist.

    Het QNAP iSCSI-doel en de LUN zijn nu automatisch verbonden met behulp van de nieuwe iSER-interface.
    De iSCSI LUN op de QNAP NAS is verbonden met behulp van de iSER-adapter.

5. Prestatietests en resultaten

De volgende apparatuur werd gebruikt door het QNAP-testteam om de prestatievoordelen van iSER te meten in vergelijking met normale iSCSI:

QNAP NAS

  • TVS-EC2480-SAS-RP: hybride opslagarray
  • TES-EC3085U: volledige flashopslagarray

VMware

  • VMware ESXi 6.0 cluster van vijf Dell PowerEdge R420-servers. Elke server heeft een Intel Xeon E5-2450 CPU en 128GB RAM.
  • Virtuele machines OS: Windows 2012 R2 64bit

Netwerken

  • Mellanox 40GbE LAN-40G2SF-MLX netwerkkaart, geïnstalleerd in de NAS en in elke PowerEdge-server.
  • Mellanox 40GbE Spectrum SN2410 Switch die de VMware ESXi-servers en NAS met elkaar verbindt.

Opmerking: Om de prestatievoordelen te tonen, werd slechts één 40GbE-kabel gebruikt om elke NAS te verbinden met de Mellanox 40GbE Switch. In normale omstandigheden is het echter mogelijk om meerdere 10GbE en 40GbE-verbindingen en meerdere switchen te configureren om de prestaties en de beschikbare opslag verder te verhogen met iSER.

Iometer was op elke VMware ESXi-server geïnstalleerd en geconfigureerd met de volgende instellingen. Opmerking: Deze test gebruikt standaard Iometer-instellingen. Reële toegangspatronen hangen af volgens de toepassing.

Iometer (iSCSI-doorvoer)
Uitstaande I/O’s→ 1 per doel Schrijfdoorvoer → 2M Sequentieel 100%
Schrijven 100%
Werkers → 20 Leesdoorvoer → 2M Sequentieel 100%
Lezen 100%
Toenametijd →30 seconden Overdrachtgrootte → 16GB bestand
Iometer (iSCSI IOPS)
Uitstaande I/O’s → 1 per doel Schrijf-IOPS → 4K Sequentieel 100%
Schrijven 100%
Werkers → 20 Schrijf-IOPS → 4K Sequentieel 100%
Lezen 100%
Toenametijd →30 seconden Overdrachtgrootte → 16GB bestand

Opmerking: Deze test gebruikt standaard Iometer-instellingen. Reële toegangspatronen hangen af volgens de toepassing.

5-1. Eén VM met Qtier™: Sequentiële lees/schrijfprestaties toegenomen met 100% met iSER tot 4000 MB/s

In deze test testten we de prestaties van één virtuele machine die was aangesloten op de hybride opslag-NAS. Dit soort configuratie is gebruikelijk voor bedrijfstoepassingen zoals mailservers, waarvoor zowel sterke prestaties als veel opslagcapaciteit zijn vereist.

NAS-specificaties
Model QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
Geheugen 32GB
Opslagconfiguratie Seagate SAS SSD x12, RAID 10
Seagate SATA HDD x12, RAID 6
1 opslagpool, 1 blokgebaseerde iSCSI LUN
Netwerkkaart 40GbE netwerkkaart LAN-40G2SF-MLX

In de testresultaten zien we een toename van meer dan 100% in sequentiële lees- en schrijfsnelheden, met een sequentiële leessnelheid van meer dan 4000MB/s. Dit resultaat toont aan dat iSER de sequentiële lees- en schrijfprestaties van veeleisende toepassingen sterk kan verbeteren.



5-2. Vijf VM’s met Qtier™: Random lees/schrijfprestaties toegenomen met 80% met iSER tot 180.000 IOPS

Deze tweede test gebruikt dezelfde hybride opslag-NAS-configuratie als de vorige test. Deze keer hebben we het aantal VMware virtuele machines echter verhoogd tot vijf. Deze test is representatief voor een kleine of middelgrote onderneming die meerdere toepassingen wil uitvoeren met random toegang, zoals een web- of logserverdatabase, op één QNAP NAS.

De testresultaten combineren de prestaties van alle virtuele machines om de totale lees- en schrijfprestaties te laten zien. De testresultaten wezen uit dat de random lees- en schrijfprestaties toenamen met meer dan 80% dankzij iSER. Random lees/schrijfsnelheden bereikten een totaal van 180.000 IOPS met slechts 12 SSD’s in een RAID 10-configuratie. Er was ook een toename in sequentiële toegangssnelheden. 
De latentie werd verlaagd van 0,9 ms naar 0,5 ms, waarbij de reactietijd werd verbeterd wanneer verschillende toepassingen random toegang willen tot dezelfde NAS.



5-3. Vijf VM’s met alleen een flashgeheugen: Random lees/schrijfprestaties toegenomen met 60% met iSER tot 250.000 IOPS

In de vorige test kon elke VM tot 36.000 extra IOPS halen met behulp van de hybride opslag-NAS met Qtier™. Voor bepaalde bedrijfstoepassingen zoals SQL Server moeten deze resultaten nog steeds beter worden. Om de voordelen van iSER verder te vergroten, hebben we de NAS gewijzigd naar een QNAP TES-3085U. Dit is een NAS met volledig flashgeheugen met 30 SSD-sleuven. De NAS was verbonden met vijf VMware virtuele machines.

Voor deze testinstelling is Qtier niet vereist dus er is niet langer één grote opslagpool vereist. Voor deze test werden de 30 SSD’s opgedeeld in 5 opslagpools, waarbij elk een blokgebaseerde iSCSI LUN bevat. Deze opslagconfiguratie verlaagt het risico op gegevensverlies en verhoogt ook de prestaties omdat metagegevens onafhankelijk van elke opslagpool kunnen worden opgehaald.

NAS-specificaties
Model QNAP TES-3085U
CPU Intel Xeon D-1548
Geheugen 32GB
Opslagconfiguratie Samsung SATA SSD x30, RAID 10
5 opslagpools
5 blokgebaseerde iSCSI LUN’s
Netwerkkaart 40GbE netwerkkaart LAN-40G2SF-MLX

Tijdens de test combineerden we de prestaties van verschillende virtuele machines om de totale lees- en schrijfprestaties te observeren. Random lees- en schrijfprestaties stegen met meer dan 80% met iSER en bereikten een totaal van 250.000 IOPS. Dit betekent dat elke VM tot 50.000 IOPS kan halen. Dit aantal is hoger dan 30.000 IOPS, wat de algemene aanbeveling is voor een SQL-server. De latentie werd verlaagd tot 0,3 ms, vergeleken met 1,1 ms met iSCSI.


5-4. Conclusies tests

Met iSER kunnen de random lees- en schrijfprestaties van meerdere virtuele machines worden verhoogd met 80% en kan de latentie worden verlaagd met ongeveer 50%. Deze resultaten zijn van toepassing op zowel hybride opslag en een volledige flash-NAS.

De conclusie van het QNAP-testteam is dat iSER de prestaties van een QNAP-NAS doeltreffend kan verhogen wanneer deze wordt gebruikt als een VMware ESXi datastore. Dit verhoogt de prestaties van belangrijke toepassingen die op de VMware-cluster worden uitgevoerd. Door iSER-ondersteuning toe te voegen aan QTS, toont QNAP aan dat het innovatief is en streeft naar snelle, efficiënte opslag voor hun klanten wereldwijd.

QNAP geloofd dat iSER een uitstekende optie is voor IT-professionals die de prestaties van bedrijfstoepassingen willen verbeteren. In de toekomst zal QNAP iSER blijven testen in verschillende configuraties en vervolgens de testresultaten publiceren. 

Uitgavedatum: 2017-05-25
Was dit nuttig?
Bedankt voor uw feedback.
Bedankt voor uw feedback. Neem contact op met support@qnap.com als u vragen hebt.
100% van de mensen vond dit nuttig