Att använda iSCSI-tillägg för RDMA (iSER) för att förbättra prestandan hos QNAP NAS med VMware® ESXi eller VJBOD

1. Utmaningar

I en virtualiseringsmiljö är diskarna, lagringskonfigurationen, nätverket, hypervisor och applikationerna alla kritiska faktorer i den övergripande prestandan och stabiliteten. IT-personal i små och medelstora företag (SMB) behöver ofta optimera prestanda och identifiera flaskhalsar.

I egenskap av en lagringsleverantör som har ett engagemang för SMB-nischen förstår QNAP dessa utmaningar och inser att nyckeln till att öka lagringsprestanda inte bara finns i lagringssystemet utan även i lagringens nätverk. QNAP har nu stöd för iSCSI-tillägg för RDMA (iSER), en lösning som företag redan har använt i åratal på alla de större serierna av SMB NAS-produkter från QNAP. Vårt mål är att ge IT-experter en oeftergivlig lösning som i hög grad kan förbättra prestandan i virtualiserade miljöer och göra så att deras företag ökar den övergripande IT-effektiviteten.

2. Introduktion till iSCSI-tillägg för RDMA (iSER)

I QTS, version 4.3.3 och senare, kan iSER aktiveras på iSCSI-anslutningar mellan VMware-virtualiseringsservrar och Intel- eller AMD-baserade QNAP NAS. Det enda kravet är att varje server och NAS har ett iSER-kompatibelt nätverkskort. I QTS 4.3.5 kan iSER även aktiveras på QNAP Virtual JBOD-anslutningar (VJBOD).

iSER-protokollet skiljer sig från traditionella iSCSI eftersom det gör att data kan överföras för att kringgå nätverksdrivrutinen och socketlagren och kommer direkt till minnesbuffrarna på ESXi-server eller NAS. Det innebär bättre prestanda för dataöverföring och minskar även fördröjning och CPU-last på NAS:en.

QNAP har kommit fram till att prestandan för virtuella maskiner kan ökas med 60 % till 100 % med iSER. Även fördröjningen för slumpmässig åtkomst kan minskas med 50 % eller mer. Dessa testresultat visar att iSER är särskilt lämplig för verksamheter som använder QNAP NAS som VMware ESXi-datalagring, där den är värd för företagsapplikationer eller infrastruktur med virtuella skrivbord (VDI). 

Följande kapitel räknar upp systemkraven och de steg som behövs för att aktivera iSER i en virtualiseringsmiljö. Dokumentet tillhandahåller en grundläggande demonstration av hur iSER kan förbättrar prestandan för en hybridlagrings-NAS som använder Qtier(™), en all-flash-NAS och en NAS som används som en VJBOD med en SSD-cache.

*Se kapitel 5 för testkonfigurationer och resultat. Prestandaförbättringar kan skilja sig åt beroende på din systemkonfiguration.

3. Systemkrav

Aktivering av iSER på din QNAP NAS kräver följande:

Hårdvarukrav

• VMware:
• Minst en QNAP NAS med en Intel eller AMD CPU som kör QTS 4.3.3 eller senare.
• Minst en VMware ESXi-server (QTS har bara stöd för iSER med VMware ESXi).
• VJBOD: Två QNAP NAS-enheter med Intel- eller AMD-processorer som båda kör QTS 4.3.5 eller senare.

Nätverkskrav

• Ett iSER-kompatibelt nätverkskort* måste vara installerade på alla QNAP NAS och VMware ESXi-servrar.
• Alla NAS-enheter och VMware ESXi-servrar måste vara anslutna med antingen en Mellanox-växel som har stöd för iSER** eller direkt anslutna utan en växel.

Programvarukrav

• En iSER-kompatibel drivrutin måste installeras på VMware ESXi 5.5, 6.0 och 6.5. Drivrutinen kan laddas ned på http://www.mellanox.com/page/products_dyn?product_family=29
  Obs: I VMware ESXi 6.7 och senare behöver du inte installera en drivrutin eftersom det finns en förinstallerad.

*De nuvarande nätverkskorten som kan användas med iSER räknas upp här nedanför. För att köpa utbyggnadskort, besök webbplatsen för QNAP eller kontakta en auktoriserad återförsäljare.

Modell	Specifikation	Produkt
LAN-10G2SF-MLX dubbla portars 10 GbE	Adapter: Mellanox Connect-3 Pro EN-anslutning: SFP+
LAN-40G2SF-MLX dubbla portars 40 GbE	Adapter: Mellanox ConnectX-3 Pro EN-anslutning: QSFP

** Här nedanför finns en lista med Mellanox Ethernet-växlar som rekommenderas för användning med iSER. Mellanox Spectrum-växlar levererar konsekvent ultralåg fördröjning och icke blockerande växlande på en linjefrekvens utan paketförlust. Kombinerat med optimal hantering av överbelastning ger Mellanox-växlarna utrymme för maximal iSER-prestanda. För mer information om iSER-kompatibla växlar och nätverkskort, se den officiella webbplatsen för Mellanox eller kontakta en auktoriserad återförsäljare.

4. Distribution av iSER i en befintlig VMware-virtualiseringsmiljö

Det här kapitlet innehåller instruktioner om hur iSER aktiveras på en iSCSI-anslutning mellan en QNAP NAS och en VMware ESXi 6.0-server. Om din miljö innehåller flera NAS-enheter eller flera VMware-servrar så följ de tillämpliga stegen för varje NAS och server.

4-1. Konfigurera nätverksinställningar på NAS:en

Innan några inställningar ändras, säkerställ att QNAP NAS är en Intel- eller AMD-baserad modell och att den redan kör QTS 4.3.3 eller senare.

1. Stäng av NAS och VMware ESXi-server och installera ett iSER-kompatibelt nätverkskort i varje enhet.
2. Anslut NAS och VMware ESXi-server, antingen via en iSER-kompatibel växel eller genom att ansluta dem direkt.
3. Slå på NAS och ESXi-server.
4. Logga in på QTS på NAS och gå till "Kontrollpanelen" > "Nätverk och virtuell växel" > "Gränssnitt". Hitta de gränssnitt som hör till det iSER-kompatibla nätverkskortet och tilldela dem en statisk IP-adress på ett dedikerat subnät. Det rekommenderas även att ”Jumbo Frame” ställs in till 9 000 så att prestandaförbättringar maximeras när iSER används.
   

4-2. Installera Mellanox iSER-drivrutinen (inte tillämpligt för VMware ESXi 6.5 eller senare)

1. Ladda ned Mellanox iSER-drivrutinen från http://www.mellanox.com/page/products_dyn?product_family=29
2. Ladda upp drivrutinen till ESXi-servern. I den här självstudien har vi sparat drivrutinen direkt till NAS och sedan använt Putty och SSH till att ladda upp drivrutinen till ESXi-servern.
   

3. (Valfritt) Ta bort alla tidigare versioner av drivrutinen.
   iSER-drivrutinen kan inte användas på samma gång som någon annan version av samma drivrutin. Om en annan version av drivrutinen redan är installerad så stoppa alla åtgärder och virtuella maskiner på ESXi-servern och ta bort den befintliga drivrutinen.
   
   Kör kommandot esxcli software vib list | grep mlx för att bekräfta den nu installerade drivrutinens version och namn. Här nedanför finns kommandot för att ta bort tidigare versioner av drivrutinen, det består av tre delar: nmlx4-core, nmlx4-en och nmlx4-rdma.
   
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. Kör följande kommando för att installera den nya drivrutinen:
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. När installationen är slutförd, starta om VMware ESXi och kör kommandot esxcli software vib list | grep mlx för att verifiera att drivrutinerna net-mlx4-core, net-mlx4-en and net-mlx4-ib är installerade och att de alla är version 1.9.10.5-10EM-600.0.0.2494585.

4-3. Konfigurera nätverksinställningar på ESXi-servern

Den här sektionen vägleder dig genom konfigurationen av iSER-anslutningen på en ESXi-server.

1. Logga in på VMware vCenter.
2. Välj VMware ESXi-server i den vänstra panelen.
3. Gå till fliken ”Konfiguration” > ”Nätverk” och klicka på ”Lägg till nätverk” för att öppna guiden ”Lägg till nätverk”.
   
   
   Lägg till en ny virtuell växel för ESXi-servern från vCenter.
4. Om du vill låta Guest OS få åtkomst till nätverksgränssnittet, välj först ”Virtuell maskin” som ”Anslutningstyp”, klicka på ”Nästa”, om inte, gå till steg 6.
5. På sidan ”Nätverksåtkomst” så välj det nyss installerade iSER-kompatibla nätverkskortet. Klicka på ”Nästa” och ”Nästa” så förblir alla inställningar standardinställningar och klicka sedan på ”Slutför” för att slutföra guiden ”Lägg till nätverk”.
   
   
   Välj det nyligen tillagda nätverkskortet för att fortsätta.
6. Klicka på ”Lägg till nätverk” igen. Välj ”VMkernel” som ”Anslutningstyp” och kontrollera att det nyligen installerade iSER-kompatibla nätverkskortet är valt och följ guiden för att slutföra inställningarna. Låt egenskaperna för ”Portgrupp” vara de som är standard.
7. På sidan ”IP-inställningar” så specificera en statisk IP-adress för nätverksadaptern. Klicka sedan på ”Nästa” och ”Avsluta” för att stänga guiden.
   
   
   Fortsätt för att lägga till VMkernel-typen och specificera en statisk IP för nätverkskortet
8. Säkerställ att du ser den nya virtuella växeln för iSER-nätverkskortet på skärmen ”Konfiguration” > ”Nätverk”.
   
   
   Den nya virtuella växeln innehåller VM-nätverket (valfritt) och VMkernel.

4-4. Ändra nätverksanslutningen från iSCSI till iSER

1. Logga in på VMware vCenter.
2. Välj VMware ESXi-server i den vänstra panelen.
3. Gå till fliken ”Konfiguration” > ”Lagringsadaptrar”. På den här sidan bör du kunna se att iSER visas som ”Mellanox iSCSI over RDMA (iSER) Adapter” utöver den befintliga iSCSI-programvaruadaptern.
   Obs: Om du konfigurerar en ny virtualiseringsmiljö måste du först skapa ”iSCSI-programvaruadapter” och sedan starta om ESXi-server för att se ”Mellanox iSCSI over RDMA (iSER)-adapter”.
   
   Mellanox iSCSI over RDMA (iSER)-adapter visas efter att nätverksinställningar för NAS och VMware ESXi konfigurerats i avsnitt 4-3
4. Välj ”iSCSI-programvaruadapter”-enheten och klicka på ”Egenskaper”.
5. Ta bort alla befintliga portbindningar från listan på fliken ”Nätverkskonfigurationer”. Ta även bort alla iSCSI-mål från listan på flikarna ”Dynamisk upptäckt” och ”Statisk upptäckt”. Det säkerställer att anslutningarna bara använder iSER-protokollet.
   
   Rensa alla objekt från listorna i ”Nätverkskonfiguration”, ”Dynamisk upptäckt” och ”Statisk upptäckt”
6. Stäng egenskaperna för iSCSI-programvaruadaptern. På sidan ”Konfiguration” > ”Lagringsadaptrar”, välj enheten under ”Mellanox iSCSI over RDMA (iSER)-adapter” och klicka på ”Egenskaper”.
7. På fliken ”Nätverkskonfiguration”, klicka på ”Lägg till” för att skapa en ny VMKernel-portbindning. Välj den VMKernel som skapats för iSER-anslutningen i avsnitt 4-3.
   
   Redigera egenskaperna för Mellanox iSCSI over RDMA (iSER)-adapterenheten och lägg till iSER-virtuella växeln för att söka igenom iSCSI-målet igen.
8. Upprepa steg 5 och 6 för varje enhet under ”Mellanox iSCSI over RDMA (iSER)-adapter” som kräver en iSER-anslutning.
   
   QNAP iSCSI-målet och LUN blir nu automatiskt anslutna med det nya iSER-gränssnittet.
   
   iSCSI LUN på QNAP NAS är ansluten med iSER-adaptern.

5. Använda iSER med VJBOD på en QNAP NAS

Den här sektionen beskriver hur iSER på två QNAP NAS-enheter aktiveras när en VJBOD-anslutning skapas.

Obs:  Båda NAS-enheterna måste köra QTS-version 4.3.5 eller senare.

1. Logga in på QTS på värd-NAS och gå sedan till "Huvudmeny" > "Lagring och snapshots" > "Lagring" > "Diskar/VJBOD".
2. Välj "VJBOD" > "Skapa VJBOD".
   "Guiden Skapa Virtual JBOD-disk" öppnas.
3. Klicka på Nästa.
   Skärmen "Anslut till en fjärransluten QNAP NAS" visas.
4. Välj en fjärr-NAS som har ett iSER-kompatibelt nätverkskort installerat.
5. Ange lösenordet för fjärr-NAS och klicka sedan på ”Nästa”.
   Skärmen ”Välj gränssnitt” visas.
   
6. Välj en iSER-kompatibel adapter under ”Värd-NAS-gränssnitt”.
7. Välj en iSER-kompatibel adapter under ”Fjärr-NAS-gränssnitt”.
8. Välj ”Använd iSER när det är tillgängligt” och klicka sedan på ”Nästa”.
9. Följ resterande i guiden tills du är klar med att skapa VJBOD.

För att verifiera att iSER fungerar, gå till "Huvudmeny" > "Lagring och snapshots" > "Lagring" > "Diskar/VJBOD" och välj fjärrdisken. Om en iSER-anslutning upprättades visar ”Anslutningstyp” ”iSER”.

Obs: Om fjärrdisken är frånkopplad försöker QTS först att återansluta disken med iSER. Om det misslyckas försöker QTS sedan att återansluta till disken med iSCSI. Du kan ändra tillbaka anslutningstypen från iSCSI till iSER genom att koppla från och sedan återansluta fjärrdisken.

6. Prestandatest och resultat

Följande utrustning användes av testgruppen hos QNAP för att mäta prestandafördelarna hos iSER jämfört med vanlig iSCSI:

QNAP NAS

• TVS-EC2480-SAS-RP: hybridlagringsmatris
• TES-EC3085U: all-flash-lagringsmatris

VMware

• VMware ESXi 6.0-kluster med fem Dell PowerEdge R420-servrar. Varje server hade en Intel Xeon E5-2450 CPU och 128GB med RAM.
• Virtuell maskin OS: Windows 2012 R2 64-bitars

Nätverk

• Mellanox 40GbE LAN-40G2SF-MLX-nätverkskort installerat på NAS och alla PowerEdge-servrar.
• Mellanox 40GbE Spectrum SN2410-växel som ansluter VMware ESXi-servrar och NAS.

Obs: För att visa prestandavinster användes endast en 40GbE-kabel för att ansluta varje NAS till Mellanox 40GbE-växeln. Dock är det under normala förhållanden möjligt att konfigurera flera 10GbE- och 40GbE-anslutningar och flera växlar för att ytterligare öka prestandan och lagringstillgången med iSER.

IOmeter installerades på alla VMware ESXi-servrar och konfigurerades med följande inställningar.
Obs: Det här testet använde vanliga inställningar för IOmeter. Faktiska åtkomstmönster varierar beroende på applikationen.

6-1. En VM med Qtier™: Sekventiell prestanda för läsa/skriva ökade 100 % med iSER, till 4000 MB/s

I det här testet testade vi prestandan på en virtuell maskin ansluten till hybridlagrings-NAS. Den här konfigurationen är vanlig för företagsapplikationer, exempelvis e-postservrar, som kräver både god prestanda och hög lagringskapacitet.

I testresultaten ser vi en ökning med över 100 % i hastighet för sekventiella läsningar och skrivningar, där den sekventiella läsningshastigheten når upp till över 4000MB/s. Det här resultatet visar att iSER avsevärt kan förbättra den sekventiella prestandan för läs- och skrivprestanda för applikationer med höga krav.

6-2. Fem VM:ar med Qtier™: Prestanda för slumpmässig läsa/skriva ökade 80% med iSER, till 180 000 IOPS

Det här andra testet använder samma hybridlagrings-NAS-konfiguration som det föregående testet. Dock ökade vi denna gång antalet VMware-virtuella maskiner till fem. Det här testfallet är representativt för små till medelstora företag som vill köra flera applikationer som kräver slumpmässig åtkomst, exempelvis en webb- eller loggfilsdatabas på en enda QNAP NAS.

Testresultaten kombinerar prestandan för alla virtuella maskiner för att visa den totala prestandan för läsa och skriva. Resultatet visar på att den slumpmässiga prestandan för läsning och skrivning ökade med över 80 % när iSER användes. Slumpmässig läs/skriv nådde upp till totalt 180 000 IOPS med bara 12 SSD:er i en RAID 10-konfiguration. Det fanns också en ökning i sekventiell åtkomsthastighet. 
Fördröjningen minskades från 0,9 ms till 0,5 ms och förbättrade svarstiden när flera applikationer kräver slumpmässig åtkomst till samma NAS.

6-3. Fem VM:ar med all-flash-lagring: Prestanda för slumpmässig läsa/skriva ökade 60 % med iSER, till 250 000 IOPS

I det föregående testet kunde varje VM få cirka 36 000 IOPS med hybridlagrings-NAS:en med Qtier™. För vissa verksamhetsapplikationer såsom SQL-server behöver dessa resultat fortfarande förbättras. För att vidare utforska fördelarna med att använda iSER ändrade vi NAS till QNAP TES-3085U. Det är en all-flash-lagrings-NAS med 30 SSD-kortplatser. NAS:en anslöts till fem VMware virtuella maskiner.

Den här testkonfigurationen kräver inte Qtier och därför behövs inte längre en stor lagringspool. För det här testet delades de 30 SSD:erna in i 5 lagringspooler, var och en innehållande en blockbaserad iSCSI LUN. Den här lagringskonfigurationen minskar risken för dataförlust och ökar även prestandan så att meta-data kan hämtas oberoende från varje lagringspool.

Under testet kombinerade vi prestandan för flera virtuella maskiner för att observera den totala prestandan för läsa och skriva. Prestandan för slumpmässig läsa och skriva ökade med mer än 80 % med iSER och nådde totalt upp till 250000 IOPS. Det här betyder att varje VM kan få upp till 50 000 IOPS. Det här talet överskrider 30 000 IOPS som är den allmänna rekommendationen för en SQL-server. Fördröjningen reducerades till 0,3 ms, jämfört med 1,1 ms med iSCSI.

6-4. VJBOD NAS med SSD-cache: Läsprestanda ökas med 80 % med iSER

I QTS 4.3.5 och senare kan VJBOD-anslutningar använda iSER. För att testa det här anslöt vi två QNAP NAS-enheter med identiska hårdvaruspecifikationer med VJBOD och testade sedan prestandan på fjärrdisken på värd-NAS.

I testresultaten kan vi se att användning av iSER väsentligt ökade sekventiell och slumpmässig läsprestanda. Sekventiell läsprestanda ökades med 72 %, slumpmässig läsprestanda som ökades med 89 % och slumpmässig fördröjning minskades med 41 %. Resultaten visar även att efter iSER aktiverats flyttades prestandaflaskhalsar från nätverkslagret till lagringslagret. Det här innebär att skrivprestandan kan förbättras ytterligare om fler SSD:er läggs till.

6-5. Slutsatser av testet

Med iSER kan prestandan för slumpmässig läsa och skriva för flera virtuella maskiner ökas med upp till 80 % och fördröjningen kan minskas med ungefär 50 %. Dessa resultat tillämpas på hybridlagrings-NAS, all-flash-NAS och NAS som används som ett VJBOD med SSD-cache.

Slutsatsen av våra tester är att iSER effektivt kan öka prestandan för en QNAP NAS som används antingen som en VMware ESXi-datalagring eller en VJBOD av en annan QNAP NAS. När det kombineras med SSD-lagring kan iSER öka prestandan för nyckelapplikationer som körs på ett VMware-kluster eller på QNAP NAS-enheter som anslutits med VJBOD.

Genom att lägga till iSER-stöd till QTS demonstrerar QNAP innovation och beslutsamhet i att leverera snabb prestandalagring till alla kunder, särskilt till dem som har flaskhalsar i lagringsprestandan. I framtiden kommer QNAP fortsätta att hjälpa kunder som är intresserade av att använda iSER, genom att testa iSER i olika konfigurationer och sedan publicera testresultaten.