QNAP Systems, Inc. - Network Attached Storage (NAS)

Language

Support

Att använda iSCSI-tillägg för RDMA (iSER) för att förbättra prestandan hos QNAP NAS med VMware® ESXi

1. Utmaningar

I en virtualiseringsmiljö är diskarna, lagringskonfigurationen, nätverket, hypervisor och applikationerna alla kritiska faktorer i den övergripande prestandan och stabiliteten. IT-personal i små och medelstora företag (SMB) behöver ofta optimera prestanda och identifiera flaskhalsar.

I egenskap av en lagringsleverantör som har ett engagemang för SMB-nischen förstår QNAP dessa utmaningar och förstår att nyckeln till att öka lagringsprestanda inte bara finns i lagringssystemet utan även i lagringens nätverk. QNAP har nu stöd för iSCSI-tillägg för RDMA (iSER), en lösning som företag redan har använt i åratal på alla de större serierna av SMB NAS-produkter från QNAP. Vårt mål är att ge IT-experter en oeftergivlig lösning som i hög grad kan förbättra prestandan i virtualiserade miljöer och göra så att deras företag ökar den övergripande IT-effektiviteten.

Att aktivera iSER ökar prestandan för QNAP Hybrid Storage NAS med Qtier™ med mer än 50 % i de laboratorietest som QNAP utfört. Se kapitel 5 för mer information.

2. Introduktion till iSCSI-tillägg för RDMA (iSER)

I QTS, version 4.3.3 och senare, kan iSER aktiveras på iSCSI-anslutningar mellan VMware-virtualiseringsservrar och Intel- eller AMD-baserade QNAP NAS. Det enda kravet är att varje server och NAS har ett iSER-kompatibelt nätverkskort.

iSER-protokollet skiljer sig från traditionella iSCSI eftersom det gör att data kan överföras för att kringgå nätverksdrivrutinen och socketlagren och kommer direkt till minnesbuffrarna på ESXi-server eller NAS. Det innebär bättre prestanda för dataöverföring och minskar även fördröjning och CPU-last på NAS:en.

QNAP har kommit fram till att prestandan för virtuella maskiner kan ökas med 60 % till 100 % med iSER. Även fördröjningen för slumpmässig åtkomst kan minskas med 50 % eller mer. Dessa testresultat visar att iSER är särskilt lämplig för verksamheter som använder QNAP NAS som VMware ESXi-datalagring, där den är värd för företagsapplikationer eller infrastruktur med virtuella skrivbord (VDI). 

Följande kapitel räknar upp systemkraven och de steg som behövs för att aktivera iSER i en virtualiseringsmiljö. Dokumentet tillhandahåller även en grundläggande demonstration över hur iSER kan förbättra prestandan för en hybridlagrings-NAS med Qtier(™) och en all-flash-NAS.

iSER (höger) kringgår TCP/IP, nätverksdrivrutin och socketbibliotek för att överföra data direkt till applikations- eller lagringsminnet.

*Se kapitel 5 för testkonfigurationer och resultat. Prestandaförbättringar kan skilja sig åt beroende på din systemkonfiguration.

3. Systemkrav

Att aktivera iSER i din QNAP- och VMware-miljö kräver följande:

  • En eller flera QNAP NAS med en Intel eller AMD CPU som kör QTS 4.3.3 eller senare.
  • En eller flera VMware ESXi-servrar (för närvarande har QTS bara stöd för iSER med VMware ESXi).
  • Ett iSER-kompatibelt nätverkskort för varje QNAP NAS och VMware ESXi-server.
  • Den iSER-kompatibla drivrutinen** MLNX-OFED-ESX-1.9.10.5 behöver installeras i VMware ESXi 5.5 och 6.0.  Drivrutinen finns tillgänglig på http://www.mellanox.com/page/products_dyn?product_family=29
    Obs: VMware ESXi 6.5 stöder för närvarande ännu inte iSER-protokollet.
  • NAS- och VMware ESXi-servrar måste vara anslutna med antingen en Mellanox-switch som har stöd för iSER*** eller ansluten direkt utan en switch.
    Obs: Andra switchar som har stöd för PFC (Priority Flow Control) kan även användas men i så fall kan den mängd prestanda som ökas av iSER inte garanteras.

*De nuvarande nätverkskorten som kan användas med iSER räknas upp här nedanför. För att köpa utbyggnadskort, besök webbplatsen för QNAP eller kontakta en auktoriserad återförsäljare.

Modell Specifikation Produkt
LAN-10G2SF-MLX dubbla portars 10 GbE Adapter: Mellanox Connect-3 Pro EN Kontakt: SFP+
LAN-40G2SF-MLX dubbla portars 40 GbE Adapter: Mellanox ConnectX-3 Pro EN Kontakt: QSFP

** Den här drivrutinen är särskilt konstruerad för att aktivera iSER. Att installera den kan påverka prestandan för vanlig iSCSI-anslutning.

*** Här nedanför finns en lista med Mellanox Ethernetkort och switchar som rekommenderas för användning med iSER. Mellanox Spectrum-switchar levererar konsekvent ultralåg fördröjning och icke blockerande växlande på en linjefrekvens utan paketförlust. Kombinerat med optimal hantering av överbelastning ger Mellanox-switcharna utrymme för maximal iSER-prestanda. För mer information om iSER-kompatibla nätverkskort och switchar, se den officiella webbplatsen för Mellanox eller kontakta en auktoriserad återförsäljare.

Nätverkskort Specifikation
MCX311A-XCCT ConnectX®-3 Pro EN-nätverksgränssnittskort, 10GbE, enkel port SFP+, PCIe3.0 x8 8GT/s, långt fäste, RoHS R6
MCX312B-XCCT ConnectX®-3 Pro EN-nätverksgränssnittskort, 10GbE, dubbla portars SFP+, PCIe3.0 x8 8GT/s, långt fäste, RoHS R6
MCX312C-XCCT ConnectX®-3 Pro EN-nätverksgränssnittskort, 10GbE, dubbla portars SFP+, PCIe3.0 x8 8GT/s, långt fäste, RoHS R6
MCX313A-BCCT ConnectX®-3 Pro EN-nätverksgränssnittskort, 40/56GbE, enkel port QSFP, PCIe3.0 x8 8GT/s, långt fäste, RoHS R6
MCX314A-BCCT ConnectX®-3 Pro EN-nätverksgränssnittskort, 40/56GbE, dubbla portars QSFP, PCIe3.0 x8 8GT/s, långt fäste, RoHS R6
MCX342A-XCPN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP, 10GbE dubbla portars SFP+, PCIe3.0 x8, inget fäste, RoHS R6
MCX342A-XCQN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP med IPMI och NC-Si, 10GbE dubbla portars SFP+, PCIe3.0 x8, inget fäste, RoHS R6
MCX345A-BCPN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP, 40GbE enkel port QSFP, PCIe3.0 x8, inget fäste, RoHS R6
MCX345A-BCQN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP med IPMI och NC-SI, 40GbE enkel port QSFP, PCIe3.0 x8, inget fäste, RoHS R6
MCX346A-BCPN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP, 40GbE dubbla portars QSFP, PCIe3.0 x8, inget fäste, RoHS R6
MCX346A-BCQN ConnectX®-3 Pro EN-nätverksgränssnittskort för OCP med IPMI och NC-SI, 40GbE dubbla portars QSFP, PCIe3.0 x8, inget fäste, RoHS R6
 
Modell Specifikation
MSN2700-BS2F Spectrum™-baserad 40GbE 1U öppen Ethernetswitch med MLNX-OS, 32 QSFP 28 portar
MSN2700-BS2R Spectrum™-baserad 40GbE 1U öppen Ethernetswitch med MLNX-OS, 32 QSFP 28 portar
MSN2410-BB2F Spectrum™-baserad 10GbE/100GbE 1U öppen Ethernetswitch med MLNX-OS, 48 SFP 28 portar
MSN2100-BB2F Spectrum™-baserad 40GbE 1U öppen Ethernetswitch med MLNX-OS, 16 QSFP 28 portar
MSN2100-BB2R Spectrum™-baserad 40GbE 1U öppen Ethernetswitch med MLNX-OS, 16 QSFP 28 portar

4. Distribution av iSER i en befintlig VMware-virtualiseringsmiljö

Det här kapitlet innehåller instruktioner för att aktivera iSER på en iSCSI-anslutning mellan en QNAP NAS och en VMware ESXi-server. Om din miljö innehåller flera NAS eller flera VMware-servrar, följ de tillämpliga stegen för varje NAS och server.

4-1. Konfigurera nätverksinställningar på NAS

Innan några inställningar ändras, säkerställ att QNAP NAS är en Intel- eller AMD-baserad modell och att den redan kör QTS 4.3.3 eller senare.

  1. Stäng av NAS och VMware ESXi-server och installera ett iSER-kompatibelt nätverkskort i varje enhet.
  2. Anslut NAS och VMware ESXi-server, antingen via en iSER-kompatibel switch eller genom att ansluta dem direkt.
  3. Slå på NAS och ESXi-server.
  4. Logga in på QTS på NAS och gå till “Kontrollpanel” > “Nätverk & Virtuell switch” > “Gränssnitt”. Hitta de gränssnitt som hör till det iSER-kompatibla nätverkskortet och tilldela en statisk IP-adress till var och en av dem. Det rekommenderas även att “Jumbo Frame” ställs in till 9000 så att prestandaförbättringar maximeras när iSER används.
Redigera det nyligen tillagda nätverkskortets adapter i ”Nätverk & Virtuell switch”. Inställningarna för Jumbo Frame återfinns genom att klicka på ikonen ”Konfigurera”.

4-2. Installera Mellanox iSER-drivrutinen (inte tillämpligt för VMware ESXi 6.5 eller senare)

Mellanox iSER-drivrutinen måste vara installerad på varje ESXi-server. Obs: VMware ESXi 6.5 och senare har inbyggt stöd för iSER och behöver inte den här drivrutinen.

  1. Ladda ned Mellanox iSER-drivrutinen MLNX-OFED-ESX-1.9.10.5 från http://www.mellanox.com/page/products_dyn?product_family=29
  2. Ladda upp drivrutinen till ESXi-servern. I den här självstudien har vi sparat drivrutinen direkt till NAS och sedan använt Putty och SSH till att ladda upp drivrutinen till ESXi-servern.
Använd kommandot #scp för att ladda upp drivrutinen till ESXi-serverns rotkatalog
  1. (Valfritt) Ta bort alla tidigare versioner av drivrutinen.
    Drivrutinen v1.9.10.5 kan inte användas på samma gång som någon annan version av samma drivrutin. Om en annan version av drivrutinen än MLNX-OFED-ESX-1.9.10.5 redan finns installerad, stoppa all drift och virtuella maskiner på ESXi-servern och ta sedan bort den befintliga drivrutinen.

    Kör kommandot esxcli software vib list | grep mlx för att bekräfta den nu installerade drivrutinens version och namn. Här nedanför finns kommandot för att ta bort tidigare versioner av drivrutinen, det består av tre delar: nmlx4-core, nmlx4-en och nmlx4-rdma.
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. Kör följande kommando för att installera den nya drivrutinen:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. När installationen är slutförd, starta om VMware ESXi och kör kommandot esxcli software vib list | grep mlx för att verifiera att drivrutinerna net-mlx4-core, net-mlx4-en and net-mlx4-ib är installerade och att de alla är version 1.9.10.5-10EM-600.0.0.2494585.
Putty kan användas för att installera drivrutinen på en ESXi-server.

4-3. Konfigurera nätverksinställningar på ESXi-servern

Den här sektionen vägleder dig genom konfigurationen av iSER-anslutningen på en ESXi-server.

  1. Logga in på VMware vCenter.
  2. Välj VMware ESXi-server i den vänstra panelen.
  3. Gå till fliken “Konfiguration” > “Nätverk” och klicka på “Lägg till nätverk” för att öppna “guiden Lägg till nätverk.
Lägg till en ny virtuell switch för ESXi-servern från vCenter.
  1. Om du vill låta Guest OS få åtkomst till nätverksgränssnittet, välj först “Virtuell maskin” som “Anslutningstyp”, klicka på “Nästa”, om inte, gå till steg 6.
  2. På sidan “Nätverksåtkomst”, välj det nyss installerade iSER-kompatibla nätverkskortet. Klicka på “Nästa” och “Nästa” så förblir alla inställningar standardinställningar och klicka sedan på “Avsluta” för att slutföra guiden “Lägg till nätverk”.
Välj det nyligen tillagda nätverkskortet för att fortsätta.
  1. Klicka på “Lägg till nätverk” igen. Välj “VMkernel” som “Anslutningstyp” och kontrollera att det nyligen installerade iSER-kompatibla nätverkskortet är valt och följ guiden för att slutföra inställningarna. Låt egenskaperna för “Portgrupp” vara de som är standard.
  2. På sidan “IP-inställningar”, specificera en statisk IP-adress för nätverksadaptern. Klicka sedan på “Nästa” och “Avsluta” för att stänga guiden.
Fortsätt för att lägga till VMkernel-typen och specificera en statisk IP för nätverkskortet
  1. Säkerställ att du ser den nya virtuella switchen för iSER-nätverkskortet på skärmen “Konfiguration” > “Nätverk”.
Den nya virtuella switchen innehåller VM-nätverket (valfritt) och VMkernel.

4-4. Ändra nätverksanslutningen från iSCSI till iSER

  1. Logga in på VMware vCenter.
  2. Välj VMware ESXi-server i den vänstra panelen.
  3. Gå till fliken “Konfiguration” > “Lagringsadaptrar”. På den här sidan bör du kunna se att iSER visas som “Mellanox iSCSI over RDMA (iSER)-adapter” utöver den befintliga “iSCSI-mjukvaruadaptern”.
    Obs: Om du konfigurerar en ny virtualiseringsmiljö måste du först skapa “iSCSI-programvaruadapter” och sedan starta om ESXi-server för att se “Mellanox iSCSI over RDMA (iSER)”-adapter.
    Mellanox iSCSI over RDMA (iSER)-adapter visas efter att nätverksinställningar för NAS och VMware ESXi konfigurerats i avsnitt 4-3
  4. Välj enheten “iSCSI-mjukvaruadapter” och klicka på “Egenskaper”.
  5. Ta bort alla befintliga portbindningar från listan på fliken “Nätverkskonfigurationer”. Ta även bort alla iSCSI-mål från listan på flikarna “Dynamisk upptäckt” och “Statisk upptäckt”. Det säkerställer att anslutningarna bara använder iSER-protokollet.
    Rensa alla objekt från listorna i ”Nätverkskonfiguration”, ”Dynamisk upptäckt” och ”Statisk upptäckt”
  6. Stäng egenskaperna för iSCSI-programvaruadaptern. På sidan “Konfiguration” > “Lagringsadaptrar”, välj enheten under “Mellanox iSCSI over RDMA (iSER)-adapter” och klicka på “Egenskaper”.
  7. På fliken “Nätverkskonfiguration”, klicka på “Lägg till” för att skapa en ny VMKernel-portbindning. Välj den VMKernel som skapats för iSER-anslutningen i avsnitt 4-3.
    Redigera egenskaperna för Mellanox iSCSI over RDMA (iSER)-adapterenheten och lägg till iSER-virtuella switchen för att skanna iSCSI-målet igen.
  8. Upprepa steg 5 och 6 för varje enhet under ”Mellanox iSCSI over RDMA (iSER)-adapter” som kräver en iSER-anslutning.

    QNAP iSCSI-målet och LUN blir nu automatiskt anslutna med det nya iSER-gränssnittet.
    iSCSI LUN på QNAP NAS är ansluten med iSER-adaptern.

5. Prestandatest och resultat

Följande utrustning användes av testgruppen hos QNAP för att mäta prestandafördelarna hos iSER jämfört med vanlig iSCSI:

QNAP NAS

  • TVS-EC2480-SAS-RP: hybridlagringsmatris
  • TES-EC3085U: all-flash-lagringsmatris

VMware

  • VMware ESXi 6.0-kluster med fem Dell PowerEdge R420-servrar. Varje server hade en Intel Xeon E5-2450 CPU och 128GB med RAM.
  • Virtuell maskin OS: Windows 2012 R2 64-bitars

Nätverk

  • Mellanox 40GbE LAN-40G2SF-MLX-nätverkskort installerat på NAS och alla PowerEdge-servrar.
  • Mellanox 40GbE Spectrum SN2410-switch som ansluter VMware ESXi-servrar och NAS.

Obs: För att visa prestandavinster användes endast en 40GbE-kabel för att ansluta varje NAS till Mellanox 40GbE-switchen. Dock är det under normala förhållanden möjligt att konfigurera flera 10GbE- och 40GbE-anslutningar och flera switchar för att ytterligare öka prestandan och lagringstillgången med iSER.

Iometer installerades på alla VMware ESXi-servrar och konfigurerades med följande inställningar.

Iometer (iSCSI-genomströmning)
Utevarande I/Os→ 1 per mål Genomströmning vid skrivning → 2M sekventiell 100 %
Skrivning 100%
Arbetare → 20 Genomströmning vid läsning → 2M sekventiell 100 %
Läsning 100%
Uppstartstid →30 sekunder Överföringsstorlek → filstorlek 16GB
Iometer (iSCSI IOPS)
Utevarande I/Os → 1 per mål IOPS skrivning → 4K sekventiell 100 %
Skrivning 100%
Arbetare → 20 IOPS Läsning → 4K sekventiell 100 %
Läsning 100 %
Uppstartstid →30 sekunder Överföringsstorlek → filstorlek 16GB

Obs: Det här testet använde vanliga inställningar för Iometer. Faktiska åtkomstmönster varierar beroende på applikationen.

5-1. En VM med Qtier™: Sekventiell prestanda för läs/skriv ökade 100 % med iSER, till 4000 MB/s

I det här testet testade vi prestandan på en virtuell maskin ansluten till hybridlagrings-NAS. Den här konfigurationen är vanlig för företagsapplikationer, exempelvis e-postservrar, som kräver både god prestanda och hög lagringskapacitet.

NAS-specifikationer
Modell QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
Minne 32GB
Lagringskonfiguration Seagate SAS SSD x12, RAID 10
Seagate SATA HDD x12, RAID 6
1 lagringspool, 1 blockbaserad iSCSI LUN
Nätverkskort 40GbE-nätverkskort LAN-40G2SF-MLX

I testresultaten ser vi en ökning med över 100 % i hastighet för sekventiella läsningar och skrivningar, där den sekventiella läsningshastigheten når upp till över 4000MB/s. Det här resultatet visar att iSER avsevärt kan förbättra den sekventiella prestandan för läs- och skrivprestanda för applikationer med höga krav.



5-2. Fem VM:ar med Qtier™: Prestandan för slumpmässig läs/skriv ökade med 80 % med iSER, till 180000 IOPS

Det här andra testet använder samma hybridlagrings-NAS-konfiguration som det föregående testet. Dock ökade vi denna gång antalet VMware-virtuella maskiner till fem. Det här testfallet är representativt för små till medelstora företag som vill köra flera applikationer som kräver slumpmässig åtkomst, exempelvis en webb- eller loggfilsdatabas på en enda QNAP NAS.

Testresultaten kombinerar prestandan för alla virtuella maskiner för att visa den totala prestandan för läsa och skriva. Resultatet visar på att den slumpmässiga prestandan för läsning och skrivning ökade med över 80 % när iSER användes. Slumpmässig läs/skriv nådde upp till totalt 180000 IOPS med bara 12 SSD:er i en RAID 10-konfiguration. Det fanns också en ökning i sekventiell åtkomsthastighet. 
Fördröjningen minskades från 0,9 ms till 0,5 ms och förbättrade svarstiden när flera applikationer kräver slumpmässig åtkomst till samma NAS.



5-3. Fem VM:ar med all-flash-lagring: Prestanda för slumpmässig läsa/skriva ökade 60 % med iSER, till 250000 IOPS

I det föregående testet kunde varje VM få cirka 36000 IOPS med hybridlagrings-NAS:en med Qtier™. För vissa verksamhetsapplikationer såsom SQL-server behöver dessa resultat fortfarande förbättras. För att vidare utforska fördelarna med att använda iSER ändrade vi NAS till QNAP TES-3085U. Det är en all-flash-lagrings-NAS med 30 SSD-kortplatser. NAS:en anslöts till fem VMware virtuella maskiner.

Den här testkonfigurationen kräver inte Qtier och därför behövs inte längre en stor lagringspool. För det här testet delades de 30 SSD:erna in i 5 lagringspooler, var och en innehållande en blockbaserad iSCSI LUN. Den här lagringskonfigurationen minskar risken för dataförlust och ökar även prestandan så att meta-data kan hämtas oberoende från varje lagringspool.

NAS-specifikationer
Modell QNAP TES-3085U
CPU Intel Xeon D-1548
Minne 32GB
Lagringskonfiguration Samsung SATA SSD x30, RAID 10
5 lagringspooler
5 blockbaserade iSCSI LUNs
Nätverkskort 40GbE-nätverkskort LAN-40G2SF-MLX

Under testet kombinerade vi prestandan för flera virtuella maskiner för att observera den totala prestandan för läsa och skriva. Prestandan för slumpmässig läsa och skriva ökade med mer än 80 % med iSER och nådde totalt upp till 250000 IOPS. Det här betyder att varje VM kan få upp till 50000 IOPS. Det här talet överskrider 30000 IOPS som är den allmänna rekommendationen för en SQL-server. Fördröjningen reducerades till 0,3 ms, jämfört med 1,1 ms med iSCSI.


5-4. Slutsatser av testet

Med iSER kan prestandan för slumpmässig läsa och skriva för flera virtuella maskiner ökas med upp till 80 % och fördröjningen kan minskas med ungefär 50 %. Dessa resultat är tillämpliga för både hybridlagring och en all-flash-NAS.

Slutsatsen som testgruppen hos QNAP drar är att iSER effektivt kan öka prestandan för en QNAP NAS när den används som en VMware ESXi-datalagring. Det ökar prestandan för viktiga applikationer som körs på VMware-klustret. Genom att lägga till iSER-stöd till QTS uppvisar QNAP innovation och beslutsamhet att leverera snabb prestandaeffektiv lagring till sina kunder i hela världen.

QNAP anser att iSER är ett utmärkt alternativ för IT-professionella som vill öka prestandan för verksamhetsapplikationer. I framtiden kommer QNAP fortsätta att testa iSER i olika konfigurationer och sedan publicera testresultaten. 

Lanseringsdatum: 2017-05-25
Var detta till hjälp?
Tack för din feedback.
Tack för din feedback. Om du har några frågor kontaktar du oss på support@qnap.com
Användare som tyckte detta var användbart 100% procent.