Utilizzare iSCSI Extensions For RDMA (iSER) per migliorare le prestazioni di QNAP NAS con VMware® ESXi o VJBOD

1. Sfide

In un ambiente virtualizzato, unità, configurazione archiviazione, rete, hypervisor e applicazioni sono tutti fattori critici per le prestazioni e la stabilità. Il personale IT di piccole e medie imprese (PMI) deve spesso rispondere alle richieste di ottimizzazione delle prestazioni e di risoluzione degli ostacoli.

In qualità di storage provider impegnato nel mercato delle PMI, QNAP è consapevole di queste sfide e che la chiave per aumentare le prestazioni di archiviazione non è solo nel sistema di archiviazione ma anche della rete di archiviazione. Oggi QNAP supporta iSCSI Extensions for RDMA (iSER), una soluzione già da anni adottata dalle imprese, su tutte le principali serie dei prodotti QNAP SMB NAS. Il nostro obiettivo è fornire ai professionisti IT una soluzione virtualizzata che consente di migliorare notevolmente le prestazioni in ambienti virtualizzati e consente alle aziende di aumentare l'efficienza IT generale.

2. Introduzione a iSCSI Extensions for RDMA (iSER)

In QTS versione 4.3.3 e successive, iSER può essere abilitato sulle connessioni iSCSI tra i server di virtualizzazione VMware e Intel o QNAP NAS basati su AMD. L'unico requisito è che ciascun server e NAS dispongano di una scheda di rete compatibile con iSER. In QTS 4.3.5, iSER può essere abilitato anche su connessioni QNAP Virtual JBOD (VJBOD).

Il protocollo iSER differisce dall'iSCSI tradizionale e consente ai dati da trasferire di bypassare il driver di rete e i layer di socket e di accedere direttamente ai buffer di memoria del server ESXi o NAS. In questo modo si ottengono migliori prestazioni di trasferimento dei dati e si riducono sia la latenza che il carico CPU del NAS.

QNAP ha rilevato che iSER consente di aumentare le prestazioni delle macchine virtuali dal 60 al 100%*. Inoltre, è possibile ridurre la latenza dell'accesso random del 50% o più. Questi risultati di test dimostrano che iSER è particolarmente adatto ad aziende che usano QNAP NAS come i datastore VMware ESXi, le applicazioni di hosting aziendale o l'infrastruttura desktop virtuale (VDI). 

Nei capitoli seguenti sono elencati i requisiti di sistema e i passaggi necessari per abilitare iSER in un ambiente di virtualizzazione. Il documento fornisce anche una dimostrazione di base di come iSER migliora le prestazioni di un NAS di archiviazione ibrida mediante Qtier(™), un NAS all-flash e un NAS utilizzato come VJBOD con una cache SSD.

*Per la configurazione del test e i risultati, consultare il capitolo 5. I miglioramenti alle prestazioni variano a seconda della configurazione di sistema.

3. Requisiti di sistema

L'abilitazione di iSER in QNAP NAS prevede i seguenti requisiti:

Requisiti hardware

• VMware:
• Almeno uno o più QNAP NAS con una CPU Intel o AMD, con QTS 4.3.3 o successivi in esecuzione.
• Almeno uno o più server VMware ESXi (solo QTS supporta iSER con VMware ESXi).
• VJBOD: due dispositivi QNAP NAS con CPU Intel o AMD, con QTS 4.3.5 o successivi in esecuzione.

Requisiti di rete

• Una scheda di rete compatibile con iSER deve essere installata in ciascun server QNAP NAS e VMware ESXi.
• Tutti i dispositivi NAS e i serverVMware ESXi devono essere collegati con uno switch Mellanox in grado di supportare iSER** oppure devono essere collegati direttamente senza alcuno switch.

Requisiti software

• Installare un driver di compatibilità iSER in VMware ESXi 5.5, 6.0 e 6.5. Il driver può essere scaricato da http://www.mellanox.com/page/products_dyn?product_family=29
  Nota: In VMware ESXi 6.7 e successivi, non è necessario installare alcun driver, in quanto è già pre-installato.

*Di seguito sono elencate le schede di rete correnti che è possibile usare con iSER. Per acquistare le schede di espansione, consultare il sito Web QNAP o contattare un distributore autorizzato.

Modello	Spec	Prodotto
LAN-10G2SF-MLX Dual-port 10 GbE	Adattatore: Connettore Mellanox Connect-3 Pro EN: SFP+
LAN-40G2SF-MLX Dual-port 40 GbE	Adattatore: Connettore Mellanox ConnectX-3 Pro EN: QSFP

** Di seguito è riportato un elenco di switch Ethernet Mellanox consigliati per l'uso con iSER. Gli switch Spectrum Mellanox forniscono una latenza ultra-bassa e un passaggio senza blocco su frequenza linea senza perdita di pacchetti. Combinati con la gestione di congestione ottimale, gli switch Mellanox consentono di ottenere le massime prestazioni iSER. Per maggiori informazioni sulla scheda di rete e gli switch compatibili iSER, consultare il sito Web ufficiale di Mellanox oppure contattare un distributore autorizzato.

4. Distribuzione di iSER in un ambiente di virtualizzazione VMware esistente

In questo capitolo sono riportate le istruzioni su come abilitare iSER in una connessione iSCSI tra un QNAP NAS e un server VMware ESXi 6.0. Se l'ambiente contiene più dispositivi NAS o più server VMware, seguire i passaggi applicabili a ciascun NAS e server.

4-1. Configurazione delle impostazioni di rete nel NAS

Prima di modificare qualsiasi impostare, verificare che QNAP NAS sia un modello basato su Intel o AMD ed esegua già QTS 4.3.3 o successivi.

1. Arrestare il NAS e il server VMware ESXi e installare la scheda di rete compatibile iSER in ogni dispositivo.
2. Connettere il NAS e il server VMware ESXi, tramite uno switch compatibile con iSER o collegandoli direttamente.
3. Attivare il NAS e il server ESXi.
4. Accedere a QTS nel NAS e passare a "Pannello di controllo" > "Rete & Switch virtuale" > "Interfacce". Individuare le interfacce che appartengono alla scheda di rete compatibile iSER e assegnare un indirizzo IP statico in una sottorete dedicata. Si consiglia anche di impostare "Jumbo Frame" su 9.000 per massimizzare i miglioramenti alle prestazioni durante l'uso iSER.
   

4-2. Installazione del driver Mellanox iSER (non applicabile per VMware ESXi 6.5 o successivi)

1. Scaricare il driver iSER Mellanox da http://www.mellanox.com/page/products_dyn?product_family=29
2. Caricare il driver sul server ESXi. In questo tutorial, il driver è stato salvato direttamente nel NAS, quindi sono stati usati Putty e SSH per caricare il driver sul server ESXi.
   

3. (Opzionale) Rimuovere tutte le versioni precedenti del driver.
   Il driver ISER non può essere usato contemporaneamente a qualsiasi altra versione dello stesso driver. Se una versione del driver diversa è già installata, interrompere tutte le operazioni e le macchine virtuali nel server ESXi, quindi rimuovere il driver esistente.
   
   Eseguire il comando esxcli software vib list | grep mlx per confermare il nome e la versione driver attualmente installata. Di seguito è riportato il comando per rimuovere una versione precedente del driver, composto da tre parti: nmlx4-core, nmlx4-en e nmlx4-rdma.
   
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. Per installare il nuovo driver, eseguire il comando seguente:
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. Al termine dell'installazione, riavviare VMware ESXi ed eseguire il comando esxcli software vib list | grep mlx per verificare che i driver net-mlx4-core, net-mlx4-en e net-mlx4-ib siano installati e che siano tutti della versione 1.9.10.5-10EM-600.0.0.2494585.

4-3. Configurazione delle impostazioni di rete nel server ESXi

In questa sezione viene fornita una guida alla configurazione della connessione iSER in un server ESXi.

1. Accedere a VMware vCenter.
2. Selezionare il server VMware ESXi nel pannello di sinistra.
3. Andare alla scheda "Configurazione" > "Networking" e fare clic su "Aggiungi networking" per aprire la "Procedura guidata di aggiunta rete".
   
   
   Aggiungere un nuovo switch virtuale per il server ESXi da vCenter.
4. Per consentire al sistema operativo guest di accedere all'interfaccia di rete, selezionare "Virtual Machine" come "Tipo di connessione" e fare prima clic su "Avanti"; in alternativa, andare al punto 6.
5. Nella pagina "Accesso di rete", selezionare la scheda di rete compatibile con iSER di nuova installazione. Fare clic su "Avanti" e "Avanti" lasciando tutte le impostazioni predefinite, quindi fare clic su "Fine" per completare la procedura guidata "Aggiungi rete".
   
   
   Selezionare la scheda di rete di nuova aggiunta per continuare.
6. Fare di nuovo clic su "Aggiungi Networking". Selezionare "VMkernel" come "Tipo di connessione", verificare che sia selezionata la scheda di rete compatibile iSER di nuova installazione e seguire la procedura guidata per completare le impostazioni. Per le proprietà del "Gruppo porte" lasciare le impostazioni predefinite.
7. Nella pagina "Impostazioni IP", specificare un indirizzo IP statico per l'adattatore di rete. Quindi fare clic su "Avanti" e "Fine" per chiudere la procedura guidata.
   
   
   Continuare per aggiungere il tipo VMkernel e specificare un IP statico per la scheda di rete
8. Verificare di vedere il nuovo switch virtuale per la scheda di rete iSER nella schermata "Configurazione" > "Networking".
   
   
   Il nuovo switch virtuale contiene la rete VM (opzionale) e VMkernel.

4-4. Modifica della connessione di rete da iSCSI a iSER

1. Accedere a VMware vCenter.
2. Selezionare il server VMware ESXi nel pannello di sinistra.
3. Passare alla scheda "Configurazione" > "Adattatori di archiviazione". In questa pagina, è possibile vedere l'iSER visualizzato come adattatore "Mellanox iSCSI su RDMA (iSER)" oltre all'"Adattatore software iSCSI" esistente.
   Nota: in caso di configurazione di un nuovo ambiente di virtualizzazione, è necessario creare prima l'"Adattatore software iSCSI", quindi riavviare il server ESXi per vedere l'adattatore "Mellanox iSCSI su RDMA (iSER)".
   
   L'adattatore Mellanox iSCSI su RDMA (iSER) appare dopo la configurazioni delle impostazioni di rete di NAS e VMware ESXi nella sezione 4-3
4. Selezionare il dispositivo "Adattatore software iSCSI" e fare clic su "Proprietà".
5. Rimuovere tutti i binding di porta esistenti dall'elenco nella scheda "Configurazioni di rete". Rimuovere anche tutti i target iSCSI dagli elenchi nelle schede "Rilevamento dinamico" e "Rilevamento statico". In questo modo, si garantisce che le connessioni useranno solo il protocollo iSER.
   
   Cancellare tutti gli elementi dagli elenchi in “Configurazione di rete”, “Rilevamento dinamico" e “Rilevamento statico”
6. Chiudere le proprietà dell'adattatore software iSCSI. Nella pagina "Configurazione" > "Adattatori di archiviazione", selezionare il dispositivo in "Adattatore Mellanox iSCSI su RDMA (iSER)" e fare clic su "Proprietà".
7. Nella scheda "Configurazione di rete", fare clic su "Aggiungi" per creare un nuovo binding di porta VMKernel. Selezionare il VMKernel creato per la connessione iSER nella sezione 4-3.
   
   Modificare le proprietà del dispositivo adattatore Mellanox iSCSI over RDMA (iSER) e aggiungere lo switch virtuale iSER per ripetere la scansione del target iSCSI.
8. Ripetere i passaggi 5 e 6 per ciascun dispositivo in “Adattatore Mellanox iSCSI over RDMA (iSER)” che richiede una connessione iSER.
   
   A questo punto, target QNAP iSCSI e LUN saranno connessi automaticamente utilizzando la nuova interfaccia iSER.
   
   L'iSCSI LUN in QNAP NAS è connesso utilizzando l'adattatore iSER.

5. Utilizzo di iSER con VJBOD in un QNAP NAS

In questa sezione viene descritto come abilitare iSER in due dispositivi QNAP NAS quando viene creata una connessione VJBOD.

Nota:  entrambi i dispositivi NAS devono eseguire QTS versione 4.3.5 o successive.

1. Accedere a QTS nel NAS host e passare a "Menu principale" > "Storage & Snapshot" > "Storage" > "Dischi/VJBOD".
2. Selezionare "VJBOD" > "Crea VJBOD".
   Verrà visualizzata la "Procedura guidata di creazione disco Virtual JBOD".
3. Fare clic su Avanti.
   Viene visualizzata la schermata "Connessione a QNAP NAS remoto".
4. Selezionare un NAS remoto con una scheda di rete compatibile ISER installata.
5. Immettere la password per il NAS remoto e fare clic su "Avanti".
   Viene visualizzata la schermata "Seleziona interfacce".
   
6. In "Interfaccia NAS host", selezionare un adattatore compatibile iSER.
7. In "Interfaccia NAS remoto", selezionare un adattatore compatibile iSER.
8. Selezionare "Usa iSER quando disponibile", quindi fare clic su "Avanti".
9. Seguire la procedura guidata restante fino a terminare la creazione di VJBOD.

Per verificare che iSER funzioni, andare su "Menu principale" > "Storage & Snapshot" > "Storage" > "Dischi/VJBOD" e selezionare il disco remoto. Se è stata stabilita una connessione ISER, il "Tipo di connessione" mostrerà "iSER".

Nota: se il disco remoto è scollegato, QTS tenerà prima di riconnettersi al disco utilizzando iSER. In caso di esito negativo, QTS tenteràdi ricollegarsi al disco utilizzando iSCSI. È possibile modificare di nuovo il tipo di connessione da iSCSI a iSER scollegando e ricollegando il disco remoto.

6. Test e risultati delle prestazioni

La seguente apparecchiatura è stata utilizzata dal team di test di QNAP per calcolare i vantaggi delle prestazioni di iSER a confronto con un normale iSCSI:

QNAP NAS

• TVS-EC2480-SAS-RP: array di archiviazione ibrido
• TES-EC3085U: array di archiviazione all flash

VMware

• Cluster VMware ESXi 6.0 di cinque server Dell PowerEdge R420. Ciascun server dotato di CPU Intel Xeon E5-2450 e 128GB di RAM.
• SO macchina virtuale: Windows 2012 R2 64bit

Rete

• Scheda di rete Mellanox 40GbE LAN-40G2SF-MLX, installata in NAS e in ogni server PowerEdge.
• Switch Mellanox 40GbE Spectrum SN2410, per la connessione di server VMware ESXi e NAS.

Nota: per mostrare i risultati delle prestazioni, è stato usato un solo cavo 40GbE per collegare ciascun NAS allo switch Mellanox 40GbE. Tuttavia, in condizioni normali è possibile configurare più connessioni 10GbE e 40GbE e più switch per incrementare ulteriormente le prestazioni e la disponibilità di archiviazione con iSER.

IOmeter è stato installato su ciascun server VMware ESXi e configurato con le seguenti impostazioni.
Nota: per questo test sono state usate impostazioni Iometer comuni. I modelli di accesso reali variano in base all'applicazione.

6-1. Una VM con Qtier™: prestazioni di lettura/scrittura sequenziale aumentate del 100% con iSER su 4000 MB/s

In questo test, sono state testate le prestazioni di una macchina virtuale connessa al NAS di archiviazione ibrido. Questo tipo di configurazione è comune per applicazioni business quali server di posta, che richiedono sia buone prestazioni che elevata capacità di archiviazione.

Nei risultati dei test è stato riscontrato un aumento di oltre il 100% nelle velocità di lettura e scrittura sequenziale, raggiungendo una velocità di lettura sequenziale di oltre 4.000MB/s. Questi risultati dimostrano che iSER può migliorare notevolmente le prestazioni di lettura e scrittura sequenziale di applicazioni high demand.

6-2. Cinque VM con Qtier™: Prestazioni di lettura/scrittura random aumentate del 80% con iSER su 180.000 IOPS

In questo secondo test, viene usata la stessa configurazione con NAS di archiviazione ibrido del test precedente. Tuttavia, in questo caso il numero di macchine virtuali VMWare è aumentato a cinque. Questo caso di test è specifico per piccole e medie imprese che desiderano eseguire più applicazioni con accesso random, come un database Web o con server log, in un singolo QNAP NAS.

I risultati del test combinano le prestazioni di tutte le macchine virtuali per mostrare le prestazioni totali in lettura e in scrittura. I risultati dimostrano che le prestazioni random in lettura e scrittura sono aumentate di oltre l'80% con l'uso di iSER. La lettura/scrittura random ha raggiunto un totale di 180.000 IOPS con solo 12 SSD in una configurazione RAID 10. Si è inoltre verificato un aumento delle velocità di accesso sequenziali. 
La latenza è stata ridotta da 0,9 ms a 0,5 ms, migliorando i tempi di risposta quando più applicazioni richiedono l'accesso random allo stesso NAS.

6-3. Cinque VM con archiviazione all flash: Prestazioni di lettura/scrittura random aumentate del 60% con iSER su 250.000 IOPS

Nel test precedente, ogni VM è riuscita a guadagnare circa 36.000 IOPS utilizzando il NAS di archiviazione ibrido con Qtier™. Per determinate applicazioni business come SQL server, questi risultati devono ancora essere migliorati. Per valutare ulteriormente i benefici dell'uso di iSER, abbiamo sostituito il NAS con un QNAP TES-3085U. Si tratta di un NAS di archiviazione all flash con 30 slot SSD. Il NAS è stato connesso a cinque macchine virtuali VMware.

Questa configurazione di test non richiede Qtier, quindi non sono più necessari storage pool di grandi dimensioni. Per questo test, i 30 SSD sono stati divisi in 5 storage pools, ciascuno contenente un iSCSI LUN basato su blocchi. Questa configurazione di archiviazione riduce il rischio di perdite di dati e aumenta anche le prestazioni, in quanto i metadati possono essere recuperati indipendentemente da ciascun pool di archiviazione.

Durante il test, sono state combinate le prestazioni di più macchine virtuali per osservare le prestazioni totali in lettura e in scrittura. Le prestazioni di lettura e scrittura random sono aumentate di oltre l'80% con iSER, raggiungendo un totale di 250.000 IOPS. Ciò significa che ogni VM è in grado di ottenere fino a 50.000 IOPS. Quindi supera i 30.000 IOPS, vale a dire il numero generalmente raccomandato per un server SQL. La latenza è stata ridotta a 0,3 ms, rispetto a 1.1 ms con iSCSI.

6-4. VJBOD NAS con cache SSD: Prestazioni di lettura aumentate dell'80% con iSER

In QTS 4.3.5 e successivi, le connessioni VJBOD possono usare iSER. Per provare, sono stati collegati due dispositivi QNAP NAS con specifiche hardware identiche utilizzando VJBOD, quindi sono state testate le prestazioni del disco remoto sul NAS host.

Nei risultati dei test, è possibile notare che l'utilizzo dell'iSER ha aumentato notevolmente le prestazioni di lettura sequenziali e random. Le prestazioni di lettura sequenziali sono aumentate del 72%, le prestazioni di lettura random sono aumentate dell'89%, mentre la latenza random si è ridotta del 41%. I risultati mostrano anche che dopo l'abilitazione di iSER, i problemi di prestazioni sono passati dal livello di networking al livello di archiviazione. Quindi, l'aggiunta di più SSD potrebbe migliorare ulteriormente le prestazioni di scrittura.

6-5. Conclusioni del test

Con iSER le prestazioni di lettura e scrittura random di più macchine virtuali possono essere aumentate fino all'80%, mentre la latenza può essere ridotta di circa il 50%. Questi risultati si applicano a NAS di archiviazione ibridi, a tutti i NAS flash e al NAS usato come VJBOD con la cache SSD.

I risultati dei test dimostrano che iSER può aumentare effettivamente le prestazioni di un QNAP NAS usato come datastore VMware ESXi o come VJBOD da un altro QNAP NAS. Combinato con l'archivio SSD, iSER può aumentare le prestazioni delle applicazioni chiave in esecuzione su cluster VMware o su dispositivi QNAP NAS connessi mediante VJBOD.

Aggiungendo il supporto iSER a QTS, QNAP dimostra la propria innovazione e l'impegno a fornire un'archiviazione veloce a tutti i clienti, in particolare a coloro che riscontrano problemi di prestazioni delle archiviazioni. In futuro QNAP continuerà a supportare i clienti interessati all'utilizzo di iSER testando iSER in differenti configurazioni e pubblicando i risultati dei test.