QNAP Systems, Inc. - Network Attached Storage (NAS)

Language

Support

Utilizzare iSCSI Extensions For RDMA (iSER) per migliorare le prestazioni di QNAP NAS con VMware® ESXi

1. Sfide

In un ambiente virtualizzato, unità, configurazione archiviazione, rete, hypervisor e applicazioni sono tutti fattori critici per le prestazioni e la stabilità. Il personale IT di piccole e medie imprese (PMI) deve spesso rispondere alle richieste di ottimizzazione delle prestazioni e di risoluzione degli ostacoli.

In qualità di storage provider impegnato nel mercato delle PMI, QNAP è consapevole di queste sfide e che la chiave per aumentare le prestazioni di archiviazione non è solo nel sistema di archiviazione ma anche della rete di archiviazione. Oggi QNAP supporta iSCSI Extensions for RDMA (iSER), una soluzione già da anni adottata dalle imprese, su tutte le principali serie dei prodotti QNAP SMB NAS. Il nostro obiettivo è fornire ai professionisti IT una soluzione virtualizzata che consente di migliorare notevolmente le prestazioni in ambienti virtualizzati e consente alle aziende di aumentare l'efficienza IT generale.

Test di laboratorio QNAP hanno mostrato come l'abilitazione dell'iSER aumenta le prestazioni di NAS QNAP Hybrid Storage con Qtier™ di oltre il 50%. Per ulteriori dettagli, è possibile consultare il capitolo 5.

2. Introduzione a iSCSI Extensions for RDMA (iSER)

In QTS versione 4.3.3 e successive, iSER può essere abilitato sulle connessioni iSCSI tra i server di virtualizzazione VMware e Intel o QNAP NAS basati su AMD. L'unico requisito è che ciascun server e NAS dispongano di una scheda di rete compatibile con iSER.

Il protocollo iSER differisce dall'iSCSI tradizionale e consente ai dati da trasferire di bypassare il driver di rete e i layer di socket e di accedere direttamente ai buffer di memoria del server ESXi o NAS. In questo modo si ottengono migliori prestazioni di trasferimento dei dati e si riducono sia la latenza che il carico CPU del NAS.

QNAP ha rilevato che iSER consente di aumentare le prestazioni delle macchine virtuali dal 60 al 100%*. Inoltre, è possibile ridurre la latenza dell'accesso random del 50% o più. Questi risultati di test dimostrano che iSER è particolarmente adatto ad aziende che usano QNAP NAS come i datastore VMware ESXi, le applicazioni di hosting aziendale o l'infrastruttura desktop virtuale (VDI). 

Nei capitoli seguenti sono elencati i requisiti di sistema e i passaggi necessari per abilitare iSER in un ambiente di virtualizzazione. Inoltre, in questo documento viene fornita una dimostrazione di base di come iSER sia in grado di migliorare le prestazioni di un NAS ad archiviazione ibrida utilizzando Qtier(™) e un NAS all flash.

iSER (Right) bypassa TCP/IP, Network Driver e Socket Library per trasferire i dati direttamente all'applicazione o alla memoria di archiviazione.

*Per la configurazione del test e i risultati, consultare il capitolo 5. I miglioramenti alle prestazioni variano a seconda della configurazione di sistema.

3. Requisiti di sistema

L'abilitazione di iSER in QNAP e nell'ambiente VMware prevede i seguenti requisiti:

  • Uno o più QNAP NAS con una CPU Intel o AMD, con QTS 4.3.3 o successivi in esecuzione.
  • Uno o più server VMware ESXi (attualmente, QTS supporta solo iSER con VMware ESXi).
  • Una scheda di rete compatibile con iSER per ciascun server QNAP NAS e VMware ESXi.
  • Il driver di compatibilità iSER** MLNX-OFED-ESX-1.9.10.5 deve essere installato in VMware ESXi 5.5 e 6.0.  Il driver è disponibile su http://www.mellanox.com/page/products_dyn?product_family=29
    Nota: Attualmente, VMware ESXi 6.5 non supporta ancora il protocollo iSER.
  • I server NAS e VMware ESXi devono essere collegati con uno switch Mellanox in grado di supportare iSER*** oppure devono essere collegati direttamente senza alcuno switch.
    Nota: è possibile usare anche altro switch che supportano PFC (Priority Flowma, in questo caso, non sarà possibile garantire l'aumento delle prestazioni previsto da iSER.

*Di seguito sono elencate le schede di rete correnti che è possibile usare con iSER. Per acquistare le schede di espansione, consultare il sito Web QNAP o contattare un distributore autorizzato.

Modello Spec Prodotto
LAN-10G2SF-MLX Dual-port 10 GbE Adattatore: Mellanox Connect-3 Pro EN Connettore: SFP+
LAN-40G2SF-MLX Dual-port 40 GbE Adattatore: Mellanox ConnectX-3 Pro EN Connettore: QSFP

** Questo driver è progettato specificamente per abilitare iSER. L'installazione potrebbe influire sulle normali prestazioni di connessione iSCSI.

*** Di seguito è riportato un elenco di switch e di schede Ethernet Mellanox consigliati per l'uso con iSER. Gli switch Spectrum Mellanox forniscono una latenza ultra-bassa e un passaggio senza blocco su frequenza linea senza perdita di pacchetti. Combinati con la gestione di congestione ottimale, gli switch Mellanox consentono di ottenere le massime prestazioni iSER. Per maggiori informazioni sugli switch e le schede di rete compatibili iSER, consultare il sito Web ufficiale di Mellanox oppure contattare un distributore autorizzato.

Scheda di rete Spec
MCX311A-XCCT Scheda di interfaccia di rete ConnectX®-3 Pro EN, 10GbE, porta singola SFP+, PCIe3.0 x8 8GT/s, supporto alto, RoHS R6
MCX312B-XCCT Scheda di interfaccia di rete ConnectX®-3 Pro EN, 10GbE, porta doppia SFP+, PCIe3.0 x8 8GT/s, supporto alto, RoHS R6
MCX312C-XCCT Scheda di interfaccia di rete ConnectX®-3 Pro EN, 10GbE, porta doppia SFP+, PCIe3.0 x8 8GT/s, supporto alto, RoHS R6
MCX313A-BCCT Scheda di interfaccia di rete ConnectX®-3 Pro EN, 40/56GbE, porta singola QSFP, PCIe3.0 x8 8GT/s, supporto alto, RoHS R6
MCX314A-BCCT Scheda di interfaccia di rete ConnectX®-3 Pro EN, 40/56GbE, porta doppia QSFP, PCIe3.0 x8 8GT/s, supporto alto, RoHS R6
MCX342A-XCPN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP, 10GbE, porta doppia SFP+, PCIe3.0 x8, senza supporto, RoHS R6
MCX342A-XCQN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP con IPMI e NC-SI, 10GbE, porta doppia SFP+, PCIe3.0 x8, senza supporto, RoHS R6
MCX345A-BCPN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP, 40GbE, porta singola QSFP, PCIe3.0 x8, senza supporto, RoHS R6
MCX345A-BCQN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP con IPMI e NC-SI, 40GbE, porta singola QSFP, PCIe3.0 x8, senza supporto, RoHS R6
MCX346A-BCPN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP, 40GbE, porta doppia QSFP, PCIe3.0 x8, senza supporto, RoHS R6
MCX346A-BCQN Scheda di interfaccia di rete ConnectX®-3 Pro EN per OCP con IPMI e NC-SI, 40GbE, porta doppia QSFP, PCIe3.0 x8, senza supporto, RoHS R6
 
Modello Spec
MSN2700-BS2F Switch Ethernet 40GbE 1U Open basato su Spectrum™ con MLNX-OS, 32 QSFP 28 porte
MSN2700-BS2R Switch Ethernet 40GbE 1U Open basato su Spectrum™ con MLNX-OS, 32 QSFP 28 porte
MSN2410-BB2F Switch Ethernet10GbE/100GbE 1U Open basato su Spectrum™ con MLNX-OS, 48 SFP 28 porte
MSN2100-BB2F Switch Ethernet 40GbE 1U Open basato su Spectrum™ con MLNX-OS, 16 QSFP 28 porte
MSN2100-BB2R Switch Ethernet 40GbE 1U Open basato su Spectrum™ con MLNX-OS, 16 QSFP 28 porte

4. Distribuzione di iSER in un ambiente di virtualizzazione VMware esistente

In questo capitolo sono riportate le istruzioni su come abilitare iSER in una connessione iSCSI tra un QNAP NAS e un server VMware ESXi. Se l'ambiente contiene più NAS o più server VMware, seguire i passaggi applicabili a ciascun NAS e server.

4-1. Configurazione delle impostazioni di rete nel NAS

Prima di modificare qualsiasi impostare, verificare che QNAP NAS sia un modello basato su Intel o AMD ed esegua già QTS 4.3.3 o successivi.

  1. Arrestare il NAS e il server VMware ESXi e installare la scheda di rete compatibile iSER in ogni dispositivo.
  2. Connettere il NAS e il server VMware ESXi, tramite uno switch compatibile con iSER o collegandoli direttamente.
  3. Attivare il NAS e il server ESXi.
  4. Accedere a QTS nel NAS e passare a “Pannello di controllo” > “Rete& Switch virtuale” > “Interfacce”. Individuare le interfacce che appartengono alla scheda di rete compatibile iSER e assegnare a ciascuna un indirizzo IP statico. Si consiglia anche di impostare “Jumbo Frame” su 9,000 per massimizzare i miglioramenti alle prestazioni durante l'uso iSER.
Modificare il nuovo adattare della scheda di rete aggiunta in “Rete & Switch virtuale”. Le impostazioni di Jumbo Frame sono reperibili facendo clic sull'icona "Configura”.

4-2. Installazione del driver Mellanox iSER (non applicabile per VMware ESXi 6.5 o successivi)

Il driver Mellanox iSER deve essere installato in ciascun server ESXi. Nota: VMware ESXi 6.5 e successivi supportano a livello nativo iSER e non necessitano di questo driver.

  1. Scaricare il driver iSER Mellanox MLNX-OFED-ESX-1.9.10.5 da http://www.mellanox.com/page/products_dyn?product_family=29
  2. Caricare il driver sul server ESXi. In questo tutorial, il driver è stato salvato direttamente nel NAS, quindi sono stati usati Putty e SSH per caricare il driver sul server ESXi.
Usare il comando #scp per caricare il driver sulla directory di origine del server ESXi
  1. (Opzionale) Rimuovere tutte le versioni precedenti del driver.
    Il driver v1.9.10.5 non può essere usato contemporaneamente a qualsiasi altra versione dello stesso driver. Se una versione del driver diversa da MLNX-OFED-ESX-1.9.10.5 è già installata, interrompere tutte le operazioni e le macchine virtuali nel server ESXi, quindi rimuovere il driver esistente.

    Eseguire il comando esxcli software vib list | grep mlx per confermare il nome e la versione driver attualmente installata. Di seguito è riportato il comando per rimuovere una versione precedente del driver, composto da tre parti: nmlx4-core, nmlx4-en e nmlx4-rdma.
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. Per installare il nuovo driver, eseguire il comando seguente:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. Al termine dell'installazione, riavviare VMware ESXi ed eseguire il comando esxcli software vib list | grep mlx per verificare che i driver net-mlx4-core, net-mlx4-en e net-mlx4-ib siano installati e che siano tutti della versione 1.9.10.5-10EM-600.0.0.2494585.
Putty può essere usato per installare il driver in un server ESXi.

4-3. Configurazione delle impostazioni di rete nel server ESXi

In questa sezione viene fornita una guida alla configurazione della connessione iSER in un server ESXi.

  1. Accedere a VMware vCenter.
  2. Selezionare il server VMware ESXi nel pannello di sinistra.
  3. Andare su “Configurazione” Scheda > “Networking” e fare clic su “Aggiungi networking” per aprire la “Procedura guidata di aggiunta rete.
Aggiungere un nuovo switch virtuale per il server ESXi da vCenter.
  1. Per consentire al sistema operativo guest di accedere all'interfaccia di rete, selezionare “Virtual Machine” come “Tipo di connessione” e fare prima clic su “Avanti”; in alternativa, andare al punto 6.
  2. Nella pagina “Accesso di rete”, selezionare la scheda di rete compatibile con iSER di nuova installazione. Fare clic su “Avanti” e “Avanti” lasciando tutte le impostazioni predefinite, quindi fare clic su “Fine” per completare la procedura guidata “Aggiungi rete”.
Selezionare la scheda di rete di nuova aggiunta per continuare.
  1. Fare di nuovo clic su “Aggiungi Networking”. Selezionare “VMkernel” come “Tipo di connessione”, verificare che sia selezionata la scheda di rete compatibile iSER di nuova installazione e seguire la procedura guidata per completare le impostazioni. Per le proprietà del “Gruppo porte” lasciare le impostazioni predefinite.
  2. Nella pagina “Impostazioni IP”, specificare un indirizzo IP statico per l'adattatore di rete. Quindi fare clic su “Avanti” e “Fine” per chiudere la procedura guidata.
Continuare per aggiungere il tipo VMkernel e specificare un IP statico per la scheda di rete
  1. Verificare di vedere il nuovo switch virtuale per la scheda di rete iSER nella schermata “Configurazione” > “Networking”.
Il nuovo switch virtuale contiene la rete VM (opzionale) e VMkernel.

4-4. Modifica della connessione di rete da iSCSI a iSER

  1. Accedere a VMware vCenter.
  2. Selezionare il server VMware ESXi nel pannello di sinistra.
  3. Passare alla scheda “Configurazione” > “Adattatori di archiviazione”. In questa pagina, è possibile vedere l'iSER visualizzato come adattatore “Mellanox iSCSI su RDMA (iSER)” oltre all'“Adattatore software iSCSI” esistente.
    Nota: In caso di configurazione di un nuovo ambiente di virtualizzazione, è necessario creare prima l'“Adattatore software iSCSI”, quindi riavviare il server ESXi per vedere l'adattatore “Mellanox iSCSI su RDMA (iSER)”.
    L'adattatore Mellanox iSCSI su RDMA (iSER) appare dopo la configurazioni delle impostazioni di rete di NAS e VMware ESXi nella sezione 4-3
  4. Selezionare il dispositivo “Adattatore software iSCSI” e fare clic su “Proprietà”.
  5. Rimuovere tutti i binding di porta esistenti dall'elenco nella scheda “Configurazioni di rete”. Rimuovere anche tutti i target iSCSI dagli elenchi nelle schede “Rilevamento dinamico” e “Rilevamento statico”. In questo modo, si garantisce che le connessioni useranno solo il protocollo iSER.
    Cancellare tutti gli elementi dagli elenchi in “Configurazione di rete”, “Rilevamento dinamico" e “Rilevamento statico”
  6. Chiudere le proprietà dell'adattatore software iSCSI. Nella pagina “Configurazione” > “Adattatori di archiviazione”, selezionare il dispositivo in “Adattatore Mellanox iSCSI su RDMA (iSER)” e fare clic su “Proprietà”.
  7. Nella scheda “Configurazione di rete”, fare clic su “Aggiungi” per creare un nuovo binding di porta VMKernel. Selezionare il VMKernel creato per la connessione iSER nella sezione 4-3.
    Modificare le proprietà del dispositivo adattatore Mellanox iSCSI over RDMA (iSER) e aggiungere lo switch virtuale iSER per ripetere la scansione del target iSCSI.
  8. Ripetere i passaggi 5 e 6 per ciascun dispositivo in “Mellanox iSCSI over RDMA (iSER) Adapter” che richiede una connessione iSER.

    A questo punto, target QNAP iSCSI e LUN saranno connessi automaticamente utilizzando la nuova interfaccia iSER.
    L'iSCSI LUN in QNAP NAS è connesso utilizzando l'adattatore iSER.

5. Test e risultati delle prestazioni

La seguente apparecchiatura è stata utilizzata dal team di test di QNAP per calcolare i vantaggi delle prestazioni di iSER a confronto con un normale iSCSI:

QNAP NAS

  • TVS-EC2480-SAS-RP: array di archiviazione ibrido
  • TES-EC3085U: array di archiviazione all flash

VMware

  • Cluster VMware ESXi 6.0 di cinque server Dell PowerEdge R420. Ciascun server dotato di CPU Intel Xeon E5-2450 e 128GB di RAM.
  • SO macchina virtuale: Windows 2012 R2 64bit

Rete

  • Scheda di rete Mellanox 40GbE LAN-40G2SF-MLX, installata in NAS e in ogni server PowerEdge.
  • Switch Mellanox 40GbE Spectrum SN2410, per la connessione di server VMware ESXi e NAS.

Nota: per mostrare i risultati delle prestazioni, è stato usato un solo cavo 40GbE per collegare ciascun NAS allo switch Mellanox 40GbE. Tuttavia, in condizioni normali è possibile configurare più connessioni 10GbE e 40GbE e più switch per incrementare ulteriormente le prestazioni e la disponibilità di archiviazione con iSER.

Iometer è stato installato su ciascun server VMware ESXi e configurato con le seguenti impostazioni.

Iometer (Throughput iSCSI)
Straordinari I/O→ 1 per target Throughput di scrittura → 2M sequenziale 100%
Scrittura 100%
Operatori → 20 Throughput di lettura → 2M sequenziale 100%
Lettura 100%
Tempi di avvio →30 secondi Dimensioni trasferimento → file da 16GB
Iometer (iSCSI IOPS)
Straordinari I/O→ 1 per target IOPS di scrittura → 4M sequenziale 100%
Scrittura 100%
Operatori → 20 IOPS di lettura → 4M sequenziale 100%
Lettura 100%
Tempi di avvio →30 secondi Dimensioni trasferimento → file da 16GB

Nota: per questo test sono state usate impostazioni Iometer comuni. I modelli di accesso reali variano in base all'applicazione.

5-1. Una VM con Qtier™: Prestazioni di lettura/scrittura sequenziale aumentate del 100% con iSER su 4000 MB/s

In questo test, sono state testate le prestazioni di una macchina virtuale connessa al NAS di archiviazione ibrido. Questo tipo di configurazione è comune per applicazioni business quali server di posta, che richiedono sia buone prestazioni che elevata capacità di archiviazione.

Specifiche NAS
Modello QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
Memoria 32GB
Configurazione dell'archiviazione SSD SAS Seagate x12, RAID 10
HDD SATA Seagate x12, RAID 6
1 Storage Pool, 1 iSCSI LUN basato su blocchi
Scheda di rete Scheda di rete da 40GbE LAN-40G2SF-MLX

Nei risultati dei test è stato riscontrato un aumento di oltre il 100% nelle velocità di lettura e scrittura sequenziale, raggiungendo una velocità di lettura sequenziale di oltre 4.000MB/s. Questi risultati dimostrano che iSER può migliorare notevolmente le prestazioni di lettura e scrittura sequenziale di applicazioni high demand.



5-2. Cinque VM con Qtier™: Prestazioni di lettura/scrittura random aumentate del 80% con iSER su 180.000 IOPS

In questo secondo test, viene usata la stessa configurazione con NAS di archiviazione ibrido del test precedente. Tuttavia, in questo caso il numero di macchine virtuali VMWare è aumentato a cinque. Questo caso di test è specifico per piccole e medie imprese che desiderano eseguire più applicazioni con accesso random, come un database Web o con server log, in un singolo QNAP NAS.

I risultati del test combinano le prestazioni di tutte le macchine virtuali per mostrare le prestazioni totali in lettura e in scrittura. I risultati dimostrano che le prestazioni random in lettura e scrittura sono aumentate di oltre l'80% con l'uso di iSER. La lettura/scrittura random ha raggiunto un totale di 180.000 IOPS con solo 12 SSD in una configurazione RAID 10. Si è inoltre verificato un aumento delle velocità di accesso sequenziali. 
La latenza è stata ridotta da 0,9 ms a 0,5 ms, migliorando i tempi di risposta quando più applicazioni richiedono l'accesso random allo stesso NAS.



5-3. Cinque VM con archiviazione all flash: Prestazioni di lettura/scrittura random aumentate del 60% con iSER su 250.000 IOPS

Nel test precedente, ogni VM è riuscita a guadagnare circa 36.000 IOPS utilizzando il NAS di archiviazione ibrido con Qtier™. Per determinate applicazioni business come SQL server, questi risultati devono ancora essere migliorati. Per valutare ulteriormente i benefici dell'uso di iSER, abbiamo sostituito il NAS con un QNAP TES-3085U. Si tratta di un NAS di archiviazione all flash con 30 slot SSD. Il NAS è stato connesso a cinque macchine virtuali VMware.

Questa configurazione di test non richiede Qtier, quindi non sono più necessari storage pool di grandi dimensioni. Per questo test, i 30 SSD sono stati divisi in 5 storage pools, ciascuno contenente un iSCSI LUN basato su blocchi. Questa configurazione di archiviazione riduce il rischio di perdite di dati e aumenta anche le prestazioni, in quanto i metadati possono essere recuperati indipendentemente da ciascun pool di archiviazione.

Specifiche NAS
Modello QNAP TES-3085U
CPU Intel Xeon D-1548
Memoria 32GB
Configurazione dell'archiviazione SSD Samsung SATA x30, RAID 10
5 Storage Pool
5 iSCSI LUN basati su blocchi
Scheda di rete Scheda di rete da 40GbE LAN-40G2SF-MLX

Durante il test, sono state combinate le prestazioni di più macchine virtuali per osservare le prestazioni totali in lettura e in scrittura. Le prestazioni di lettura e scrittura random sono aumentate di oltre l'80% con iSER, raggiungendo un totale di 250.000 IOPS. Ciò significa che ogni VM è in grado di ottenere fino a 50.000 IOPS. Quindi supera i 30.000 IOPS, vale a dire il numero generalmente raccomandato per un server SQL. La latenza è stata ridotta a 0,3 ms, rispetto a 1.1 ms con iSCSI.


5-4. Conclusioni del test

Con iSER le prestazioni di lettura e scrittura random di più macchine virtuali possono essere aumentate fino all'80%, mentre la latenza può essere ridotta di circa il 50%. Questi risultati si applicano sia all'archiviazione ibrida che a un NAS all flash.

La conclusione del team di test QNAP è che iSER può efficacemente aumentare le prestazioni di un QNAP NAS se usato come datastore VMware ESXi. In questo modo sono aumentate le prestazioni delle applicazioni chiave in esecuzione nel cluster VMware. Aggiungendo il supporto iSER a QTS. QNAP dimostra innovazione e impegno nell'offerta di archivi efficienti a prestazioni veloci ai clienti in tutto il mondo.

QNAP indica iSER come eccellente opzione per i professionisti IT che desiderino aumentare le prestazioni di applicazione business. In futuro, QNAP continuerà a testare iSER in differenti configurazioni e pubblicherà i risultati dei test. 

Data di rilascio: 2017-05-25
È stato utile?
Grazie per il feedback.
Grazie per il feedback. Per eventuali domande, contattare support@qnap.com
100% delle persone lo ritengono utile.