QNAP Systems, Inc. - armazenamento ligado em rede (NAS)

Language

Support

Utilização das Extensões iSCSI para RDMA (iSER), para melhorar o desempenho do QNAP NAS com VMware® ESXi

1. Desafios

Em um ambiente de virtualização, as unidades, configuração de armazenamento, rede, hipervisor e os aplicativos são todos fatores críticos no desempenho e estabilidade gerais. As equipes de TI para atividades comerciais de pequeno e médio portes são frequentemente solicitadas a otimizar desempenho e identificar estrangulamentos.

Como fornecedora de armazenamento e comprometida com o mercado de pequeno e médio portes, a QNAP reconhece estes desafios e entende que o fator principal para aumentar o desempenho do armazenamento não está somente no sistema de armazenamento, mas na rede de armazenamento. Atualmente, a QNAP suporta as Extensões iSCSI para RDMA (iSER), uma solução que tem sido adotada por empresas por muitos anos, em todas as séries principais dos produtos QNAP SMB NAS. Nossa meta é oferecer aos profissionais de TI uma solução indispensável que possa melhorar de forma significativa o desempenho nos ambientes virtualizados e permitir que suas empresas aumentem sua eficiência em TI de modo geral.

A habilitação do iSER aumenta o desempenho de um NAS de Armazenamento Híbrido QNAP com Qtier™ em mais de 50% nos testes de laboratório da QNAP. Consulte o Capítulo 5 para detalhes.

2. Apresentação das Extensões iSCSI para RDMA (iSER)

Na versão 4.3.3 do QTS e superior, o iSER pode ser habilitado nas conexões iSCSI entre os servidores de virtualização VMware e Intel ou QNAP NAS de base AMD. O único requisito é que cada servidor e NAS tenham um cartão de rede compatível com iSER.

O protocolo iSER difere do iSCSI tradicional, pois ele permite que os dados sendo transferidos ignorem o driver de rede e camadas de soquetes e entrem na memória dos buffers do servidor ESXi ou diretamente no NAS. Isto fornece melhor desempenho na transferência de dados e também reduz ambas latência e carga da CPU no NAS.

A QNAP descobriu que o desempenho das máquinas virtuais pode ser aumentado de 60% a 100% com o iSER. E também que a latência do acesso aleatório pode ser aumentado em 50% ou mais. Estes resultados de testes mostram que o iSER é especialmente adequado para negócios que utilizam QNAP NAS como armazenamento de dados VMware ESXi hospedando aplicativos comerciais ou Infraestrutura de Desktop Virtual (VDI). 

Os capítulos seguintes listam os requisitos do sistema e as etapas necessárias para habilitar o iSER em um ambiente de virtualização. O documento oferece também uma demostração básica de como o iSER pode melhorar o desempenho de um armazenamento híbrido NAS utilizando Qtier(™) e um flash NAS.

O iSER (Direita) ignora o TCP/IP, Driver de Rede e Biblioteca de Soquete para transferir dados diretamente para o aplicativo ou memória de armazenamento.

*Consulte o capítulo 5 para a configuração de teste e resultados. Melhorias de desempenho irão variar dependendo da configuração de seu sistema.

3. Requisitos do sistema

A habilitação do iSER em seu ambiente da QNAP e VMware requer o seguinte:

  • Um ou mais QNAP NAS com Intel ou AMD CPU, executando QTS 4.3.3 ou superior.
  • Um ou mais servidores VMware ESXi (atualmente QTS suporta apenas iSER com VMware ESXi).
  • Um cartão de rede compatível iSER para cada QNAP NAS e servidor VMware ESXi.
  • O driver** de compatibilidade do iSER MLNX-OFED-ESX-1.9.10.5 precisa estar instalada em VMware ESXi 5.5 e 6.0.  O driver está disponível em http://www.mellanox.com/page/products_dyn?product_family=29
    Observação: VMware ESXi 6.5 ainda não suporta o protocolo atual iSER.
  • Os servidores do NAS e VMware ESXi devem ser conectados tanto com um interruptor Mellanox que suporta o iSER*** ou conectados diretamente sem um interruptor.
    Observação: Outros interruptores que suportam PFC (Controle de Fluxo de Prioridade) podem ser utilizados, mas nesse caso o aumento do desempenho a partir do iSER não pode ser assegurado.

*Os cartões de rede atuais que podem ser utilizados com o ISER estão listados abaixo. Para comprar os cartões de expansão, visite o site da QNAP ou contate um distribuidor autorizado.

Modelo Especificações Produto
LAN-10G2SF-MLX Porta Dupla 10 GbE Adaptador: Mellanox Connect-3 Pro EN Conector: SFP+
LAN-40G2SF-MLX Porta Dupla 40 GbE Adaptador: Mellanox ConnectX-3 Pro EN Conector: QSFP

** Este driver foi criado especialmente para habilitar o iSER. Instalá-lo pode afetar o desempenho de conexão da iSCSI regular.

*** Veja abaixo uma lista dos cartões Ethernet Mellanox e interruptores recomendados para uso com o iSER. Os interruptores de alcance Mellanox oferecem latência ultra-baixa e comutação sem bloqueio em taxa de linha sem perda de pacote. Combinados com o gerenciamento ideal de congestionamento, os interruptores Mellanox permitem o desempenho ideal do iSER. Para mais informações sobre os cartões e interruptores de rede compatíveis do iSER, consulte o site oficial do Mellanox ou contate um distribuidor autorizado.

Cartão de rede Especificações
MCX311A-XCCT Cartão de interface de rede ConnectX®-3 Pro EN, 10GbE, porta única SFP+, PCIe3.0 x8 8GT/s, suporte de altura, RoHS R6
MCX312B-XCCT Cartão de interface de rede ConnectX®-3 Pro EN, 10GbE, porta dupla SFP+, PCIe3.0 x8 8GT/s, suporte de altura, RoHS R6
MCX312C-XCCT Cartão de interface de rede ConnectX®-3 Pro EN, 10GbE, porta dupla SFP+, PCIe3.0 x8 8GT/s, suporte de altura, RoHS R6
MCX313A-BCCT Cartão de interface de rede ConnectX®-3 Pro EN, 40/56GbE, porta única QSFP, PCIe3.0 x8 8GT/s, suporte de altura, RoHS R6
MCX314A-BCCT Cartão de interface de rede ConnectX®-3 Pro EN, 40/56GbE, porta dupla QSFP, PCIe3.0 x8 8GT/s, suporte de altura, RoHS R6
MCX342A-XCPN Cartão de interface de rede ConnectX®-3 Pro EN para OCP, 10GbE, porta dupla SFP+, PCIe3.0 x8, sem suporte, RoHS R6
MCX342A-XCQN Cartão de interface de rede ConnectX®-3 Pro EN para OCP com IPMI e NC-SI, 10GbE, porta dupla SFP+, PCIe3.0 x8, sem suporte, RoHS R6
MCX345A-BCPN Cartão de interface de rede ConnectX®-3 Pro EN para OCP, 40GbE, porta única QSFP, PCIe3.0 x8, sem suporte, RoHS R6
MCX345A-BCQN Cartão de interface de rede ConnectX®-3 Pro EN para OCP com IPMI e NC-SI, 40GbE, porta única QSFP, PCIe3.0 x8 , sem suporte, RoHS R6
MCX346A-BCPN Cartão de interface de rede ConnectX®-3 Pro EN para OCP, 40GbE, porta dupla QSFP, PCIe3.0 x8 , sem suporte, RoHS R6
MCX346A-BCQN Cartão de interface de rede ConnectX®-3 Pro EN para OCP com IPMI e NC-SI, 40GbE, porta dupla QSFP, PCIe3.0 x8 , sem suporte, RoHS R6

Modelo Especificações
MSN2700-BS2F Spectrum™ de base 40GbE 1U Interruptor Ethernet aberto com MLNX-OS, 32 QSFP 28 portas
MSN2700-BS2R Spectrum™ de base 40GbE, 1U Interruptor Ethernet aberto com MLNX-OS, 32 QSFP 28 portas
MSN2410-BB2F Spectrum™ de base 10GbE/100GbE 1U Interruptor Ethernet aberto com MLNX-OS, 48 SFP 28 portas
MSN2100-BB2F Spectrum™ de base 40GbE, 1U Interruptor Ethernet aberto com MLNX-OS, 16 QSFP 28 portas
MSN2100-BB2R Spectrum™ de base 40GbE, 1U Interruptor Ethernet aberto com MLNX-OS, 16 QSFP 28 portas

4. Desenvolvendo o iSER em um Ambiente de Virtualização VMware

Este capítulo contém instruções sobre como habilitar o iSER em uma conexão iSCSI entre um QNAP NAS e um servidor VMware ESXi. Se seu ambiente contém múltiplos NAS ou múltiplos servidores VMware, siga as etapas aplicáveis para cada NAS e servidor.

4-1. Definição das configurações de rede no NAS

Antes de alterar quaisquer configurações, certifique-se de que o QNAP NAS seja um modelo de base Intel ou AMD e que já esteja executando QTS 4.3.3 ou superior.

  1. Desligue o NAS e o servidor VMware ESXi e instale um cartão de rede compatível iSER em cada aparelho.
  2. Conecte o NAS e o servidor VMware ESXi, ambos através de um interruptor compatível iSER ou conectando-os diretamente.
  3. Ligue o NAS e o servidor SXi.
  4. Acesse QTS no NAS e vá para “Painel de Controle” > “Rede & Interruptor Virtual” > “Interfaces”. Localize as interfaces que pertencem ao cartão de rede compatível iSER e atribua a cada uma delas o endereço de IP. Recomenda-se também configurar “Jumbo Frame” para 9.000, para maximizar as melhorias de desempenho quando utilizar o iSER.
Edite o adaptador do cartão de rede recentemente adicionado em “Interruptor de Rede e Virtual”. As configurações da Jumbo Frame podem ser encontradas clicando-se no ícone “Configurar”.

4-2. Instalação do driver Mellanox iSER (Não aplicável a VMware ESXi 6.5 ou superior)

O driver Mellanox iSER deve ser instalado em cada servidor ESXi. Observação: VMware ESXi 6.5 e superior suporta iSER e não necessita desse driver.

  1. Baixe o driver Mellanox iSER MLNX-OFED-ESX-1.9.10.5 de http://www.mellanox.com/page/products_dyn?product_family=29
  2. Carregue o driver para o servidor ESXi. Nesse tutorial, nós salvamos o driver para o servidor ESXi diretamente e depois usamos Putty e SSH para carregar o driver para o servidor ESXi.
Use o comando #scp para carregar o driver para o diretório raiz do servidor ESXi
  1. (Opcional) Remova quaisquer versões anteriores do driver.
    O driver v1.9.10.5 não pode ser usado ao mesmo tempo como qualquer outra versão do mesmo driver. Se uma versão do driver que não seja MLNX-OFED-ESX-1.9.10.5 estiver instalada, interrompa todas as operações e máquinas virtuais no servidor ESXi e depois remova o driver existente.

    Execute o comando esxcli software vib list | grep mlx para confirmar a versão e o nome do driver atualmente instalados. Veja abaixo o comando para remover uma versão anterior do driver, que tem três partes: nmlx4-core, nmlx4-en e nmlx4-rdma.
    esxcli software vib remove -n (nmlx4-core)
    esxcli software vib remove -n (nmlx4-en)
    esxcli software vib remove -n (nmlx4-rdma)
  2. Execute o seguinte comando para instalar o novo driver:
    esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
  3. Depois que a instalação estiver completa, reinicie VMware ESXi e execute o comando esxcli software vib list | grep mlx para verificar se os drivers net-mlx4-core, net-mlx4-en e net-mlx4-ib estão instaladas e se todas são versões 1.9.10.5-10EM-600.0.0.2494585.
Putty pode ser usado para instalar o driver em um servidor ESXi.

4-3. Definição das configurações do servidor ESXi

Esta seção fornece orientações para a configuração de conexão do iSER em um servidor ESXi.

  1. Acesse VMware vCenter.
  2. Selecione o servidor VMware ESXi no painel esquerdo.
  3. Vá para a Guia “Configuração” > “Rede” e clique “Adicionar Rede” para abrir o “Assistente Adicionar Rede.
Adicione um novo interruptor para o servidor ESXi da vCenter.
  1. Se preferir o SO do Guest pode acessar a interface da rede, selecione “Máquina Virtual” como “Tipo de Conexão” e clique “Seguinte” primeiro, ou então, vá para a etapa 6.
  2. Na página de “Acesso da Rede”, selecione o cartão de rede compatível iSER recentemente instalado. Clique “Seguinte” e “Seguinte” deixando todas as configurações como padrão e depois clique “Terminar” para finalizar o assistente “Adicionar Rede”.
Selecione o cartão de rede recentemente adicionado para continuar.
  1. Clique “Adicionar Rede” novamente. Selecione “VMkernel” como “Tipo de Conexão”, certifique-se de que o cartão de rede compatível iSER recentemente instalado seja compatível e selecione o assistente para finalizar as configurações. Deixe as propriedades do “Grupo de Porta” como padrão.
  2. Na página “Configurações de IP”, especifique o endereço de IP para o adaptador de rede. Depois, clique “Seguinte” e “Termine” para encerrar o assistente.
Continue a adicionar o tipo VMkernel e especifique um IP estático para o cartão de rede
  1. Certifique de ver o interruptor virtual novo para p cartão de rede iSER na tela “Configuração” > “Rede”.
O novo interruptor contém a rede VM (Opcional) e VMkernel.

4-4. Alteração da conexão de rede do iSCSI para iSER

  1. Acesse VMware vCenter.
  2. Selecione o servidor VMware ESXi no painel esquerdo.
  3. Vá para a Guia “Configuração” > “Adaptadores de Armazenamento”. Nesta página, você verá o iSER exibido como “Mellanox iSCSI sobre Adaptador RDMA (iSER) ” além do já existente “Adaptador do Software iSCSI”.
    Observação: Se estiver configurando um ambiente de virtualização novo, você precisa criar o “adaptador de software iSCSI” primeiro, depois reinicie o servidor ESXi para ver o adaptador “Mellanox iSCSI sobre RDMA (iSER)”.
    O adaptador Mellanox iSCSI sobre RDMA (iSER) aparece depois que as configurações de rede do NAS e VMware ESXi são definidas na seção 4-3
  4. Selecione o aparelho do “Adaptador de Software iSCSI” e clique “Propriedades”.
  5. Remova todas as ligações de portas existentes da lista na guia “Configurações de Rede”. Remova também todos os destinos iSCSI das listas nas guias “Descoberta Dinâmica” e “Descoberta Estática”. Isso assegura que as conexões utilizarão somente o protocolo iSER.

    Limpe todos os itens das listas em “Configurações de Rede”, “Descoberta Dinâmica” e “Descoberta Estática”
  6. Feche as propriedades para o adaptador de software iSCSI. Na página “Configurações” > “Adaptadores de Armazenamento”, selecione o aparelho em “Adaptador Mellanox iSCSI sobre RDMA (iSER)” e clique “Propriedades”.
  7. Na guia “Configurações de Rede”, clique “Adicionar” para criar uma nova ligação de porta VMKernel. Selecione o VMKernel criado para a conexão iSER na seção 4-3.

    Edite as propriedades do aparelho do Adaptador Mellanox iSCSI sobre RDMA (iSER) e adicione o interruptor virtual iSER para escanear novamente o destino iSCSI.
  8. Repita as etapas 5 e 6 para cada aparelho em “Adaptador Mellanox iSCSI sobre RDMA (iSER)” que requer uma conexão iSER.

    O destino QNAP iSCSI e LUN serão então automaticamente conectados utilizando-se a nova interface iSER.

    O iSCSI LUN no QNAP NAS é conectada utilizando-se um adaptador iSER.

5. Testes e resultados de desempenho

O equipamento seguinte foi usado pela equipe de testes da QNAP para medir os benefícios de desempenho do iSER comparado ao iSCSI regular:

QNAP NAS

  • TVS-EC2480-SAS-RP: arranjo de armazenamento híbrido
  • TES-EC3085U: todo o arranjo de armazenamento flash

VMware

  • VMware ESXi 6.0 conjunto de cinco servidores Dell PowerEdge R420. Cada servidor tinha um Intel Xeon E5-2450 CPU e 128GB de RAM.
  • SO da máquina virtual: Windows 2012 R2 64bit

Rede

  • Cartão de rede Mellanox 40GbE LAN-40G2SF-MLX, instalado no NAS e em cada servidor PowerEdge.
  • Interruptor Mellanox 40GbE Spectrum SN2410, conectando servidores VMware ESXi e NAS.

Observação: Para mostrar os ganhos de desempenho, apenas um cabo 40GbE foi usado para conectar cada NAS ao Interruptor Mellanox 40GbE. Porém, em condições normais, é possível configurar múltiplas conexões 10GbE e 40GbE e múltiplos interruptores para posteriormente aumentar o desempenho e disponibilidade de armazenamento com o iSER.

Iômetro foi instalado em cada servidor VMware ESXi e configurado com as seguintes definições.

Iômetro (Volume de Processamento iSCSI)
Pendente I/Os→ 1 por destino Gravar Volume de Processamento → 2M Sequencial 100%
Gravação 100%
Trabalhos → 20 Ler Volume de Processamento → 2M Sequencial 100%
Leitura 100%
Tempo de aumento →30 segundos Tamanho de transferência → Arquivo 16GB
Iômetro (iSCSI IOPS)
Pendente I/Os→ 1 por destino Gravar IOPS → 4K Sequencial 100%
Gravação 100%
Trabalhos → 20 Ler IOPS → 4K Sequencial 100%
Leitura 100%
Tempo de aumento →30 segundos Tamanho de transferência → Arquivo 16GB

Observação: Este teste utilizou configurações comuns de Iômetro. Os padrões de acesso de mundo real irão variar dependendo do aplicativo.

5-1. Um VM com Qtier™: Desempenho de Leitura/Gravação Sequencial aumentou 100% com iSER para 4000 MB/s

Nesse teste, nós avaliamos o desempenho de uma máquina virtual conectada ao NAS de armazenamento híbrido. Esse tipo de configuração é comum para aplicativos comerciais como servidores de e-mail, que exigem tanto bom desempenho quanto alta capacidade de armazenamento.

Especificações do NAS
Modelo QNAP TVS-EC2480-SAS-RP
CPU Intel Xeon E3-1246
Memória 32GB
Configurações de armazenamento Seagate SAS SSD x12, RAID 10
Seagate SATA HDD x12, RAID 6
1 Pool de Armazenamento, 1 iSCSI LUN Baseado em Bloco
Cartão de rede Cartão de Rede 40GbE LAN-40G2SF-MLX

Nos resultados de testes, vemos um aumento de mais de 100% em leituras sequenciais e velocidades de gravação, atingindo uma velocidade de leitura sequencial de mais de 4.000MB/s. Esse resultado mostra que o iSER pode melhorar substancialmente a leitura sequencial e gravar o desempenho dos aplicativos com alta demanda.



5-2. Cinco VMs com Qtier™: Desempenho Aleatório de Leitura/Gravação aumentou 80% com iSER para 180.000 IOPS

Este segundo teste utiliza a mesma configuração do NAS de armazenamento híbrido conforme o último teste. No entanto, dessa vez, nós aumentamos o número de máquinas virtuais VMware para cinco. Esse caso de teste representa atividades comerciais de pequeno a médio portes que queiram executar múltiplos aplicativos exigindo acesso aleatório, tal como banco de dados do servidor de web ou registro, em um único QNAP NAS.

Os resultados de teste combinam o desempenho de todas as máquinas virtuais atuais para mostrar o desempenho total da leitura e gravação. Os resultados mostram que o desempenho aleatório de leitura e gravação aumentou em mais de 80% quando utilizando o iSER. Leituras/gravações aleatórios chegaram a um total de 180.000 IOPS com somente 12 SSDs em uma configuração RAID 10. Houve também um aumento nas velocidades sequenciais de acesso. 
Latência foi reduzida de 0,9 ms para 0,5 ms, melhorando a o tempo de resposta quando os aplicativos múltiplos requerem acesso aleatório para o mesmo NAS.



5-3. Cinco VMs com todo armazenamento flash: Desempenho Aleatório de Leitura/Gravação aumentou 60% com iSER para 250.000 IOPS

No teste anterior, cada VM conseguiu ganhar por volta de 36.000 IOPS utilizando o NAS de armazenamento híbrido com Qtier™. Para determinados aplicativos comerciais, tais como servidor SQL, estes resultados precisam ser ainda melhorados. Para explorar posteriormente os benefícios do uso do iSER, nós alteramos o NAS para QNAP TES-3085U. Esse é um NAS de armazenamento todo flash com 30 slots SSD. O NAS foi conectado a cinco máquinas virtuais VMware.

A configuração deste teste não requer Qtier, então, um pool de armazenamento não é mais necessário. Para esse teste os 30 SSDs foram divididos em 5 pools de armazenamento, cada um contendo um iSCSI LUN baseado em bloco. Essa configuração de armazenamento reduz o risco da perda de dados e também aumenta o desempenho, como meta-dado pode ser recuperado independente de cada pool de armazenamento.

Especificações do NAS
Modelo QNAP TES-3085U
CPU Intel Xeon D-1548
Memória 32GB
Configurações de armazenamento Samsung SATA SSD x30, RAID 10
5 Pools de Armazenamento
5 iSCSI LUNs baseados em bloco
Cartão de rede Cartão de Rede 40GbE LAN-40G2SF-MLX

Durante os testes, nós combinamos o desempenho das máquinas virtuais múltiplas para observar o desempenho total da leitura e gravação. O desempenho aleatório de leitura e gravação aumentou mais de 80% com iSER, atingindo um total de 250.000 IOPS. Isso significa que cada VM pode obter até 50.000 IOPS. Esse número excede 30.000 IOPS, que é a recomendação geral para um servidor SQL. Latência foi reduzida para 0,3 ms, comparada a 1,1 ms com iSCSI.


5-4. Conclusões dos testes

Com iSER o desempenho aleatório de leitura e gravação de máquinas virtuais múltiplas pode ser aumentado para até 80% e a latência pode ser reduzida para mais ou menos 50%. Esses resultados aplicam-se a ambos armazenamento híbrido e todo flash NAS.

A conclusão da equipe de testes da QNAP é que o iSER pode aumentar eficazmente o desempenho de um QNAP NAS quando utilizado como um armazenamento de dados VMware ESXi. Isso aumenta o desempenho dos aplicativos principais que executam em um conjunto VMware. Ao oferecer o suporte iSEr para QTS, a QNAP oferece comprometimento com alto desempenho no armazenamento eficiente.

A QNAP acredita que o iSER é uma opção excelente para profissionais de TI que desejem aumentar o desempenho dos aplicativos comerciais. No futuro, a QNAP continuará a testar o iSER em diferentes configurações e publicará posteriormente os resultados destes testes. 

Data de lançamento: 2017-05-25
Foi útil?
Obrigado por seu retorno.
Obrigado por seu retorno. Se você tiver qualquer dúvida, contate support@qnap.com
100% das pessoas acham que foi útil.