Utilização das Extensões iSCSI para RDMA (iSER), para melhorar o desempenho do QNAP NAS com o VMware® ESXi ou o VJBOD

1. Desafios

Em um ambiente de virtualização, as unidades, configuração de armazenamento, rede, hipervisor e os aplicativos são todos fatores críticos no desempenho e estabilidade gerais. As equipes de TI para atividades comerciais de pequeno e médio portes são frequentemente solicitadas a otimizar desempenho e identificar estrangulamentos.

Como fornecedora de armazenamento e comprometida com o mercado de pequeno e médio portes, a QNAP reconhece estes desafios e entende que o fator principal para aumentar o desempenho do armazenamento não está somente no sistema de armazenamento, mas na rede de armazenamento. Atualmente, a QNAP suporta as Extensões iSCSI para RDMA (iSER), uma solução que tem sido adotada por empresas por muitos anos, em todas as séries principais dos produtos QNAP SMB NAS. Nossa meta é oferecer aos profissionais de TI uma solução indispensável que possa melhorar de forma significativa o desempenho nos ambientes virtualizados e permitir que suas empresas aumentem sua eficiência em TI de modo geral.

2. Apresentação das Extensões iSCSI para RDMA (iSER)

Na versão 4.3.3 do QTS e superior, o iSER pode ser habilitado nas conexões iSCSI entre os servidores de virtualização VMware e Intel ou QNAP NAS de base AMD. O único requisito é que cada servidor e NAS tenham uma placa de rede compatível com iSER. No QTS 4.3.5, o iSER pode ser também ativado nas conexões do QNAP Virtual JBOD (VJBOD).

O protocolo iSER difere do iSCSI tradicional, pois ele permite que os dados sendo transferidos ignorem o driver de rede e camadas de soquetes e entrem na memória dos buffers do servidor ESXi ou diretamente no NAS. Isto fornece melhor desempenho na transferência de dados e também reduz ambas latência e carga da CPU no NAS.

A QNAP descobriu que o desempenho das máquinas virtuais pode ser aumentado de 60% a 100% com o iSER. E que a latência do acesso aleatório pode ser aumentada em 50% ou mais. Estes resultados de testes mostram que o iSER é especialmente adequado para negócios que utilizam QNAP NAS como armazenamento de dados VMware ESXi hospedando aplicativos comerciais ou Infraestrutura de Desktop Virtual (VDI). 

Os capítulos seguintes listam os requisitos do sistema e as etapas necessárias para habilitar o iSER em um ambiente de virtualização. Além disso, o documento oferece uma demostração básica de como o iSER pode melhorar o desempenho de um armazenamento híbrido NAS utilizando o Qtier(™), um NAS totalmente flash e um NAS usado como um VJBOD com um cache SSD.

*Consulte o capítulo 5 para a configuração de teste e resultados. Melhorias de desempenho irão variar dependendo da configuração de seu sistema.

3. Requisitos do sistema

A habilitação do iSER no QNAP NAS requer o seguinte:

Requisitos do hardware

• VMware:
  • Pelo menos um QNAP NAS com um Intel ou AMD CPU executando o QTS 4.3.3 ou superior.
  • Pelo menos um servidor VMware ESXi (o QTS suporta apenas o iSER com VMware ESXi).
• VJBOD: Dois dispositivos QNAP NAS com Intel ou AMD CPUs, ambos executando o QTS 4.3.5 ou superior.

Requisitos de rede

• Uma placa* de rede compatível iSER deve ser instalada em cada QNAP NAS e servidor VMware ESXi.
• Todos os dispositivos do NAS e VMware ESXi devem ser conectados tanto com um comutador Mellanox que suporta o iSER**, ou conectados diretamente sem um comutador.

Requisitos do software

• Um driver compatível com iSER deve ser instalado no VMware ESXi 5.5, 6.0 e 6.5. O driver está disponível em http://www.mellanox.com/page/products_dyn?product_family=29
  Observação: No VMware ESXi 6.7 e superior, você não precisa instalar um driver, pois já há uma unidade pré-instalada.

*Os cartões de rede atuais que podem ser utilizados com o ISER estão listados abaixo. Para comprar os cartões de expansão, visite o site da QNAP ou contate um distribuidor autorizado.

Modelo	Especificações	Produto
LAN-10G2SF-MLX Porta Dupla 10 GbE	Adaptador: Conector Mellanox Connect-3 Pro EN: SFP+
LAN-40G2SF-MLX Porta Dupla 40 GbE	Adaptador: Conector Mellanox ConnectX-3 Pro EN: QSFP

** Veja abaixo uma lista dos comutadores Ethernet Mellanox recomendados para uso com o iSER. Os comutadores de alcance Mellanox oferecem latência ultra-baixa e comutação sem bloqueio em taxa de linha sem perda de pacote. Combinados com o gerenciamento ideal de congestionamento, os comutadores Mellanox permitem o desempenho ideal do iSER. Para mais informações sobre as placas de rede e os comutadores compatíveis do iSER, consulte o site oficial do Mellanox ou contate um distribuidor autorizado.

4. Desenvolvendo o iSER em um Ambiente de Virtualização VMware

Este capítulo contém instruções sobre como habilitar o iSER numa conexão iSCSI entre um QNAP NAS e um servidor VMware ESXi 6.0. Se seu ambiente contém múltiplos dispositivos NAS ou múltiplos servidores VMware, siga as etapas aplicáveis para cada NAS e servidor.

4-1. Definição das configurações de rede no NAS

Antes de alterar quaisquer configurações, certifique-se de que o QNAP NAS seja um modelo de base Intel ou AMD e que já esteja executando QTS 4.3.3 ou superior.

1. Desligue o NAS e o servidor VMware ESXi e instale um cartão de rede compatível iSER em cada dispositivo.
2. Conecte o NAS e o servidor VMware ESXi, ambos através de um comutador compatível iSER ou conecte-os diretamente.
3. Ligue o NAS e o servidor SXi.
4. Acesse o QTS no NAS e vá para “Painel de Controle” > “Network & Virtual Switch” > “Interfaces”. Localize as interfaces que pertencem à placa de rede compatível do iSER e atribua a cada uma delas um endereço IP estático numa subrede exclusiva. Recomenda-se também configurar “Jumbo Frame” para 9.000, para maximizar as melhorias de desempenho quando utilizar o iSER.
   

4-2. Instalação do driver Mellanox iSER (Não aplicável a VMware ESXi 6.5 ou superior)

1. Baixe o driver Mellanox iSER de http://www.mellanox.com/page/products_dyn?product_family=29
2. Carregue o driver para o servidor ESXi. Nesse tutorial, nós salvamos o driver para o servidor ESXi diretamente e depois usamos Putty e SSH para carregar o driver para o servidor ESXi.
   

3. (Opcional) Remova quaisquer versões anteriores do driver.
   O driver do iSER não pode ser usado ao mesmo tempo como qualquer outra versão do mesmo driver. Se uma versão diferente do driver já estiver instalada, interrompa todas as operações e máquinas virtuais no servidor do ESXi e depois remova o driver existente.
   
   Execute o comando esxcli software vib list | grep mlx para confirmar a versão e o nome do driver atualmente instalada. Veja abaixo o comando para remover uma versão anterior do driver, que tem três partes: nmlx4-core, nmlx4-en e nmlx4-rdma.
   esxcli software vib remove -n (nmlx4-core)
   esxcli software vib remove -n (nmlx4-en)
   esxcli software vib remove -n (nmlx4-rdma)
4. Execute o seguinte comando para instalar o novo driver:
   esxcli software vib install -d /MLNX-OFED-ESX-1.9.10.5-10EM-600.0.0.2494585.zip
5. Depois que a instalação estiver completa, reinicie VMware ESXi e execute o comando esxcli software vib list | grep mlx para verificar se os drivers net-mlx4-core, net-mlx4-en e net-mlx4-ib estão instalados e se todas são versões 1.9.10.5-10EM-600.0.0.2494585.

4-3. Definição das configurações do servidor ESXi

Esta seção fornece orientações para a configuração de conexão do iSER em um servidor ESXi.

1. Acesse VMware vCenter.
2. Selecione o servidor VMware ESXi no painel esquerdo.
3. Vá para a Guia “Configuração” > “Rede” e clique em “Adicionar Rede” para abrir o Assistente “Adicionar Rede”.
   
   Adicione um novo comutador virtual para o servidor ESXi da vCenter.
4. Se preferir permitir que o SO do Guest acesse a interface da rede, selecione “Máquina Virtual” como “Tipo de Conexão” e clique “Seguinte” primeiro, ou vá para a etapa 6.
5. Na página “Acesso da Rede”, selecione a placa de rede compatível do iSER recentemente instalada. Clique em “Seguinte” e “Seguinte” deixando todas as configurações como padrão e clique em “Finalizar” para finalizar o assistente “Adicionar Rede”.
   
   Selecione a placa de rede recentemente adicionada para continuar.
6. Clique em “Adicionar Rede” novamente. Selecione “VMkernel” como “Tipo de Conexão”, certifique-se de que a placa de rede compatível do iSER recentemente instalada seja compatível e selecione o assistente para finalizar as configurações. Deixe as propriedades do “Grupo de Porta” como padrão.
7. Na página “Configurações de IP”, especifique o endereço IP para o adaptador de rede. Depois, clique em “Seguinte” e “Finalizar” para encerrar o assistente.
   
   Continue a adicionar o tipo VMkernel e especifique um IP estático para a placa de rede
8. Certifique de visualizar o comutador virtual novo para a placa de rede do iSER na tela “Configuração” > “Rede”.
   
   O novo comutador virtual contém a rede VM (Opcional) e VMkernel.

4-4. Alteração da conexão de rede do iSCSI para iSER

1. Acesse VMware vCenter.
2. Selecione o servidor VMware ESXi no painel esquerdo.
3. Vá para a Guia “Configuração” > “Adaptadores de Armazenamento”. Nesta página, o iSER será exibido como “Mellanox iSCSI sobre Adaptador RDMA (iSER)”, além do já existente “Adaptador do Software iSCSI”.
   Observação: Se estiver configurando um ambiente de virtualização novo, você precisa criar o “adaptador de software iSCSI” primeiro, depois reinicie o servidor ESXi para ver o adaptador “Mellanox iSCSI sobre RDMA (iSER)”.
   
   O adaptador Mellanox iSCSI sobre RDMA (iSER) aparece depois que as configurações de rede do NAS e VMware ESXi são definidas na seção 4-3
4. Selecione o dispositivo do “Adaptador de Software iSCSI” e clique em “Propriedades”.
5. Remova todas as ligações de portas existentes da lista na guia “Configurações de Rede”. Remova também todos os destinos iSCSI das listas nas guias “Descoberta Dinâmica” e “Descoberta Estática”. Isso assegura que as conexões utilizarão somente o protocolo iSER.
   
   Limpe todos os itens das listas em “Configurações de Rede”, “Descoberta Dinâmica” e “Descoberta Estática”
6. Feche as propriedades para o adaptador de software iSCSI. Na página “Configurações” > “Adaptadores de Armazenamento”, selecione o dispositivo em “Adaptador Mellanox iSCSI sobre RDMA (iSER)" e clique em “Propriedades”.
7. Na guia “Configurações de Rede”, clique em “Adicionar” para criar uma nova ligação de porta VMKernel. Selecione o VMKernel criado para a conexão iSER na seção 4-3.
   
   Edite as propriedades do dispositivo do Adaptador Mellanox iSCSI sobre RDMA (iSER) e adicione o comutador virtual iSER para escanear novamente o destino iSCSI.
8. Repita as etapas 5 e 6 para cada dispositivo em “Adaptador Mellanox iSCSI sobre RDMA (iSER)” que requer uma conexão iSER.
   
   O destino QNAP iSCSI e LUN serão então automaticamente conectados utilizando-se a nova interface iSER.
   
   O iSCSI LUN no QNAP NAS é conectado utilizando-se um adaptador iSER.

5. Uso do iSER com o VJBOD em um QNAP NAS

Esta seção descreve como ativar o iSER em dois dispositivos QNAP NAS ao criar uma conexão VJBOD.

Observação:  Ambos os dispositivos NAS devem estar executando a versão 4.3.5 ou superior do QTS.

1. Faça login no QTS no NAS host e depois vá para "Menu Principal" > "Armazenamento & Instantâneos" > "Armazenamento" > "Discos/VJBOD".
2. Selecione "VJBOD" > "Criar VJBOD".
   O "Assistente Criar Disco Virtual JBOD” é aberto.
3. Clique em Seguinte.
   A tela “Conectar a um QNAP NAS remoto” é exibida.
4. Selecione um NAS remoto que tenha uma placa de rede compatível do iSER instalada.
5. Digite a senha para o NAS remoto e depois clique em "Seguinte".
   A tela “Selecionar Interfaces” é exibida.
   
6. Em “Interface do NAS Host”, selecione um adaptador compatível do iSER.
7. Em “Interface do NAS Remoto”, selecione um adaptador compatível do iSER.
8. Selecione “Usar iSER quando disponível”, e clique em "Seguinte".
9. Siga o assistente até finalizar a criação do VJBOD.

Para verificar se o iSER está funcionando, vá para “Menu Principal” > “Armazenamento & Instantâneos” > “Armazenamento” > “Discos/VJBOD” e selecione o disco remoto. Se uma conexão do iSER foi estabelecida, o “Tipo de Conexão” mostrará o “iSER”.

Observação: Se o disco remoto estiver desconectado, o QTS tentará primeiro reconectar o disco usando o iSER. Se isso falhar, o QTS tentará então reconectar o disco usando o iSCSI. Você pode alterar de volta o tipo de conexão do iSCSI para iSER desconectando e reconectando o disco remoto.

6. Testes e resultados de desempenho

O equipamento seguinte foi usado pela equipe de testes da QNAP para medir os benefícios de desempenho do iSER comparado ao iSCSI regular:

QNAP NAS

• TVS-EC2480-SAS-RP: arranjo de armazenamento híbrido
• TES-EC3085U: todo o arranjo de armazenamento flash

VMware

• VMware ESXi 6.0 conjunto de cinco servidores Dell PowerEdge R420. Cada servidor tinha um Intel Xeon E5-2450 CPU e 128GB de RAM.
• SO da máquina virtual: Windows 2012 R2 64bit

Rede

• Placa de rede Mellanox 40GbE LAN-40G2SF-MLX, instalada no NAS e em cada servidor PowerEdge.
• Comutador Mellanox 40GbE Spectrum SN2410, conectando servidores VMware ESXi e NAS.

Observação: Para mostrar os ganhos de desempenho, apenas um cabo 40GbE foi usado para conectar cada NAS ao Comutador Mellanox 40GbE. Porém, em condições normais, é possível configurar múltiplas conexões 10GbE e 40GbE e múltiplos comutadores para posteriormente aumentar o desempenho e disponibilidade de armazenamento com o iSER.

O Iômetro foi instalado em cada servidor VMware ESXi e configurado com as seguintes definições.
Observação: Este teste utilizou configurações comuns de Iômetro. Os padrões de acesso de mundo real irão variar dependendo do aplicativo.

6-1. Um VM com Qtier™: Desempenho de Leitura/Gravação Sequencial aumentou 100% com iSER para 4000 MB/s

Nesse teste, avaliamos o desempenho de uma máquina virtual conectada ao NAS de armazenamento híbrido. Esse tipo de configuração é comum para aplicativos comerciais como servidores de e-mail, que exigem tanto bom desempenho quanto alta capacidade de armazenamento.

Nos resultados de testes, vemos um aumento de mais de 100% em leituras sequenciais e velocidades de gravação, atingindo uma velocidade de leitura sequencial de mais de 4.000MB/s. Esse resultado mostra que o iSER pode melhorar substancialmente a leitura sequencial e gravar o desempenho dos aplicativos com alta demanda.

6-2. Cinco VMs com Qtier™: Desempenho Aleatório de Leitura/Gravação aumentou 80% com iSER para 180.000 IOPS

Este segundo teste utiliza a mesma configuração do NAS de armazenamento híbrido conforme o último teste. No entanto, dessa vez, nós aumentamos o número de máquinas virtuais VMware para cinco. Esse caso de teste representa atividades comerciais de pequeno a médio portes que queiram executar múltiplos aplicativos exigindo acesso aleatório, tal como banco de dados do servidor de web ou registro, em um único QNAP NAS.

Os resultados de teste combinam o desempenho de todas as máquinas virtuais atuais para mostrar o desempenho total da leitura e gravação. Os resultados mostram que o desempenho aleatório de leitura e gravação aumentou em mais de 80% quando utilizando o iSER. Leituras/gravações aleatórios chegaram a um total de 180.000 IOPS com somente 12 SSDs numa configuração RAID 10. Houve também um aumento nas velocidades sequenciais de acesso. 
Latência foi reduzida de 0,9 ms para 0,5 ms, melhorando o tempo de resposta quando os aplicativos múltiplos requerem acesso aleatório para o mesmo NAS.

6-3. Cinco VMs com todo armazenamento flash: Desempenho Aleatório de Leitura/Gravação aumentou 60% com iSER para 250.000 IOPS

No teste anterior, cada VM conseguiu ganhar por volta de 36.000 IOPS utilizando o NAS de armazenamento híbrido com Qtier™. Para determinados aplicativos comerciais, tais como servidor SQL, estes resultados precisam ser ainda melhorados. Para explorar posteriormente os benefícios de uso do iSER, nós alteramos o NAS para QNAP TES-3085U. Esse é um NAS de armazenamento todo flash com 30 slots SSD. O NAS foi conectado a cinco máquinas virtuais VMware.

A configuração deste teste não requer Qtier, então, um pool de armazenamento não é mais necessário. Para esse teste os 30 SSDs foram divididos em 5 pools de armazenamento, cada um contendo um iSCSI LUN baseado em bloco. Essa configuração de armazenamento reduz o risco da perda de dados e também aumenta o desempenho, como meta-dado pode ser recuperado independente de cada pool de armazenamento.

Durante os testes, combinamos o desempenho das máquinas virtuais múltiplas para observar o desempenho total da leitura e gravação. O desempenho aleatório de leitura e gravação aumentou mais de 80% com iSER, atingindo um total de 250.000 IOPS. Isso significa que cada VM pode obter até 50.000 IOPS. Esse número excede 30.000 IOPS, que é a recomendação geral para um servidor SQL. Latência foi reduzida para 0,3 ms, comparada a 1,1 ms com iSCSI.

6-4. VJBOD NAS com cache SSD: Desempenho de leitura aumentado em 80% com o iSER

No QTS 4.3.5 e superior, as conexões do VJBOD podem usar o iSER. Para fazer este teste, conectamos dois dispositivos QNAP NAS com as especificações de hardware idênticas usando o VJBOD e, em seguida, testamos o desempenho do disco remoto no NAS host.

Os resultados dos testes mostraram que o uso do iSER aumentou significativamente o desempenho de leitura sequencial e randômico. O desempenho de leitura sequencial aumentou em 72%, o desempenho de leitura randômica aumentou em 89% e a latência randômica aumentou em 41%. Os resultados também mostraram que depois que o iSER foi ativado, os gargalos de desempenho moveram da camada da rede para a camada de armazenamento. Isso significa que adicionar mais SSDs melhora posteriormente o desempenho de gravação.

6-5. Conclusões dos testes

Com iSER, o desempenho aleatório de leitura e gravação de máquinas virtuais múltiplas pode ser aumentado para até 80% e a latência pode ser reduzida para mais ou menos 50%. Esses resultados aplicam-se ao NAS de armazenamento híbrido, ao NAS totalmente flash e ao NAS usado como VJBOD com cache SSD.

A conclusão de nossos testes evidenciam que o iSER pode efetivamente aumentar o desempenho de um QNAP NAS usado como um armazenamento de dados do VMware ESXi ou como um VJBOD por outro QNAP NAS. Quando combinado com o armazenamento SSD, o iSER pode aumentar o desempenho de execução dos aplicativos principais em um cluster de VMware ou em dispositivos QNAP NAS conectados usando o VJBOD.

Adicionar o suporte do iSER ao QTS QNAP, demostra-se inovação e compromisso com a entrega de armazenamento com desempenho rápido para todos os clientes, especialmente para aqueles que tenham problemas com desempenho. No futuro, a QNAP continuará a auxiliar clientes que tenham interesse em usar o iSER e fará testes em diferentes configurações e, posteriormente, publicará os resultados destes testes.