Partilhar via


Visão geral da máquina virtual da série HBv4

Aplica-se a: ✔️ VMs ✔️ Linux VMs ✔️ do Windows Conjuntos ✔️ de escala flexíveis Conjuntos de balanças uniformes

Um servidor da série HBv4 possui 2 * CPUs EPYC 9V33X de 96 núcleos para um total de 192 núcleos físicos "Zen4" com cache AMD 3D-V. Multithreading simultâneo (SMT) está desativado no HBv4. Esses 192 núcleos são divididos em 24 seções (12 por soquete), cada seção contendo 8 núcleos de processador com acesso uniforme a um cache L3 de 96 MB. Os servidores HBv4 do Azure também executam as seguintes configurações do AMD BIOS:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Como resultado, o servidor inicializa com 4 domínios NUMA (2 por soquete) cada um com 48 núcleos de tamanho. Cada NUMA tem acesso direto a 6 canais de DRAM física.

Para fornecer espaço para o hipervisor do Azure operar sem interferir com a VM, reservamos 16 núcleos físicos por servidor.

Topologia de VM

O diagrama a seguir mostra a topologia do servidor. Reservamos esses 16 núcleos de host do hipervisor (amarelo) simetricamente em ambos os soquetes de CPU, tomando os primeiros 2 núcleos de CCDs (Core Complex Dies) específicos em cada domínio NUMA, com os núcleos restantes para a VM da série HBv4 (verde).

Captura de tela da topologia do servidor HBv4-series

O limite CCD é diferente de um limite NUMA. No HBv4, um grupo de seis (6) CCDs consecutivos é configurado como um domínio NUMA, tanto no nível do servidor host quanto em uma VM convidada. Assim, todos os tamanhos de VM HBv4 expõem 4 domínios NUMA uniformes que aparecem para um sistema operacional e aplicativo, conforme mostrado abaixo, cada um com um número diferente de núcleos, dependendo do tamanho específico da VM HBv4.

Captura de tela da topologia de VM da série HBv4

Cada tamanho de VM HBv4 é semelhante em layout físico, recursos e desempenho de uma CPU diferente da AMD EPYC 9V33X, da seguinte maneira:

Tamanho da VM da série HBv4 Domínios NUMA Núcleos por domínio NUMA Semelhança com AMD EPYC
Standard_HB176rs_v4 4 44 EPYC 9V33X de soquete duplo
Standard_HB176-144rs_v4 4 36 EPYC 9V33X de soquete duplo
Standard_HB176-96rs_v4 4 24 EPYC 9V33X de soquete duplo
Standard_HB176-48rs_v4 4 12 EPYC 9V33X de soquete duplo
Standard_HB176-24rs_v4 4 6 EPYC 9V33X de soquete duplo

Nota

Os tamanhos de VM de núcleos restritos reduzem apenas o número de núcleos físicos expostos à VM. Todos os ativos compartilhados globais (RAM, largura de banda de memória, cache L3, conectividade GMI e xGMI, InfiniBand, rede Ethernet do Azure, SSD local) permanecem constantes. Isso permite que um cliente escolha um tamanho de VM mais adequado a um determinado conjunto de necessidades de carga de trabalho ou licenciamento de software.

O mapeamento NUMA virtual de cada tamanho de VM HBv4 é mapeado para a topologia NUMA física subjacente. Não há nenhuma abstração enganosa potencial da topologia de hardware.

A topologia exata para os vários tamanhos de VM HBv4 aparece da seguinte forma usando a saída de lstopo:

lstopo-no-graphics --no-io --no-legend --of txt

Clique para ver a saída lstopo para Standard_HB176rs_v4

saída lstopo para VM HBv4-176

Clique para visualizar a saída lstopo para Standard_HB176-144rs_v4

saída lstopo para VM HBv4-144

Clique para visualizar a saída lstopo para Standard_HB176-96rs_v4

saída lstopo para VM HBv4-64

Clique para visualizar a saída lstopo para Standard_HB176-48rs_v4

saída lstopo para VM HBv4-32

Clique para visualizar a saída lstopo para Standard_HB176-24rs_v4

saída lstopo para VM HBv4-24

Rede InfiniBand

As VMs HBv4 também apresentam adaptadores de rede NVIDIA Mellanox NDR InfiniBand (ConnectX-7) operando a até 400 Gigabits/seg. A NIC é passada para a VM via SRIOV, permitindo que o tráfego de rede ignore o hipervisor. Como resultado, os clientes carregam drivers padrão Mellanox OFED em VMs HBv4 como se fossem um ambiente bare metal.

As VMs HBv4 suportam Roteamento Adaptativo, Transporte Conectado Dinâmico (DCT, além dos transportes RC e UD padrão) e descarga baseada em hardware de coletivos MPI para o processador integrado do adaptador ConnectX-7. Esses recursos melhoram o desempenho, a escalabilidade e a consistência do aplicativo, e o uso deles é recomendado.

Armazenamento temporário

As VMs HBv4 apresentam 3 dispositivos SSD fisicamente locais. Um dispositivo é pré-formatado para servir como um arquivo de paginação e apareceu em sua VM como um dispositivo "SSD" genérico.

Dois outros SSDs maiores são fornecidos como dispositivos NVMe de bloco não formatados via NVMeDirect. Como o dispositivo NVMe de bloco ignora o hipervisor, ele tem maior largura de banda, IOPS mais alta e menor latência por IOP.

Quando emparelhado em uma matriz distribuída, o SSD NVMe fornece até 12 GB/s de leitura e 7 GB/s de gravação, e até 186.000 IOPS (leituras) e 201.000 IOPS (gravações) para profundidades de fila profundas.

Especificações de hardware

Especificações de hardware VMs da série HBv4
Núcleos 176, 144, 96, 48 ou 24 (SMT desativado)
CPU AMD EPYC 9V33X
Freqüência da CPU (não-AVX) Base de 2,4 GHz, aumento de pico de 3,7 GHz
Memória 768 GB (RAM por núcleo depende do tamanho da VM)
Disco Local 2 * NVMe de 1,8 TB (bloco), SSD de 480 GB (arquivo de página)
InfiniBand 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand
Rede Ethernet de 80 Gb/s (40 Gb/s utilizável) SmartNIC de segunda geração do Azure

Especificações de software

Especificações de software VMs da série HBv4
Tamanho máximo do trabalho MPI 52.800 núcleos (300 VMs em um único conjunto de escala de máquina virtual com singlePlacementGroup=true)
Suporte MPI HPC-X (2.13 ou superior), Intel MPI (2021.7.0 ou superior), OpenMPI (4.1.3 ou superior), MVAPICH2 (2.3.7 ou superior), MPICH (4.1 ou superior)
Estruturas adicionais UCX, libfabric, PGAS ou outros tempos de execução baseados em InfiniBand
Suporte de armazenamento do Azure Discos Standard e Premium (máximo 32 discos), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre File System
SO suportado e validado AlmaLinux 8.6, 8.7, Ubuntu 20.04+
SO recomendado para desempenho AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+
Suporte ao Orchestrator Azure CycleCloud, Azure Batch, AKS; Opções de configuração de cluster

Nota

  • Essas VMs suportam apenas a Geração 2.
  • O suporte oficial em nível de kernel da AMD começa com RHEL 8.6 e AlmaLinux 8.6, que é um derivado do RHEL.
  • O Windows Server 2012 R2 não é suportado no HBv4 e em outras VMs com mais de 64 núcleos (virtuais ou físicos). Para obter mais informações, consulte Sistemas operacionais convidados Windows suportados para Hyper-V no Windows Server. O Windows Server 2022 é necessário para tamanhos de 144 e 176 núcleos, o Windows Server 2016 também funciona para tamanhos de 24, 48 e 96 núcleos, o Windows Server funciona para apenas tamanhos de 24 e 48 núcleos.

Importante

Imagem recomendada URN: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Para implantar esta imagem na CLI do Azure, verifique se os seguintes parâmetros estão incluídos --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Para testes de escala, utilize a URN recomendada juntamente com o novo tarball HPC-X.

Nota

  • O suporte a NDR é adicionado no UCX 1.13 ou posterior. Versões mais antigas do UCX relatarão o erro de tempo de execução acima. Erro UCX: velocidade ativa [1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128inválida.
  • Ibstat mostra baixa velocidade (SDR): Versões mais antigas do Mellanox OFED (MOFED) não suportam NDR e podem relatar velocidades IB mais lentas. Por favor, use as versões MOFED MOFED 5.6-1.0.3.3 ou superior.

Próximos passos

  • Leia sobre os anúncios mais recentes, exemplos de carga de trabalho HPC e resultados de desempenho nos Blogs da Comunidade de Tecnologia de Computação do Azure.
  • Para obter uma exibição de arquitetura de nível superior da execução de cargas de trabalho HPC, consulte Computação de alto desempenho (HPC) no Azure.