Overzicht van virtuele machines uit de HBv4-serie
Van toepassing op: ✔️ Virtuele Linux-machines voor Windows-VM's ✔️ ✔️ Flexibele schaalsets Uniform-schaalsets ✔️
Een HBv4-serie server beschikt over 2 * 96-core EPYC 9V33X-CPU's voor in totaal 192 fysieke "Zen4"-kernen met AMD 3D-V Cache. Gelijktijdige Multithreading (SMT) is uitgeschakeld op HBv4. Deze 192 kernen zijn onderverdeeld in 24 secties (12 per socket), elke sectie met 8 processorkernen met uniforme toegang tot een L3-cache van 96 MB. Azure HBv4-servers voeren ook de volgende AMD BIOS-instellingen uit:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Als gevolg hiervan wordt de server opgestart met 4 NUMA-domeinen (2 per socket) elke 48 kernen in grootte. Elke NUMA heeft directe toegang tot 6 kanalen van fysieke DRAM.
Om de Azure-hypervisor ruimte te bieden om te werken zonder de VM te verstoren, reserveren we 16 fysieke kernen per server.
VM-topologie
In het volgende diagram ziet u de topologie van de server. We reserveren deze 16 hypervisorhostkernen (geel) symmetrisch over beide CPU-sockets, waarbij de eerste 2 kernen van specifieke Core Complex Dies (CCD's) in elk NUMA-domein worden gebruikt, met de resterende kernen voor de VM uit de HBv4-serie (groen).
De CCD-grens verschilt van een NUMA-grens. Op HBv4 wordt een groep van zes (6) opeenvolgende CCD's geconfigureerd als een NUMA-domein, zowel op hostserverniveau als binnen een gast-VM. Alle HBv4 VM-grootten maken dus 4 uniforme NUMA-domeinen beschikbaar die lijken op een besturingssysteem en toepassing, zoals hieronder wordt weergegeven, elk met een verschillend aantal kernen, afhankelijk van de specifieke HBv4-VM-grootte.
Elke HBv4 VM-grootte is vergelijkbaar in de fysieke indeling, functies en prestaties van een andere CPU dan de AMD EPYC 9V33X, als volgt:
| VM-grootte van de HBv4-serie | NUMA-domeinen | Kernen per NUMA-domein | Gelijkenis met AMD EPYC |
|---|---|---|---|
| Standard_HB176rs_v4 | 4 | 44 | Dubbele socket EPYC 9V33X |
| Standard_HB176-144rs_v4 | 4 | 36 | Dubbele socket EPYC 9V33X |
| Standard_HB176-96rs_v4 | 4 | 24 | Dubbele socket EPYC 9V33X |
| Standard_HB176-48rs_v4 | 4 | 12 | Dubbele socket EPYC 9V33X |
| Standard_HB176-24rs_v4 | 4 | 6 | Dubbele socket EPYC 9V33X |
Notitie
De VM-grootten met beperkte kernen verminderen alleen het aantal fysieke kernen dat aan de VIRTUELE machine wordt blootgesteld. Alle globale gedeelde assets (RAM, geheugenbandbreedte, L3-cache, GMI- en xGMI-connectiviteit, InfiniBand, Azure Ethernet-netwerk, lokale SSD) blijven constant. Hierdoor kan een klant een VM-grootte kiezen die het beste is afgestemd op een bepaalde set workload- of softwarelicentiebehoeften.
De virtuele NUMA-toewijzing van elke HBv4-VM-grootte wordt toegewezen aan de onderliggende fysieke NUMA-topologie. Er is geen potentiële misleidende abstractie van de hardwaretopologie.
De exacte topologie voor de verschillende HBv4 VM-grootte wordt als volgt weergegeven met behulp van de uitvoer van lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Klik hier om lstopo-uitvoer weer te geven voor Standard_HB176rs_v4
Klik hier om lstopo-uitvoer weer te geven voor Standard_HB176-144rs_v4
Klik hier om lstopo-uitvoer weer te geven voor Standard_HB176-96rs_v4
Klik om lstopo-uitvoer weer te geven voor Standard_HB176-48rs_v4
Klik om lstopo-uitvoer weer te geven voor Standard_HB176-24rs_v4
InfiniBand-netwerken
HBv4-VM's bevatten ook NVIDIA Mellanox NDR InfiniBand-netwerkadapters (ConnectX-7) die tot 400 Gigabits/sec werken. De NIC wordt via SRIOV doorgegeven aan de virtuele machine, waardoor netwerkverkeer de hypervisor kan omzeilen. Als gevolg hiervan laden klanten standaard Mellanox OFED-stuurprogramma's op HBv4-VM's, net zoals ze een bare-metalomgeving zouden zijn.
HBv4-VM's ondersteunen adaptieve routering, dynamisch verbonden transport (DCT, naast de standaard RC- en UD-transporten) en hardwaregebaseerde offload van MPI-collectieven naar de onboardprocessor van de ConnectX-7-adapter. Deze functies verbeteren de prestaties, schaalbaarheid en consistentie van toepassingen en het gebruik ervan wordt aanbevolen.
Tijdelijke opslag
HBv4-VM's hebben 3 fysiek lokale SSD-apparaten. Eén apparaat is vooraf opgemaakt om te fungeren als een paginabestand en het werd weergegeven in uw VIRTUELE machine als een algemeen SSD-apparaat.
Twee andere grotere SCHIJVEN worden geleverd als niet-opgemaakte BLOK-NVMe-apparaten via NVMeDirect. Omdat het BLOK NVMe-apparaat de hypervisor omzeilt, heeft het een hogere bandbreedte, hogere IOPS en lagere latentie per IOP.
Wanneer de NVMe SSD is gekoppeld in een gestreepte matrix, biedt de NVMe SSD maximaal 12 GB/s leesbewerkingen en 7 GB/s-schrijfbewerkingen en maximaal 186.000 IOPS (leesbewerkingen) en 201.000 IOPS (schrijfbewerkingen) voor uitgebreide wachtrijdiepten.
Hardwarespecificaties
| Hardwarespecificaties | VM's uit de HBv4-serie |
|---|---|
| Kernen | 176, 144, 96, 48 of 24 (SMT uitgeschakeld) |
| CPU | AMD EPYC 9V33X |
| CPU-frequentie (niet-AVX) | 2,4 GHz basis, 3,7 GHz piek boost |
| Geheugen | 768 GB (RAM per kern is afhankelijk van vm-grootte) |
| Lokale schijf | 2 * 1,8 TB NVMe (blok), 480 GB SSD (paginabestand) |
| InfiniBand | 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand |
| Netwerk | 80 Gb/s Ethernet (40 Gb/s bruikbaar) Azure second Gen SmartNIC |
Softwarespecificaties
| Softwarespecificaties | VM's uit de HBv4-serie |
|---|---|
| Maximale MPI-taakgrootte | 52.800 kernen (300 VM's in één virtuele-machineschaalset met singlePlacementGroup=true) |
| MPI-ondersteuning | HPC-X (2.13 of hoger), Intel MPI (2021.7.0 of hoger), OpenMPI (4.1.3 of hoger), MVAPICH2 (2.3.7 of hoger), MPICH (4.1 of hoger) |
| Aanvullende frameworks | UCX, libfabric, PGAS of andere op InfiniBand gebaseerde runtimes |
| Ondersteuning voor Azure Storage | Standard- en Premium-schijven (maximaal 32 schijven), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre File System |
| Ondersteund en gevalideerd besturingssysteem | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Aanbevolen besturingssysteem voor prestaties | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Orchestrator-ondersteuning | Azure CycleCloud, Azure Batch, AKS; opties voor clusterconfiguratie |
Notitie
- Deze VM's ondersteunen alleen generatie 2.
- Officiële ondersteuning op kernelniveau van AMD begint met RHEL 8.6 en AlmaLinux 8.6, een afgeleide van RHEL.
- Windows Server 2012 R2 wordt niet ondersteund op HBv4 en andere VM's met meer dan 64 (virtuele of fysieke) kernen. Zie Ondersteunde Windows-gastbesturingssystemen voor Hyper-V op Windows Server voor meer informatie. Windows Server 2022 is vereist voor 144 en 176 kerngrootten, Windows Server 2016 werkt ook voor 24, 48 en 96 kerngrootten, Windows Server werkt voor slechts 24 en 48 kerngrootten.
Belangrijk
Aanbevolen afbeelding URN: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, zorg ervoor dat de volgende parameters zijn opgenomen --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux-hpc --publisher almalinux. Gebruik voor het schalen van tests de aanbevolen URN samen met de nieuwe HPC-X tarball.
Notitie
- NDR-ondersteuning wordt toegevoegd in UCX 1.13 of hoger. Oudere UCX-versies rapporteren de bovenstaande runtimefout. UCX-fout: ongeldige actieve snelheid
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Ibstat toont lage snelheid (SDR): Oudere Mellanox OFED-versies (MOFED) bieden geen ondersteuning voor NDR en het kan tragere IB-snelheden rapporteren. Gebruik MOFED-versies MOFED 5.6-1.0.3.3 of hoger.
Volgende stappen
- Lees meer over de nieuwste aankondigingen, voorbeelden van HPC-werkbelastingen en prestatieresultaten in de Blogs van de Azure Compute Tech Community.
- Zie High Performance Computing (HPC) op Azure voor een gedetailleerdere architectuurweergave van HPC-workloads die worden uitgevoerd.