Megosztás a következőn keresztül:


HX sorozatú virtuális gép áttekintése

A következőkre vonatkozik: ✔️ Linux rendszerű virtuális gépek ✔️ Windows rendszerű virtuális gépek Rugalmas méretezési ✔️ csoportok ✔️ Egységes méretezési csoportok

A HX-sorozatú kiszolgálók 2 * 96 magos EPYC 9V33X processzorral rendelkeznek, összesen 192 fizikai "Zen4" maghoz amd 3D-V gyorsítótárral. Az egyidejű többszálúság (SMT) le van tiltva a HX-en. Ezek a 192 magok 24 szakaszra vannak osztva (szoftvercsatornánként 12), amelyek mindegyike 8 processzormagot tartalmaz, amelyek egységes hozzáféréssel rendelkeznek a 96 MB L3 gyorsítótárhoz. Az Azure HX-kiszolgálók a következő AMD BIOS-beállításokat is futtatják:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Ennek eredményeképpen a kiszolgáló 4 NUMA-tartománnyal (szoftvercsatornánként 2) fut, egyenként 48 magos mérettel. Minden NUMA közvetlen hozzáféréssel rendelkezik a fizikai DRAM 6 csatornájához.

Annak érdekében, hogy az Azure-hipervizor a virtuális gép zavarása nélkül működjön, kiszolgálónként 16 fizikai magot foglalunk le.

Virtuálisgép-topológia

Az alábbi ábrán a kiszolgáló topológiája látható. Ezt a 16 hipervizor gazdagépmagot (sárga) szimmetrikusan tartjuk fenn mindkét CPU-foglalatban, és az első 2 magot az egyes NUMA-tartományok egyes Core Complex Dies -jeiből (CCD-kből) vesszük, a többi magot pedig a HX sorozatú virtuális géphez (zöld).

Képernyőkép a HX-sorozatú kiszolgálótopológiáról.

A CCD-határ eltér egy NUMA-határtól. HX esetén a hat (6) egymást követő CCD-kből álló csoport NUMA-tartományként van konfigurálva mind a gazdagépkiszolgáló szintjén, mind a vendég virtuális gépen belül. Így minden HX virtuálisgép-méret 4 egységes NUMA-tartományt tesz elérhetővé, amelyek az alábbiak szerint jelennek meg egy operációs rendszer és alkalmazás számára, amelyek mindegyike különböző számú maggal rendelkezik az adott HX virtuális gép méretétől függően.

Képernyőkép a HX sorozatú virtuálisgép-topológiáról.

Minden HX virtuális gép mérete hasonló az AMD EPYC 9004 sorozattól eltérő processzor fizikai elrendezésében, funkcióiban és teljesítményében, az alábbiak szerint:

HX sorozatú virtuális gép mérete NUMA-tartományok Magok NUMA-tartományonként Hasonlóság az AMD EPYC-vel
Standard_HX176rs 4 44 Kétcsatornás EPYC 9V33X
Standard_HX176-144rs 4 36 Kétcsatornás EPYC 9V33X
Standard_HX176-96rs 4 24 Kétcsatornás EPYC 9V33X
Standard_HX176-48rs 4 12 Kétcsatornás EPYC 9V33X
Standard_HX176-24rs 4 6 Kétcsatornás EPYC 9V33X

Feljegyzés

A korlátozott magok virtuálisgép-méretei csak a virtuális gép számára elérhető fizikai magok számát csökkentik. Minden globális megosztott eszköz (RAM, memória sávszélesség, L3 gyorsítótár, GMI és xGMI-kapcsolat, InfiniBand, Azure Ethernet-hálózat, helyi SSD) állandó marad. Ez lehetővé teszi, hogy az ügyfél egy adott számítási feladathoz vagy szoftverlicenc-igényekhez leginkább szabott virtuálisgép-méretet válasszon.

Az egyes HX virtuálisgép-méretek virtuális NUMA-leképezése a mögöttes fizikai NUMA-topológiához van leképezve. A hardvertopológia nem lehetséges félrevezető absztrakciója.

A különböző HX virtuálisgép-méretek pontos topológiája az alábbi módon jelenik meg az lstopo kimenetével:

lstopo-no-graphics --no-io --no-legend --of txt

Ide kattintva megtekintheti a Standard_HX176rs lstopo kimenetét

Lstopo kimenet HX-176 virtuális géphez

Ide kattintva megtekintheti a Standard_HX176-144rs lstopo kimenetét

Lstopo kimenet HX-144 rendszerű virtuális géphez

Ide kattintva megtekintheti a Standard_HX176-96rs lstopo kimenetét

Lstopo kimenet HX-96 virtuális géphez

Ide kattintva megtekintheti a Standard_HX176-48rs lstopo kimenetét

Lstopo kimenet HX-48 virtuális géphez

Ide kattintva megtekintheti a Standard_HX176-24rs lstopo kimenetét

Lstopo kimenet HX-24 virtuális géphez

InfiniBand hálózatkezelés

A HX virtuális gépek nvidia Mellanox NDR InfiniBand hálózati adapterekkel (ConnectX-7) is rendelkeznek, amely akár 400 Gigabit/s sebességgel is működik. A hálózati adapter SRIOV-on keresztül továbbítja a virtuális gépnek, így a hálózati forgalom megkerülheti a hipervizort. Ennek eredményeképpen az ügyfelek szabványos Mellanox OFED-illesztőprogramokat töltenek be HX virtuális gépekre, mivel azok egy operációs rendszer nélküli környezetet jelentenek.

A HX virtuális gépek támogatják az adaptív útválasztást, a dinamikus csatlakoztatott átvitelt (DCT, a szabványos RC- és UD-átvitelek mellett), valamint az MPI-kollektívák hardveralapú kiszervezését a ConnectX-7 adapter alaplapi processzorához. Ezek a funkciók javítják az alkalmazások teljesítményét, méretezhetőségét és konzisztenciáját, és használatuk ajánlott.

Ideiglenes tároló

A HX virtuális gépek 3 fizikailag helyi SSD-eszközt is támogatnak. Az egyik eszköz előre formázott lapfájlként szolgál, és általános SSD-eszközként jelent meg a virtuális gépen.

Két másik, nagyobb SSD-t nem formázott blokk NVMe-eszközként biztosítanak az NVMeDirecten keresztül. Mivel a blokk NVMe-eszköz áthalad a hipervizoron, nagyobb sávszélességet, nagyobb IOPS-t és kisebb késést biztosít IOP-onként.

Csíkos tömbben párosítva az NVMe SSD legfeljebb 12 GB/s olvasást és 7 GB/s írást, valamint akár 186 000 IOPS-t (olvasást) és 201 000 IOPS-t (írást) biztosít a mély várólista mélységéhez.

Hardverspecifikációk

Hardverspecifikációk HX sorozatú virtuális gépek
Cores 176, 144, 96, 48 vagy 24 (SMT letiltva)
CPU AMD EPYC 9V33X
CPU-gyakoriság (nem AVX) 2,4 GHz-es alap, 3,7 GHz-es csúcsnövelés
Memory (Memória) 1,4 TB (magonkénti RAM a virtuális gép méretétől függ)
Helyi lemez 2 * 1,8 TB NVMe (blokk), 480 GB SSD (oldalfájl)
InfiniBand 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand
Network (Hálózat) 80 Gb/s Ethernet (40 Gb/s használható) Azure második generációs SmartNIC

Szoftverspecifikációk

Szoftverspecifikációk HX sorozatú virtuális gépek
MPI-feladatok maximális mérete 52 800 mag (300 virtuális gép egyetlen virtuálisgép-méretezési csoportban a singlePlacementGroup=true használatával)
MPI-támogatás HPC-X (2.13 vagy újabb), Intel MPI (2021.7.0 vagy újabb), OpenMPI (4.1.3 vagy újabb), MVAPICH2 (2.3.7 vagy újabb), MPICH (4.1 vagy újabb)
További keretrendszerek UCX, libfabric, PGAS vagy egyéb InfiniBand-alapú futtatókörnyezetek
Azure Storage-támogatás Standard és Prémium lemezek (legfeljebb 32 lemez), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre fájlrendszer
Támogatott és ellenőrzött operációs rendszer AlmaLinux 8.6, 8.7, Ubuntu 20.04+
Ajánlott operációs rendszer a teljesítményhez AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+
Orchestrator-támogatás Azure CycleCloud, Azure Batch, AKS; fürtkonfigurációs beállítások

Feljegyzés

  • Ezek a virtuális gépek csak a 2. generációt támogatják.
  • Az AMD hivatalos kernelszintű támogatása AZ RHEL 8.6-os és AlmaLinux 8.6-os verziójával kezdődik, amely az RHEL származéka.
  • A Windows Server 2012 R2 nem támogatott a 64-nél több (virtuális vagy fizikai) maggal rendelkező HX és más virtuális gépeken. További információ: Windows Serveren futó Hyper-V támogatott Windows-vendég operációs rendszerek. A Windows Server 2022 144 és 176 magmérethez szükséges, a Windows Server 2016 24, 48 és 96 magméretre is használható, a Windows Server csak 24 és 48 magméretre működik.

Fontos

Ajánlott kép URL-címe: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, A rendszerkép Azure CLI-n keresztüli üzembe helyezéséhez győződjön meg arról, hogy a következő paraméterek szerepelnek a csomagban - 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. A skálázási tesztekhez használja az ajánlott URN-t és az új HPC-X tarballt.

Feljegyzés

  • Az NDR-támogatás az UCX 1.13 vagy újabb verziójában van hozzáadva. A régebbi UCX-verziók jelentik a fenti futtatókörnyezeti hibát. UCX-hiba: Érvénytelen aktív sebesség [1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128.
  • Az Ibstat alacsony sebességet (SDR) mutat: A régebbi Mellanox OFED (MOFED) verziók nem támogatják az NDR-t, és lassabb IB-sebességet jelenthetnek. Használja az MOFED 5.6-1.0.3.3 vagy újabb verzióit.

Következő lépések