HX sorozatú virtuális gép áttekintése
A következőkre vonatkozik: ✔️ Linux rendszerű virtuális gépek ✔️ Windows rendszerű virtuális gépek Rugalmas méretezési ✔️ csoportok ✔️ Egységes méretezési csoportok
A HX-sorozatú kiszolgálók 2 * 96 magos EPYC 9V33X processzorral rendelkeznek, összesen 192 fizikai "Zen4" maghoz amd 3D-V gyorsítótárral. Az egyidejű többszálúság (SMT) le van tiltva a HX-en. Ezek a 192 magok 24 szakaszra vannak osztva (szoftvercsatornánként 12), amelyek mindegyike 8 processzormagot tartalmaz, amelyek egységes hozzáféréssel rendelkeznek a 96 MB L3 gyorsítótárhoz. Az Azure HX-kiszolgálók a következő AMD BIOS-beállításokat is futtatják:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Ennek eredményeképpen a kiszolgáló 4 NUMA-tartománnyal (szoftvercsatornánként 2) fut, egyenként 48 magos mérettel. Minden NUMA közvetlen hozzáféréssel rendelkezik a fizikai DRAM 6 csatornájához.
Annak érdekében, hogy az Azure-hipervizor a virtuális gép zavarása nélkül működjön, kiszolgálónként 16 fizikai magot foglalunk le.
Virtuálisgép-topológia
Az alábbi ábrán a kiszolgáló topológiája látható. Ezt a 16 hipervizor gazdagépmagot (sárga) szimmetrikusan tartjuk fenn mindkét CPU-foglalatban, és az első 2 magot az egyes NUMA-tartományok egyes Core Complex Dies -jeiből (CCD-kből) vesszük, a többi magot pedig a HX sorozatú virtuális géphez (zöld).
A CCD-határ eltér egy NUMA-határtól. HX esetén a hat (6) egymást követő CCD-kből álló csoport NUMA-tartományként van konfigurálva mind a gazdagépkiszolgáló szintjén, mind a vendég virtuális gépen belül. Így minden HX virtuálisgép-méret 4 egységes NUMA-tartományt tesz elérhetővé, amelyek az alábbiak szerint jelennek meg egy operációs rendszer és alkalmazás számára, amelyek mindegyike különböző számú maggal rendelkezik az adott HX virtuális gép méretétől függően.
Minden HX virtuális gép mérete hasonló az AMD EPYC 9004 sorozattól eltérő processzor fizikai elrendezésében, funkcióiban és teljesítményében, az alábbiak szerint:
| HX sorozatú virtuális gép mérete | NUMA-tartományok | Magok NUMA-tartományonként | Hasonlóság az AMD EPYC-vel |
|---|---|---|---|
| Standard_HX176rs | 4 | 44 | Kétcsatornás EPYC 9V33X |
| Standard_HX176-144rs | 4 | 36 | Kétcsatornás EPYC 9V33X |
| Standard_HX176-96rs | 4 | 24 | Kétcsatornás EPYC 9V33X |
| Standard_HX176-48rs | 4 | 12 | Kétcsatornás EPYC 9V33X |
| Standard_HX176-24rs | 4 | 6 | Kétcsatornás EPYC 9V33X |
Feljegyzés
A korlátozott magok virtuálisgép-méretei csak a virtuális gép számára elérhető fizikai magok számát csökkentik. Minden globális megosztott eszköz (RAM, memória sávszélesség, L3 gyorsítótár, GMI és xGMI-kapcsolat, InfiniBand, Azure Ethernet-hálózat, helyi SSD) állandó marad. Ez lehetővé teszi, hogy az ügyfél egy adott számítási feladathoz vagy szoftverlicenc-igényekhez leginkább szabott virtuálisgép-méretet válasszon.
Az egyes HX virtuálisgép-méretek virtuális NUMA-leképezése a mögöttes fizikai NUMA-topológiához van leképezve. A hardvertopológia nem lehetséges félrevezető absztrakciója.
A különböző HX virtuálisgép-méretek pontos topológiája az alábbi módon jelenik meg az lstopo kimenetével:
lstopo-no-graphics --no-io --no-legend --of txt
Ide kattintva megtekintheti a Standard_HX176rs lstopo kimenetét
Ide kattintva megtekintheti a Standard_HX176-144rs lstopo kimenetét
Ide kattintva megtekintheti a Standard_HX176-96rs lstopo kimenetét
Ide kattintva megtekintheti a Standard_HX176-48rs lstopo kimenetét
Ide kattintva megtekintheti a Standard_HX176-24rs lstopo kimenetét
InfiniBand hálózatkezelés
A HX virtuális gépek nvidia Mellanox NDR InfiniBand hálózati adapterekkel (ConnectX-7) is rendelkeznek, amely akár 400 Gigabit/s sebességgel is működik. A hálózati adapter SRIOV-on keresztül továbbítja a virtuális gépnek, így a hálózati forgalom megkerülheti a hipervizort. Ennek eredményeképpen az ügyfelek szabványos Mellanox OFED-illesztőprogramokat töltenek be HX virtuális gépekre, mivel azok egy operációs rendszer nélküli környezetet jelentenek.
A HX virtuális gépek támogatják az adaptív útválasztást, a dinamikus csatlakoztatott átvitelt (DCT, a szabványos RC- és UD-átvitelek mellett), valamint az MPI-kollektívák hardveralapú kiszervezését a ConnectX-7 adapter alaplapi processzorához. Ezek a funkciók javítják az alkalmazások teljesítményét, méretezhetőségét és konzisztenciáját, és használatuk ajánlott.
Ideiglenes tároló
A HX virtuális gépek 3 fizikailag helyi SSD-eszközt is támogatnak. Az egyik eszköz előre formázott lapfájlként szolgál, és általános SSD-eszközként jelent meg a virtuális gépen.
Két másik, nagyobb SSD-t nem formázott blokk NVMe-eszközként biztosítanak az NVMeDirecten keresztül. Mivel a blokk NVMe-eszköz áthalad a hipervizoron, nagyobb sávszélességet, nagyobb IOPS-t és kisebb késést biztosít IOP-onként.
Csíkos tömbben párosítva az NVMe SSD legfeljebb 12 GB/s olvasást és 7 GB/s írást, valamint akár 186 000 IOPS-t (olvasást) és 201 000 IOPS-t (írást) biztosít a mély várólista mélységéhez.
Hardverspecifikációk
| Hardverspecifikációk | HX sorozatú virtuális gépek |
|---|---|
| Cores | 176, 144, 96, 48 vagy 24 (SMT letiltva) |
| CPU | AMD EPYC 9V33X |
| CPU-gyakoriság (nem AVX) | 2,4 GHz-es alap, 3,7 GHz-es csúcsnövelés |
| Memory (Memória) | 1,4 TB (magonkénti RAM a virtuális gép méretétől függ) |
| Helyi lemez | 2 * 1,8 TB NVMe (blokk), 480 GB SSD (oldalfájl) |
| InfiniBand | 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand |
| Network (Hálózat) | 80 Gb/s Ethernet (40 Gb/s használható) Azure második generációs SmartNIC |
Szoftverspecifikációk
| Szoftverspecifikációk | HX sorozatú virtuális gépek |
|---|---|
| MPI-feladatok maximális mérete | 52 800 mag (300 virtuális gép egyetlen virtuálisgép-méretezési csoportban a singlePlacementGroup=true használatával) |
| MPI-támogatás | HPC-X (2.13 vagy újabb), Intel MPI (2021.7.0 vagy újabb), OpenMPI (4.1.3 vagy újabb), MVAPICH2 (2.3.7 vagy újabb), MPICH (4.1 vagy újabb) |
| További keretrendszerek | UCX, libfabric, PGAS vagy egyéb InfiniBand-alapú futtatókörnyezetek |
| Azure Storage-támogatás | Standard és Prémium lemezek (legfeljebb 32 lemez), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre fájlrendszer |
| Támogatott és ellenőrzött operációs rendszer | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Ajánlott operációs rendszer a teljesítményhez | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Orchestrator-támogatás | Azure CycleCloud, Azure Batch, AKS; fürtkonfigurációs beállítások |
Feljegyzés
- Ezek a virtuális gépek csak a 2. generációt támogatják.
- Az AMD hivatalos kernelszintű támogatása AZ RHEL 8.6-os és AlmaLinux 8.6-os verziójával kezdődik, amely az RHEL származéka.
- A Windows Server 2012 R2 nem támogatott a 64-nél több (virtuális vagy fizikai) maggal rendelkező HX és más virtuális gépeken. További információ: Windows Serveren futó Hyper-V támogatott Windows-vendég operációs rendszerek. A Windows Server 2022 144 és 176 magmérethez szükséges, a Windows Server 2016 24, 48 és 96 magméretre is használható, a Windows Server csak 24 és 48 magméretre működik.
Fontos
Ajánlott kép URL-címe: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, A rendszerkép Azure CLI-n keresztüli üzembe helyezéséhez győződjön meg arról, hogy a következő paraméterek szerepelnek a csomagban - 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. A skálázási tesztekhez használja az ajánlott URN-t és az új HPC-X tarballt.
Feljegyzés
- Az NDR-támogatás az UCX 1.13 vagy újabb verziójában van hozzáadva. A régebbi UCX-verziók jelentik a fenti futtatókörnyezeti hibát. UCX-hiba: Érvénytelen aktív sebesség
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Az Ibstat alacsony sebességet (SDR) mutat: A régebbi Mellanox OFED (MOFED) verziók nem támogatják az NDR-t, és lassabb IB-sebességet jelenthetnek. Használja az MOFED 5.6-1.0.3.3 vagy újabb verzióit.
Következő lépések
- Az Azure Compute Tech Community blogjaiban tájékozódhat a legújabb bejelentésekről, a HPC számítási feladatokra vonatkozó példáiról és teljesítményeredményeiről.
- A HPC-számítási feladatok futtatásának magasabb szintű architekturális nézetét az Azure nagy teljesítményű számítástechnika (HPC) című témakörben tekintheti meg.