HBv4 sorozatú virtuális gép áttekintése
A következőkre vonatkozik: ✔️ Linux rendszerű virtuális gépek ✔️ Windows rendszerű virtuális gépek Rugalmas méretezési ✔️ csoportok ✔️ Egységes méretezési csoportok
Egy HBv4-sorozatú kiszolgáló 2 * 96 magos EPYC 9V33X processzorral rendelkezik, összesen 192 fizikai "Zen4" maghoz amd 3D-V gyorsítótárral. Az egyidejű többszálúság (SMT) le van tiltva a HBv4-en. Ezek a 192 magok 24 szakaszra vannak osztva (szoftvercsatornánként 12), amelyek mindegyike 8 processzormagot tartalmaz, amelyek egységes hozzáféréssel rendelkeznek a 96 MB L3 gyorsítótárhoz. Az Azure HBv4-kiszolgálók a következő AMD BIOS-beállításokat is futtatják:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Ennek eredményeképpen a kiszolgáló 4 NUMA-tartománnyal (szoftvercsatornánként 2) fut, egyenként 48 magos mérettel. Minden NUMA közvetlen hozzáféréssel rendelkezik a fizikai DRAM 6 csatornájához.
Annak érdekében, hogy az Azure-hipervizor a virtuális gép zavarása nélkül működjön, kiszolgálónként 16 fizikai magot foglalunk le.
Virtuálisgép-topológia
Az alábbi ábrán a kiszolgáló topológiája látható. Ezt a 16 hipervizor gazdagépmagot (sárga) szimmetrikusan tartjuk fenn mindkét CPU-foglalatban, és az első 2 magot az egyes NUMA-tartományok egyes Core Complex Dies -jeiből (CCD-kből) vesszük, a többi magot pedig a HBv4 sorozatú virtuális géphez (zöld).
A CCD-határ eltér egy NUMA-határtól. A HBv4-ben egy hat (6) egymást követő CCD-csoport NUMA-tartományként van konfigurálva, mind a gazdakiszolgáló szintjén, mind a vendég virtuális gépen belül. Így minden HBv4 virtuálisgép-méret 4 egységes NUMA-tartományt tesz elérhetővé, amelyek egy operációs rendszer és alkalmazás számára jelennek meg az alábbiak szerint, amelyek mindegyike különböző számú maggal rendelkezik az adott HBv4 virtuális gép méretétől függően.
Minden HBv4 virtuális gép mérete hasonló az AMD EPYC 9V33X-től eltérő processzor fizikai elrendezésében, funkcióiban és teljesítményében, az alábbiak szerint:
| HBv4 sorozatú virtuális gép mérete | NUMA-tartományok | Magok NUMA-tartományonként | Hasonlóság az AMD EPYC-vel |
|---|---|---|---|
| Standard_HB176rs_v4 | 4 | 44 | Kétcsatornás EPYC 9V33X |
| Standard_HB176-144rs_v4 | 4 | 36 | Kétcsatornás EPYC 9V33X |
| Standard_HB176-96rs_v4 | 4 | 24 | Kétcsatornás EPYC 9V33X |
| Standard_HB176-48rs_v4 | 4 | 12 | Kétcsatornás EPYC 9V33X |
| Standard_HB176-24rs_v4 | 4 | 6 | Kétcsatornás EPYC 9V33X |
Feljegyzés
A korlátozott magok virtuálisgép-méretei csak a virtuális gép számára elérhető fizikai magok számát csökkentik. Minden globális megosztott eszköz (RAM, memória sávszélesség, L3 gyorsítótár, GMI és xGMI-kapcsolat, InfiniBand, Azure Ethernet-hálózat, helyi SSD) állandó marad. Ez lehetővé teszi, hogy az ügyfél egy adott számítási feladathoz vagy szoftverlicenc-igényekhez leginkább szabott virtuálisgép-méretet válasszon.
Az egyes HBv4 virtuálisgép-méretek virtuális NUMA-leképezése a mögöttes fizikai NUMA-topológiához van leképezve. A hardvertopológia nem lehetséges félrevezető absztrakciója.
A különböző HBv4 virtuálisgép-méretek pontos topológiája az alábbi módon jelenik meg az lstopo kimenetével:
lstopo-no-graphics --no-io --no-legend --of txt
Ide kattintva megtekintheti a Standard_HB176rs_v4 lstopo kimenetét
Ide kattintva megtekintheti a Standard_HB176-144rs_v4 lstopo kimenetét
Ide kattintva megtekintheti Standard_HB176-96rs_v4 lstopo kimenetét
Ide kattintva megtekintheti a Standard_HB176-48rs_v4 lstopo kimenetét
Ide kattintva megtekintheti a Standard_HB176-24rs_v4 lstopo kimenetét
InfiniBand hálózatkezelés
A HBv4 virtuális gépek nvidia Mellanox NDR InfiniBand hálózati adapterekkel (ConnectX-7) is rendelkeznek, amely akár 400 Gigabit/s sebességgel is működik. A hálózati adapter SRIOV-on keresztül továbbítja a virtuális gépnek, így a hálózati forgalom megkerülheti a hipervizort. Ennek eredményeképpen az ügyfelek szabványos Mellanox OFED-illesztőprogramokat töltenek be HBv4 virtuális gépekre, mivel azok operációs rendszer nélküli környezetet jelentenek.
A HBv4 virtuális gépek támogatják az adaptív útválasztást, a dinamikus csatlakoztatott átvitelt (DCT, a szabványos RC- és UD-átvitelek mellett), valamint az MPI-kollektívák hardveralapú kiszervezését a ConnectX-7 adapter alaplapi processzorához. Ezek a funkciók javítják az alkalmazások teljesítményét, méretezhetőségét és konzisztenciáját, és használatuk ajánlott.
Ideiglenes tároló
A HBv4 virtuális gépek 3 fizikailag helyi SSD-eszközt is tartalmaznak. Az egyik eszköz előre formázott lapfájlként szolgál, és általános SSD-eszközként jelent meg a virtuális gépen.
Két másik, nagyobb SSD-t nem formázott blokk NVMe-eszközként biztosítanak az NVMeDirecten keresztül. Mivel a blokk NVMe-eszköz áthalad a hipervizoron, nagyobb sávszélességet, nagyobb IOPS-t és kisebb késést biztosít IOP-onként.
Csíkos tömbben párosítva az NVMe SSD legfeljebb 12 GB/s olvasást és 7 GB/s írást, valamint akár 186 000 IOPS-t (olvasást) és 201 000 IOPS-t (írást) biztosít a mély várólista mélységéhez.
Hardverspecifikációk
| Hardverspecifikációk | HBv4 sorozatú virtuális gépek |
|---|---|
| Cores | 176, 144, 96, 48 vagy 24 (SMT letiltva) |
| CPU | AMD EPYC 9V33X |
| CPU-gyakoriság (nem AVX) | 2,4 GHz-es alap, 3,7 GHz-es csúcsnövelés |
| Memory (Memória) | 768 GB (magonkénti RAM a virtuális gép méretétől függ) |
| Helyi lemez | 2 * 1,8 TB NVMe (blokk), 480 GB SSD (oldalfájl) |
| InfiniBand | 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand |
| Network (Hálózat) | 80 Gb/s Ethernet (40 Gb/s használható) Azure második generációs SmartNIC |
Szoftverspecifikációk
| Szoftverspecifikációk | HBv4 sorozatú virtuális gépek |
|---|---|
| MPI-feladatok maximális mérete | 52 800 mag (300 virtuális gép egyetlen virtuálisgép-méretezési csoportban a singlePlacementGroup=true használatával) |
| MPI-támogatás | HPC-X (2.13 vagy újabb), Intel MPI (2021.7.0 vagy újabb), OpenMPI (4.1.3 vagy újabb), MVAPICH2 (2.3.7 vagy újabb), MPICH (4.1 vagy újabb) |
| További keretrendszerek | UCX, libfabric, PGAS vagy egyéb InfiniBand-alapú futtatókörnyezetek |
| Azure Storage-támogatás | Standard és Prémium lemezek (legfeljebb 32 lemez), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre fájlrendszer |
| Támogatott és ellenőrzött operációs rendszer | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Ajánlott operációs rendszer a teljesítményhez | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Orchestrator-támogatás | Azure CycleCloud, Azure Batch, AKS; fürtkonfigurációs beállítások |
Feljegyzés
- Ezek a virtuális gépek csak a 2. generációt támogatják.
- Az AMD hivatalos kernelszintű támogatása AZ RHEL 8.6-os és AlmaLinux 8.6-os verziójával kezdődik, amely az RHEL származéka.
- A Windows Server 2012 R2 nem támogatott a HBv4 és más, 64-nél (virtuális vagy fizikai) magot meghaladó virtuális gépeken. További információ: Windows Serveren futó Hyper-V támogatott Windows-vendég operációs rendszerek. A Windows Server 2022 144 és 176 magmérethez szükséges, a Windows Server 2016 24, 48 és 96 magméretre is használható, a Windows Server csak 24 és 48 magméretre működik.
Fontos
Ajánlott kép URL-címe: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, A rendszerkép Azure CLI-n keresztüli üzembe helyezéséhez győződjön meg arról, hogy a következő paraméterek szerepelnek a csomagban - 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. A skálázási tesztekhez használja az ajánlott URN-t és az új HPC-X tarballt.
Feljegyzés
- Az NDR-támogatás az UCX 1.13 vagy újabb verziójában van hozzáadva. A régebbi UCX-verziók jelentik a fenti futtatókörnyezeti hibát. UCX-hiba: Érvénytelen aktív sebesség
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Az Ibstat alacsony sebességet (SDR) mutat: A régebbi Mellanox OFED (MOFED) verziók nem támogatják az NDR-t, és lassabb IB-sebességet jelenthetnek. Használja az MOFED 5.6-1.0.3.3 vagy újabb verzióit.
Következő lépések
- Az Azure Compute Tech Community blogjaiban tájékozódhat a legújabb bejelentésekről, a HPC számítási feladatokra vonatkozó példáiról és teljesítményeredményeiről.
- A HPC-számítási feladatok futtatásának magasabb szintű architekturális nézetét az Azure nagy teljesítményű számítástechnika (HPC) című témakörben tekintheti meg.