Azure HPC virtuálisgép-rendszerképek

A következőkre vonatkozik: ✔️ Linux rendszerű virtuális gépek ✔️ Rugalmas méretezési csoportok ✔️ Egységes méretezési csoportok

Ez a cikk az InfiniBand-kompatibilis H sorozatú és GPU-kompatibilis N sorozatú virtuális gépek elindításához használandó HPC virtuálisgép-rendszerképekről oszt meg néhány információt.

Az Azure HPC csapata optimalizált és előre konfigurált Linux rendszerű virtuálisgép-rendszerképeket kínál HPC- és AI-számítási feladatokhoz. Ezek a virtuálisgép-rendszerképek a következők:

• Az Ubuntu és az AlmaLinux marketplace virtuálisgép-rendszerképek alapján.
• Előre konfigurálva az NVIDIA Mellanox OFED-illesztővel az InfiniBandhoz, az NVIDIA GPU-illesztőprogramokhoz, a népszerű MPI-kódtárakhoz, a gyártó által hangolt HPC-kódtárakhoz és az ajánlott teljesítményoptimalizálásokhoz.
• Optimalizálást és ajánlott konfigurációkat is tartalmaz az optimális teljesítmény, konzisztencia és megbízhatóság érdekében.

A HPC-rendszerképeket akkor használhatja, amikor virtuális gépet hoz létre az Azure Marketplace-ről vagy az Azure CLI-ből. Egyéb üzembehelyezési módszerekért tekintse meg a HPC virtuálisgép-rendszerképek üzembe helyezésének szakaszát.

Keressen rá Ubuntu HPC a közzétevő Microsoft-DSVMvagy AlmaLinux HPC a közzétevő AlmaLinuxszerint.

Futtassa a következő parancsokat a HPC-lemezképek URI-jainak megkereséséhez:

az vm image list --publisher microsoft-dsvm --offer ubuntu-hpc --output table --all

Minden rendszerkép támogatja a Gen 2 virtuális gépeket.

az vm image list --publisher almalinux --offer almalinux-hpc --output table --all

Minden rendszerkép támogatja az 1. generációs és a 2. generációs virtuális gépeket is.

A HPC virtuálisgép-rendszerképek a következő virtuálisgép-méreteket támogatják:

• Standard_HB60rs
• Standard_HB120rs_v2
• Standard_HB120rs_v3
• Standard_HB120rs_v4
• Standard_HC44rs
• Standard_ND40rs_v2
• Standard_ND96asr_v4
• Standard_ND96amsr_A100_v4
• Standard_ND96isr_H100_v5

Tekintse meg az Azure-beli virtuálisgép-méreteket a legújabb H és N sorozatú virtuális gépek mérettámogatási mátrixához.

• Mellanox OFED 24.01-0.3.3.1
• Előre konfigurált IPoIB (IP-over-InfiniBand)
• Népszerű InfiniBand-alapú MPI-kódtárak
  • HPC-X v2.18 PMIx-4-sel vagy anélkül
  • Intel MPI 2021.12.0
  • MVAPICH2 2.3.7-1
  • OpenMPI 5.0.2 a PMIx-4-el
• Kommunikációs futtatókörnyezetek
  • Libfabric
  • OpenUCX
  • NCCL 2.21.5-1
  • NCCL RDMA Sharp beépülő modul
• Optimalizált kódtárak
  • AMD – C/C++ és Fortran fordítók optimalizálása 4.0.0-1
  • Intel MKL 2024.0.0.49673
• GPU-illesztőprogramok
  • NVIDIA GPU-illesztő 535.161.08
  • NVIDIA társmemória (GPU Direct RDMA)
  • NVIDIA Fabric Manager
  • CUDA 12.4
• GDRCopy 2.3
• Adatközpont GPU Manager 3.3.3
• Azure HPC diagnosztikai eszköz
• Termékváltozat-alapú testreszabások
  • Topológiafájlok
  • NCCL-konfiguráció
• Moby 24.0.7-ubuntu22.04u1
• NVIDIA Docker-tároló 24.0.7-1
• Azure Managed Lustre 2.15.4-42-gd6d405d
• Moneo v0.3.5
• Azure HPC Health Checks v0.4.2

A virtuálisgép-rendszerképen belüli telepített verzióindex a következő helyen található: /opt/azurehpc/component_versions.txt.

Az MPI-kódtárak és a szoftvercsomagok környezeti modulként érhetők el. MPI-kódtár/-csomag betöltéséhez futtassa a következőt:

module load mpi/<mpi-library-name>
module load <package-name>

Az azhpc-images adattárban a GitHubon tájékozódhat az egyes virtuálisgép-rendszerképek csomagjainak és konfigurációinak legfrissebb részleteiről. A belefoglalt konfigurációk a gyártók és partnerek optimalizálási ajánlásain, valamint a hagyományos HPC-rendszerek gyakori HPC számítási feladatainak és használati gyakorlatainak elsajátításán alapulnak.

• Azure Linux-ügynök (WAAgent)

  • Korlátozza a waagent (minden Azure Linux rendszerű virtuális gépen futó virtuálisgép-ügynök) processzor-/memóriahasználatát.
  • Igény szerint fontolja meg a waagent letiltását a feladatszkript elején, és engedélyezze azt a végén, a cpu-érzékeny számítási feladatok esetében az alábbiak szerint:

  sudo systemctl stop waagent
  <HPC job>
  sudo systemctl restart waagent
  

• Magasabb memóriakorlátok

  • Maximális zárolt memóriakorlát beállítása korlátlan értékre
  • A megnyitott fájlok számának beállítása 65535-re

• Zóna-visszaigénylési mód

  • Zone_reclaim_mode beállítása 1 értékre

• Tűzfaldémon letiltása az MPI-feladatindítók segítéséhez

Ahogy látható, a HPC virtuálisgép-rendszerképek az Azure Marketplace-ről és az Azure CLI-ből érhetők el. Az Azure-ban számos üzembehelyezési járművel (Azure CycleCloud, Azure Batch, ARM-sablonok stb.) telepíthetők. Az AzureHPC-szkriptek megkönnyítik a HPC-fürtök gyors üzembe helyezését ezekkel a rendszerképekkel.