Bagikan melalui


Gambaran umum komputer virtual seri HBv4

Berlaku untuk: ✔️ Mesin virtual Linux ✔️ Mesin virtual Windows ✔️ Set skala fleksibel ✔️ Set skala seragam

Server seri HBv4 memiliki CPU EPYC 933X 2 * 96-core dengan total 192 core "Zen4" fisik dengan AMD 3D-V Cache. Multithreading Simultan (SMT) dinonaktifkan pada HBv4. 192 core ini dibagi menjadi 24 bagian (12 per soket), setiap bagian berisi 8 inti prosesor dengan akses seragam ke cache L3 96 MB. Server Azure HBv4 juga menjalankan pengaturan AMD BIOS berikut:

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

Akibatnya, server melakukan booting dengan 4 domain NUMA (2 per soket) masing-masing berukuran 48-core. Setiap NUMA memiliki akses langsung ke 6 saluran DRAM fisik.

Untuk menyediakan ruang bagi hypervisor Azure untuk beroperasi tanpa mengganggu VM, kami memesan 16 inti fisik per server.

topologi VM

Diagram berikut menunjukkan topologi server. Kami memesan 16 inti host hypervisor (kuning) ini secara simetris di kedua soket CPU, mengambil 2 inti pertama dari Core Complex Dies (CCD) tertentu di setiap domain NUMA, dengan core yang tersisa untuk VM seri HBv4 (hijau).

Cuplikan layar Topologi server seri HBv4

Batas CCD berbeda dari batas NUMA. Pada HBv4, sekelompok enam (6) CCD berturut-turut dikonfigurasi sebagai domain NUMA, baik di tingkat server host maupun dalam VM tamu. Dengan demikian, semua ukuran VM HBv4 mengekspos 4 domain NUMA seragam yang muncul ke OS dan aplikasi seperti yang ditunjukkan di bawah ini, masing-masing dengan jumlah inti yang berbeda tergantung pada ukuran VM HBv4 tertentu.

Cuplikan layar Topologi VM seri HBv4

Setiap ukuran VM HBv4 mirip dalam tata letak fisik, fitur, dan performa CPU yang berbeda dari AMD EPYC 9V33X, sebagai berikut:

Ukuran VM seri HBv4 Domain NUMA Core per domain NUMA Kemiripan dengan AMD EPYC
Standard_HB176rs_v4 4 44 Dual-socket EPYC 9V33X
144rs_v4 Standard_HB176 4 36 Dual-socket EPYC 9V33X
Standard_HB176-96rs_v4 4 24 Dual-socket EPYC 9V33X
Standard_HB176-48rs_v4 4 12 Dual-socket EPYC 9V33X
24rs_v4 Standard_HB176 4 6 Dual-socket EPYC 9V33X

Catatan

Ukuran core VM yang dibatasi hanya mengurangi jumlah core fisik yang diekspos ke VM. Semua aset global bersama (RAM, bandwidth memori, cache L3, konektivitas GMI dan xGMI, InfiniBand, jaringan Ethernet Azure, SSD lokal) tetap konstan. Hal ini memungkinkan pelanggan untuk memilih ukuran VM yang paling sesuai dengan serangkaian beban kerja atau kebutuhan lisensi perangkat lunak tertentu.

Pemetaan NUMA virtual dari setiap ukuran VM HBv4 dipetakan ke topologi NUMA fisik yang mendasar. Tidak ada potensi abstraksi yang menyesatkan dari topologi perangkat keras.

Topologi yang tepat untuk berbagai ukuran VM HBv4 muncul sebagai berikut menggunakan output lstopo:

lstopo-no-graphics --no-io --no-legend --of txt

Klik untuk melihat output lstopo untuk Standard_HB176rs_v4

Output lstopo untuk VM HBv4-176

Klik untuk melihat output lstopo untuk Standard_HB176-144rs_v4

Output lstopo untuk HBv4-144 VM

Klik untuk melihat output lstopo untuk Standard_HB176-96rs_v4

Output lstopo untuk VM HBv4-64

Klik untuk melihat output lstopo untuk Standard_HB176-48rs_v4

Output lstopo untuk VM HBv4-32

Klik untuk melihat output lstopo untuk Standard_HB176-24rs_v4

Output lstopo untuk VM HBv4-24

Jaringan InfiniBand

VM HBv4 juga dilengkapi adaptor jaringan NVIDIA Mellanox NDR InfiniBand (ConnectX-7) yang beroperasi hingga 400 Gigabit/detik. NIC diteruskan ke VM melalui SRIOV, memungkinkan lalu lintas jaringan untuk melewati hypervisor. Akibatnya, pelanggan memuat driver Mellanox OFED standar pada VM HBv4 karena mereka akan lingkungan logam telanjang.

VM HBv4 mendukung Perutean Adaptif, Dynamic Connected Transport (DCT, selain transportasi RC dan UD standar), dan offload kolektif MPI berbasis perangkat keras ke prosesor onboard adaptor ConnectX-7. Fitur-fitur ini meningkatkan performa aplikasi, skalabilitas, dan konsistensi, dan penggunaannya direkomendasikan.

Penyimpanan Sementara

VM HBv4 memiliki 3 perangkat SSD lokal secara fisik. Satu perangkat telah diformat sebelumnya untuk berfungsi sebagai file halaman dan muncul dalam VM Anda sebagai perangkat "SSD" generik.

Dua SSD lain yang lebih besar disediakan sebagai perangkat NVMe blok yang tidak diformat melalui NVMeDirect. Karena perangkat NVMe blok melewati hypervisor, perangkat ini memiliki bandwidth yang lebih tinggi, IOPS yang lebih tinggi, dan latensi yang lebih rendah per IOP.

Ketika dipasangkan dalam array bergaris, NVMe SSD menyediakan pembacaan hingga 12 GB/dtk dan penulisan 7 GB/dtk, dan hingga 186.000 IOPS (baca) dan 201.000 IOPS (tulis) untuk kedalaman antrean mendalam.

Spesifikasi perangkat keras

Spesifikasi perangkat keras VM seri HBv4
Core 176, 144, 96, 48, atau 24 (SMT dinonaktifkan)
CPU AMD EPYC 9V33X
Frekuensi CPU (non-AVX) Basis 2,4 GHz, peningkatan puncak 3,7 GHz
Memori 768 GB (RAM per inti tergantung pada ukuran VM)
Disk Lokal 2 * 1,8 TB NVMe (blok), 480 GB SSD (file halaman)
InfiniBand 400 Gb/dtk Mellanox ConnectX-7 NDR InfiniBand
Jaringan Ethernet 80 Gb/dtk (40 Gb/dtk dapat digunakan) Azure second Gen SmartNIC

Spesifikasi perangkat lunak

Spesifikasi perangkat lunak VM seri HBv4
Ukuran Max Pekerjaan MPI 52.800 core (300 VM dalam satu set skala komputer virtual dengan singlePlacementGroup=true)
Dukungan MPI HPC-X (2.13 atau lebih tinggi), Intel MPI (2021.7.0 atau lebih tinggi), OpenMPI (4.1.3 atau lebih tinggi), MVAPICH2 (2.3.7 atau lebih tinggi), MPICH (4.1 atau lebih tinggi)
Kerangka Kerja Tambahan UCX, libfabric, PGAS, atau runtime berbasis InfiniBand lainnya
Dukungan Microsoft Azure Storage Disk Standar dan Premium (maksimum 32 disk), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre File System
OS yang Didukung dan Divalidasi AlmaLinux 8.6, 8.7, Ubuntu 20.04+
OS direkomendasikan untuk Performa AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+
Dukungan Orchestrator Azure CycleCloud, Azure Batch, AKS; opsi cluster configuration

Catatan

  • VM ini hanya mendukung Generasi 2.
  • Dukungan tingkat kernel resmi dari AMD dimulai dengan RHEL 8.6 dan AlmaLinux 8.6, yang merupakan turunan dari RHEL.
  • Windows Server 2012 R2 tidak didukung pada HBv4 dan VM lainnya dengan lebih dari 64 inti (virtual atau fisik). Untuk informasi selengkapnya, lihat Sistem operasi tamu Windows yang didukung untuk Hyper-V di Windows Server. Windows Server 2022 diperlukan untuk ukuran inti 144 dan 176, Windows Server 2016 juga berfungsi untuk ukuran inti 24, 48, dan 96, Windows Server hanya berfungsi untuk ukuran inti 24 dan 48.

Penting

URN gambar yang direkomendasikan: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Untuk menyebarkan gambar ini melalui Azure CLI, pastikan parameter berikut disertakan --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Untuk pengujian penskalaan, gunakan URN yang direkomendasikan bersama dengan tarball HPC-X baru.

Catatan

  • Dukungan NDR ditambahkan dalam UCX 1.13 atau yang lebih baru. Versi UCX yang lebih lama akan melaporkan kesalahan runtime di atas. Kesalahan UCX: Kecepatan [1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128aktif tidak valid .
  • Ibstat menunjukkan kecepatan rendah (SDR): Versi Mellanox OFED (MOFED) yang lebih lama tidak mendukung NDR dan mungkin melaporkan kecepatan IB yang lebih lambat. Silakan gunakan MOFED versi MOFED 5.6-1.0.3.3 atau lebih tinggi.

Langkah berikutnya