Gambaran umum komputer virtual seri HX
Berlaku untuk: ✔️ Mesin virtual Linux ✔️ Mesin virtual Windows ✔️ Set skala fleksibel ✔️ Set skala seragam
Server seri HX memiliki CPU EPYC 933X 2 * 96-core dengan total 192 inti "Zen4" fisik dengan AMD 3D-V Cache. Multithreading Simultan (SMT) dinonaktifkan pada HX. 192 core ini dibagi menjadi 24 bagian (12 per soket), setiap bagian berisi 8 inti prosesor dengan akses seragam ke cache L3 96 MB. Server Azure HX juga menjalankan pengaturan AMD BIOS berikut:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Akibatnya, server melakukan booting dengan 4 domain NUMA (2 per soket) masing-masing berukuran 48-core. Setiap NUMA memiliki akses langsung ke 6 saluran DRAM fisik.
Untuk menyediakan ruang bagi hypervisor Azure untuk beroperasi tanpa mengganggu VM, kami memesan 16 inti fisik per server.
topologi VM
Diagram berikut menunjukkan topologi server. Kami memesan 16 inti host hypervisor (kuning) ini secara simetris di kedua soket CPU, mengambil 2 inti pertama dari Core Complex Dies (CCD) tertentu di setiap domain NUMA, dengan core yang tersisa untuk VM seri HX (hijau).
Batas CCD berbeda dari batas NUMA. Pada HX, sekelompok enam (6) CCD berturut-turut dikonfigurasi sebagai domain NUMA, baik di tingkat server host maupun dalam VM tamu. Dengan demikian, semua ukuran VM HX mengekspos 4 domain NUMA seragam yang akan muncul ke OS dan aplikasi seperti yang ditunjukkan di bawah ini, masing-masing dengan jumlah inti yang berbeda tergantung pada ukuran VM HX tertentu.
Setiap ukuran VM HX mirip dalam tata letak fisik, fitur, dan performa CPU yang berbeda dari seri AMD EPYC 9004, sebagai berikut:
| Ukuran VM seri HX | Domain NUMA | Core per domain NUMA | Kemiripan dengan AMD EPYC |
|---|---|---|---|
| Standard_HX176rs | 4 | 44 | Dual-socket EPYC 9V33X |
| Standard_HX176-144rs | 4 | 36 | Dual-socket EPYC 9V33X |
| Standard_HX176-96rs | 4 | 24 | Dual-socket EPYC 9V33X |
| Standard_HX176-48rs | 4 | 12 | Dual-socket EPYC 9V33X |
| Standard_HX176-24rs | 4 | 6 | Dual-socket EPYC 9V33X |
Catatan
Ukuran core VM yang dibatasi hanya mengurangi jumlah core fisik yang diekspos ke VM. Semua aset global bersama (RAM, bandwidth memori, cache L3, konektivitas GMI dan xGMI, InfiniBand, jaringan Ethernet Azure, SSD lokal) tetap konstan. Hal ini memungkinkan pelanggan untuk memilih ukuran VM yang paling sesuai dengan serangkaian beban kerja atau kebutuhan lisensi perangkat lunak tertentu.
Pemetaan NUMA virtual dari setiap ukuran VM HX dipetakan ke topologi NUMA fisik yang mendasar. Tidak ada potensi abstraksi yang menyesatkan dari topologi perangkat keras.
Topologi yang tepat untuk berbagai ukuran VM HX muncul sebagai berikut menggunakan output lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Klik untuk melihat output lstopo untuk Standard_HX176rs
Klik untuk melihat output lstopo untuk Standard_HX176-144rs
Klik untuk melihat output lstopo untuk Standard_HX176-96rs
Klik untuk melihat output lstopo untuk Standard_HX176-48rs
Klik untuk melihat output lstopo untuk Standard_HX176-24r
Jaringan InfiniBand
VM HX juga dilengkapi adaptor jaringan NVIDIA Mellanox NDR InfiniBand (ConnectX-7) yang beroperasi hingga 400 Gigabit/dtk. NIC diteruskan ke VM melalui SRIOV, memungkinkan lalu lintas jaringan untuk melewati hypervisor. Akibatnya, pelanggan memuat driver Mellanox OFED standar pada VM HX karena mereka akan lingkungan logam telanjang.
VM HX mendukung Perutean Adaptif, Dynamic Connected Transport (DCT, selain transportasi RC dan UD standar), dan offload kolektif MPI berbasis perangkat keras ke prosesor onboard adaptor ConnectX-7. Fitur-fitur ini meningkatkan performa aplikasi, skalabilitas, dan konsistensi, dan penggunaannya direkomendasikan.
Penyimpanan Sementara
VM HX memiliki 3 perangkat SSD lokal secara fisik. Satu perangkat telah diformat sebelumnya untuk berfungsi sebagai file halaman dan muncul dalam VM Anda sebagai perangkat "SSD" generik.
Dua SSD lain yang lebih besar disediakan sebagai perangkat NVMe blok yang tidak diformat melalui NVMeDirect. Karena perangkat NVMe blok melewati hypervisor, perangkat ini memiliki bandwidth yang lebih tinggi, IOPS yang lebih tinggi, dan latensi yang lebih rendah per IOP.
Ketika dipasangkan dalam array bergaris, NVMe SSD menyediakan pembacaan hingga 12 GB/dtk dan penulisan 7 GB/dtk, dan hingga 186.000 IOPS (baca) dan 201.000 IOPS (tulis) untuk kedalaman antrean mendalam.
Spesifikasi perangkat keras
| Spesifikasi perangkat keras | VM seri HX |
|---|---|
| Core | 176, 144, 96, 48, atau 24 (SMT dinonaktifkan) |
| CPU | AMD EPYC 9V33X |
| Frekuensi CPU (non-AVX) | Basis 2,4 GHz, peningkatan puncak 3,7 GHz |
| Memori | 1,4 TB (RAM per inti tergantung pada ukuran VM) |
| Disk Lokal | 2 * 1,8 TB NVMe (blok), 480 GB SSD (file halaman) |
| InfiniBand | 400 Gb/dtk Mellanox ConnectX-7 NDR InfiniBand |
| Jaringan | Ethernet 80 Gb/dtk (40 Gb/dtk dapat digunakan) Azure second Gen SmartNIC |
Spesifikasi perangkat lunak
| Spesifikasi perangkat lunak | VM seri HX |
|---|---|
| Ukuran Max Pekerjaan MPI | 52.800 core (300 VM dalam satu set skala komputer virtual dengan singlePlacementGroup=true) |
| Dukungan MPI | HPC-X (2.13 atau lebih tinggi), Intel MPI (2021.7.0 atau lebih tinggi), OpenMPI (4.1.3 atau lebih tinggi), MVAPICH2 (2.3.7 atau lebih tinggi), MPICH (4.1 atau lebih tinggi) |
| Kerangka Kerja Tambahan | UCX, libfabric, PGAS, atau runtime berbasis InfiniBand lainnya |
| Dukungan Microsoft Azure Storage | Disk Standar dan Premium (maksimum 32 disk), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre File System |
| OS yang Didukung dan Divalidasi | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| OS direkomendasikan untuk Performa | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Dukungan Orchestrator | Azure CycleCloud, Azure Batch, AKS; opsi cluster configuration |
Catatan
- VM ini hanya mendukung Generasi 2.
- Dukungan tingkat kernel resmi dari AMD dimulai dengan RHEL 8.6 dan AlmaLinux 8.6, yang merupakan turunan dari RHEL.
- Windows Server 2012 R2 tidak didukung pada HX dan VM lain dengan lebih dari 64 inti (virtual atau fisik). Untuk informasi selengkapnya, lihat Sistem operasi tamu Windows yang didukung untuk Hyper-V di Windows Server. Windows Server 2022 diperlukan untuk ukuran inti 144 dan 176, Windows Server 2016 juga berfungsi untuk ukuran inti 24, 48, dan 96, Windows Server hanya berfungsi untuk ukuran inti 24 dan 48.
Penting
URN gambar yang direkomendasikan: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Untuk menyebarkan gambar ini melalui Azure CLI, pastikan parameter berikut disertakan --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Untuk pengujian penskalaan, gunakan URN yang direkomendasikan bersama dengan tarball HPC-X baru.
Catatan
- Dukungan NDR ditambahkan dalam UCX 1.13 atau yang lebih baru. Versi UCX yang lebih lama akan melaporkan kesalahan runtime di atas. Kesalahan UCX: Kecepatan
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128aktif tidak valid . - Ibstat menunjukkan kecepatan rendah (SDR): Versi Mellanox OFED (MOFED) yang lebih lama tidak mendukung NDR dan mungkin melaporkan kecepatan IB yang lebih lambat. Silakan gunakan MOFED versi MOFED 5.6-1.0.3.3 atau lebih tinggi.
Langkah berikutnya
- Membaca tentang pengumuman terbaru, contoh beban kerja HPC, dan hasil performa di Blog Komunitas Teknologi Azure Compute.
- Untuk tampilan arsitektur tingkat yang lebih tinggi dari beban kerja HPC yang berjalan, lihat Komputasi Kinerja Tinggi (HPC) pada Azure.