Bagikan melalui

Menyiapkan InfiniBand

  • Artikel

Artikel ini mereferensikan CentOS, distribusi Linux yang mendekati status End Of Life (EOL). Harap pertimbangkan penggunaan dan rencanakan yang sesuai. Untuk informasi selengkapnya, lihat panduan Akhir Masa Pakai CentOS.

Berlaku untuk: ✔️ Mesin virtual Linux ✔️ Mesin virtual Windows ✔️ Set skala fleksibel ✔️ Set skala seragam

Tip

Coba Alat pemilih komputer virtual untuk menemukan ukuran lain yang paling sesuai dengan beban kerja Anda.

Artikel ini membagikan beberapa informasi tentang instans berkemampuan RDMA yang akan digunakan melalui jaringan InfiniBand (IB). Arsitektur jaringan InfiniBand memiliki desain pohon lemak penuh (yaitu topologi jaringan yang menyediakan bandwidth tinggi dan latensi rendah), memastikan simetri non-pemblokiran dan biseksi. Konfigurasi ini menyediakan bandwidth yang sama antara dua komputer virtual (VM) dalam set skala komputer virtual (VMSS) yang sama.

Instans berkemampuan RDMA

Sebagian besar ukuran VM HPC memiliki antarmuka jaringan untuk konektivitas akses memori langsung jarak jauh (RDMA). Ukuran seri-N terpilih yang dirancang dengan 'r' juga berkemampuan RDMA. Antarmuka ini selain antarmuka jaringan Azure Ethernet standar yang tersedia dalam ukuran VM lainnya.

Antarmuka sekunder ini memungkinkan instans berkemampuan RDMA untuk berkomunikasi melalui jaringan InfiniBand, yang beroperasi pada tarif HDR untuk tarif HBv4, HBv3, HBv2, EDR untuk tarif HB, HC, HX, NDv2, dan FDR untuk tarif H16r, H16mr, dan komputer virtual seri N berkemampuan RDMA lainnya. Kemampuan RDMA ini dapat meningkatkan skalabilitas dan kinerja aplikasi berbasis Message Passing Interface (MPI).

Catatan

Dukungan SR-IOV: Di Azure HPC, saat ini ada dua kelas VM tergantung pada apakah mereka diaktifkan SR-IOV untuk InfiniBand. Saat ini, hampir semua generasi yang lebih baru, berkemampuan-RDMA atau VM yang mengaktifkan InfiniBand di Azure mengaktifkan SR-IOV kecuali untuk H16r, H16mr, dan NC24r. RDMA hanya diaktifkan melalui jaringan InfiniBand dan didukung untuk semua VM berkemampuan RDMA. IP over IB hanya didukung pada VM yang mengaktifkan SR-IOV. RDMA tidak diaktifkan melalui jaringan Ethernet.

  • Sistem Operasi - Distribusi Linux seperti CentOS, RHEL, AlmaLinux, Ubuntu, SUSE umumnya digunakan. Windows Server 2016 dan versi yang lebih baru didukung pada semua VM seri HPC. Perhatikan bahwa Windows Server 2012 R2 tidak didukung pada HBv2 dan seterusnya sebagai ukuran VM dengan lebih dari 64 core (virtual atau fisik). Lihat Gambar VM untuk daftar gambar VM Linux yang didukung di Marketplace Azure dan bagaimana gambar tersebut dapat dikonfigurasi dengan tepat. Halaman ukuran VM masing-masing juga mencantumkan dukungan tumpukan perangkat lunak.

  • InfiniBand dan Drivers - Pada VM yang mengaktifkan InfiniBand, driver yang sesuai diperlukan untuk mengaktifkan RDMA. Lihat mengaktifkan InfiniBand untuk mempelajari tentang ekstensi VM atau penginstalan manual driver InfiniBand.

  • MPI - Ukuran VM yang mengaktifkan SR-IOV di Azure memungkinkan hampir semua rasa MPI digunakan dengan Mellanox OFED. Lihat Menyiapkan MPI untuk HPC untuk detail selengkapnya tentang menyiapkan MPI di HPC VM di Azure.

    Catatan

    Ruang alamat jaringan RDMA: Jaringan RDMA di Azure mencadangkan ruang alamat 172.16.0.0/16. Untuk menjalankan aplikasi MPI pada instans yang disebarkan di jaringan virtual Azure, pastikan ruang alamat jaringan virtual tidak tumpang tindih dengan jaringan RDMA.

Opsi konfigurasi kluster

Azure menyediakan beberapa opsi untuk membuat klaster VM HPC yang dapat berkomunikasi menggunakan jaringan RDMA, termasuk:

  • Mesin virtual - Terapkan VM HPC berkemampuan RDMA dalam set skala yang sama atau set ketersediaan (bila Anda menggunakan model penerapan Azure Resource Manager). Jika Anda menggunakan model penyebaran klasik, sebarkan VM di layanan cloud yang sama.

  • Set skala komputer virtual - Dalam set skala komputer virtual, pastikan Anda membatasi penyebaran ke grup penempatan tunggal untuk komunikasi InfiniBand dalam set skala. Contohnya, dalam templat Resource Manager, atur singlePlacementGroup properti ke true.

Perhatikan bahwa ukuran set skala maksimum yang dapat dipisahkan dengan singlePlacementGroup=true dibatasi pada 100 VM secara default. Jika kebutuhan skala pekerjaan HPC Anda lebih tinggi dari 100 VM dalam satu penyewa, Anda dapat meminta peningkatan, membuka permintaan dukungan pelanggan online tanpa biaya. Batas jumlah VM dalam satu set skala dapat ditingkatkan menjadi 300. Perhatikan bahwa saat menyebarkan VM menggunakan Set Ketersediaan, batas maksimum adalah pada 200 VM per Set Ketersediaan.

Selain itu, VMSS berfungsi sebagai batas isolasi antara beban kerja dalam kluster yang sama, memastikan bahwa instans di VMSS yang berbeda tetap terisolasi satu sama lain untuk menjamin keamanan.

Catatan

MPI di antara komputer virtual: Jika RDMA (misalnya menggunakan komunikasi MPI) diperlukan antara komputer virtual, pastikan bahwa VM berada dalam set skala komputer virtual atau set ketersediaan yang sama.

Pertimbangan penyebaran

  • Langganan Azure - Untuk menyebarkan lebih dari beberapa instans intensif komputasi, pertimbangkan langganan bayar sesuai penggunaan atau opsi pembelian lainnya. Jika Anda menggunakan akun gratis Azure, Anda hanya dapat menggunakan sejumlah inti komputasi Azure yang terbatas.

  • Harga dan ketersediaan - Periksa harga danketersediaan VM berdasarkan wilayah Azure.

  • Kuota core - Anda mungkin perlu meningkatkan kuota core di langganan Azure Anda dari nilai default. Langganan Anda mungkin juga membatasi jumlah core yang dapat Anda sebarkan di keluarga ukuran VM tertentu, termasuk seri H. Untuk meminta penambahan kuota, buka permintaan dukungan pelanggan online tanpa biaya. (Batas default dapat bervariasi tergantung pada kategori langganan Anda.)

    Catatan

    Hubungi Azure Support jika Anda memiliki kebutuhan kapasitas skala besar. Kuota Azure adalah batas kredit, bukan jaminan kapasitas. Terlepas dari kuota Anda, Anda hanya dikenakan biaya untuk core yang digunakan.

  • Jaringan virtual – jaringan virtual Azure tidak diperlukan untuk menggunakan instans intensif komputasi. Namun, untuk banyak penyebaran, Anda memerlukan setidaknya jaringan virtual Azure berbasis cloud, atau koneksi situs ke situs jika Anda perlu mengakses sumber daya lokal. Saat diperlukan, buat jaringan virtual baru untuk menyebarkan instans. Menambahkan VM intensif komputasi ke jaringan virtual dalam grup afinitas tidak didukung.

  • Mengubah ukuran – Karena perangkat keras khusus mereka, Anda hanya dapat mengubah ukuran instans intensif komputasi dalam keluarga ukuran yang sama (seri H atau seri-N). Contohnya, Anda hanya dapat mengubah ukuran VM seri-H dari satu ukuran seri-H ke ukuran lainnya. Pertimbangan tambahan seputar dukungan driver InfiniBand dan disk NVMe mungkin perlu dipertimbangkan untuk VM tertentu.

Langkah berikutnya