Batch havuzlarında RDMA veya GPU örnekleri kullanma
Belirli Batch işlerini çalıştırmak için büyük ölçekli hesaplama için tasarlanmış Azure VM boyutlarından yararlanabilirsiniz. Örneğin:
Çok örnekli MPI iş yüklerini çalıştırmak için HB, HC, NC veya ND serisini veya Uzaktan Doğrudan Bellek Erişimi (RDMA) için ağ arabirimi olan diğer boyutları seçin. Bu boyutlar, düğümler arası iletişim için bir InfiniBand ağına bağlanır ve bu da MPI uygulamalarını hızlandırabilir.
CUDA uygulamaları için NVIDIA Tesla grafik işlem birimi (GPU) kartları içeren N serisi boyutları seçin.
Bu makalede, Batch havuzlarında Azure'ın özelleştirilmiş boyutlarından bazılarını kullanmaya yönelik yönergeler ve örnekler sağlanmaktadır. Belirtimler ve arka plan için bkz:
Not
Batch hesaplarınızı oluşturduğunuz bölgelerde belirli VM boyutları kullanılamayabilir. Bir boyutun kullanılabilir olup olmadığını denetlemek için bkz . Bölgeye göre kullanılabilir ürünler ve Batch havuzu için VM boyutu seçme.
Bağımlılıklar
Batch'te işlem yoğunluklu boyutların RDMA veya GPU özellikleri yalnızca belirli işletim sistemlerinde desteklenir. Bu VM boyutları için desteklenen işletim sistemleri, sanal makine oluşturma için kullanılabilenlerin yalnızca bir alt kümesini içerir. Batch havuzunuzu nasıl oluşturduğunuza bağlı olarak, düğümlere ek sürücü veya başka bir yazılım yüklemeniz veya yapılandırmanız gerekebilir. Aşağıdaki tablolarda bu bağımlılıklar özetlenebilir. Ayrıntılar için bağlantılı makalelere bakın. Batch havuzlarını yapılandırma seçenekleri için bu makalenin devamında yer alan bölümüne bakın.
Linux havuzları - Sanal makine yapılandırması
| Size | Özellik | İşletim sistemleri | Gerekli yazılım | Havuz ayarları |
|---|---|---|---|---|
|
H16r, H16mr NC24r, NC24rs_v2, NC24rs_v3, ND24rs* |
RDMA | Ubuntu 22.04 LTS (Azure Market) |
Intel MPI 5 Linux RDMA sürücüleri |
Düğümler arası iletişimi etkinleştirme, eşzamanlı görev yürütmeyi devre dışı bırakma |
| NCv3, NDv2, NDv4, NDv5 serisi | NVIDIA Tesla GPU (seriye göre değişir) | Ubuntu 22.04 LTS (Azure Market) |
NVIDIA CUDA veya CUDA Araç Seti sürücüleri | Yok |
| NVv3, NVv4, NVv5 serisi | Hızlandırılmış Görselleştirme GPU'su | Ubuntu 22.04 LTS (Azure Market) |
NVIDIA GRID sürücüleri veya AMD GPU sürücüleri | Yok |
*RDMA özellikli N serisi boyutları da NVIDIA Tesla GPU'larını içerir
Önemli
Bu belge, Linux'un Kullanım Süresi Sonu(EOL) veya yakınında olan bir sürüme başvurur. Lütfen daha güncel bir sürüme güncelleştirmeyi göz önünde bulundurun.
Windows havuzları - Sanal Makine Yapılandırması
| Size | Özellik | İşletim sistemleri | Gerekli yazılım | Havuz ayarları |
|---|---|---|---|---|
|
H16r, H16mr NC24r, NC24rs_v2, NC24rs_v3, ND24rs* |
RDMA | Windows Server 2016, 2012 R2 veya 2012 (Azure Market) |
Microsoft MPI 2012 R2 veya üzeri veya Intel MPI 5 Windows RDMA sürücüleri |
Düğümler arası iletişimi etkinleştirme, eşzamanlı görev yürütmeyi devre dışı bırakma |
| NC, NCv2, NCv3, ND, NDv2 serisi | NVIDIA Tesla GPU (seriye göre değişir) | Windows Server 2016 veya 2012 R2 (Azure Market) |
NVIDIA CUDA veya CUDA Araç Seti sürücüleri | Yok |
| NV, NVv2, NVv4 serisi | NVIDIA Tesla M60 GPU | Windows Server 2016 veya 2012 R2 (Azure Market) |
NVIDIA GRID sürücüleri | Yok |
*RDMA özellikli N serisi boyutları da NVIDIA Tesla GPU'larını içerir
Windows havuzları - Cloud Services Yapılandırması
Uyarı
Cloud Services Yapılandırma havuzları kullanım dışıdır. Lütfen bunun yerine Sanal Makine Yapılandırma havuzlarını kullanın.
| Size | Özellik | İşletim sistemleri | Gerekli yazılım | Havuz ayarları |
|---|---|---|---|---|
| H16r, H16mr | RDMA | Windows Server 2016, 2012 R2, 2012 veya 2008 R2 (Konuk işletim sistemi ailesi) |
Microsoft MPI 2012 R2 veya üzeri veya Intel MPI 5 Windows RDMA sürücüleri |
Düğümler arası iletişimi etkinleştirin, eşzamanlı görev yürütmeyi devre dışı bırakma |
Not
N serisi boyutları Cloud Services Yapılandırma havuzlarında desteklenmez.
Havuz yapılandırma seçenekleri
Batch havuzunuz için özelleştirilmiş bir VM boyutu yapılandırmak için gerekli yazılımları veya sürücüleri yüklemek için çeşitli seçenekleriniz vardır:
Sanal makine yapılandırmasındaki havuzlar için sürücülerin ve yazılımların önceden yüklenmiş olduğu önceden yapılandırılmış bir Azure Market VM görüntüsü seçin. Örnekler:
Linux veya Windows için Veri Bilimi Sanal Makinesi - NVIDIA CUDA sürücülerini içerir
GPU ve RDMA sürücülerini de içeren Batch kapsayıcı iş yükleri için Linux görüntüleri:
Azure Batch kapsayıcı havuzları için Ubuntu Sunucusu (GPU ve RDMA sürücüleriyle)
Vm boyutu için gereken yüklü sürücüler, yazılımlar veya diğer ayarlarla özel bir Windows veya Linux VM görüntüsü oluşturun.
GPU ve RDMA sürücülerini VM uzantısına göre yükleyin.
Sıkıştırılmış bir sürücüden veya uygulama yükleyicisinden Bir Batch uygulama paketi oluşturun. Ardından Batch'i bu paketi havuz düğümlerine dağıtacak ve her düğüm oluşturulduğunda bir kez yükleyecek şekilde yapılandırın. Örneğin, uygulama paketi bir yükleyiciyse, uygulamayı tüm havuz düğümlerine sessizce yüklemek için bir başlangıç görevi komut satırı oluşturun. İş yükünüz belirli bir sürücü sürümüne bağlıysa bir uygulama paketi ve havuz başlangıç görevi kullanmayı göz önünde bulundurun.
Not
Başlangıç görevi yükseltilmiş (yönetici) izinlerle çalışmalı ve başarıyı beklemelidir. Uzun süre çalışan görevler Batch havuzu sağlama süresini artırır.
Örnek: Windows NC VM havuzunda NVIDIA GPU sürücüleri
CUDA uygulamalarını bir Windows NC düğümleri havuzunda çalıştırmak için NVIDIA GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlarda NVIDIA GPU sürücülerini yüklemek için bir uygulama paketi kullanılır. İş yükünüz belirli bir GPU sürücüsü sürümüne bağlıysa bu seçeneği belirleyebilirsiniz.
- Windows Server 2016'da GPU sürücüleri için NVIDIA web sitesinden (örneğin, sürüm 411.82) bir kurulum paketi indirin. dosyayı GPUDriverSetup.exe gibi kısa bir ad kullanarak yerel olarak kaydedin.
- Paketin zip dosyasını oluşturun.
- Paketi Batch hesabınıza yükleyin. Adımlar için uygulama paketleri kılavuzuna bakın. GPUDriver gibi bir uygulama kimliği ve 411.82 gibi bir sürüm belirtin.
- Batch API'lerini veya Azure portalını kullanarak sanal makine yapılandırmasında istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, bir başlangıç görevi kullanarak NVIDIA GPU sürücülerini sessizce yüklemek için örnek ayarlar gösterilmektedir:
| Ayar | Value |
|---|---|
| Görüntü Türü | Market (Linux/Windows) |
| Yayımcı | MicrosoftWindowsServer |
| Teklif | WindowsServer |
| Sku | 2016-Datacenter |
| Düğüm boyutu | NC6 Standard |
| Uygulama paketi başvuruları | GPUDriver, sürüm 411.82 |
| Görevi başlat etkin | True Komut satırı - cmd /c "%AZ_BATCH_APP_PACKAGE_GPUDriver#411.82%\\GPUDriverSetup.exe /s"Kullanıcı kimliği - Havuz otomatik kullanıcısı, yönetici Başarıyı bekle - Doğru |
Örnek: Linux NC VM havuzunda NVIDIA GPU sürücüleri
CUDA uygulamalarını Linux NC düğümlerinden oluşan bir havuzda çalıştırmak için CUDA Toolkit'ten gerekli NVIDIA Tesla GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlar GPU sürücüleriyle özel bir Ubuntu 22.04 LTS görüntüsü oluşturup dağıtır:
- Ubuntu 22.04 LTS çalıştıran bir Azure NC serisi VM dağıtın. Örneğin, VM'yi ABD Orta Güney bölgesinde oluşturun.
- Azure portalını , Azure aboneliğine bağlanan bir istemci bilgisayarı veya Azure Cloud Shell'i kullanarak NVIDIA GPU Sürücüleri uzantısını VM'ye ekleyin. Alternatif olarak, VM'ye bağlanma ve CUDA sürücülerini el ile yükleme adımlarını izleyin.
- Batch için Azure İşlem Galerisi görüntüsü oluşturma adımlarını izleyin.
- NC VM'lerini destekleyen bir bölgede Batch hesabı oluşturun.
- Batch API'lerini veya Azure portalını kullanarak, özel görüntüyü kullanarak ve istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntü için örnek havuz ayarları gösterilmektedir:
| Ayar | Value |
|---|---|
| Görüntü Türü | Özel Görüntü |
| Özel Görüntü | Görüntünün adı |
| Düğüm aracısı SKU'su | batch.node.ubuntu 22.04 |
| Düğüm boyutu | NC6 Standard |
Örnek: Windows H16r VM havuzunda Microsoft MPI
Windows MPI uygulamalarını Azure H16r VM düğümleri havuzunda çalıştırmak için HpcVmDrivers uzantısını yapılandırmanız ve Microsoft MPI'yi yüklemeniz gerekir. Gerekli sürücüler ve yazılımla özel bir Windows Server 2016 görüntüsü dağıtmaya yönelik örnek adımlar şunlardır:
- Windows Server 2016 çalıştıran bir Azure H16r VM dağıtın. Örneğin, VM'yi ABD Batı bölgesinde oluşturun.
- Azure aboneliğinize bağlanan bir istemci bilgisayardan Azure PowerShell komutu çalıştırarak veya Azure Cloud Shell kullanarak HpcVmDrivers uzantısını VM'ye ekleyin.
- VM'ye Uzak Masaüstü bağlantısı oluşturun.
- Microsoft MPI'nin en son sürümü için kurulum paketini (MSMpiSetup.exe) indirin ve Microsoft MPI'yi yükleyin.
- Batch için Azure İşlem Galerisi görüntüsü oluşturma adımlarını izleyin.
- Batch API'lerini veya Azure portalını kullanarak Azure İşlem Galerisi'ni kullanarak ve istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntü için örnek havuz ayarları gösterilmektedir:
| Ayar | Value |
|---|---|
| Görüntü Türü | Özel Görüntü |
| Özel Görüntü | Görüntünün adı |
| Düğüm aracısı SKU'su | batch.node.windows amd64 |
| Düğüm boyutu | H16r Standard |
| Düğümler arası iletişim etkinleştirildi | True |
| Düğüm başına en fazla görev | 1 |