Aracılığıyla paylaş

Microsoft Fabric'te özel Spark havuzları oluşturma

  • Makale

Bu belgede, analiz iş yükleriniz için Microsoft Fabric'te özel Apache Spark havuzlarının nasıl oluşturulacağını açıklayacağız. Apache Spark havuzları, kullanıcıların kendi gereksinimlerine göre uyarlanmış işlem ortamları oluşturmasına olanak tanıyarak en iyi performansı ve kaynak kullanımını sağlar.

Otomatik ölçeklendirme için en düşük ve en yüksek düğümleri belirtirsiniz. Bu değerlere bağlı olarak, işin işlem gereksinimleri değiştikçe sistem düğümleri dinamik olarak alır ve kullanımdan kaldırarak verimli ölçeklendirme ve gelişmiş performans elde eder. Spark havuzlarındaki yürütücülerin dinamik olarak ayrılması, el ile yürütücü yapılandırması gereksinimini de hafifletmektedir. Bunun yerine sistem, veri hacmine ve iş düzeyinde işlem gereksinimlerine bağlı olarak yürütücü sayısını ayarlar. Bu işlem, performans iyileştirme ve kaynak yönetimi konusunda endişelenmeden iş yüklerinize odaklanmanızı sağlar.

Not

Özel spark havuzu oluşturmak için çalışma alanına yönetici erişimine sahip olmanız gerekir. Kapasite yöneticisinin,Kapasite Yöneticisi ayarlarının Spark İşlem bölümünde Özelleştirilmiş çalışma alanı havuzları seçeneğini etkinleştirmesi gerekir. Daha fazla bilgi edinmek için bkz. Doku Kapasiteleri için Spark İşlem Ayarları.

Özel Spark havuzları oluşturma

Çalışma alanınızla ilişkili Spark havuzunu oluşturmak veya yönetmek için:

  1. Çalışma alanınıza gidin ve çalışma alanı ayarlarıseçin.

  2. Menüyü genişletmek için Veri Mühendisliği/Bilim seçeneğini belirleyin ve ardından spark ayarlarınıseçin.

    spark ayarları ayrıntı görünümünü gösteren ekran görüntüsü .

  3. Yeni Havuz seçeneğini belirleyin. Havuz Oluştur ekranında Spark havuzunuzu adlandırın. Ayrıca Node ailesiseçin ve iş yüklerinizin işlem gereksinimlerine göre kullanılabilir boyutlardan (Küçük,Orta, Büyük, X Büyükve XX-Large) Düğüm boyutu seçin.

    Özel havuz oluşturma seçeneklerini gösteren ekran görüntüsü.

  4. Özel havuzlarınız için en düşük düğüm yapılandırmasını 1olarak ayarlayabilirsiniz. Fabric Spark tek düğümlü kümeler için geri yüklenebilen kullanılabilirlik sağladığından, iş hataları, başarısızlıklar nedeniyle oturum kaybı veya daha küçük Spark işleri için hesaplama kaynaklarına aşırı ödeme yapma konusunda endişelenmeniz gerekmez.

  5. Özel Spark havuzlarınız için otomatik ölçeklendirmeyi etkinleştirebilir veya devre dışı bırakabilirsiniz. Otomatik ölçeklendirme etkinleştirildiğinde havuz, kullanıcı tarafından belirtilen en yüksek düğüm sınırına kadar dinamik olarak yeni düğümler alır ve iş yürütmeden sonra bunları devre dışı bırakacaktır. Bu özellik, kaynakları iş gereksinimlerine göre ayarlayarak daha iyi performans sağlar. Fabric kapasite SKU'sunun bir parçası olarak satın alınan kapasite birimlerine sığan düğümleri boyutlandırmanıza izin verilir.

    Otomatik ölçeklendirme ve dinamik ayırma için özel havuz oluşturma seçeneklerini gösteren ekran görüntüsü.

  6. Spark havuzunuz için dinamik yürütücü ayırmayı etkinleştirmeyi de seçebilirsiniz. Bu, kullanıcı tarafından belirtilen en fazla sınır içindeki en uygun yürütücü sayısını otomatik olarak belirler. Bu özellik, yürütücü sayısını veri hacmine göre ayarlayarak performansı ve kaynak kullanımını artırır.

Bu özel havuzların varsayılan otomatik duraklatma süresi 2 dakikadır. Otopause süresine ulaşıldıktan sonra oturumun süresi dolar ve kümeler serbest bırakılır. Düğüm sayısına ve özel Spark havuzlarının kullanıldığı süreye göre ücretlendirilirsiniz.

İlgili içerik