Aracılığıyla paylaş

Spark havuzlarını Azure Synapse Analytics'ten Doku'ya geçirme

  • Makale

Azure Synapse Spark havuzları sağlarken Fabric, Başlangıç havuzları ve Özel havuzlar sunar. Azure Synapse'te özel yapılandırmaları veya kitaplıkları olmayan tek bir havuzunuz varsa ve Orta düğüm boyutu gereksinimlerinizi karşılıyorsa Başlangıç havuzu iyi bir seçim olabilir. Ancak Spark havuzu yapılandırmalarınızda daha fazla esneklik arıyorsanız Özel havuzları kullanmanızı öneririz. Burada iki seçenek vardır:

  • 1. Seçenek: Spark havuzunuzu çalışma alanının varsayılan havuzuna taşıyın.
  • 2. Seçenek: Spark havuzunuzu Doku'da özel bir ortama taşıyın.

Birden fazla Spark havuzunuz varsa ve bunları aynı Doku çalışma alanına taşımayı planlıyorsanız, birden çok özel ortam ve havuz oluşturarak Seçenek 2'yi kullanmanızı öneririz.

Spark havuzuyla ilgili dikkat edilmesi gerekenler için Bkz. Azure Synapse Spark ile Doku arasındaki farklar.

Önkoşullar

Henüz bir yapınız yoksa, kiracınızda bir Doku çalışma alanı oluşturun.

1. Seçenek: Spark havuzundan çalışma alanının varsayılan havuzuna

Doku çalışma alanınızdan özel bir Spark havuzu oluşturabilir ve bunu çalışma alanında varsayılan havuz olarak kullanabilirsiniz. Varsayılan havuz, aynı çalışma alanında yer alan tüm not defterleri ve Spark iş tanımları tarafından kullanılır.

Mevcut spark havuzundan Azure Synapse'ten çalışma alanı varsayılan havuzuna geçmek için:

  1. Azure Synapse çalışma alanına erişme: Azure'da oturum açın. Azure Synapse çalışma alanınıza gidin, Analiz Havuzları'na gidin ve Apache Spark havuzları'na tıklayın.
  2. Spark havuzunu bulun: Apache Spark havuzlarından Doku'ya taşımak istediğiniz Spark havuzunu bulun ve havuz Özelliklerini denetleyin.
  3. Özellikleri alma: Apache Spark sürümü, düğüm boyutu ailesi, düğüm boyutu veya otomatik ölçeklendirme gibi Spark havuzu özelliklerini alın. Farkları görmek için Spark havuzuyla ilgili dikkat edilmesi gerekenler bölümüne bakın.
  4. Doku'da özel spark havuzu oluşturma:
    • Doku çalışma alanınıza gidin ve Çalışma alanı ayarları'nı seçin.
    • Veri Madenciliği/Bilim'e gidin ve Spark ayarları'nı seçin.
    • Havuz sekmesinde ve Çalışma alanı için varsayılan havuz bölümünde açılan menüyü genişletin ve Yeni havuz oluştur'u seçin.
    • Özel havuzunuzu ilgili hedef değerlerle oluşturun. Ad, düğüm ailesi, düğüm boyutu, otomatik ölçeklendirme ve dinamik yürütücü ayırma seçeneklerini doldurun.
  5. Çalışma zamanı sürümünü seçin:
    • Ortam sekmesine gidin ve gerekli Çalışma Zamanı Sürümünü seçin. Kullanılabilir çalışma zamanlarına buradan bakın.
    • Varsayılan ortamı ayarla seçeneğini devre dışı bırakın.

Varsayılan havuzu gösteren ekran görüntüsü.

Not

Bu seçenekte havuz düzeyi kitaplıkları veya yapılandırmaları desteklenmez. Ancak, not defterleri ve Spark iş tanımları gibi tek tek öğeler için işlem yapılandırmasını ayarlayabilir ve satır içi kitaplıklar ekleyebilirsiniz. Bir ortama özel kitaplıklar ve yapılandırmalar eklemeniz gerekiyorsa, özel bir ortamı göz önünde bulundurun.

2. Seçenek: Spark havuzundan özel ortama

Özel ortamlarla özel Spark özellikleri ve kitaplıkları ayarlayabilirsiniz. Özel ortam oluşturmak için:

  1. Azure Synapse çalışma alanına erişme: Azure'da oturum açın. Azure Synapse çalışma alanınıza gidin, Analiz Havuzları'na gidin ve Apache Spark havuzları'na tıklayın.
  2. Spark havuzunu bulun: Apache Spark havuzlarından Doku'ya taşımak istediğiniz Spark havuzunu bulun ve havuz Özelliklerini denetleyin.
  3. Özellikleri alma: Apache Spark sürümü, düğüm boyutu ailesi, düğüm boyutu veya otomatik ölçeklendirme gibi Spark havuzu özelliklerini alın. Farkları görmek için Spark havuzuyla ilgili dikkat edilmesi gerekenler bölümüne bakın.
  4. Özel spark havuzu oluşturma:
    • Doku çalışma alanınıza gidin ve Çalışma alanı ayarları'nı seçin.
    • Veri Madenciliği/Bilim'e gidin ve Spark ayarları'nı seçin.
    • Havuz sekmesinde ve Çalışma alanı için varsayılan havuz bölümünde açılan menüyü genişletin ve Yeni havuz oluştur'u seçin.
    • Özel havuzunuzu ilgili hedef değerlerle oluşturun. Ad, düğüm ailesi, düğüm boyutu, otomatik ölçeklendirme ve dinamik yürütücü ayırma seçeneklerini doldurun.
  5. Ortamınız yoksa bir Ortam öğesi oluşturun.
  6. Spark işlem yapılandırma:
    • Ortam'da Spark İşlem'e> gidin.
    • Yeni ortam için yeni oluşturulan havuzu seçin.
    • Sürücü ve yürütücü çekirdeklerini ve belleği yapılandırabilirsiniz.
  7. Ortam için bir çalışma zamanı sürümü seçin. Kullanılabilir çalışma zamanlarına buradan bakın.
  8. Değişiklikleri Kaydet ve Yayımla'ya tıklayın.

Ortam oluşturma ve kullanma hakkında daha fazla bilgi edinin.

Özel ortamı gösteren ekran görüntüsü.

İlgili içerik