Aracılığıyla paylaş

Gelişmiş otomatik ölçeklendirme ile DLT işlem hatlarının küme kullanımını iyileştirme

  • Makale

Bu makalede, Azure Databricks'te DLT işlem hatlarınızı iyileştirmek için gelişmiş otomatik ölçeklendirmenin nasıl kullanılacağı açıklanır.

Gelişmiş otomatik ölçeklendirme tüm yeni işlem hatları için varsayılan olarak etkindir.

Sunucusuz işlem hatları için gelişmiş otomatik ölçeklendirme her zaman açık olur ve devre dışı bırakılamaz. bkz. Sunucusuz DLT işlem hattı yapılandırma.

Gelişmiş otomatik ölçeklendirme nedir?

Databricks gelişmiş otomatik ölçeklendirme, iş yükü hacmine göre küme kaynaklarını otomatik olarak ayırarak küme kullanımını en iyi duruma getirerek işlem hatlarınızın veri işleme gecikme süresini en düşük düzeyde etkiler.

Gelişmiş otomatik ölçeklendirme, aşağıdaki özelliklerle Azure Databricks kümesi otomatik ölçeklendirme işlevselliğini geliştirir:

  • Gelişmiş otomatik ölçeklendirme, akış iş yüklerinin iyileştirmesini uygular ve toplu iş yüklerinin performansını iyileştirmeye yönelik iyileştirmeler ekler. İyileştirilmiş otomatik ölçeklendirme, iş yükü değiştikçe makineleri ekleyerek veya kaldırarak maliyetleri iyileştirir.
  • Gelişmiş otomatik ölçeklendirme, düşük kullanılan düğümleri proaktif olarak kapatır ve kapatma sırasında başarısız görev olmamasını garanti eder. Mevcut küme otomatik ölçeklendirme özelliği yalnızca düğüm boşta olduğunda düğümlerin ölçeğini küçültür.

Gelişmiş otomatik ölçeklendirme, DLT kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. DLT APIile işlem hatlarını oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.

Gelişmiş otomatik ölçeklendirme hangi ölçümleri kullanarak ölçeği artırma veya azaltma kararı oluşturur?

Gelişmiş otomatik ölçeklendirme, ölçeği artırmaya veya azaltmaya karar vermek için iki ölçüm kullanır:

  • Görev yuvası kullanımı: Bu, meşgul görev yuvası sayısının küme kullanılabilir toplam görev yuvalarınınortalama oranıdır.
  • görev kuyruğu boyutu : Bu, görev yuvalarında yürütülmeyi bekleyen görev sayısıdır.

DLT işlem hattı için gelişmiş otomatik ölçeklendirmeyi etkinleştirme

Gelişmiş otomatik ölçeklendirme, DLT kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. DLT API'siyle işlem hattı oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.

Gelişmiş otomatik ölçeklendirmeyi kullanmak için aşağıdakilerden birini yapın:

  • DLT kullanıcı arabiriminde işlem hattı oluştururken veya düzenlerken Küme modu gelişmiş otomatik ölçeklendirme olarak ayarlayın.
  • autoscale ayarını işlem hattı kümesi yapılandırmasına ekleyin ve mode alanını ENHANCEDolarak ayarlayın. bkz. DLT işlem hattı için işlem yapılandırma.

Üretim işlem hatları için gelişmiş otomatik ölçeklendirmeyi yapılandırırken aşağıdaki yönergeleri kullanın:

  • Min workers ayarını varsayılan olarak bırakın.
  • Max workers ayarını bütçe ve işlem hattı önceliğine göre bir değer olarak ayarlayın.

Aşağıdaki örnekte, en az 5 çalışan ve en fazla 10 çalışan ile gelişmiş bir otomatik ölçeklendirme kümesi yapılandırılır. max_workers min_workersdeğerinden büyük veya buna eşit olmalıdır.

Not

  • Gelişmiş otomatik ölçeklendirme yalnızca updates kümeleri için kullanılabilir. maintenance kümeleri için eski otomatik ölçeklendirme kullanılır.
  • autoscale yapılandırmasının iki modu vardır: 
{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

İşlem hattı sürekli yürütme için yapılandırılmışsa, otomatik ölçeklendirme yapılandırması değiştikten sonra otomatik olarak yeniden başlatılır. Yeniden başlatmadan sonra, kısa bir süre artan gecikme süresi bekleyebilirsiniz. Bu kısa gecikme süresinin ardından küme boyutu, autoscale yapılandırmanıza göre güncelleştirilmeli ve işlem hattı gecikme süresi önceki gecikme süresi özelliklerine geri dönmelidir.

Gelişmiş otomatik ölçeklendirme kullanan işlem hatları için maliyetleri sınırlama

Not

Sunucusuz işlem hatları için çalışanları yapılandıramazsınız.

İşlem Hesaplama bölmesinde Maksimum çalışan parametresinin ayarlanması, otomatik ölçeklendirme için bir üst sınır belirler. Kullanılabilir çalışan sayısının azaltılması bazı iş yüklerinde gecikme süresini artırabilir, ancak yoğun işlem gerektiren işlemler sırasında işlem kaynağı maliyetlerinin artmasını önler.

Databricks, belirli ihtiyaçlarınıza göre maliyet ve gecikme süresi arasındaki dengeyi sağlamak için Maksimum çalışan ayarlarının ayarlanmasını önerir.

İş Hatları kullanıcı arabirimindeki İşlem bölmesinde, otomatik ölçeklendirme için Maksimum çalışan sayısını ayarlayabileceğiniz yer .

Gelişmiş otomatik ölçeklendirme özellikli klasik işlem hatlarını izleme

Klasik işlem hatları için gelişmiş otomatik ölçeklendirme ölçümlerini izlemek için DLT kullanıcı arabirimindeki olay günlüğünü kullanabilirsiniz. Gelişmiş otomatik ölçeklendirme olayları autoscale olay türüne sahiptir. Örnek olaylar şunlardır:

Etkinlik İleti
Küme yeniden boyutlandırma isteği başlatıldı Scaling [up or down] to <y> executors from current cluster size of <x>
Küme yeniden boyutlandırma isteği başarılı oldu Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
Küme yeniden boyutlandırma isteği kısmen başarılı oldu Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
Küme yeniden boyutlandırma isteği başarısız oldu Achieved cluster size <x> for cluster <cluster-id> with status FAILED

Ayrıca olay günlüğünü doğrudan sorgulayarak gelişmiş otomatik ölçeklendirme olaylarını da görüntüleyebilir: