Gelişmiş otomatik ölçeklendirme ile DLT işlem hatlarının küme kullanımını iyileştirme
Bu makalede, Azure Databricks'te DLT işlem hatlarınızı iyileştirmek için gelişmiş otomatik ölçeklendirmenin nasıl kullanılacağı açıklanır.
Gelişmiş otomatik ölçeklendirme tüm yeni işlem hatları için varsayılan olarak etkindir.
Sunucusuz işlem hatları için gelişmiş otomatik ölçeklendirme her zaman açık olur ve devre dışı bırakılamaz. bkz. Sunucusuz DLT işlem hattı yapılandırma.
Gelişmiş otomatik ölçeklendirme nedir?
Databricks gelişmiş otomatik ölçeklendirme, iş yükü hacmine göre küme kaynaklarını otomatik olarak ayırarak küme kullanımını en iyi duruma getirerek işlem hatlarınızın veri işleme gecikme süresini en düşük düzeyde etkiler.
Gelişmiş otomatik ölçeklendirme, aşağıdaki özelliklerle Azure Databricks kümesi otomatik ölçeklendirme işlevselliğini geliştirir:
- Gelişmiş otomatik ölçeklendirme, akış iş yüklerinin iyileştirmesini uygular ve toplu iş yüklerinin performansını iyileştirmeye yönelik iyileştirmeler ekler. İyileştirilmiş otomatik ölçeklendirme, iş yükü değiştikçe makineleri ekleyerek veya kaldırarak maliyetleri iyileştirir.
- Gelişmiş otomatik ölçeklendirme, düşük kullanılan düğümleri proaktif olarak kapatır ve kapatma sırasında başarısız görev olmamasını garanti eder. Mevcut küme otomatik ölçeklendirme özelliği yalnızca düğüm boşta olduğunda düğümlerin ölçeğini küçültür.
Gelişmiş otomatik ölçeklendirme, DLT kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. DLT APIile işlem hatlarını oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.
Gelişmiş otomatik ölçeklendirme hangi ölçümleri kullanarak ölçeği artırma veya azaltma kararı oluşturur?
Gelişmiş otomatik ölçeklendirme, ölçeği artırmaya veya azaltmaya karar vermek için iki ölçüm kullanır:
- Görev yuvası kullanımı: Bu, meşgul görev yuvası sayısının küme kullanılabilir toplam görev yuvalarınınortalama oranıdır.
- görev kuyruğu boyutu : Bu, görev yuvalarında yürütülmeyi bekleyen görev sayısıdır.
DLT işlem hattı için gelişmiş otomatik ölçeklendirmeyi etkinleştirme
Gelişmiş otomatik ölçeklendirme, DLT kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. DLT API'siyle işlem hattı oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.
Gelişmiş otomatik ölçeklendirmeyi kullanmak için aşağıdakilerden birini yapın:
- DLT kullanıcı arabiriminde işlem hattı oluştururken veya düzenlerken Küme modu gelişmiş otomatik ölçeklendirme olarak ayarlayın.
-
autoscale
ayarını işlem hattı kümesi yapılandırmasına ekleyin vemode
alanınıENHANCED
olarak ayarlayın. bkz. DLT işlem hattı için işlem yapılandırma.
Üretim işlem hatları için gelişmiş otomatik ölçeklendirmeyi yapılandırırken aşağıdaki yönergeleri kullanın:
-
Min workers
ayarını varsayılan olarak bırakın. -
Max workers
ayarını bütçe ve işlem hattı önceliğine göre bir değer olarak ayarlayın.
Aşağıdaki örnekte, en az 5 çalışan ve en fazla 10 çalışan ile gelişmiş bir otomatik ölçeklendirme kümesi yapılandırılır.
max_workers
min_workers
değerinden büyük veya buna eşit olmalıdır.
Not
- Gelişmiş otomatik ölçeklendirme yalnızca
updates
kümeleri için kullanılabilir.maintenance
kümeleri için eski otomatik ölçeklendirme kullanılır. -
autoscale
yapılandırmasının iki modu vardır:-
LEGACY
: küme otomatik ölçeklendirmekullanın. -
ENHANCED
: Gelişmiş otomatik ölçeklendirmeyi kullanın.
-
{
"clusters": [
{
"autoscale": {
"min_workers": 5,
"max_workers": 10,
"mode": "ENHANCED"
}
}
]
}
İşlem hattı sürekli yürütme için yapılandırılmışsa, otomatik ölçeklendirme yapılandırması değiştikten sonra otomatik olarak yeniden başlatılır. Yeniden başlatmadan sonra, kısa bir süre artan gecikme süresi bekleyebilirsiniz. Bu kısa gecikme süresinin ardından küme boyutu, autoscale
yapılandırmanıza göre güncelleştirilmeli ve işlem hattı gecikme süresi önceki gecikme süresi özelliklerine geri dönmelidir.
Gelişmiş otomatik ölçeklendirme kullanan işlem hatları için maliyetleri sınırlama
Not
Sunucusuz işlem hatları için çalışanları yapılandıramazsınız.
İşlem Hesaplama bölmesinde Maksimum çalışan parametresinin ayarlanması, otomatik ölçeklendirme için bir üst sınır belirler. Kullanılabilir çalışan sayısının azaltılması bazı iş yüklerinde gecikme süresini artırabilir, ancak yoğun işlem gerektiren işlemler sırasında işlem kaynağı maliyetlerinin artmasını önler.
Databricks, belirli ihtiyaçlarınıza göre maliyet ve gecikme süresi arasındaki dengeyi sağlamak için Maksimum çalışan ayarlarının ayarlanmasını önerir.
İş Hatları kullanıcı arabirimindeki İşlem bölmesinde, otomatik ölçeklendirme için Maksimum çalışan sayısını ayarlayabileceğiniz yer .
Gelişmiş otomatik ölçeklendirme özellikli klasik işlem hatlarını izleme
Klasik işlem hatları için gelişmiş otomatik ölçeklendirme ölçümlerini izlemek için DLT kullanıcı arabirimindeki olay günlüğünü kullanabilirsiniz. Gelişmiş otomatik ölçeklendirme olayları autoscale
olay türüne sahiptir. Örnek olaylar şunlardır:
Etkinlik | İleti |
---|---|
Küme yeniden boyutlandırma isteği başlatıldı | Scaling [up or down] to <y> executors from current cluster size of <x> |
Küme yeniden boyutlandırma isteği başarılı oldu | Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED |
Küme yeniden boyutlandırma isteği kısmen başarılı oldu | Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED |
Küme yeniden boyutlandırma isteği başarısız oldu | Achieved cluster size <x> for cluster <cluster-id> with status FAILED |
Ayrıca olay günlüğünü doğrudan sorgulayarak gelişmiş otomatik ölçeklendirme olaylarını da görüntüleyebilir:
- Arka plan verilerini izlemek için olay günlüğünü sorgulama hakkında bilgi edinmek için bkz. Olay günlüğünüsorgulayarak veri birikimini izleme.
- Gelişmiş otomatik ölçeklendirme işlemleri sırasında küme yeniden boyutlandırma isteklerini ve yanıtlarını izlemek için bkz. sunucusuz etkinleştirilmemiş işlem hatları için olay günlüğünden gelişmiş otomatik ölçeklendirme olaylarını izleme.