Havuz en iyi yöntemleri

Bu makalede havuzların ne olduğu ve bunları en iyi nasıl yapılandırabileceğiniz açıklanmaktadır. Havuz oluşturma hakkında bilgi için bkz . Havuz yapılandırma başvurusu.

Havuzla ilgili dikkat edilmesi gerekenler

Havuz oluştururken aşağıdakileri göz önünde bulundurun:

• Hedef iş yüklerini temel alan örnek türlerini ve Azure Databricks çalışma zamanlarını kullanarak havuzlar oluşturun.
• Mümkün olduğunda, maliyetleri azaltmak için havuzları spot örneklerle doldurun. Spot havuzları yalnızca çalışan düğümleri olarak kullanın. Sürücü düğümünüzün isteğe bağlı örnekleri kullanması gerekir.
• Kısa yürütme süreleri ve katı yürütme süresi gereksinimleri olan işler için havuzları isteğe bağlı örneklerle doldurun.
• Faturalamayı yönetmek için havuz etiketlerini ve küme etiketlerini kullanın.
• Kümeler gerektiğinde örneklerin kullanılabilir olduğundan emin olmak için havuzları önceden doldurun.

İş yüklerini temel alan havuzlar oluşturma

Kuruluşunuzun yaygın olarak kullandığı her örnek türü ve Azure Databricks çalışma zamanı için bir havuz oluşturarak örnek alma süresini en aza indirebilirsiniz. Örneğin, veri mühendisliği kümelerinin çoğu örnek türü A kullanıyorsa, veri bilimi kümeleri örnek türü B'yi, analiz kümeleri de örnek türü C'yi kullanırsa, her örnek türüyle bir havuz oluşturun.

Spot örnek havuzlarını kullanma

Sürücü düğümünüzün ve çalışan düğümlerinizin farklı gereksinimleri varsa, her biri için farklı havuzlar kullanın.

Azure Databricks, sürücü düğümünüzün spot örneklerini kullanmamanızı önerir. Çalışan düğümünüzün spot havuzunu kullanıyorsanız Sürücü türünüz olarak isteğe bağlı bir havuz seçin.

Havuzları, kısa yürütme süreleri ve katı yürütme süresi gereksinimleri olan işler için isteğe bağlı örnekleri kullanacak şekilde yapılandırın. Alınan örneklerin spot piyasada daha yüksek bir teklif verene kaybolmasını önlemek için isteğe bağlı örnekleri kullanın.

Havuzları, etkileşimli geliştirmeyi destekleyen kümeler için spot örnekleri veya güvenilirlik yerine maliyet tasarruflarını öncelik sırasına alan işler kullanacak şekilde yapılandırın.

Maliyet ve faturalamayı yönetmek için havuzları etiketleme

Havuzları doğru maliyet merkezine etiketlemek, maliyet ve kullanım geri ödemesini yönetmenizi sağlar. Birden çok maliyet merkezini bir havuzla ilişkilendirmek için birden çok özel etiket kullanabilirsiniz. Ancak havuzlardan bir küme oluşturulduğunda etiketlerin nasıl yayıldığından emin olmak önemlidir. Havuzlardan alınan etiketler temel bulut sağlayıcısı örneklerine yayılır, ancak kümenin etiketleri yayılmaz. Bulut sağlayıcısı işlem maliyetinin geri ödemesini yönetmek için gereken tüm özel etiketleri havuza uygulayın.

Hem havuz etiketleri hem de küme etiketleri Azure Databricks faturalamasına yayılır. Azure Databricks Birimlerinin geri ödemesini yönetmek için küme ve havuz etiketlerinin birleşimini kullanabilirsiniz.

Daha fazla bilgi edinmek için bkz. Etiketleri kullanarak öznitelik kullanımı.

Maliyeti denetlemek için havuzları yapılandırma

Havuzların maliyetini denetlemeye yardımcı olması için aşağıdaki yapılandırma seçeneklerini kullanabilirsiniz:

• İş yapmayan çalışır durumda olan örneklerin ödemesini önlemek için Min Idle örneklerini 0 olarak ayarlayın. Taviz, kümenin yeni bir örnek alması gerektiğinde zamanın artma olasılığıdır.
• Beklenen kullanıma göre Maksimum Kapasite ayarlayın. Bu, havuzdaki en fazla kullanılan ve boşta kalan örnek sayısı için tavanı ayarlar. bir iş veya küme havuzdaki bir örneği en yüksek kapasitede isterse istek başarısız olur ve küme daha fazla örnek almaz. Bu nedenle Databricks, maksimum kapasiteyi yalnızca katı bir örnek kotası veya bütçe kısıtlaması varsa ayarlamanızı önerir.
• Örneğin kümeden ne zaman serbest bırakıldığı ve havuzdan bırakıldığı arasında bir arabellek sağlamak için Boşta Örneği Otomatik Sonlandırma zaman ayarlayın. Bunu, zamanlanmış işler için örneklerin kullanılabilirliğini güvence altına alırken maliyeti en aza indirmenize olanak tanıyan bir dönem olarak ayarlayın. Örneğin, A işi 08:00'de çalışacak şekilde zamanlanır ve tamamlanması 40 dakika sürer. B işi 09:00'da çalışacak şekilde zamanlanır ve tamamlanması 30 dakika sürer. Örneklerin A işi tamamlandığında havuza döndürüldüğünde B işi başladığında kullanılabilir olmalarını sağlamak için Boşta Kalan Örnek Otomatik Sonlandırma değerini 20 dakika olarak ayarlayın. Başka bir küme tarafından talep edilmedikleri sürece, bu örnekler B işi bittikten 20 dakika sonra sonlandırılır.

Havuzları önceden doldurma

Havuzlardan tam olarak yararlanmak için yeni oluşturulan havuzları önceden doldurabilirsiniz. Havuz yapılandırmasında Sıfırdan büyük Min Idle örneklerini ayarlayın. Alternatif olarak, bu değeri sıfır olarak ayarlama önerisini izliyorsanız, yeni oluşturulan havuzların kümelerin erişebilmesi için kullanılabilir örneklere sahip olduğundan emin olmak için bir başlangıç işi kullanın.

Başlangıç işi yaklaşımıyla, daha katı performans gereksinimlerine sahip işlerden önce veya kullanıcılar etkileşimli kümeleri kullanmaya başlamadan önce çalışmak için esnek yürütme süresi gereksinimlerine sahip bir iş zamanlayın. İş tamamlandıktan sonra, iş için kullanılan örnekler havuza geri serbest bırakılır. En Düşük Boşta örnek ayarını 0 olarak ayarlayın ve boşta kalan örneklerin sonraki işler için kullanılabilir kalmasını sağlamak için Boşta Örneği Otomatik Sonlandırma süresini yeterince yüksek olarak ayarlayın.

Başlangıç işi kullanmak, havuz örneklerinin çalışmasını, havuzu doldurmasını ve aşağı akış işi veya etkileşimli kümeler için kullanılabilir durumda kalmasını sağlar.