İşler için hesaplamayı yapılandırın
Bu makale, Databricks İşleri için bilgi işlem yapılandırma önerileri ve kaynaklar içerir.
Önemli
İşler için sunucusuz işlem sınırlamaları şunlardır:
- Sürekli zamanlama için destek yok.
- Yapılandırılmış Akış'ta varsayılan veya zamana bağlı aralık tetikleyicileri için destek yoktur.
Daha fazla sınırlama için bkz . Sunucusuz işlem sınırlamaları.
Her işin bir veya daha fazla görevi olabilir. Her görev için işlem kaynaklarını tanımlarsınız. Aynı iş için tanımlanan birden çok görev aynı işlem kaynağını kullanabilir.
Her görev için önerilen işlem nedir?
Aşağıdaki tabloda, her görev türü için önerilen ve desteklenen işlem türleri gösterilir.
Not
İşler için sunucusuz işlem sınırlamaları vardır ve tüm iş yüklerini desteklemez. Bkz. Sunucusuz işlem sınırlamaları.
| Görev | Önerilen hesaplama | Desteklenen hesaplama |
|---|---|---|
| Dizüstü Bilgisayarlar | Sunucusuz işler | Sunucusuz işler, klasik işler, klasik çok amaçlı |
| Python betiği | Sunucusuz işler | Sunucusuz işler, klasik işler, klasik çok amaçlı |
| Python tekerleği | Sunucusuz işler | Sunucusuz işler, klasik işler, klasik çok amaçlı |
| SQL | Sunucusuz SQL ambarı | Sunucusuz SQL ambarı, profesyonel SQL ambarı |
| DLT işlem hattı | Sunucusuz işlem hattı | Sunucusuz işlem hattı, klasik işlem hattı |
| dbt | Sunucusuz SQL ambarı | Sunucusuz SQL ambarı, profesyonel SQL ambarı |
| dbt CLI komutları | Sunucusuz işler | Sunucusuz işler, klasik işler, klasik çok amaçlı |
| JAR | Klasik işler | Klasik işler, klasik çok amaçlı |
| Spark İş Gönderme | Klasik işler | Klasik işler |
İşler için fiyatlandırma, görevleri çalıştırmak için kullanılan hesaplama kaynaklarıyla bağlantılıdır. Daha fazla ayrıntı için bkz . Databricks fiyatlandırması.
İşler için bilgi işlem nasıl yapılandırılır?
Klasik işler işlemi doğrudan Databricks İşleri kullanıcı arabiriminden yapılandırılır ve bu yapılandırmalar iş tanımının bir parçasıdır. Diğer tüm kullanılabilir işlem türleri yapılandırmalarını diğer çalışma alanı varlıklarıyla birlikte depolar. Aşağıdaki tabloda daha fazla ayrıntı vardır:
| İşlem türü | Ayrıntılar |
|---|---|
| Klasik işler işlem | Klasik işler için işlem yapılandırmak için aynı kullanıcı arabirimini ve tüm amaçlı işlem için kullanılabilen ayarları kullanırsınız. İşlem yapılandırma başvurusuna bakın. |
| İşler için sunucusuz işlem | İşler için sunucusuz işlem, onu destekleyen tüm görevler için varsayılan değerdir. Databricks sunucusuz işlem için işlem ayarlarını yönetir. Bkz: İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma. nn Bu seçeneğin görünür olması için çalışma alanı yöneticisinin sunucusuz işlem etkinleştirmesi gerekir. Bkz . Sunucusuz işlem etkinleştirme. |
| SQL ambarları | Sunucusuz ve profesyonel SQL ambarları, çalışma alanı yöneticileri veya sınırsız küme oluşturma ayrıcalıklarına sahip kullanıcılar tarafından yapılandırılır. Görevleri mevcut SQL ambarlarında çalışacak şekilde yapılandırabilirsiniz. Bkz Bir SQL ambarına bağlanma. |
| DLT işlem hattı işlem | İşlem hattı yapılandırması sırasında DLT işlem hatları için işlem ayarlarını yapılandırabilirsiniz. bkz. DLT işlem hattı için işlem yapılandırma. nn Azure Databricks sunucusuz DLT işlem hatları için işlem kaynaklarını yönetir. bkz. Sunucusuz DLT işlem hattı yapılandırma. |
| Çok amaçlı işlem | İsteğe bağlı olarak klasik çok amaçlı işlem kullanarak görevleri yapılandırabilirsiniz. Databricks, üretim işleri için bu yapılandırmayı önermez. Bkz . İşlem yapılandırma başvurusu ve İşler için tüm amaçlı işlem kullanılmalı mı?. |
İşlemleri görevler arasında paylaşma
Birden çok görevi düzenleyen işler ile kaynak kullanımını optimize etmek için görevleri aynı hesaplama kaynaklarını kullanacak şekilde yapılandırın. İşlemlerin görevler arasında paylaşılması, başlatma süreleriyle ilişkili gecikme süresini azaltabilir.
İşin parçası olan tüm görevleri veya belirli iş yükleri için en iyi duruma getirilmiş birden çok iş kaynağını çalıştırmak için tek bir iş işlem kaynağı kullanabilirsiniz. bir işin parçası olarak yapılandırılan herhangi bir iş işlemi, işteki diğer tüm görevler için kullanılabilir.
Aşağıdaki tabloda, tek bir görev için yapılandırılan iş işlemi ile görevler arasında paylaşılan iş işlemi arasındaki farklar vurgulanmıştır:
| Tek görev | Görevler arasında paylaşılan | |
|---|---|---|
| Başlangıç | Görev yürütülmesi başladığında. | İşlem kaynağını kullanmak üzere yapılandırılan ilk görev çalıştırması başladığında. |
| Terminate | Görev çalıştırıldıktan sonra. | İşlem kaynağını kullanmak üzere yapılandırılan son görev çalıştırıldıktan sonra. |
| Boşta kalan işlem gücü | Uygulanamaz. | İşlem, işlem kaynağını kullanmayan görevler çalıştırılırken açık ve boşta kalır. |
Paylaşılan bir iş kümesi, yalnızca tek bir iş yürütme için kapsamlanmıştır ve aynı işin diğer görevleri veya yürütmeleri tarafından kullanılamaz.
Kitaplıklar paylaşılan bir iş kümesi yapılandırmasında bildirilemez. Görev ayarlarına bağımlı kitaplıklar eklemeniz gerekir.
İşlem görevlerini gözden geçirme, yapılandırma ve değiş tokuş etme
İş ayrıntıları panelindeki İşlem bölümünde, geçerli işteki görevler için yapılandırılmış tüm işlem listelenir.
İşlem belirtiminin üzerine geldiğinizde görev grafiğinde işlem kaynağı kullanmak üzere yapılandırılan görevler vurgulanır.
İşlem kaynağıyla ilişkili tüm görevlerin işlemini değiştirmek için Değiştir düğmesini kullanın.
Klasik işler işlem kaynakları için bir Yapılandır seçeneğine sahiptir. Diğer işlem kaynakları, işlem yapılandırma ayrıntılarını görüntüleme ve değiştirme seçenekleri sağlar.
Klasik iş hesaplama yapılandırmaya yönelik öneriler
Bu bölüm, bazı iş akışlarından yararlanabilecek özellikler ve yapılandırmalar hakkında genel önerilere odaklanmaktadır. İşlem kaynaklarının boyutunu ve türlerini yapılandırmak için belirli öneriler iş yüküne göre değişir.
Databricks, Foton Hızlandırma'nın etkinleştirilmesini, en son Databricks Runtime sürümlerinin kullanılmasını ve Unity Kataloğu için yapılandırılmış işlem kullanılmasını önerir.
İşler için sunucusuz işlem tüm altyapıyı yöneterek aşağıdaki noktaları ortadan kaldırır. İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma konusuna bakın.
Not
Yapılandırılmış Akış iş akışlarının belirli önerileri vardır. Bkz Yapılandırılmış Akış için Üretimle İlgili Dikkat Edilmesi Gerekenler.
Standart erişim modunu kullanma (eski adıyla paylaşılan erişim modu)
Databricks, işler için standart erişim modunun kullanılmasını önerir. Bkz. Erişim modları.
Not
Standart erişim modu bazı iş yüklerini ve özellikleri desteklemez. Databricks, bu iş yükleri için ayrılmış erişim modu (eski adıyla tek kullanıcı erişim modu) önerir. Unity Kataloğu için işlem erişim modu sınırlamalarına bakın.
Küme ilkelerini kullanma
Databricks, çalışma alanı yöneticilerinin işler için küme ilkeleri tanımlamasını ve işleri yapılandıran tüm kullanıcılar için bu ilkeleri zorunlu kılmasını önerir.
Küme ilkeleri, çalışma alanı yöneticilerinin maliyet denetimlerini ayarlamasına ve kullanıcıların yapılandırma seçeneklerini sınırlamasına olanak tanır. Küme ilkelerini yapılandırma hakkında ayrıntılı bilgi için bkz Hesaplama ilkelerini oluşturma ve yönetme.
Azure Databricks, işler için yapılandırılmış varsayılan bir politikayı sağlar. Yöneticiler bu ilkeyi diğer çalışma alanı kullanıcılarının kullanımına açabilir. Bkz. Görev Hesaplama.
Otomatik ölçeklendirmeyi kullanma
Uzun süre çalışan görevlerin, çalışan düğümleri iş çalıştırmaları sırasında dinamik bir şekilde ekleyip kaldırabilmeleri için otomatik ölçeklendirmeyi yapılandırın. Bkz. Otomatik ölçeklendirmeyi etkinleştirme.
Küme başlangıç sürelerini azaltmak için havuz kullanma
İşlem havuzları, bulut sağlayıcınızdan işlem kaynaklarını ayırmanıza olanak sağlar. Havuzlar, yeni iş kümesi başlangıç zamanını azaltmak ve işlem kaynağı kullanılabilirliğini sağlamak için faydalıdır. Bkz. Havuz yapılandırma referansı.
Spot örneklerini kullanın
Gevşek gecikme gereksinimlerine sahip iş yükleri için maliyetleri optimize etmek amacıyla spot örnekleri yapılandırın. Bkz. Spot örnekleri.
Genel amaçlı hesaplama işlerde kullanılmalı mı?
Databricks'in işler için çok amaçlı işlem kullanılmamasını önermesinin çeşitli nedenleri vardır, şunlar dahil olmak üzere:
- Azure Databricks, tüm amaçlı işlem için iş yükü hesaplamalarına kıyasla farklı bir ücretlendirme tarifesi uygular.
- İş çalıştırması tamamlandıktan sonra hesaplama görevleri otomatik olarak sonlandırılır. Genel amaçlı hesaplama, otomatik sonlandırmayı destekler ve bu, bir iş çalıştırmasının sonu yerine işlemdeki etkinliksizlikle bağlantılıdır.
- Çok amaçlı işlem genellikle kullanıcı ekipleri arasında paylaşılır. Genel amaçlı hesaplamada zamanlanan işler, işlem kaynakları için rekabet nedeniyle genellikle gecikme süresi artar.
- İşlerin işlem yapılandırmasını iyileştirmeye yönelik birçok öneri, geçici sorguların ve tüm amaçlı işlemlerde çalıştırılacak etkileşimli iş yüklerinin türü için uygun değildir.
Görevler için genel amaçlı bilişim kullanmayı seçebileceğiniz kullanım örnekleri aşağıdadır:
- Yeni işleri yinelemeli olarak geliştiriyor veya test ediyorsunuz. İş yükü hesaplarının başlangıç süreleri, yinelemeli geliştirmeyi zahmetli hale getirebilir. Çok amaçlı işlem, değişiklikleri uygulamanıza ve işinizi hızlı bir şekilde çalıştırmanıza olanak tanır.
- Sık veya belirli bir zamanlamaya göre çalıştırılması gereken kısa süreli işleriniz var. Şu anda çalışan tüm amaçlı işlemle ilişkilendirilmiş bir başlangıç süresi yoktur. Bu deseni kullanıyorsanız boşta kalma süresiyle ilişkili maliyetleri göz önünde bulundurun.
Sunucusuz işlem, tüm amaçlı işlemler yerine çalıştırmayı düşünebileceğiniz çoğu görev türü için önerilen bir alternatiftir.