İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma

İş akışları için sunucusuz işlem, altyapıyı yapılandırmadan ve dağıtmadan Azure Databricks işinizi çalıştırmanıza olanak tanır. Sunucusuz işlem ile veri işleme ve analiz işlem hatlarınızı uygulamaya odaklanırsınız ve Azure Databricks, iş yükleriniz için işlem iyileştirme ve ölçeklendirme dahil olmak üzere işlem kaynaklarını verimli bir şekilde yönetir. otomatik ölçeklendirme ve Foton , işinizi çalıştıran işlem kaynakları için otomatik olarak etkinleştirilir.

İş akışları için sunucusuz işlem, iş yüklerinizin belirli işleme gereksinimlerine göre en iyi performansı sağlamak için örnek türleri, bellek ve işleme altyapıları gibi altyapıyı otomatik olarak ve sürekli olarak iyileştirir.

Databricks, Geliştirmeleri ve platform yükseltmelerini desteklemek için Databricks Runtime sürümünü otomatik olarak yükseltirken Azure Databricks işlerinizin kararlılığını sağlar. İş akışları için sunucusuz işlem tarafından kullanılan geçerli Databricks Runtime sürümünü görmek için Sunucusuz işlem sürüm notlarına bakın.

Küme oluşturma izni gerekli olmadığından, tüm çalışma alanı kullanıcıları iş akışlarını çalıştırmak için sunucusuz işlem kullanabilir.

Bu makalede, sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için Azure Databricks İşleri kullanıcı arabiriminin kullanımı açıklanmaktadır. Ayrıca İşler API'si, Databricks Varlık Paketleri ve Python için Databricks SDK'sı ile sunucusuz işlem kullanan işleri oluşturmayı ve çalıştırmayı otomatikleştirebilirsiniz.

• Sunucusuz işlem gücü kullanan işler oluşturmak ve çalıştırmak için İşler API'sini kullanma hakkında bilgi edinmek için REST API başvurusunda İşler'e bakın.
• Sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için Databricks Varlık Paketlerini kullanma hakkında bilgi edinmek için bkz . Databricks Varlık Paketlerini kullanarak Azure Databricks'te iş geliştirme.
• Sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak üzere Python için Databricks SDK'sını kullanma hakkında bilgi edinmek için bkz . Python için Databricks SDK'sı.

Gereksinimler

• Azure Databricks çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.
• İş akışları için sunucusuz işlem standart erişim modukullandığından, iş yüklerinizin bu erişim modunu desteklemesi gerekir.
• Databricks çalışma alanınız desteklenen bir bölgede olmalıdır. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.

• Azure Databricks hesabınızda sunucusuz işlem etkinleştirilmelidir. Bkz . Sunucusuz işlem etkinleştirme.

Sunucusuz işlem kullanarak iş oluşturma

Sunucusuz işlem not defteri, Python betiği, dbt ve Python tekerleği görev türleriyle desteklenir. Varsayılan olarak, yeni bir iş oluşturduğunuzda ve bu desteklenen görev türlerinden birini eklediğinizde işlem türü olarak sunucusuz işlem seçilir.

Databricks, tüm iş görevleri için sunucusuz işlem kullanılmasını önerir. Bir işteki görevler için farklı işlem türleri de belirtebilirsiniz. Bu, iş akışları için sunucusuz işlem tarafından bir görev türü desteklenmiyorsa gerekli olabilir.

İşlerinizin giden ağ bağlantılarını yönetmek için bkz. Sunucusuz çıkış denetimi nedir?

Var olan bir işi sunucusuz işlem kullanacak şekilde yapılandırma

mevcut bir işi, işi düzenlerken desteklenen görev türleri için sunucusuz işlem kullanacak şekilde değiştirebilirsiniz. Sunucusuz işlem moduna geçmek için:

• İş ayrıntıları yan panelde, İşlem altında Değiştir'e tıklayın, Yeni'ye tıklayın, herhangi bir ayar girin veya güncelleyin ve Güncelle'ye tıklayın.
• Aşağı Açılır Oku'na tıklayın ve İşlem açılan menüsünde Sunucusuz'u seçin.

Sunucusuz işlem kullanarak not defteri zamanlama

Sunucusuz işlem kullanarak iş oluşturmak ve zamanlamak için İşler kullanıcı arabirimini kullanmanın yanı sıra, doğrudan databricks not defterinden sunucusuz işlem kullanan bir iş oluşturabilir ve çalıştırabilirsiniz. Bkz. Zamanlanmış not defteri işlerini oluşturma ve yönetme.

Sunucusuz kullanımınız için bir bütçe ilkesi seçin

Bütçe ilkeleri, kuruluşunuzun ayrıntılı faturalama ilişkilendirmesi için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için bütçe ilkeleri kullanıyorsa, iş ayrıntıları kullanıcı arabirimindeki Bütçe ilkesi ayarını kullanarak işinizin bütçe ilkesini seçebilirsiniz. Yalnızca bir bütçe ilkesine atandıysanız, ilke yeni işleriniz için otomatik olarak seçilir.

Bütçe ilkeleri hakkında daha fazla bilgi için Bütçe ilkeleriyle sunucusuz kullanımı öznitelendirme kısmına bakın.

Spark yapılandırma parametrelerini ayarlama

Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için Databricks yalnızca belirli Spark yapılandırma parametrelerinin ayarlanmasına izin verir. İzin verilebilen parametrelerin listesi için bkz. desteklenen Spark yapılandırma parametreleri.

Spark yapılandırma parametrelerini yalnızca oturum düzeyinde ayarlayabilirsiniz. Bunu yapmak için, bunları bir not defterine kaydedin ve defteri, parametreleri kullanan aynı proje ile bağlantılı göreve ekleyin. Bkz. Bir not defteri içinde Apache Spark yapılandırma özelliklerini alma ve ayarlama.

Ortamları ve bağımlılıkları yapılandırma

Sunucusuz işlem kullanarak kitaplıkları ve bağımlılıkları yüklemeyi öğrenmek için bkz . Not defteri bağımlılıklarını yükleme.

Not defteri görevleri için yüksek bellek yapılandırma

Not defteri görevlerini daha yüksek bir bellek boyutu kullanacak şekilde yapılandırabilirsiniz. Bunu yapmak için not defterinin Ortam yan panelinde Bellek ayarını yapılandırın. sunucusuz iş yükleriniz için yüksek bellek yapılandırınbakın.

Yüksek bellek yalnızca not defteri görev türlerinde kullanılabilir.

Sunucusuz işlem otomatik iyileştirmesini yeniden denemeleri yasaklayacak şekilde yapılandırma

İş akışları için sunucusuz işlem, işleri çalıştırmak ve başarısız görevleri yeniden denemek için kullanılan hesabı otomatik olarak optimize eder. Otomatik iyileştirme varsayılan olarak etkindir ve Databricks kritik iş yüklerinin en az bir kez başarıyla çalıştığından emin olmak için bu özelliğin etkin kalmasını önerir. Ancak, en fazla bir kez yürütülmesi gereken iş yükleriniz varsa (örneğin, idempotent olmayan işler), görev eklerken veya düzenlerken otomatik optimize etmeyi kapatabilirsiniz.

1. Yeniden Denemeler'in yanındaki Ekle'ye tıklayın (veya yeniden deneme ilkesi zaten varsa).
2. Yeniden Dene İlke iletişim kutusunda, Sunucusuz otomatik iyileştirmeyi etkinleştir (ek yeniden denemeler içerebilir) seçeneğinin işaretini kaldırın.
3. Onayla'yı tıklatın.
4. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.

İş akışları için sunucusuz işlem kullanan işlerin maliyetini izleme

faturalanabilir kullanım sistemi tablosunu sorgulayarak iş akışları için sunucusuz işlem kullanan işlerin maliyetini izleyebilirsiniz. Bu tablo, sunucusuz maliyetlerle ilgili kullanıcı ve iş yükü özniteliklerini içerecek şekilde güncelleştirilir. Bkz. Faturalanabilir kullanım sistemi tablo referansı.

Geçerli fiyatlandırma ve promosyonlar hakkında bilgi için İş akışları fiyatlandırma sayfasına bakın.

İş çalıştırmaları için sorgu ayrıntılarını görüntüleme

Spark deyimleriniz için ölçümler ve sorgu planları gibi ayrıntılı çalışma zamanı bilgilerini görüntüleyebilirsiniz.

İş kullanıcı arabiriminden sorgu ayrıntılarına erişmek için aşağıdaki adımları kullanın:

1. Kenar çubuğunda İş Akışları'na tıklayın .

2. Görüntülemek istediğiniz işin adına tıklayın.

3. Görüntülemek istediğiniz belirli işlemi seçin.

4. Çalıştırmayı tek tek görevlere bölünmüş bir zaman çizelgesi olarak görüntülemek için Zaman Çizelgesi'ne tıklayın.

5. Sorgu deyimlerini ve çalışma zamanlarını göstermek için görev adının yanındaki oka tıklayın.

   

6. Bir ifadeye tıklayarak sorgu ayrıntıları panelini açın. Bu panelde sağlanan bilgiler hakkında daha fazla bilgi edinmek için bkz . Sorgu ayrıntılarını görüntüleme.

Görevin sorgu geçmişini görüntülemek için:

1. Görev çalıştırması yan panelinin İşlem bölümünde Sorgu geçmişi'ne tıklayın.
2. Sorgu Geçmişi'ne yönlendirilirsiniz ve içinde olduğunuz görevin görev çalıştırma kimliğine göre önceden filtrelenirsiniz.

Sorgu geçmişini kullanma hakkında bilgi için bkz. DLT işlem hatları için sorgu geçmişine erişme ve Sorgu geçmişi.

Sınırlamalar

Sunucusuz işlem ile iş akışlarının sınırlamaları listesi için, sunucusuz işlem sürüm notlarındaki Sunucusuz işlem sınırlamaları kısmına bakın.