Not defteri bağımlılıklarını yükleme

Sunucusuz not defterleri için Python bağımlılıklarını Ortam yan panelini kullanarak yükleyebilirsiniz. Bu panel, not defterinin kitaplık gereksinimlerini düzenlemek, görüntülemek ve dışarı aktarmak için tek bir yer sağlar. Bu bağımlılıklar temel ortam kullanılarak veya tek tek eklenebilir.

Not defteri olmayan görevler için bkz . Not defteri olmayan görevler için ortamları ve bağımlılıkları yapılandırma.

Temel ortam yapılandırma

Temel ortam, çalışma alanı dosyası olarak veya ek ortam bağımlılıklarını belirten bir Unity Kataloğu biriminde depolanan bir YAML dosyasıdır. Temel ortamlar not defterleri arasında paylaşılabilir. Temel ortamı yapılandırmak için:

1. Python sanal ortamı ayarlarını tanımlayan bir YAML dosyası oluşturun. MLflow projeleri ortam belirtimini temel alan aşağıdaki örnek YAML, birkaç kitaplık bağımlılığına sahip bir temel ortam tanımlar:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - my-library==6.1
     - "/Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl"
     - git+https://github.com/databricks/databricks-cli
   

2. YAML dosyasını çalışma alanı dosyası olarak veya Unity Kataloğu birimine yükleyin. Bkz. Dosya içeri aktarma veya Dosyaları Unity Kataloğu birimine yükleme.

3. Not defterinin sağ tarafındaki düğmesine tıklayarak Ortam yan panelini genişletin. Bu düğme yalnızca bir not defteri sunucusuz işlemle bağlantılı olduğunda görünür.

4. Temel Ortam alanına karşıya yüklenen YAML dosyasının yolunu girin. Alternatif olarak, dosyayı bularak üzerine tıklayın ve seçin.

5. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Kullanıcılar, bağımlılıkları tek tek yükleyerek temel ortamda belirtilen bağımlılıkları geçersiz kılabilir.

Not defteri ortamını yapılandırma

Ayrıca, Ortam yan panelini kullanarak sunucusuz işlemle bağlantılı bir not defterine bağımlılıkları yükleyebilirsiniz:

1. Not defterinin sağ tarafındaki düğmesine tıklayarak Ortam yan panelini genişletin. Bu düğme yalnızca bir not defteri sunucusuz işlemle bağlantılı olduğunda görünür.
2. Ortam sürümü açılır listeden ortam sürümünü seçin. bkz. Sunucusuz ortam sürümleri. Databricks, en up-totarih not defteri özelliklerini almak için en son sürümün seçilebilir olmasını önerir.
3. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve kitaplık bağımlılığının yolunu alanına girin. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz.
4. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Yüklü bağımlılıkları ve pip günlüklerini görüntüleme

Yüklü bağımlılıkları görüntülemek için, not defterinin Ortamlar panelinde Yüklü üzerine tıklayın. Not defteri ortamı için pip yükleme günlükleri, panelin alt kısmındaki pip günlükleri bağlantısına tıklayarak da erişilebilir.

Ortamı sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Bu, işlem yapılmadığı için bağlantısı kesilmiş olsa bile var olan bir not defterini açtığınızda genel olarak Ortam yan panelinde belirtilen Python bağımlılıklarını yeniden yüklemeniz gerekmediği anlamına gelir.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bir iş çalıştırıldığında, çalıştırıldığı durumda tamamlanmış bir görevle aynı bağımlılık kümesini paylaşan herhangi bir görev, gerekli bağımlılıklar zaten mevcut olduğundan daha hızlı çalışır.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam yan panelinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için, Uygula yanındaki oka tıklayın ve ardından Ortamı Sıfırlaseçeneğine tıklayın.

Not defteri olmayan görevler için ortamları ve bağımlılıkları yapılandırma

Python betiği, Python tekerleği veya dbt görevleri gibi desteklenen diğer görev türleri için varsayılan ortam yüklü Python kitaplıklarını içerir. Yüklü kitaplıkların listesini görmek için kullandığınız istemci sürümünün Yüklü Python kitaplıkları bölümüne bakın. bkz. Sunucusuz ortam sürümleri. Bir görev yüklü olmayan bir Python kitaplığı gerektiriyorsa, kitaplığı, Unity Kataloğu birimleriçalışma alanı dosyalarından veya genel paket depolarından yükleyebilirsiniz. Görev oluştururken veya düzenlerken kitaplık eklemek için:

1. Ortam ve Kitaplıklar açılan menüsünde Varsayılan ortam'ın yanındaki öğesine veya + Yeni ortam ekle'ye tıklayın.

   

2. Ortam sürümü açılır listeden ortam sürümünü seçin. bkz. Sunucusuz ortam sürümleri. Databricks, en up-totarih özelliklerini elde etmek için en son sürümü seçmenizi önerir.

3. Ortamı yapılandır iletişim kutusunda + Kitaplık ekle'ye tıklayın.

4. Kitaplıklaraltındaki açılan menüden bağımlılık türünü seçin.

5. Dosya Yolu metin kutusuna kitaplığın yolunu girin.

• Çalışma alanı dosyasındaki python tekerleği için yol mutlak olmalı ve ile /Workspace/başlamalıdır.

• Unity Kataloğu biriminde bir Python Wheel'in yolu /Volumes/<catalog>/<schema>/<volume>/<path>.whlolmalıdır.

• requirements.txt dosyası için PyPi'yi seçin ve -r /path/to/requirements.txtgirin.

  

1. Başka bir kitaplık eklemek için Onayla veya + Kitaplık ekle'ye tıklayın.
2. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.

Varsayılan Python paket depolarını yapılandırma

Yöneticiler, çalışma alanlarındaki özel veya kimliği doğrulanmış paket depolarını hem sunucusuz not defterleri hem de sunucusuz işler için varsayılan pip yapılandırması olarak yapılandırabilir. Bu, kullanıcıların açıkça index-url veya extra-index-urltanımlamadan iç Python depolarından paketleri yüklemesine olanak tanır. Ancak, bu değerler kodda veya not defterinde belirtilirse, çalışma alanı varsayılanlarından önceliklidir.

Bu yapılandırma, depo URL'lerini ve kimlik bilgilerini güvenli bir şekilde depolamak ve yönetmek için Databricks gizli dizilerinden yararlanır. Yöneticiler, çalışma alanı yönetici ayarları sayfasını veya önceden tanımlanmış gizli dizi kapsamını ve Databricks CLI gizli dizi komutlarını veya REST APIkullanarak kurulumu yapılandırabilir.

Çalışma alanı yönetici ayarları sayfasını kullanarak kurulum

Çalışma alanı yöneticileri, çalışma alanı yöneticisi ayarları sayfasını kullanarak varsayılan Python paketi depolarını ekleyebilir veya kaldırabilir.

1. Çalışma alanı yöneticisi olarak Databricks çalışma alanında oturum açın.
2. Databricks çalışma alanının üst çubuğunda kullanıcı adınızı tıklayın ve Ayarlarseçeneğini seçin.
3. Hesaplama sekmesine tıklayın.
4. "Varsayılan Paket Depoları yanındaki Yönetöğesine tıklayın."
5. (İsteğe bağlı) Dizin URL'si, ek dizin URL'leri veya özel SSL sertifikası ekleyin veya kaldırın.
6. Değişiklikleri kaydetmek için Kaydet’e tıklayın.

Gizli bilgileri CLI veya REST API kullanarak kurulum

CLI veya REST API kullanarak varsayılan Python paket depolarını yapılandırmak için önceden tanımlanmış bir gizli dizi kapsamı oluşturun ve erişim izinlerini yapılandırın, ardından paket deposu gizli dizilerini ekleyin.

Önceden tanımlanmış gizli kapsam adı

Çalışma alanı yöneticileri, önceden tanımlanmış anahtarlar altında belirlenen gizli kapsamda kimlik doğrulama belirteçleri ve gizli bilgilerle birlikte varsayılan pip dizini URL’lerini veya ek dizin URL’lerini ayarlayabilir.

• Gizli kapsam adı: databricks-package-management
• Dizin url'si için gizli anahtar: pip-index-url
• Ek dizin url'leri için gizli anahtar: pip-extra-index-urls
• SSL sertifika içeriği için gizli anahtar: pip-cert

Gizli kapsamı oluştur

Gizli dizi kapsamı, Databricks CLI gizli dizi komutları veya REST APIkullanılarak oluşturulabilir. Gizli alanı oluşturduktan sonra, çalışma alanındaki tüm kullanıcılara okuma erişimi vermek için erişim denetimi listelerini yapılandırın. Bu, deponun güvenli kalmasını ve tek tek kullanıcılar tarafından değiştirilememesini sağlar. Gizli kapsam, önceden tanımlanmış gizli kapsam adı databricks-package-management'u kullanmalıdır.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Python paket deposu gizli bilgilerini ekleme

Üç alanın da isteğe bağlı olduğu önceden tanımlanmış gizli anahtar adlarını kullanarak Python paketi deposu ayrıntılarını ekleyin.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Özel PyPI depo gizli dizilerini değiştirme veya silme

PyPI depo gizli dizilerini değiştirmek için put-secret komutunu kullanın. PyPI depo sırlarını silmek için aşağıda gösterildiği gibi delete-secret'u kullanın:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete scope
databricks secrets delete-scope databricks-package-management