Databricks CLI (eski)

Eski Databricks komut satırı arabirimi (eski Databricks CLI olarak da bilinir), terminal, komut istemi veya otomasyon betiklerinizden Azure Databricks platformunu otomatikleştirmek için kullanımı kolay bir arabirim sağlayan bir yardımcı programdır.

Gereksinimler

• Python 3 - 3.6 ve üzeri
• Python 2 - 2.7.9 ve üzeri

Sınırlamalar

Eski Databricks CLI'nin güvenlik duvarı etkin depolama kapsayıcılarıyla kullanılması desteklenmez. Databricks, Databricks Connect veya az storage kullanmanızı önerir.

CLI'yı ayarlama

Bu bölümde, eski Databricks CLI'nin nasıl ayarlanacağı açıklanmaktadır.

CLI'yi yükleme veya güncelleştirme

Bu bölümde, eski Databricks CLI'yi çalıştırmak için geliştirme makinenizin nasıl yükleneceği veya güncelleştirildiği açıklanır.

CLI'yi yükleme

Python yüklemeniz için uygun pip sürümünü kullanarak pip install databricks-cli çalıştırın:

pip install databricks-cli

CLI’yı güncelleştirme

Python yüklemenizle uyumlu pip sürümünü kullanarak pip install databricks-cli --upgrade çalıştırın.

pip install databricks-cli --upgrade

Şu anda yüklü olan eski Databricks CLI sürümünü listelemek için komutunu çalıştırın databricks --version:

databricks --version

Kimlik doğrulamayı ayarlama

Eski Databricks CLI komutlarını çalıştırabilmeniz için önce eski Databricks CLI ile Azure Databricks arasında kimlik doğrulamasını ayarlamanız gerekir. Bu bölümde, eski Databricks CLI için kimlik doğrulamasının nasıl ayarlanacağı açıklanmaktadır.

Eski Databricks CLI ile kimlik doğrulaması yapmak için, bir Databricks kişisel erişim belirteci veya bir Microsoft Entra Kimliği (eski adıyla Azure Active Directory) belirteci kullanabilirsiniz.

Microsoft Entra ID belirtecini kullanarak kimlik doğrulamayı ayarlama

Microsoft Entra Id belirtecini kullanarak eski Databricks CLI'yi yapılandırmak için Microsoft Entra Id (eski adıyla Azure Active Directory) belirtecini oluşturun ve ortam değişkeninde DATABRICKS_AAD_TOKENdepolayın.

Şu komutu çalıştırın:

databricks configure --aad-token

Bu komut şu istemi verir:

Databricks Host (should begin with https://):

Çalışma alanı için URL'nizi, https://adb-<workspace-id>.<random-number>.azuredatabricks.net biçiminde girin. Çalışma alanı başına URL'yi almak için bkz . Çalışma alanı başına URL.

İstemi tamamladıktan sonra, erişim kimlik bilgileriniz Linux veya macOS veya ~/.databrickscfg Windows'daki dosyada %USERPROFILE%\.databrickscfg depolanır. Dosya varsayılan bir profil girdisi içerir:

[DEFAULT]
host = <workspace-URL>
token = <Azure-AD-token>

Eğer .databrickscfg dosyası zaten varsa, bu dosyanın DEFAULT yapılandırma profili yeni verilerle üzerine yazılır. Bunun yerine farklı bir ada sahip bir yapılandırma profili oluşturmak için bkz Bağlantı profilleri.

Databricks kişisel erişim belirteci kullanarak kimlik doğrulamasını ayarlama

Eski Databricks CLI'yi kişisel erişim belirteci kullanacak şekilde yapılandırmak için aşağıdaki komutu çalıştırın:

databricks configure --token

Komut, istemini vererek başlar:

Databricks Host (should begin with https://):

URL'nizi, çalışma alanı başına olacak şekilde, https://adb-<workspace-id>.<random-number>.azuredatabricks.net formatında girin. Çalışma alanı başına URL'yi almak için bkz . Çalışma alanı başına URL.

Komut, kişisel erişim belirtecinizi girme istemini vererek devam eder:

Token:

İstemleri tamamladıktan sonra, erişim kimlik bilgileriniz Linux veya macOS ~/.databrickscfg ya da Windows'daki dosyada %USERPROFILE%\.databrickscfg depolanır. Dosya varsayılan bir profil girdisi içerir:

[DEFAULT]
host = <workspace-URL>
token = <personal-access-token>

Eğer .databrickscfg dosyası zaten varsa, bu dosyanın DEFAULT yapılandırma profili yeni verilerle üzerine yazılır. Bunun yerine farklı bir ada sahip bir yapılandırma profili oluşturmak için bkz Bağlantı profilleri.

CLI 0.8.1 ve üzeri için DATABRICKS_CONFIG_FILE ortam değişkenini ayarlayarak bu dosyanın yolunu değiştirebilirsiniz.

Linux veya macOS

export DATABRICKS_CONFIG_FILE=<path-to-file>

Windows

setx DATABRICKS_CONFIG_FILE "<path-to-file>" /M

CLI 0.8.0 ve üzeri aşağıdaki Azure Databricks ortam değişkenlerini destekler:

• DATABRICKS_HOST
• DATABRICKS_TOKEN

Bir ortam değişkeni ayarı, yapılandırma dosyasındaki ayardan daha yüksek önceliğe sahip olur.

Kimlik doğrulama kurulumunuzu test edin

Kimlik doğrulamasını doğru ayarlayıp ayarlamadığınızdan denetlemek için aşağıdaki gibi bir komut çalıştırabilirsiniz:

databricks fs ls dbfs:/

Başarılı olursa, bu komut profilinizle DEFAULT ilişkili çalışma alanının DBFS kökündeki dosyaları ve dizinleri listeler.

Bağlantı profilleri

Eski Databricks CLI yapılandırması birden çok bağlantı profilini destekler. Aynı eski Databricks CLI yüklemesi, birden çok Azure Databricks çalışma alanında API çağrıları yapmak için kullanılabilir.

Bağlantı profili eklemek için profil için benzersiz bir ad belirtin:

databricks configure [--token | --aad-token] --profile <profile-name>

Dosya, .databrickscfg ile ilgili bir profil girdisi içerir.

[<profile-name>]
host = <workspace-URL>
token = <token>

Bağlantı profilini kullanmak için:

databricks <group> <command> --profile <profile-name>

Belirtilmezse --profile <profile-name> , varsayılan profil kullanılır. Varsayılan profil bulunmazsa, CLI'yi varsayılan profille yapılandırmanız istenir.

Bağlantı profillerinizi test edin

Bağlantı profillerini doğru ayarlayıp ayarlamadığınızdan denetlemek için, bağlantı profili adlarınızdan biriyle aşağıdaki gibi bir komut çalıştırabilirsiniz:

databricks fs ls dbfs:/ --profile <profile-name>

Başarılı olursa, bu komut belirtilen bağlantı profili için çalışma alanının DBFS kökündeki dosyaları ve dizinleri listeler. Test etmek istediğiniz her bağlantı profili için bu komutu çalıştırın.

Kullanılabilir profillerinizi görüntülemek için dosyanıza .databrickscfg bakın.

CLI'yi kullan

Bu bölümde, her komut grubunda eski Databricks CLI yardımını alma, eski Databricks CLI çıkışını ayrıştırma ve komutları çağırma işlemleri gösterilmektedir.

CLI komut grubu yardımını görüntüleme

veya --help seçeneğini kullanarak -h herhangi bir komut grubunun alt komutlarını listelersiniz. Örneğin, DBFS CLI alt komutlarını listelemek için:

databricks fs -h

CLI alt komut yardımını görüntüle

--help veya -h seçeneğini kullanarak bir alt komutun yardımını listelersiniz. Örneğin, DBFS kopyalama dosyaları alt komutunun yardımını listelemek için:

databricks fs cp -h

Diğer ad komut grupları

Bazen her eski Databricks CLI çağrısına, örneğin databricks workspace ls eski Databricks CLI'sinde bir komut grubunun adını önek eklemek uygunsuz olabilir. Eski Databricks CLI'sinin kullanımını kolaylaştırmak için komut gruplarını daha kısa komutlara diğer ad olarak kullanabilirsiniz. Örneğin, Bourne again kabuğunda databricks workspace ls'ı dw ls'e kısaltmak için uygun bash profiline alias dw="databricks workspace" ekleyebilirsiniz. Genelde, bu dosya ~/.bash_profile konumunda bulunur.

CLI çıkışını ayrıştırmak için kullanın jq

Bazı eski Databricks CLI komutları, API uç noktasından JSON yanıtı çıkışı oluşturur. Bazı durumlarda, diğer komutlara yönelik kanallar oluşturmak için JSON öğesinin parçalarını ayrıştırma faydalı olabilir. Örneğin, bir iş tanımını kopyalamak için bir get job komutunun settings alanını almanız ve bunu create job komutu için bağımsız değişken olarak kullanmanız gerekir. Bu durumlarda, jq yardımcı programının kullanmanızı öneririz.

Örneğin, aşağıdaki komut, 233 kimliğine sahip işin ayarlarını gösterir.

databricks jobs list --output JSON | jq '.jobs[] | select(.job_id == 233) | .settings'

Çıktı:

{
  "name": "Quickstart",
  "new_cluster": {
    "spark_version": "7.5.x-scala2.12",
    "spark_env_vars": {
      "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
    },
    "num_workers": 8,
    ...
  },
  "email_notifications": {},
  "timeout_seconds": 0,
  "notebook_task": {
    "notebook_path": "/Quickstart"
  },
  "max_concurrent_runs": 1
}

Başka bir örnek olarak, aşağıdaki komut yalnızca çalışma alanındaki kullanılabilir tüm kümelerin adlarını ve kimliklerini yazdırır:

databricks clusters list --output JSON | jq '[ .clusters[] | { name: .cluster_name, id: .cluster_id } ]'

Çıktı:

[
  {
    "name": "My Cluster 1",
    "id": "1234-567890-grip123"
  },
  {
    "name": "My Cluster 2",
    "id": "2345-678901-patch234"
  }
]

Örneğin, macOS'a Homebrew ile jq kullanarak veya Windows'a Chocolatey ile brew install jq kullanarak choco install jq yükleyebilirsiniz. jq hakkında daha fazla bilgi edinmek için bkz. jq kullanıcı kılavuzu.

JSON dizesi parametreleri

Dize parametreleri işletim sisteminize bağlı olarak farklı şekilde işlenir:

Linux veya macOS

JSON dizesi parametrelerini tek tırnak içine almanız gerekir. Örneğin:

'["20180505", "alantest"]'

Windows

JSON dizesi parametrelerini çift tırnak içine almanız ve dizenin içindeki tırnak işaretlerinden önce \ kullanmanız gerekir. Örneğin:

"[\"20180505\", \"alantest\"]"

Sorun giderme

Aşağıdaki bölümlerde, eski Databricks CLI ile ilgili yaygın sorunları gidermeye yönelik ipuçları sağlanır.

EOF'u databricks configure ile kullanmak çalışmıyor

Databricks CLI 0.12.0 ve üzeri sürümler için, bir komut dosyasında parametreleri databricks configure komutuna geçirmek için dosya sonu (EOF) dizisini kullanmak çalışmaz. Örneğin, aşağıdaki betik Databricks CLI'nın parametreleri yoksaymasına neden olur ve hiçbir hata iletisi oluşmaz:

# Do not do this.
databricksUrl=<per-workspace-url>
databricksToken=<personal-access-token-or-Azure-AD-token>

databricks configure --token << EOF
$databricksUrl
$databricksToken
EOF

Bu sorunu düzeltmek için aşağıdakilerden birini yapın:

• Kimlik doğrulamasını ayarlama bölümünde açıklandığı gibi diğer programlı yapılandırma seçeneklerinden birini kullanın.
• El ile ve değerlerini dosyasına, Kimlik doğrulamayı ayarlama bölümünde açıklandığı gibi ekleyin.
• Databricks CLI yüklemenizi 0.11.0 veya altına düşürerek betiğinizi yeniden çalıştırın.

CLI komutları

• Küme İlkeleri CLI (eski)
• Eski Sürüm Kümeler CLI
• DBFS CLI (eski)
• DLT CLI (eski)
• Eski Gruplar CLI
• Örnek Havuzları CLI (eski)
• İşler CLI'sı (eski)
• Kitaplıklar CLI (eski)
• Repos CLI (eski)
• CLI çalıştırır (eski)
• Gizli Diziler CLI (eski)
• Stack CLI (eski)
• Belirteçler CLI'sı (eski)
• Unity Kataloğu'nun CLI'si (eski)
• Çalışma Alanı CLI (eski)