Aracılığıyla paylaş

CLI çalıştırır (eski)

  • Makale

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Bu bilgiler eski Databricks CLI 0.18 ve altındaki sürümler için geçerlidir. Databricks, bunun yerine daha yeni Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Bkz . Databricks CLI nedir?. Databricks CLI sürümünüzü bulmak için komutunu çalıştırın databricks -v.

Databricks CLI sürüm 0.18 veya altından Databricks CLI sürüm 0.205 veya üzeri sürüme geçiş yapmak için bkz . Databricks CLI geçişi.

Databricks işi CLI alt komutlarını databricks runs ve databricks işleri CLI alt komutlarını sonuna ekleyerek databricks jobsçalıştırırsınız. Databricks işleri CLI alt komutları için bkz. İşler CLI'sı (eski). Bu alt komutlar birlikte İşler API'sini ve İşler API'sini 2.0 olarak çağırır.

Önemli

Databricks işi CLI çalıştırır, Databricks İşleri REST API'sinin iki sürümüne yapılan çağrıları destekler: sürüm 2.1 ve 2.0. (İş çalıştırmaları işlevselliği İşler REST API'sinin bir parçasıdır.) Sürüm 2.1, birden çok görevi olan işlerin orkestrasyonu için destek ekler; bkz. Databricks üzerinde orkestrasyona genel bakış ve İşler API 2.0'dan 2.1'e güncellenmesi . Databricks, sürüm 2.0'ı kullanan ve geçirilemeyen eski betikleriniz olmadığı sürece sürüm 2.1'i çağırmanızı önerir.

Aksi belirtilmedikçe, bu makalede açıklanan programlı davranışlar 2.1 ve 2.0 sürümlerine eşit olarak uygulanır.

Not

İş CLI istekleri çalıştırırken 500 düzeyinde bir hata alırsanız Databricks, isteklerin 10 dakikaya kadar yeniden denemesini önerir (yeniden denemeler arasında en az 30 saniyelik bir aralıkla).

İşler REST API 2.1'i çağırma gereksinimleri

Databricks işinin İŞLER REST API 2.1'i çağırmak üzere CLI (ve işler CLI) çalıştırmasını ayarlamak için aşağıdakileri yapın:

  1. CLI'yi 0.16.0 veya üzeri bir sürüme güncelleştirin.

  2. Aşağıdakilerden birini yapın:

    • databricks jobs configure --version=2.1 komutunu çalıştırın. Bu, ayarı jobs-api-version = 2.1 Unix, Linux veya macOS ~/.databrickscfg ya da Windows üzerindeki dosyaya %USERPROFILE%\.databrickscfg ekler. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.1'i varsayılan olarak çağırır.
    • Unix, Linux veya macOS jobs-api-version = 2.1 veya Windows'da bu ayarı ~/.databrickscfg dosyaya %USERPROFILE%\.databrickscfg el ile ekleyin. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.1'i varsayılan olarak çağırır.
    • İşin CLI'yı yalnızca bu çağrı için İşler REST API 2.1'i çağırmasını bildirmek için seçeneğini --version=2.1 (örneğin, databricks runs list --version=2.1) ekleyin.

    Önceki eylemlerden hiçbirini gerçekleştirmezseniz, iş CLI 'yi (ve işleri CLI) çalıştırır ve İşler REST API 2.0'ı varsayılan olarak çağırır.

İşler REST API 2.0'ı çağırma gereksinimleri

Databricks işinin CLI (ve jobs CLI) çalıştırarak İşler REST API 2.0'ı çağırmasını ayarlamak için aşağıdakilerden birini yapın:

  • Databricks CLI'nın 0.16.0'ın altındaki bir sürümünü kullanın veya
  • CLI'yı 0.16.0 veya üzeri bir sürüme güncelleştirin ve aşağıdakilerden birini yapın:
    • databricks jobs configure --version=2.0 komutunu çalıştırın. Bu, ayarı jobs-api-version = 2.0 Unix, Linux veya macOS ~/.databrickscfg ya da Windows üzerindeki dosyaya %USERPROFILE%\.databrickscfg ekler. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.0'ı varsayılan olarak çağırır.
    • Unix, Linux veya macOS jobs-api-version = 2.0 veya Windows'da bu ayarı ~/.databrickscfg dosyaya %USERPROFILE%\.databrickscfg el ile ekleyin. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.0'ı varsayılan olarak çağırır.
    • İşin CLI'yı yalnızca bu çağrı için İşler REST API 2.0'ı çağırmasını bildirmek için seçeneğini --version=2.1 (örneğin, databricks runs list --version=2.0) ekleyin.

Önceki eylemlerden hiçbirini gerçekleştirmezseniz, iş CLI 'yi (ve işleri CLI) çalıştırır ve İşler REST API 2.0'ı varsayılan olarak çağırır.

Alt komutlar ve genel kullanım

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Çalıştırmayı iptal etme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs cancel --help.

databricks runs cancel --run-id 119

{}

Çalıştırma hakkında bilgi alma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs get --help.

Genel kullanım

databricks runs get --run-id 2785782

İşler CLI 2.1 kullanım notları ve yanıt örneği

Bkz. İşler API'sinden 2.0'dan 2.1'e Güncelleştirme'deki çalıştırmalar.

İşler CLI 2.0 yanıt örneği

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Çalıştırmanın çıkışını alma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs get-output --help.

Not

çağrısından notebook_task bir dbutils.notebook.exit()değer döndürdüğünde Databricks döndürülen değeri ilk 5 MB veriyle sınırlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz.

Genel kullanım

databricks runs get-output --run-id 2785782

İşler CLI 2.1 kullanım notları

Bkz. İşler API 2.0'dan 2.1'e güncelleştirme bölümünde çalıştırmalar çıktı alır.

İşler CLI 2.0 yanıt örneği

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Tüm çalıştırmalar hakkında bilgi alma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs list --help.

Genel kullanım

databricks runs list --output JSON

İşler CLI 2.1 kullanım notları ve yanıt örneği

Bkz. İşler API'sinden 2.0'a 2.1'e Güncelleştirme'deki Çalıştırmalar listesi.

İşler CLI 2.0 yanıt örneği

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

döndürürse has_moretrue, ek çalıştırmalar hakkında bilgi sağlanır. --offset En son çalıştırmaya göre çalıştırmalar hakkında bilgi döndürmek için seçeneğini kullanın. Örneğin, en son onuncu çalıştırmadan başlayarak bilgi döndürmek için belirtin --offset 10.

--limit Sabit sayıda çalıştırma hakkında bilgi döndürmek için seçeneğini kullanın. Örneğin, sonraki 5 çalıştırmaya kadar bilgi döndürmek için belirtin --limit 5. En fazla 1000 çalıştırma belirtebilirsiniz. Belirtilmezse, varsayılan değer 20'dir.

Tek seferlik çalıştırma gönderme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs submit --help.

Genel kullanım

databricks runs submit --json-file submit-run.json

İşler REST API 2.1 kullanım notları ve istek örneği

Bkz. İşler API 2.0'dan 2.1'e güncelleştirme bölümünde göndermeçalıştırmaları.

İşler REST API 2.0 istek ve yanıt örneği

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}