Stack CLI (устаревшая версия)

Интерфейс командной строки стека — это инструмент для управления стеком ресурсов Azure Databricks, таких как задания, записные книжки и файлы DBFS. Вы можете хранить записные книжки и файлы DBFS локально и создать JSON-шаблон конфигурации стека, который задает сопоставления локальных файлов с путями в рабочей области Azure Databricks, а также конфигурации заданий, запускающих записные книжки.

Используйте для развертывания стека и управления им интерфейс командной строки стека с JSON-шаблоном конфигурации стека.

Чтобы запустить подкоманды CLI для стека Databricks, добавьте их в databricks stack.

databricks stack --help

Usage: databricks stack [OPTIONS] COMMAND [ARGS]...

  [Beta] Utility to deploy and download Databricks resource stacks.

Options:
  -v, --version   [VERSION]
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".
  -h, --help      Show this message and exit.

Commands:
  deploy    Deploy a stack of resources given a JSON configuration of the stack
    Usage: databricks stack deploy [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks and DBFS
                        files  [default: False]
  download  Download workspace notebooks of a stack to the local filesystem
            given a JSON stack configuration template.
    Usage: databricks stack download [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks in the
                        local filesystem   [default: False]

Развертывание стека в рабочей области

Эта подкоманда развертывает стек. Сведения о настройке стека см. в этом разделе.

databricks stack deploy ./config.json

JSON-шаблон конфигурации стека содержит пример config.json.

Скачать изменения в блокноте стека

Эта подкоманда скачивает записные книжки стека.

databricks stack download ./config.json

Примеры

Настройка стека

Структура файла в примере стека

tree

.
├── notebooks
|   ├── common
|   |   └── notebook.scala
|   └── config
|       ├── environment.scala
|       └── setup.sql
├── lib
|   └── library.jar
└── config.json

Этот пример стека содержит основную записную книжку notebooks/common/notebook.scala вместе с записными книжками настройки в папке notebooks/config. В lib/library.jar есть зависимость JAR-библиотеки стека. config.json — это JSON-шаблон конфигурации стека. Это то, что передается в интерфейс командной строки (CLI) для развертывания стека.

JSON-шаблон конфигурации стека

Шаблон конфигурации стека описывает его конфигурацию.

cat config.json

{
  "name": "example-stack",
  "resources": [
    {
      "id": "example-workspace-notebook",
      "service": "workspace",
      "properties": {
        "source_path": "notebooks/common/notebook.scala",
        "path": "/Users/example@example.com/dev/notebook",
        "object_type": "NOTEBOOK"
      }
    },
    {
      "id": "example-workspace-config-dir",
      "service": "workspace",
      "properties": {
        "source_path": "notebooks/config",
        "path": "/Users/example@example.com/dev/config",
        "object_type": "DIRECTORY"
      }
    },
    {
      "id": "example-dbfs-library",
      "service": "dbfs",
      "properties": {
        "source_path": "lib/library.jar",
        "path": "dbfs:/tmp/lib/library.jar",
        "is_dir": false
      }
    },
    {
      "id": "example-job",
      "service": "jobs",
      "properties": {
        "name": "Example Stack CLI Job",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_DS3_v2",
          "num_workers": 3
        },
        "timeout_seconds": 7200,
        "max_retries": 1,
        "notebook_task": {
          "notebook_path": "/Users/example@example.com/dev/notebook"
        },
        "libraries": [
          {
            "jar": "dbfs:/tmp/lib/library.jar"
          }
        ]
      }
    }
  ]
}

Каждое задание, записная книжка рабочей области, каталог рабочей области, файл DBFS или каталог DBFS определяются в виде объекта ResourceConfig. Каждый объект ResourceConfig, который представляет рабочую область или актив DBFS, содержит сопоставление файла или каталога, где они существуют локально (source_path), с их расположением в рабочей области или DBFS (path).

Схема шаблона конфигурации стека устанавливает схему для шаблона конфигурации стека.

Развертывание стека

Стек развертывается с помощью команды databricks stack deploy <configuration-file>.

databricks stack deploy ./config.json

Во время развертывания стека ресурсы DBFS и рабочей области загружаются в рабочую область Azure Databricks, а затем создаются задания.

Во время развертывания стека JSON-файл StackStatus для развертывания сохраняется в том же каталоге, что и шаблон конфигурации стека, а к его имени непосредственно перед расширением deployed добавляется .json (например, ./config.deployed.json). Этот файл используется интерфейсом командной строки стека для наблюдения за ранее развернутыми ресурсами в рабочей области.

Схема состояния стека описывает схему конфигурации стека.

./config.deployed.json

{
  "cli_version": "0.8.3",
  "deployed_output": [
    {
      "id": "example-workspace-notebook",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/notebook"
      },
      "service": "workspace"
    },
    {
      "id": "example-workspace-config-dir",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/config"
      },
      "service": "workspace"
    },
    {
      "id": "example-dbfs-library",
      "databricks_id": {
        "path": "dbfs:/tmp/lib/library.jar"
      },
      "service": "dbfs"
    },
    {
      "id": "example-job",
      "databricks_id": {
        "job_id": 123456
      },
      "service": "jobs"
    }
  ],
  "name": "example-stack"
}

Структуры данных

В этом разделе рассматриваются следующие вопросы.

• Схема шаблона конфигурации стека
• Схема состояния стека
• DatabricksId

Схема шаблона конфигурации стека

StackConfig

Это внешние поля шаблона конфигурации стека. Все поля обязательные.

Конфигурация ресурсов

Поля для каждого объекта ResourceConfig. Все поля обязательные.

СвойстваРесурса

Свойства ресурса в зависимости от службы ResourceService. Поля классифицируются как используемые или не используемые в REST API Azure Databricks. Все перечисленные поля являются обязательными.

ResourceService

Каждый ресурс относится к определенной службе, которая соответствует REST API Databricks. Это сервисы, поддерживаемые стековым интерфейсом командной строки.

Схема состояния стека

StackStatus

После развертывания стека с помощью интерфейса командной строки создается файл состояния стека. Поля верхнего уровня:

ResourceStatus

DatabricksId

Объект JSON, поле которого зависит от службы.