bundle группа команд

Группа команд bundle в интерфейсе командной строки Databricks позволяет программно проверять, развертывать и запускать рабочие процессы Azure Databricks, такие как задания Azure Databricks , конвейеры DLT и стеки MLOps . См. раздел "Что такое пакеты ресурсов Databricks?".

Вы выполняете bundle команды, добавляя их в databricks bundle. Чтобы отобразить справку по команде bundle , выполните команду databricks bundle -h.

Создание пакета из шаблона проекта

Чтобы создать пакет ресурсов Databricks с помощью шаблона пакета ресурсов Databricks по умолчанию для Python, выполните bundle init команду следующим образом, а затем ответьте на экранные запросы:

databricks bundle init

Чтобы создать пакет ресурсов Databricks с помощью пользовательского шаблона пакета ресурсов Databricks, выполните следующую bundle init команду:

databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"

См. также:

• Шаблоны проектов пакета активов Databricks
• Разработка задания в Azure Databricks с помощью пакетов ресурсов Databricks
• Разработка конвейеров DLT с помощью пакетов ресурсов Databricks
• Пакеты ресурсов Databricks для стеков MLOps

Отображение схемы конфигурации пакета

Чтобы отобразить схему конфигурации пакета, выполните bundle schema команду следующим образом:

databricks bundle schema

Чтобы вывести схему конфигурации пакета ресурсов Databricks в виде JSON-файла, выполните bundle schema команду и перенаправьте выходные данные в JSON-файл. Например, можно создать файл с именем bundle_config_schema.json в текущем каталоге следующим образом:

databricks bundle schema > bundle_config_schema.json

Проверяйте пакет

Чтобы проверить правильность файлов конфигурации пакета, выполните bundle validate команду из корневого каталога проекта пакета, как показано ниже.

databricks bundle validate

По умолчанию эта команда возвращает сводку идентификатора пакета.

Name: MyBundle
Target: dev
Workspace:
  Host: https://my-host.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/MyBundle/dev

Validation OK!

Если вы хотите только вывести сводку по идентификатору и ресурсам пакета, используйте bundle summary.

Синхронизация дерева пакета с рабочей областью

Используйте команду bundle sync для односторонней синхронизации изменений файлов пакета из локального каталога файловой системы в каталог в удаленной рабочей области Azure Databricks.

databricks bundle sync команды работают так же, как databricks sync команды и предоставляются в качестве удобства для повышения производительности. Сведения об использовании команд см. в разделе syncгруппы команд.

Создание файла конфигурации пакета

С помощью команды bundle generate можно создать конфигурацию ресурсов для задания, конвейера или панели мониторинга, уже существующей в рабочей области Databricks. Эта команда создает *.yml файл для задания, конвейера или панели мониторинга в resources папке проекта пакета, а также загружает все файлы, такие как записные книжки, на которые ссылается конфигурация.

Создание задания или конфигурации конвейера

Чтобы создать конфигурацию для задания или конвейера, выполните следующую bundle generate команду:

databricks bundle generate [job|pipeline] --existing-[job|pipeline]-id [job-id|pipeline-id]

Например, следующая команда создает новый hello_job.yml файл в resources папке проекта пакета, содержащей YAML ниже, и скачивает ее в simple_notebook.py папку src проекта.

databricks bundle generate job --existing-job-id 6565621249

# This is the contents of the resulting hello_job.yml file.
resources:
  jobs:
    6565621249:
      name: Hello Job
      format: MULTI_TASK
      tasks:
        - task_key: run_notebook
          existing_cluster_id: 0704-xxxxxx-yyyyyyy
          notebook_task:
            notebook_path: ./src/simple_notebook.py
            source: WORKSPACE
          run_if: ALL_SUCCESS
      max_concurrent_runs: 1

Создание конфигурации панели мониторинга

Чтобы создать конфигурацию для существующей панели мониторинга в рабочей области, выполните команду bundle generate, указав идентификатор или путь к рабочей области для панели мониторинга:

databricks bundle generate dashboard --existing-id [dashboard-id]

databricks bundle generate dashboard --existing-path [dashboard-workspace-path]

Путь к рабочей области для панели мониторинга можно скопировать из пользовательского интерфейса рабочей области.

Например, следующая команда создает новый baby_gender_by_county.dashboard.yml файл в resources папке проекта пакета, содержащей YAML ниже, и скачивает файл в baby_gender_by_county.lvdash.json папку src проекта.

databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"

# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
  dashboards:
    baby_gender_by_county:
      display_name: 'Baby gender by county'
      warehouse_id: aae11o8e6fe9zz79
      file_path: ../src/baby_gender_by_county.lvdash.json

Привязка ресурсов пакета

Эта bundle deployment bind команда позволяет связать определяемые пакетом задания и конвейеры с существующими заданиями и конвейерами в рабочей области Azure Databricks, чтобы они стали управляемыми пакетами ресурсов Databricks. Если вы привязываете ресурс, существующие ресурсы Azure Databricks в рабочей области обновляются на основе конфигурации, определенной в пакете, к которому он привязан, после следующего bundle deploy.

databricks bundle deployment bind [resource-key] [resource-id]

Например, следующая команда привязывает ресурс hello_job к своему удаленному коллеге в рабочей области. Команда выводит дифф и позволяет запретить привязку ресурсов, но при подтверждении все обновления определения задания в пакете применяются к соответствующему удаленному заданию при следующем развертывании пакета.

databricks bundle deployment bind hello_job 6565621249

Используйте bundle deployment unbind , если вы хотите удалить связь между заданием или конвейером в пакете и его удаленным коллегой в рабочей области.

databricks bundle deployment unbind [resource-key]

Вывод сводки пакета

Команда bundle summary выводит сводку по идентификации и ресурсам пакета, включая вложенные ссылки для ресурсов, что позволяет легко перейти к ресурсу в рабочей области Databricks.

databricks bundle summary

В следующем примере выходных данных приводится сводка пакета с именем my_pipeline_bundle , который определяет задание и конвейер:

Name: my_pipeline_bundle
Target: dev
Workspace:
  Host: https://myworkspace.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
  Jobs:
    my_project_job:
      Name: [dev someone] my_project_job
      URL:  https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
  Pipelines:
    my_project_pipeline:
      Name: [dev someone] my_project_pipeline
      URL:  https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999

Развертывание пакета

Чтобы развернуть пакет в удаленной рабочей области, из корневого каталога проекта пакета выполните команду bundle deploy. Если параметры команды не указаны, используется целевой объект по умолчанию, объявленный в файлах конфигурации пакета.

databricks bundle deploy

Чтобы развернуть пакет в определенной целевой системе, укажите параметр -t (или --target) вместе с именем этой системы, указанным в файлах конфигурации пакета. Например, для целевого объекта, объявленного именем dev:

databricks bundle deploy -t dev

Пакет можно развернуть в нескольких пространствах, таких как разработка, тестирование и производство. По сути, свойство root_path определяет уникальную идентичность пакета, по умолчанию значение которого установлено на ~/.bundle/${bundle.name}/${bundle.target}. Поэтому по умолчанию идентификатор пакета состоит из идентификатора развертывателя, имени пакета и имени целевого пакета. Если они идентичны в разных пакетах, развертывание этих пакетов будет мешать друг другу.

Кроме того, при развертывании пакета отслеживается состояние ресурсов, создаваемое в целевой рабочей области по их идентификаторам, и это состояние сохраняется в файловой системе рабочей области. Имена ресурсов не используются для сопоставления между развертыванием пакета и экземпляром ресурса, поэтому:

• Если ресурс в конфигурации пакета не существует в целевой рабочей области, он создается.
• Если ресурс в конфигурации пакета существует в целевой рабочей области, он обновляется в рабочей области.
• Если ресурс удаляется из конфигурации пакета, он удаляется из целевой рабочей области, если он был развернут ранее.
• Связь ресурса с пакетом может быть забыта только при изменении имени пакета, целевого объекта пакета или рабочей области. Вы можете выполнить bundle validate, чтобы получить сводку, содержащую эти значения.

Запустите задание или конвейер

Чтобы запустить определенное задание или конвейер, используйте bundle run команду. Необходимо указать ключ ресурса задания или конвейера, объявленного в файлах конфигурации пакета. По умолчанию используется среда, объявленная в файлах конфигурации пакета. Например, чтобы запустить задание hello_job в среде по умолчанию, выполните следующую команду:

databricks bundle run hello_job

Выполнение задания с ключом hello_job в контексте целевого объекта, объявленного с именем dev:

databricks bundle run -t dev hello_job

Если вы хотите выполнить валидацию конвейера, используйте --validate-only параметр, как в следующем примере показано:

databricks bundle run --validate-only my_pipeline

Чтобы передать параметры задания, используйте опцию --params, после которой укажите пары ключ-значение, разделенные запятыми, где ключ — это имя параметра. Например, следующая команда задает параметр с именем messageHelloWorld для задания hello_job:

databricks bundle run --params message=HelloWorld hello_job

Чтобы отменить и перезапустить существующий запуск задания или обновление конвейера, используйте этот параметр --restart.

databricks bundle run --restart hello_job

Открыть ресурс пакета

Чтобы перейти к ресурсу пакета в рабочей области, выполните bundle open команду из корневого каталога проекта пакета, указав открытый ресурс. Если ключ ресурса не указан, эта команда выводит список ресурсов пакета, из которых следует выбрать.

databricks bundle open [resource-key]

Например, следующая команда запускает браузер и переходит к панели мониторинга baby_gender_by_county в пакете в рабочей области Databricks, настроенной для пакета:

databricks bundle open baby_gender_by_county

Уничтожьте пакет

Чтобы удалить задания, конвейеры и артефакты, которые ранее были развернуты, выполните bundle destroy команду. Следующая команда удаляет все ранее развернутые задания, конвейеры и артефакты, определенные в файлах конфигурации пакета:

databricks bundle destroy

По умолчанию вам будет предложено подтвердить постоянное удаление ранее развернутых заданий, платформ и артефактов. Чтобы пропустить эти запросы и выполнить автоматическое постоянное удаление, добавьте --auto-approve параметр в bundle destroy команду.