Функции расширения пакетов ресурсов Databricks

Расширение Databricks для Visual Studio Code предоставляет дополнительные возможности в Visual Studio Code, которые позволяют легко определять, развертывать и запускать пакеты ресурсов Databricks для применения рекомендаций CI/CD к заданиям Azure Databricks, конвейерам DLT и MLOps Stacks. См. раздел "Что такое пакеты ресурсов Databricks?".

Чтобы установить расширение Databricks для Visual Studio Code, см . раздел "Установка расширения Databricks для Visual Studio Code".

Поддержка пакетов ресурсов Databricks в проектах

Расширение Databricks для Visual Studio Code добавляет следующие функции для проектов наборов ресурсов Databricks:

• Простая проверка подлинности и настройка пакетов ресурсов Databricks с помощью пользовательского интерфейса Visual Studio Code, включая выбор профиля AuthType . См. настройка авторизации расширения Databricks для Visual Studio Code.
• Селектор целевой среды на панели расширения Databricks для быстрого переключения между целевыми средами пакета. См. Изменение целевой рабочей области развертывания.
• Опция Override Jobs cluster в пакете на панели расширения позволяет легко переопределить кластер.
• Представление Bundles Resource Explorer, которое позволяет просматривать ваши ресурсы пакетов с помощью интерфейса Visual Studio Code, развертывать локальные ресурсы пакета Databricks в удаленной рабочей области Azure Databricks одним щелчком и переходить непосредственно к развернутым ресурсам в рабочей области из Visual Studio Code. См. Проводник ресурсов пакета.
• Представление Переменных Пакетов, которое позволяет просматривать и изменять переменные пакетов с помощью интерфейса Visual Studio Code. См. Представление переменных пакета.

Обозреватель ресурсов пакета

Обозреватель ресурсов пакета в расширении Databricks для Visual Studio Code использует определения ресурсов в конфигурации пакета проекта для отображения ресурсов, включая наборы данных конвейера и их схемы. Он также позволяет развертывать и запускать ресурсы, проверять и выполнять частичные обновления конвейеров, просматривать события выполнения конвейера и диагностику и переходить к ресурсам в удаленной рабочей области Azure Databricks. Сведения о ресурсах конфигурации пакета см. в разделе "Ресурсы".

Например, учитывая простое определение задания:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

В просмотре обозревателя ресурсов пакета в расширении отображается ресурс задания для ноутбука:

Развертывание и запуск задания

Чтобы развернуть пакет, щелкните значок облака (развернуть пакет).

Чтобы запустить задание, в представлении обозревателя ресурсов пакета выберите имя задания, которое является заданием "Моя записная книжка" в этом примере. Затем щелкните значок воспроизведения (разверните пакет и запустите ресурс).

Чтобы просмотреть выполняемое задание, в представлении Обозревателя Ресурсов Пакета разверните имя задания, нажмите Запуск статуса, а затем щелкните значок (Открыть ссылку во внешнем приложении).

Проверка и диагностика проблем конвейера

Для конвейера можно инициировать проверку и частичное обновление, выбрав конвейер, а затем нажав на значок (Развернуть пакет и проверить конвейер). Отображаются события выполнения, и любые сбои можно диагностировать в панели PROBLEMS Visual Studio Code.

Представление переменных пакета

Представление переменных пакета в расширении Databricks для Visual Studio Code отображает все пользовательские переменные и связанные параметры, определенные в конфигурации пакета. Можно также определить переменные непосредственно с помощью представления переменных Bundles. Эти значения переопределяют те, которые задаются в файлах конфигурации пакета. Сведения о пользовательских переменных см. в разделе "Пользовательские переменные".

Например, Просмотр переменных пакета в расширении будет отображать следующее:

Для переменной my_custom_var , определенной в этой конфигурации пакета:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}