Поделиться через

Справочник по конфигурации

  • Статья

В этой статье приведены справочные сведения о ключах, поддерживаемых конфигурацией пакетов ресурсов Databricks (YAML). См. Что такое пакеты ресурсов Databricks?.

Полные примеры пакетов см. в примерах конфигурации пакета и репозитория GitHub.

артефакт

Определяет параметры для создания артефакта.

Ключ Тип Описание
build Струна Необязательный набор команд сборки, выполняемых локально перед развертыванием.
executable Струна Тип исполняемого файла. Допустимые значения: bash, shи cmd.
files Карта Относительный или абсолютный путь к встроенным файлам артефактов, определенным как artifact_file.
path Струна Локальный путь каталога для артефакта.
type Струна Требуется, если артефакт является колесом Python. Тип артефакта. Допустимые значения — whl и jar.

Артефакты

Определяет атрибуты для создания артефактов, где каждый ключ является именем артефакта, а значением является карта, определяющая параметры сборки артефактов . Для получения информации о сопоставлении artifacts смотрите артефакты .

Параметры артефактов, определенные на верхнем уровне конфигурации пакета, можно переопределить в карте targets. См. раздел Определение параметров артефактов в пакетах ресурсов Databricks.

artifacts:
  <artifact-name>:
      <artifact-field-name>: <artifact-field-value>

Пример

artifacts:
  default:
    type: whl
    build: poetry build
    path: .

файл артефакта

Определяет файл артефакта в пакете.

Ключ Тип Описание
source Струна Обязательно. Исходный файл артефакта.

связка

Атрибуты пакета. См. пакет в наборе.

Ключ Тип Описание
cluster_id Струна Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id.
databricks_cli_version Струна Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version.
deployment Карта Определение развертывания пакета. Сведения о поддерживаемых атрибутах см. в развертывании и в режимах развертывания пакета ресурсов Databricks .
git Карта Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. в разделе Git и Git.
name Струна Обязательно. Имя комплекта.
uuid Струна Сдержанный. Универсальный уникальный идентификатор (UUID) для пакета, который однозначно идентифицирует пакет во внутренних системах Databricks. Это создается при инициализации проекта пакета с помощью шаблона Databricks (с помощью команды databricks bundle init).

развёртывание

Определяет атрибуты развертывания пакета.

Ключ Тип Описание
fail_on_active_runs Булев Происходит ли сбой при активных запусках. Если для этого задано значение true, выполняющееся развертывание может быть прервано.
lock Карта Атрибуты блокировки развертывания. См. блокировку.

экспериментальный

Определяет атрибуты для экспериментальных функций.

Ключ Тип Описание
python_wheel_wrapper Булев Следует ли использовать оболочку колеса Python.
scripts Команда (Строка) Команды для выполнения
use_legacy_run_as Булев Следует ли использовать устаревшее поведение run_as.

Git

Определяет сведения о системе управления версиями Git, которые связаны с пакетом. См. git.

Ключ Тип Описание
origin_url Струна URL-адрес источника репозитория. См. git.
branch Струна Имя ветви Git. См. git.

грант

Определяет доступ к объектам каталога Unity. Дополнительные сведения см. в статье Connect to cloud object storage and services using Unity Catalog.

Ключ Тип Описание
principal Струна Обязательно. Имя субъекта, которому будут предоставлены привилегии.
privileges Струна Обязательно. Привилегии, которые нужно предоставить указанному объекту.

Пример

В следующем примере определяется схема каталога Unity с грантами:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - CAN_MANAGE
        - principal: my_team
          privileges:
            - CAN_READ
      catalog_name: main
      comment: "my schema with grants"

замок

Определяет атрибуты блокировки развертывания пакета.

Ключ Тип Описание
enabled Булев Включена ли эта блокировка.
force Булев Следует ли принудительно применить эту блокировку, если она включена.

разрешение

Определяет разрешение для конкретной сущности. См. разрешения и Установите разрешения на ресурсы в комплектах ресурсов Databricks.

Ключ Тип Описание
group_name Струна Название группы, которой назначены права доступа в level.
level Струна Обязательно. Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения.
service_principal_name Струна Имя учетной записи службы, у которой установлено разрешение в level.
user_name Струна Имя пользователя, имеющего набор разрешений в level.

Разрешения

Последовательность, определяющая разрешения, применяемые к экспериментам, заданиям, конвейерам и моделям, определенным в пакете, где каждый элемент последовательности — это разрешение для определенной сущности.

См. разрешения и Установите разрешения на ресурсы в комплектах ресурсов Databricks.

Пример

permissions:
  - level: CAN_VIEW
    group_name: test-group
  - level: CAN_MANAGE
    user_name: someone@example.com
  - level: CAN_RUN
    service_principal_name: 123456-abcdef

Предустановки

Определяет настройки развертывания пакета. См. пользовательские настройки.

Ключ Тип Описание
jobs_max_concurrent_runs Целое число Максимальное число параллельных запусков для задачи.
name_prefix Струна Префикс для запусков заданий пакета.
pipelines_development Булев Следует ли блокировать развертывания конвейеров в режиме разработки.
source_linked_deployment Булев Следует ли связать развертывание с источником пакета.
tags Карта Теги для развертывания пакета.
trigger_pause_status Струна Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения: PAUSED или UNPAUSED.

ресурсы

Карта, определяющая ресурсы для пакета, где каждый ключ является именем ресурса, а значением является карта, определяющая ресурс. Дополнительная информация о поддерживаемых ресурсах Databricks Asset Bundles и справочнике по определению ресурсов см. в ресурсах Databricks Asset Bundles.

resources:
  <resource-type>s:
    <resource-name>:
      <resource-field-name>: <resource-field-value>
Ключ Тип Описание
clusters Карта Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер
dashboards Карта Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панели мониторинга
experiments Карта Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент
jobs Карта Определения заданий для пакета, где каждый ключ — это имя задания. См. задание
model_serving_endpoints Карта Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. конечную точку обслуживания модели
models Карта Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая)
pipelines Карта Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейера
quality_monitors Карта Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (Unity Catalog)
registered_models Карта Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity)
schemas Карта Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity)
volumes Карта Определения томов для пакета, где каждый ключ — это название тома. См. том (каталог Unity)

run_as

Идентификатор, используемый при выполнении рабочих процессов пакетов ресурсов Databricks. См. Задайте идентификатор выполнения для рабочего процесса пакетов ресурсов Databricks.

Ключ Тип Описание
service_principal_name Струна Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name Струна Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

синхронизировать

Файлы и пути к файлам для включения или исключения в пакет. См. синхронизацию с.

Ключ Тип Описание
exclude Последовательность Список файлов или папок, которые следует исключить из пакета.
include Последовательность Список файлов или папок для включения в пакет.
paths Последовательность Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета.

цель

Определяет целевые объекты развертывания для пакета. См. цели

Ключ Тип Описание
artifacts Карта Артефакты, которые необходимо включить в целевое развертывание. См. артефакты.
bundle Карта Атрибуты пакета при развертывании в этом целевом объекте.
cluster_id Струна Идентификатор кластера, используемого для этого целевого объекта.
compute_id Струна Устаревший. Идентификатор вычислительных ресурсов, используемых для этого целевого объекта.
default Булев Указывает, является ли этот целевой объект целевым объектом по умолчанию.
git Карта Параметры управления версиями Git для целевого объекта. См. git.
mode Струна Режим развертывания целевого объекта. Допустимые значения: development или production. См. режимы развертывания пакета ресурсов Databricks.
permissions Последовательность Разрешения для развертывания и запуска пакета в целевом объекте. См. разрешения.
presets Карта Предустановки развертывания для целевого объекта. См. предустановки .
resources Карта Определения ресурсов для целевого объекта. См. ресурсы и.
run_as Карта Учетная запись, используемая для запуска пакета. См. run_as и указание идентификации выполнения для рабочего процесса "Databricks Asset Bundles".
sync Карта Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета. См. синхронизацию с.
variables Карта Пользовательские определения переменных для целевого объекта. См. переменных и замены и переменные в пакетах ресурсов Databricks.
workspace Карта Рабочая область Databricks для целевого объекта. рабочей области

Переменные

Карта, определяющая пользовательские переменные для пакета, где каждый ключ — имя переменной, а значение — карта, определяющая переменную. См. замены и переменные в пакетах ресурсов Databricks.

Ключ Тип Описание
имя переменной Карта Определение переменной. См. имя переменной.

имя переменной

Каждое определение переменной имеет следующие атрибуты:

Ключ Тип Описание
description Струна Описание переменной.
lookup Струна Имя alert, cluster_policy, cluster, dashboard, instance_pool, job, metastore, pipeline, query, service_principalили объект warehouse, для которого требуется получить идентификатор.
type Струна Тип переменной. Допустимые значения — complex.

рабочее пространство

Определяет рабочую область Databricks для пакета. См. рабочую область .

Ключ Тип Описание
artifact_path Струна Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
auth_type Струна Тип проверки подлинности.
azure_client_id Струна Идентификатор клиента Azure.
azure_environment Струна Среда Azure.
azure_login_app_id Струна Идентификатор приложения для входа Azure.
azure_tenant_id Струна Идентификатор клиента Azure.
azure_use_msi Булев Следует ли использовать MSI для Azure.
azure_workspace_resource_id Струна Идентификатор ресурса рабочей области Azure.
client_id Струна Идентификатор клиента для рабочей области.
file_path Струна Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов.
google_service_account Струна Имя учетной записи службы Google.
host Струна URL-адрес рабочего пространства Databricks.
profile Струна Имя профиля в рабочей области Databricks.
resource_path Струна Путь к ресурсу рабочей области.
root_path Струна Корневой путь рабочей области Databricks.
state_path Струна Путь состояния рабочей области.