Заметки о выпуске компонентов пакета ресурсов Databricks

В этой статье содержатся сведения о основных новых и предстоящих функциях и изменениях пакетов активов Databricks. Функции пакета выпускаются с интерфейсом командной строки Databricks. Полный список обновлений см. в примечаниях к выпуску репозитория GitHub Databricks CLI.

Изменение поведения

Следующие изменения в поведении пакетов ресурсов Databricks были представлены в выпуске Databricks CLI.

Предупреждение о том, что пакеты, развернутые в Shared, имеют конфликтующие разрешения

23 октября 2024 г.

Это изменение было выпущено с Databricks CLI 0.231.0.

Теперь предупреждение возникает при развертывании /Workspace/Shared пакета в папку, доступную всем пользователям, но верхний уровень permissions , определенный для пакета, конфликтует с этим. Измените разрешения, определенные для пакета, или переместите пакет из /Workspace/Shared папки.

Чтобы изменить разрешения для пакета, ознакомьтесь с разрешениями.

Чтобы переместить пакет из /Workspace/Shared папки, измените workspace.root_path конфигурацию пакета на новое расположение, а затем повторно разверните пакет. Удалите старую папку пакета с помощью пользовательского интерфейса или выполнив databricks fs rm.

Пути к рабочей области теперь автоматически префиксированы

9 октября 2024 г.

Это изменение было выпущено в Databricks CLI 0.230.0.

Пути к рабочей области теперь автоматически префиксируются /Workspace. Кроме того, все строки пути, такие как /Workspace/${workspace.root_path}/... в конфигурации пакета, автоматически заменяются на ${workspace.root_path}/... и вызовут предупреждение в составе bundle validate.

Если вы указали настраиваемый workspace.root_path, workspace.artifact_pathили workspace.file_path, пакеты активов Databricks автоматически префиксируют его с помощью /Workspace, но если вы используете любую из этих переменных (например, my_config_path: /Workspace/${workspace.file_path}/config), необходимо обновить эти записи, чтобы удалить префикс /Workspace, чтобы избежать предупреждения.

Если вы передаете одну из этих переменных и используете их как префиксы в коде, необходимо обновить код, чтобы этого не делать.

Это изменение требуется, так как изначально, когда файловая система рабочей области имела корень в /, а домашние каталоги находились под /Users, для доступа к путям рабочей области через REST API Databricks вы использовали эти пути напрямую. Чтобы получить доступ к путям рабочей области из вашего кода, можно использовать путь к файлу /Workspace и домашние каталоги /Workspace/Users. Чтобы избежать дублирования путей рабочей области, а также неопределенности между путями рабочей области и путями каталога Unity /Volumes, ко всем путям рабочей области добавляется префикс /Workspace.

Новые возможности

Следующие функции и обновления этих пакетов активов Databricks были выпущены в выпуске Databricks CLI.

Поддержка приложений

16 января 2025 г.

Эта функция была выпущена с Databricks CLI 0.239.0.

Теперь вы можете управлять развертываниями Databricks Apps с помощью пакетов ресурсов Databricks, определив ресурс приложения в конфигурации пакета. См. app.

Поддержка томов

5 декабря 2024 г.

Эта функция была выпущена в версии Databricks CLI 0.236.0.

Теперь вы можете создавать тома Unity Catalog, используя Databricks Asset Bundles, определяя ресурс тома в конфигурации вашего пакета. См. volume (Unity Catalog).

Поиск значений переменных для мест назначения уведомлений

5 декабря 2024 г.

Эта функция была выпущена в версии Databricks CLI 0.236.0.

Теперь поиск переменных поддерживает пункты назначения уведомлений. См. получение значения идентификатора объекта.

Поддержка панели мониторинга

30 октября 2024 г.

Эта функция была выпущена в Databricks CLI 0.232.0.

Теперь панели мониторинга AI/BI можно управлять в конфигурации пакета с помощью нового типа ресурса панели мониторинга. Вы можете создать конфигурацию панели мониторинга с помощью bundle generate dashboard и сохранить локальную и удаленную версию панели мониторинга в синхронизации с параметрами --force и --watch. См. панели мониторинга и создание файла конфигурации пакета.

Сведения о панелях мониторинга AI/BI см. в разделе "Панели мониторинга".

Команда для создания сводки пакета

23 октября 2024 г.

Эта функция была выпущена в версии Databricks CLI 0.231.0.

Добавлена новая bundle summary команда. Эта команда выводит сводку по идентификатору и ресурсам пакета, включая прямые ссылки на ресурсы, что позволяет легко перейти к ресурсу в рабочей области Databricks. См. сводку вывода пакета.

Поддержка создания универсальных кластеров

1 октября 2024 г.

Эта функция была выпущена в Databricks CLI 0.229.0.

Теперь вы можете создать кластеры всех назначений в конфигурации пакета с помощью нового типа ресурса кластера. Смотрите кластер.

Новый запрос на воссоздание конвейера DLT и флаг автоматического утверждения

5 сентября 2024 г.

Эта функция была выпущена в Databricks CLI 0.228.0.

Теперь появится запрос, если изменения конфигурации пакета могут привести к повторному созданию конвейера DLT. Запрос можно пропустить, указав --auto-approve флаг.

Добавлена поддержка ресурса схемы Unity Catalog.

31 июля 2024 г.

Эта функция была выпущена в составе Databricks CLI 0.225.0.

Теперь схемы каталога Unity можно определить в конфигурации пакета. См. схему (каталог Unity).

Объединение команд в веб-терминале

4 июля 2024 г.

Эта функция была выпущена в версии Databricks CLI 0.223.0.

Теперь вы можете взаимодействовать с пакетами с помощью интерфейса командной строки Databricks из веб-терминала. Сведения по использованию веб-терминала см. в разделе Выполнение команд оболочки в веб-терминале Azure Databricks.

Добавлена поддержка сложных переменных

26 июня 2024 г.

Эта функция была выпущена в Интерфейсе командной строки Databricks версии 0.222.0.

Пакеты ресурсов Databricks теперь поддерживают сложные переменные. См. раздел "Определение сложной переменной".

Наборы активов Databricks общедоступны

23 апреля 2024 г.

С выпуском Databricks CLI 0.218.0 пакеты ресурсов Databricks теперь официально доступны.