Примечания к выпуску DLT и процесс обновления версии

Статья
03/06/2025

В этой статье объясняется процесс выпуска DLT, управление средой выполнения DLT и ссылки на заметки о выпуске для каждого выпуска DLT.

каналы среды выполнения DLT

Заметка

Сведения о версиях среды выполнения Databricks, используемых с выпуском DLT, см. в заметках о выпуске для этого выпуска.

Кластеры DLT используют среды выполнения , основанные на версиях среды Databricks Runtime, описанных в заметках о выпуске и совместимости. Databricks автоматически обновляет среды выполнения DLT для поддержки улучшений и обновлений платформы. Поле channel в параметрах конвейера DLT можно использовать для управления версией среды выполнения DLT, которая запускает конвейер. Поддерживаемые значения:

current, чтобы использовать текущую версию среды выполнения.
preview для тестирования конвейера с грядущими изменениями в версии среды выполнения.

Ваши конвейеры по умолчанию выполняются с помощью версии среды выполнения current. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров с помощью следующей версии среды выполнения см. в статье Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Важный

Функции, помеченные как общедоступная или общедоступная предварительная версия, доступны в канале current.

Дополнительные сведения о каналах DLT см. в поле channel в параметрах конвейера DLT .

Сведения о том, как DLT управляет процессом обновления для каждого выпуска, см. в статье Как работает обновление DLT?.

Как найти версию среды выполнения Databricks для обновления конвейера?

Вы можете выполнить запрос к журналу событий DLT, чтобы найти версию Databricks Runtime для обновления конвейера. См. сведения о среде выполнения .

заметки о выпуске DLT

Заметки о выпуске DLT организованы по годам и неделям года. Так как DLT без версии, изменения рабочей области и среды выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Как работают обновления DLT?

DLT считается продуктом без версий, что означает, что Databricks автоматически обновляет среду выполнения DLT для поддержки улучшений и обновлений платформы. Databricks рекомендует ограничить внешние зависимости для конвейеров DLT.

Databricks активно работает, чтобы предотвратить появление ошибок или проблем в производственных конвейерах DLT из-за автоматического обновления. Посмотрите процесс обновления DLT .

Особенно для пользователей, которые развертывают конвейеры DLT с внешними зависимостями, Databricks рекомендует упреждающее тестирование конвейеров с помощью каналов preview. См. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

процесс обновления DLT

Databricks управляет databricks Runtime, используемой вычислительными ресурсами DLT. DLT автоматически обновляет среду выполнения в рабочих областях Azure Databricks и отслеживает работоспособность конвейеров после обновления.

Если DLT обнаруживает, что конвейер не может запуститься из-за обновления, версия среды выполнения для конвейера возвращается к предыдущей версии, которая, как известно, стабильна, и следующие шаги активируются автоматически:

Среда выполнения DLT конвейера прикреплена к предыдущей проверенной версии.
Поддержка Databricks уведомляется о проблеме.
- Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
- Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
Когда проблема устранена, Databricks снова инициирует обновление.

Важный

DLT возвращает только конвейеры, выполняемые в рабочем режиме, с заданным для канала значением current.

Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения

Чтобы убедиться, что изменения в следующей версии среды выполнения DLT не влияют на конвейеры, используйте функцию каналов DLT:

Создайте промежуточный конвейер и задайте для канала значение preview.
В пользовательском интерфейсе DLT создайте расписание для еженедельного запуска конвейера и включите оповещения для получения уведомления по электронной почте о сбоях конвейера. Databricks советует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера .
Если вы получаете уведомление о сбое и не можете устранить его, откройте запрос в службу поддержки с Databricks.

Зависимости конвейера

DLT поддерживает внешние зависимости в конвейерах; Например, можно установить любой пакет Python с помощью команды %pip install. DLT также поддерживает использование глобальных и кластерных скриптов инициализации. Однако эти внешние зависимости, особенно скрипты инициализации, повышают риск проблем с обновлениями среды выполнения. Чтобы устранить эти риски, свести к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем; см. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения. Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.

Поделиться через