Поделиться через

DLT версия 2023.41

  • Статья

16 сентября – 20 октября 2023 г.

Эти функции и улучшения были выпущены с выпуском DLT 2023.41.

Заметка

Выпуски осуществляются поэтапно. Выпуск DLT, включая версии среды Databricks Runtime, может не обновляться в течение недели или более после начальной даты выпуска.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

  • ТЕКУЩАЯ (по умолчанию): Databricks Runtime 12.2.14
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 13.3.3

Новые функции и улучшения в этом выпуске

  • Теперь вы можете добавить настраиваемый мониторинг и оповещения в ваши конвейеры DLT с помощью хуков событий (общедоступная предварительная версия). Например, с помощью перехватчиков событий можно отправлять сообщения электронной почты или интегрироваться с сторонними решениями мониторинга для отправки оповещений при возникновении выбранных событий.
  • Этот выпуск улучшает обнаружение и обмен сообщениями об ошибках для циклических зависимостей в конвейере. Например, когда нижестоящая таблица используется в качестве ссылки для создания вышестоящей таблицы.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена проблема, которая вызывает сбой конвейера в случае, если в запросе SCD типа 1 с включёнными ожиданиями обнаружено несоответствие регистра в именах столбцов.
  • В этом выпуске значения политики кластера по умолчанию применяются правильно, если для параметра apply_policy_default_values задано значение true в конфигурации конвейера. Ранее в некоторых случаях параметры политики кластера по умолчанию не применялись корректно. См. выберите политику кластера.