Поделиться через

DLT релиз 2022.49

  • Статья

6 – 9 декабря 2022 года

Эти функции и улучшения были выпущены с выпуском DLT 2022.49.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

  • ТЕКУЩИЙ (по умолчанию): Databricks Runtime 11.0.11
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.3.2

Новые функции и улучшения в этом выпуске

  • Теперь вы можете импортировать файлы из папки Databricks Git в виде модулей Python. Файлы можно импортировать из текущего пути репозитория или указанного пути репозитория с помощью sys.path.append().
  • Улучшенное автомасштабирование теперь общедоступно. В этом выпуске расширенный режим автомасштабирования — это режим автомасштабирования по умолчанию для новых конвейеров, созданных в пользовательском интерфейсе. Databricks рекомендует обновлять конвейеры, которые используют автомасштабирование существующего кластера, чтобы переходить на улучшенное автомасштабирование.
  • При выполнении конвейеров в непрерывном режиме ограничение повторных попыток по умолчанию равно 2 при возникновении сбоев, подлежащих повторению. Включая исходную попытку, все потоки имеют три попытки (с экспоненциальным обратным выходом) для выполнения при возникновении неустранимых сбоев. Ранее значения по умолчанию подразумевали неограниченное количество повторных попыток для пакетных потоков и пять повторных попыток для потоков передачи.
  • Параметр конфигурации pipelines.maxFlowRetryAttempts теперь применяется к ограничению повторных попыток для всех потоков, включая потоки пакетной и потоковой передачи, а также непрерывные или триггерные конвейеры. Ранее pipelines.maxFlowRetryAttempts применялся ко всем ограничениям повторных попыток в активированном режиме, но только пакетным потокам в непрерывном режиме; повторные попытки для конвейеров потоковой передачи в непрерывном режиме контролировались pipelines.numStreamRetryAttempts. Для существующих конвейеров pipelines.numStreamRetryAttempts продолжает поддерживаться для потоковых потоков в непрерывном режиме. Если заданы оба pipelines.numStreamRetryAttempts и pipelines.maxFlowRetryAttempts, pipelines.numStreamRetryAttempts принимает приоритет для потоковых потоков в непрерывном режиме. В противном случае используется настроенное значение для pipelines.maxFlowRetryAttempts. См. справочник по свойствам DLT .

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, приводяшая к отображению неправильных вычислений DBU в час для кластеров с поддержкой Фотона.
  • В этом выпуске исправлена ошибка, которая приводит к сбою задач обслуживания DLT в рабочих областях с включенным Unity Catalog.
  • В этом выпуске исправлена ошибка, из-за которой остановка или перезапуск непрерывного конвейера, который обрабатывает данные с автозагрузчиком, приводит к зависанию конвейера на несколько минут.