Поделиться через

DLT выпуск 2022.40

  • Статья

28 сентября – 5 октября 2022 г.

Эти функции и улучшения были выпущены с выпуском DLT 2022.40.

Версии среды выполнения Databricks, используемые этим выпуском

Канал :

  • ТЕКУЩАЯ (по умолчанию): Databricks Runtime 11.0.7
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.0.7

Новые функции и улучшения в этом выпуске

  • Использование метки кластера, отличной от default или maintenance в параметрах конвейера, приводит к сбоям при создании или изменении конвейера. Дополнительные сведения о конфигурации кластера для конвейеров DLT см. в разделе Настройка вычислений для конвейера DLT.
  • Этот выпуск включает критическое изменение структуры данных параметров конвейера, возвращаемой запросами API DLT. Это изменение возвращает поле edition в качестве значения верхнего регистра. Ранее это значение возвращалось в смешанном регистре. Необходимо обновить клиенты, которые считывают значение edition в ответах API, чтобы обеспечить правильную обработку возвращаемого значения. Однако значение edition в запросах API не учитывает регистр; клиентам, отправляющим запросы, включая это поле, не нужно ничего менять.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, из-за которой пользовательский интерфейс DLT отображал конвейер в состоянии RUNNING даже после сбоя обновления.
  • Это обновление устраняет ошибку в интерфейсе APPLY_CHANGES при повторной обработке входных данных, в которых данные содержат повторяющиеся операции DELETE с тем же значением в столбце SEQUENCE. Этот сценарий приводит к значениям NULL в целевой таблице и удалению значения DeleteVersion. Это эквивалентно маркировке записи как NOT-DELETED. При этом изменении повторяющиеся операции DELETE обрабатываются идемпотентно и всегда помечают запись как DELETED.
  • В этом выпуске исправлена ошибка, из-за которой строки были скрыты во время scD типа 2, при удалении предыдущей записи журнала, содержащей те же столбцы, что и следующая историческая запись.
  • Это обновление исправляет ошибку, из-за которой представление с ожиданием expect_or_fail остается в состоянии RUNNING, даже если это ожидание не оправдывается. При этом исправлении конвейер завершается сбоем и переходит в состояние FAILED.