Поделиться через

DLT выпуск 2022.37

  • Статья

14 сентября – 22, 2022

Эти функции и улучшения были выпущены с выпуском DLT 2022.37.

Версии среды выполнения Databricks, используемые этим выпуском

Канал ,

  • CURRENT (по умолчанию): Databricks Runtime 10.3.7
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.0.5

Новые функции и улучшения в этом выпуске

  • Запрос API для начала обновления теперь возвращает поле request_id в тексте ответа. request_id — это стабильный идентификатор исходного запроса, запускающий обновление. Если обновление будет повторно запущено или перезапущено, новое обновление наследует request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Новый запрос API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) возвращает состояние обновления конвейера, связанного с request_id. Ответ содержит сведения о последнем обновлении.

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Теперь код Python может вызывать операции spark.sql за пределами dlt.table() или dlt.view() функций, если операция не считывается из материализованного представления или потоковой таблицы.
  • Теперь записи журнала событий содержат свойство maturity, указывающее стабильность схемы события. Возможные значения: stable, evolvingи deprecated. Дополнительные сведения о журнале событий DLT см. в разделе Что такое журнал событий DLT?.
  • Сообщение об ошибке улучшается при внесении несовместимых изменений в исходные таблицы, используемые потоковой таблицей.
  • Теперь можно выбрать политику кластера в пользовательском интерфейсе DLT при создании или изменении конвейера. Ранее установка политики кластера для конвейера требовала редактирования параметров JSON конвейера.
  • Быстрый запуск конвейера. Этот выпуск включает улучшения, которые ускоряют SETTING_UP_TABLES шаг при запуске конвейера.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, которая предотвращает увеличение масштаба расширенного автомасштабирования при отсутствии неактивных экземпляров кластера.