Поделиться через

DLT выпуск 2023.11

  • Статья

20 марта – 24 марта 2023 г.

Эти функции и улучшения были выпущены с выпуском DLT 2023.11.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

  • ТЕКУЩАЯ (по умолчанию): Databricks Runtime 11.3.6
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 12.1.2

Новые функции и улучшения в этом выпуске

  • Теперь вы можете получать статус в реальном времени по обновлениям вашего конвейера с уведомлениями по электронной почте. Вы можете настроить один или несколько адресов электронной почты для получения уведомлений, когда:

    • Обновление конвейера завершается успешно, завершается ошибкой, допускающей повторную попытку, или завершается ошибкой, не допускающей повторную попытку.
    • Сбой одного потока данных.

    Чтобы настроить уведомления по электронной почте, выберите Уведомления в настройках конвейера при создании или изменении конвейера. См. добавьте уведомления по электронной почте для событий конвейера.

  • Этот выпуск включает изменения, чтобы улучшить взаимодействие с пользователем при просмотре списка конвейеров в пользовательском интерфейсе DLT. Изменения включают увеличение количества конвейеров, отображаемых на каждой странице. По умолчанию на каждой странице отображаются 20 конвейеров. Предыдущее значение по умолчанию — отображение 10 конвейеров на каждой странице.
  • В этом выпуске вы увидите предупреждения об устаревании в журнале событий DLT, если любое из определений набора данных Python содержит обратные кавычки, включающие имя набора данных, например определение таблицы как dlt.table(name="`table.name`").

Исправления ошибок в этом выпуске

  • Этот выпуск исправляет ошибку, вызывающую ошибку при использовании команды spark.sql("SHOW CATALOGS"). SHOW CATALOGS теперь является поддерживаемой командой.