DLT выпуск 2025.04
23 января – 30 января 2025
Эти функции и улучшения были выпущены с выпуском DLT 2025.04.
Версии среды выполнения Databricks, используемые этим выпуском
канал :
- "CURRENT (по умолчанию): Databricks Runtime 15.4"
- ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 15.4 или 16.1
Заметка
Так как выпуски канала DLT следуют последовательному процессу обновления, обновления каналов развертываются в разных регионах в разные времена. Ваш выпуск, включая версии среды выполнения Databricks, может не обновляться неделю или более после начальной даты выпуска. Сведения о том, как найти версию среды выполнения Databricks для конвейера, см. в сведения о среде выполнения.
Новые функции и улучшения
- По умолчанию новые конвейеры DLT поддерживают создание и обновление материализованных представлений и потоковых таблиц в нескольких каталогах и схемах. Это новое поведение по умолчанию для конфигурации конвейера требует, чтобы пользователи указали целевую схему, которая становится схемой по умолчанию для конвейера. Виртуальная схема
LIVEи связанный с ней синтаксис больше не требуются. Дополнительные сведения см. в статье Настройка целевого каталога и схемы, настройкаконвейера DLT и схемы LIVE (устаревшая версия).
- Теперь общедоступен запрос
clone a pipelineв REST API Databricks. Вы можете использовать этот запрос для копирования существующего конвейера, который публикует данные в хранилище метаданных Hive, в новый конвейер, публикующий данные в Unity Catalog. См. статью Создание конвейера каталога Unity путем клонирования конвейера хранилища метаданных Hive.
- Поддержка просмотра метрик потоковой рабочей нагрузки для обновлений конвейера DLT доступна в общедоступной предварительной версии. При просмотре обновлений конвейера в пользовательском интерфейсе DLT теперь можно просматривать метрики, такие как секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы для каждого потока потоковой передачи в конвейере. Метрики потоковой передачи поддерживаются для источников структурированной потоковой передачи Spark, включая Apache Kafka, Amazon Kinesis и автозагрузчик. См. просмотр метрик потоковой передачи.