Поделиться через

DLT выпуск 2024.49

  • Статья

9–12 декабря 2024 года

Эти функции и улучшения были выпущены с выпуском DLT 2024.49.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

  • CURRENT (по умолчанию): Databricks Runtime 15.4
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 15.4

Заметка

Так как выпуски канала DLT следуют последовательному процессу обновления, обновления каналов развертываются в разных регионах в разные времена. Выпуск, включая версии среды выполнения Databricks, может не обновляться в течение недели или более после начальной даты выпуска. Чтобы найти версию среды выполнения Databricks для конвейера, см. Сведения о среде выполнения.

Новые функции и улучшения

  • Теперь вы можете настроить вычисления на одном узле для конвейеров с поддержкой Unity Catalog. При настройке вычислений одного узла минимальное количество узлов, необходимых для запуска конвейера, уменьшается с двух узлов на один узел путем запуска заданий Spark на том же узле, что и драйвер Spark. Чтобы настроить кластер одного узла, задайте min_workers и max_workers значение 0. См. Создание кластера с одним узлом.
  • Этот выпуск включает следующие изменения при удалении материализованного представления или потоковой таблицы. Удаление материализованного представления или потоковой таблицы может произойти при удалении определения материализованного представления или потоковой таблицы из конвейера или удаления ее в обозревателе каталогов:
    • Время восстановления материализованного представления или определения потоковой таблицы сокращается до семи дней. Это тот же период времени, что и управляемые каталогом Unity таблицы. После семидневного периода объявление материализованного представления или потоковой таблицы с тем же именем создает новое материализованное представление или потоковую таблицу.
    • Базовые данные в удаленном материализованном представлении или потоковой таблице удаляются через 30 дней.

Исправления ошибок

  • В этом выпуске исправлена ошибка, которая вызывает сбой при попытке создать материализованное представление с дефисом в имени, даже если имя заключено в обратные кавычки. Например, без этого исправления следующая инструкция создает ошибку: CREATE MATERIALIZED VIEW my_catalog.my_schema.`mv-hyphen` AS....