Databricks Runtime 10.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.2 и Databricks Runtime 10.2 Photon на базе Apache Spark 3.2.0. Databricks выпустила эту версию в декабре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

• Использование файлов в репозиториях с помощью потоковой передачи Spark.
• Databricks Utilities добавляет команду подключения обновления
• Delta Lake поддерживает переименование столбцов (общедоступная предварительная версия)
• История таблиц Delta Lake добавляет сведения о версии Databricks Runtime
• В Databricks Utilities добавлены сведения о времени последнего изменения при перечислении каталогов.
• В Spark SQL добавлена функция approx_top_k для возврата сведений об основных элементах и их числе.
• Trigger.AvailableNow теперь доступен в Python и Scala
• Автозагрузчик теперь поддерживает эволюцию схем для Avro (общедоступная предварительная версия)

Использование файлов в репозиториях с помощью потоковой передачи Spark

Теперь вы можете осуществлять доступ к файлам в репозиториях путем потоковой передачи Spark.

Служебные программы Databricks добавляет команду подключения обновления

Новая команда dbutils.fs.updateMount аналогична dbutils.fs.mount, но она обновляет существующую точку подключения, а не создает новую. См. статью Команда updateMount (dbutils.fs.updateMount).

Delta Lake поддерживает переименование столбцов (общедоступная предварительная версия)

Delta Lake теперь поддерживает переименование столбцов. Чтобы переименовать столбец таблицы Delta, необходимо обновить версию таблицы Delta, а затем задать режим сопоставления столбцов для сопоставления имен. См. : переименование и удаление столбцов с помощью сопоставления столбцов в Delta Lake.

История таблиц Delta Lake включает сведения о версии Databricks Runtime.

Когда теперь запись выполняется в таблицу Delta, сведения о версии Databricks Runtime, которая сделала запись, также записываются. Чтобы получить сведения о версии, выполните команду DESCRIBE HISTORY в таблице, а затем просмотрите столбец engineInfo в выходных данных. См. статью DESCRIBE HISTORY и Работа с журналом таблиц Delta Lake.

В Databricks Utilities добавлены сведения о времени последнего изменения при перечислении каталогов.

С помощью команды dbutils.fs.ls для вывода содержимого каталога теперь выводится поле modificationTime. Это поле содержит последнее время изменения для каждого из перечисленных файлов или каталогов. См. статью Команда ls (dbutils.fs.ls).

В Spark SQL добавлена функция approx_top_k для возврата сведений об основных элементах и их числе.

Новая функция approx_top_k возвращает наиболее часто возникающие значения элементов вместе с их приблизительным числом для указанного выражения. Некоторыми примерами могут служить:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Результат выполнения любого из этих примеров:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

См. статью Агрегатная функция approx_top_k.

Trigger.AvailableNow теперь доступен в Python и Scala

Это изменение реализует поддержку запросов разностных исходных потоков Trigger.AvailableNow в Python и Scala. Поддержка в Scala появилась в версии Databricks Runtime 10.1. В Python — в версии Databricks Runtime 10.2. Описание Trigger.AvailableNow см. в статье об автозагрузчике.

Автозагрузчик теперь поддерживает эволюцию схемы для Avro (общедоступная предварительная версия)

См. раздел Настройка интерпретации и эволюции схемы в автозагрузчике.

Обновления библиотек

• Обновленные библиотеки Python:
  • filelock с 3.3.1 до 3.4.0;
  • plotly с 5.3.0 до 5.3.1.
• Обновленные библиотеки R:
  • base с 4.1.1 to 4.1.2;
  • compiler с 4.1.1 до 4.1.2;
  • datasets с 4.1.1 до 4.1.2;
  • graphics с 4.1.1 до 4.1.2;
  • grDevices с 4.1.1 до 4.1.2;
  • grid с 4.1.1 до 4.1.2;
  • methods с 4.1.1 до 4.1.2;
  • parallel с 4.1.1 до 4.1.2;
  • Rserve с 1.8-8 до 1.8-10;
  • splines с 4.1.1 до 4.1.2;
  • stats с 4.1.1 до 4.1.2;
  • stats4 с 4.1.1 до 4.1.2;
  • tcltk с 4.1.1 до 4.1.2;
  • tools с 4.1.1 до 4.1.2;
  • utils с 4.1.1 до 4.1.2;
  • backports с 1.2.1 до 1.4.0;
  • broom с 0.7.9 до 0.7.10;
  • CLI с 3.0.1 до 3.1.0;
  • cpp11 с 0.4.0 до 0.4.1;
  • crayon с 1.4.1 до 1.4.2;
  • учетные данные от 1.3.1 до 1.3.2
  • future с 1.22.1 до 1.23.0;
  • gert с 1.4.1 до 1.4.3;
  • glmnet с 4.1-2 до 4.1-3;
  • glue с 1.4.2 до 1.5.0;
  • memoise с 2.0.0 до 2.0.1;
  • parallelly с 1.28.1 до 1.29.0;
  • readr с 2.0.2 до 2.1.0;
  • sessioninfo с 1.1.1 до 1.2.1;
  • stringi с 1.7.5 до 1.7.6;
  • tibble с 3.1.5 до 3.1.6;
  • tinytex с 0.34 до 0.35;
  • tzdb с 0.1.2 до 0.2.0;
  • usethis с 2.1.2 до 2.1.3;
  • uuid с 0.1-4 до 1.0-3;
  • vroom с 1.5.5 до 1.5.6;
  • xfun с 0.27 до 0.28.
• Обновленные библиотеки Java:
  • com.fasterxml.jackson с 2.12.2 до 2.12.3;
  • io.airlift.aircompressor с 0.19 до 0.21;
  • io.netty.netty-all с 4.1.63.Final до 4.1.68.Final;
  • joda-time.joda-time с 2.10.5 до 2.10.10;
  • org.apache.commons.commons-compress с 1.20 до 1.21;
  • org.apache.orc с 1.6.10 до 1.6.12;
  • org.eclipse.jetty с 9.4.40.v20210413 до 9.4.43.v20210629;
  • org.scalanlp.breeze-macros_2.12 с 1.0 до 1.2;
  • org.scalanlp.breeze_2.12 с 1.0 до 1.2;
  • org.org.typelevel.algebra_2.12 с 2.0.0 до 2.0.1;
  • org.typelevel.cats-kernel_2.12 с 2.0.0 до 2.0.1.

Apache Spark

Databricks Runtime 10.2 включает Apache Spark 3.2.0. Этот выпуск включает все исправления Spark и улучшения, включенные в Databricks Runtime 10.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-37447] [SQL] Кэширование результата LogicalPlan.isStreaming() при проверке lazy val.
• [SPARK-37468] [SQL] Поддержка интервалов ANSI и TimestampNTZ для UnionEstimation.
• [SPARK-37464] [SQL] SCHEMA и DATABASE должны быть просто псевдонимами пространства имён
• [SPARK-37452] [SQL] Char и Varchar прерывают обратную совместимость между версиями 3.1 и 2.
• [SPARK-36861] [SQL] Использование yyyy-MM-dd в качестве шаблона даты в обнаружении секций
• [SPARK-37456] [SQL] CREATE NAMESPACE должен соответствовать расположению для команды версии 2.
• [SPARK-37357] [SQL] Добавление маленького фактора раздела для перебалансировки разделов
• [SPARK-37446] [SQL] Использование отражения для getWithoutRegisterFns, чтобы разрешить сборку с использованием различных версий Hive.
• [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION должен согласованно обрабатывать пустую локацию в командах версии 1 и 2.
• [SPARK-36357] [SQL] Поддержка метки времени отправки без часового пояса для Orc.
• [SPARK-36346] [SQL] Поддержка типа TimestampNTZ в источнике файлов Orc.
• [SPARK-36646] [SQL] Применение группировки по столбцу секционирования для агрегирования
• [SPARK-34960] [SQL] Отправка агрегата для ORC.
• [SPARK-37386] [SQL] Упрощение OptimizeSkewedJoin, которое позволяет не запускать средство оценки затрат.
• [SPARK-36073] [SQL] Исправления и улучшения EquivalentExpressions.
• [SPARK-35352] [SQL] Добавить генерацию кода для полного внешнего объединения слиянием с сортировкой
• [SPARK-37292] [SQL] Удаляет внешнее соединение, если оно только имеет значение DISTINCT на потоковой стороне с псевдонимом
• [SPARK-37371] [SQL] Необходимо обеспечить поддержку UnionExec данных по столбцам, если все дочерние элементы поддерживают данные по столбцам.
• [SPARK-36645] [SQL] Отправка агрегата (Min,Max или Count) для Parquet.
• [SPARK-37379] [SQL] Добавление возможности удалить шаблон дерева в правило CTESubstitution.
• [SPARK-37332] [SQL] Разрешение интервалов ANSI в ALTER TABLE .. ADD COLUMNS.
• [SPARK-37224] [SS] Оптимизация пути записи в поставщике хранилища состояний RocksDB
• [SPARK-37304] [SQL] Разрешение интервалов ANSI в ALTER TABLE .. REPLACE COLUMNS версии 2.
• [SPARK-36924] [SQL] CAST между интервалами ANSI и IntegralType.
• [SPARK-37289] [SQL] Удалить функцию partitionSchemaOption
• [SPARK-37270] [SQL] Исправление отправки свертываемых выражений в ветви CaseWhen, если elseValue является пустым.
• [SPARK-35345] [SQL] Добавление тестов Parquet в BloomFilterBenchmark.
• [SPARK-37341] [SQL] Избежать ненужных буферов и копирования в полном внешнем сортировочном слиянии соединения
• [SPARK-37266] [SQL] Текст представления может быть только SELECT запросами
• [SPARK-37288] [PYTHON][3.2] Возврат после обновления аннотаций
• [SPARK-37262] [SQL] Не допускается регистрация пустого агрегата и группирования в JDBCScan.
• [SPARK-37283] [SQL] Не пытайтесь сохранить таблицу версии 1, содержащую интервалы ANSI в совместимом формате Hive
• [SPARK-37221] [SQL] API, работающий по принципу сбора данных, в SparkPlan должен поддерживать вывод данных по столбцам.
• [SPARK-37202] [SQL] Отслеживание временных функций, на которые добавлены ссылки, с помощью AnalysisContext.
• [SPARK-37023] [CORE] Не допускается извлечение сведений о состоянии слияния, если shuffleMergeEnabled имеет значение false для shuffleDependency во время повторной попытки.
• [SPARK-37307] [CORE] Не допускается получения сведений о подключении для пустых секций.
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions поддерживает оптимизацию некорневого узла
• [SPARK-36799] [SQL] Передача имени queryExecution в CLI.
• [SPARK-37261] [SQL] Разрешение добавления секций с интервалами ANSI в DSv2.
• [SPARK-37203] [SQL] Исправление NotSerializableException, если оно наблюдается при использовании TypedImperativeAggregate.
• [SPARK-37199] [SQL] Добавление детерминированного поля в QueryPlan.
• [SPARK-37253] [PYTHON] Не должен происходить сбой try_simplify_traceback, если tb_frame.f_lineno имеет значение None.
• [SPARK-37214] [SQL] Ранее не удавалось выполнить анализ запросов с недопустимыми идентификаторами.
• [SPARK-37240] [SQL] Обработка интервалов ANSI по ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Фильтрация секций Hive на стороне клиента с помощью выражений.
• [SPARK-32940] [SQL] Collect, first и last должны быть детерминированными агрегатными функциями.
• [SPARK-37231] [SQL] Динамические операции записи и чтения для секций с интервалами ANSI.
• [SPARK-37038] [SQL] Пример отправки DSV2.
• [SPARK-36665] [SQL] Добавление дополнительных упрощений операторов Not.
• [SPARK-37150] [SQL] Перенос DESCRIBE NAMESPACE для использования команды версии 2 по умолчанию.
• [SPARK-37196] [SQL] При сбое enforcePrecisionScale для HiveDecimal возвращается значение NULL.
• [SPARK-37212] [SQL] Улучшение реализации отправки агрегата.
• [SPARK-37190] [SQL] Улучшение сообщений об ошибках для Cast в режиме ANSI.
• [SPARK-37161] [SQL] Поддержка RowToColumnConverter для AnsiIntervalType.
• [SPARK-37160] [SQL] Добавление конфигурации, с помощью которой можно при необходимости отключить заполнение для типа char.
• [SPARK-36554] [SQL][PYTHON] Предоставление выражения make_date expression в functions.scala
• [SPARK-37200] [SQL] Поддержка удаления индекса для источника данных версии 2.
• [SPARK-37179] [SQL] Режим ANSI: добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями.
• [SPARK-37168] [SQL] Улучшение сообщений об ошибках для функций SQL и операторов в режиме ANSI.
• [SPARK-36935] [SQL] Расширение ParquetSchemaConverter для вычисления уровня повторения и определения Parquet
• [SPARK-37066] [SQL] Улучшение сообщения об ошибке. Теперь в нем отображается путь к файлу, если не удается считать следующий файл.
• [SPARK-32567] [SQL] Генерация кода для полного внешнего перемешанного хеш-соединения
• [SPARK-37176] [SQL] Синхронизировать логику обработки исключений метода JsonInferSchema#infer с методом JacksonParser#parse
• [SPARK-37149] [SQL] Улучшение сообщений об ошибках для исключений арифметического переполнения в режиме ANSI.
• [SPARK-37136] [SQL] Удалите код, связанный со встроенными функциями hive, не реализованными в Spark
• [SPARK-16280][SPARK-37082] [SQL] Реализует функцию агрегирования histogram_numeric, которая поддерживает частичное агрегирование.
• [SPARK-36975] [SQL] Исправление метрик вызовов клиента Hive в HiveClientImpl.

Обновления в рамках обслуживания

См. статью Обновления в рамках обслуживания Databricks Runtime 10.2.

Системная среда

• Операционная система: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64.
• Scala: 2.12.14.
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 30.11.2021.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)