Databricks Runtime 11.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.0 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в июне 2022 года.

Новые функции и внесенные улучшения

• Новая версия Apache Spark
• Записные книжки Python теперь используют ядро IPython
• Поддержка ipywidgets
• Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме
• Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS
• SQL: DESC теперь является псевдонимом для DESCRIBE
• SQL: новая функция current_version выводит сведения о версии
• Обнаружение отсутствующих Delta tableconstraint теперь сообщает об ошибке
• SQL: новое предложение EXCEPT в операторе SELECT исключает columns из выбора
• поддержка удаления columns в tables Delta (предварительная общедоступная версия)
• Улучшения COPY INTO
• CONVERT TO DELTA теперь поддерживается в средах с поддержкой Unity Catalog (общедоступная предварительная версия)

Новая версия Apache Spark

Databricks Runtime 11.0 и Databricks Runtime 11.0 Photon включают Apache Spark 3.3.0. Более подробную информацию см. в разделе Apache Spark.

Записные книжки Python теперь используют ядро IPython

В Databricks Runtime версии 11.0 и выше записные книжки Python используют ядро IPython для выполнения кода Python. См. статью Ядро IPython.

Поддержка ipywidgets

С помощью ipywidgets вы теперь можете сделать записные книжки Databricks Python интерактивными. См. статью ipywidgets.

Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме

Теперь соединитель Synapse записывает данные Parquet в неустаревшем режиме. Он сохраняет формат метки времени INT96 при использовании команд PolyBase и COPY для рабочих нагрузок пакетной и потоковой передачи.

Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS

Теперь когда клиент Azure Blob File System (ABFS) использует маркер подписанного URL-адреса (SAS), принудительно применяется схема HTTPS.

SQL: DESC теперь является псевдонимом для DESCRIBE

Теперь вы можете использовать DESC в качестве псевдонима для DESCRIBE при описании внешних расположений или хранилища credentials. Например:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: новая функция current_version выводит сведения о версии

Новая функция current_version выводит текущую версию Databricks Runtime и Databricks SQL (если они доступны), а также другие связанные сведения о версиях. Используйте эту новую функцию для запроса информации о версии. См. статью Функция current_version.

Удаление отсутствующих элементов Delta tableconstraint теперь вызывает ошибку

Если вы пытаетесь удалить разностную tableconstraint по имени и что constraint не существует, вы get ошибку. Чтобы get предыдущее поведение, которое не вызывает ошибку, если constraint не существует, теперь необходимо использовать инструкцию IF EXISTS. См. ALTER TABLE.

SQL: новое предложение EXCEPT в инструкции SELECT исключает columns из выбора

SELECT операторы теперь поддерживают условие EXCEPT, чтобы исключить columns из выбора. Например, SELECT * EXCEPT (x) FROM table возвращает все columns для table, кроме x. Также разрешены вложенные columns. Например, SELECT * EXCEPT (x.a) FROM table возвращает все columns из table, но исключает поле a из структуры x.

Поддержка удаления columns в Delta tables (общедоступная предварительная версия)

Вы можете использовать ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> или ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *), чтобы удалить column или list из columnsсоответственно из Дельта table как операцию, содержащую только метаданные. columns фактически "обратимо удалены", так как они по-прежнему находятся в базовых файлах Parquet, но больше не видны Delta table.

Вы можете использовать REORG TABLE <table-name> APPLY (PURGE) для активации перезаписи файлов, содержащих любые мягко удаленные данные, например, удаленные columns.

Вы можете использовать VACUUM для remove удаленных файлов из физического хранилища, включая старые файлы, содержащие удаленные columns, и были перезаписаны REORG TABLE.

Улучшения COPY INTO

Теперь вы можете создать пустой заполнитель Delta tables, чтобы schema позже было выведено во время команды COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Предыдущая инструкция SQL является идемпотентной и может выполняться для приема данных ровно один раз в delta table.

Если принимаемые данные не удается прочитать в связи с повреждением, эти поврежденные файлы можно пропустить, задав для ignoreCorruptFiles значение true в FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Команда COPY INTO возвращает количество пропущенных файлов из-за повреждения в num_skipped_corrupt_filescolumn. Эта метрика также отображается в operationMetricscolumn под numSkippedCorruptFiles после запуска DESCRIBE HISTORY на Delta table.

COPY INTO не отслеживает поврежденные файлы, поэтому, если повреждение исправлено, их можно перезагрузить в последующем запуске. Чтобы посмотреть, какие файлы повреждены, выполните команду COPY INTO в режиме VALIDATE.

CONVERT TO DELTA теперь поддерживается в средах с поддержкой Unity Catalog (общедоступная предварительная версия)

В средах с поддержкой Unity — Catalog— теперь с CONVERT TO DELTA можно:

• Преобразовать файлы Parquet во внешних расположениях в Delta Lake.
• Преобразуйте внешние файлы Parquet tables в Delta tables.

Изменения в работе

• SQL: функции lpad и rpad теперь поддерживают последовательности байтов
• Для строкового формата в format_string и printf больше не допускается %0$
• null values в CSV-файлах теперь записываются как неквотированные пустые строки по умолчанию
• Свойство tableexternal сейчас зарезервировано
• Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2
• Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

SQL: функции lpad и rpad теперь поддерживают последовательности байтов

Функции lpad и rpad были обновлены для добавления поддержки последовательностей байтов в дополнение к последовательности строк.

Для строкового формата в format_string и printf больше не допускается %0$

При указании формата %0$ в функциях format_string и printf теперь по умолчанию возникает ошибка. Это изменение предназначено для сохранения ожидаемого поведения в предыдущих версиях Databricks Runtime и распространенных сторонних базах данных. Первый аргумент всегда должен ссылаться на %1$ при использовании индекса аргумента для указания позиции аргумента в аргументе list.

Значения NULL values в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек.

Нулевые значения values в CSV-файлах ранее записывались как пустые строки в кавычках. В этом выпуске null values в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек. Чтобы вернуться к предыдущему поведению, set параметр nullValue"" для операций записи.

Свойство table теперь зарезервировано external

Свойство external теперь является зарезервированным свойством table по умолчанию. При использовании свойства external с предложениями CREATE TABLE ... TBLPROPERTIES и ALTER TABLE ... SET TBLPROPERTIES теперь возникают исключения.

Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2

Библиотека Log4j 1 была обновлена до версии Log4j 2. Устаревшие зависимости Log4j 1 удаляются.

Если вы используете зависимости от классов Log4j 1, которые ранее были включены в Databricks Runtime, учтите, что эти классы больше не существуют. Вам нужно обновить зависимости до версии Log4j 2.

Если у вас есть пользовательские подключаемые модули или файлы конфигурации, которые зависят от Log4j 2, возможно, они не будут работать с версией Log4j 2 в этом выпуске. Чтобы получить помощь, обратитесь к группе учетных записей Azure Databricks.

Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

Библиотеки Maven теперь разрешаются в плоскости вычислений по умолчанию при установке библиотек в кластере. Кластер должен иметь доступ к Maven Central. Кроме того, можно вернуться к предыдущему поведению, задав свойство конфигурации Spark:

spark.databricks.libraries.enableMavenResolution false

Исправления ошибок

• Двоичная совместимость для LeafNode, UnaryNode и BinaryNode между Apache Spark и Databricks Runtime исправлена, а классы теперь совместимы с Apache Spark 3.3.0 и более поздних версий. Если при использовании пакета стороннего разработчика с Databricks Runtime возникает следующее или аналогичное сообщение, перестройте пакет с помощью Apache Spark 3.3.0 или более поздней версии: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Обновления библиотек

• Обновленные библиотеки Python:
  • platformdirs, с версии 2.5.1 до 2.5.2;
  • protobuf, с версии 3.20.0 до 3.20.1.
• Обновленные библиотеки R:
  • blob, с версии 1.2.2 до 1.2.3;
  • broom, с версии 0.7.12 до 0.8.0;
  • caret, с версии 6.0-91 до 6.0-92;
  • cli, с версии 3.2.0 до 3.3.0;
  • dplyr, с версии 1.0.8 до 1.0.9;
  • future, с версии 1.24.0 до 1.25.0;
  • future.apply, с версии 1.8.1 до 1.9.0;
  • gert, с версии 1.5.0 до 1.6.0;
  • ggplot2, с версии 3.3.5 до 3.3.6;
  • glmnet, с версии 4.1-3 до 4.1-4;
  • haven, с версии 2.4.3 до 2.5.0;
  • httr, с 1.4.2 до 1.4.3;
  • knitr, с версии 1.38 до 1.39;
  • magrittr, с версии 2.0.2 до 2.0.3;
  • parallelly, с версии 1.30.0 до 1.31.1;
  • ps, с версии 1.6.0 до 1.7.0;
  • RColorBrewer, с версии 1.1-2 до 1.1-3;
  • RcppEigen, с версии 0.3.3.9.1 до 0.3.3.9.2;
  • readxl, с версии 1.3.1 до 1.4.0;
  • rmarkdown, с версии 2.13 до 2.14;
  • rprojroot, с версии 2.0.2 до 2.0.3;
  • RSQLite, с версии 2.2.11 до 2.2.13;
  • scales, с версии 1.1.1 до 1.2.0;
  • testthat, с версии 3.1.2 до 3.1.4;
  • tibble, с версии 3.1.6 до 3.1.7;
  • tinytex, с версии 0.37 до 0.38;
  • tzdb, с версии 0.2.0 до 0.3.0;
  • uuid, с версии 1.0-4 до 1.1-0;
  • vctrs, с версии 0.3.8 до 0.4.1;
• Обновленные библиотеки Java:
  • com.fasterxml.jackson.core.jackson-annotations, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.core.jackson-core, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.core.jackson-databind, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.datatype.jackson-datatype-joda, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.module.jackson-module-paranamer, с версии 2.13.0 до 2.13.3;
  • com.fasterxml.jackson.module.jackson-module-scala_2.12, с версии 2.13.0 до 2.13.3;
  • com.google.crypto.tink.tink, с версии 1.6.0 до 1.6.1;
  • com.ning.compress-lzf, с версии 1.0.3 до 1.1;
  • dev.ludovic.netlib.arpack, с версии 2.2.0 до 2.2.1;
  • dev.ludovic.netlib.blas, с версии 2.2.0 до 2.2.1;
  • dev.ludovic.netlib.lapack, с версии 2.2.0 до 2.2.1;
  • io.netty.netty-all, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-buffer, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-codec, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-common, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-handler, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-resolver, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-tcnative-classes, с версии 2.0.46.Final до 2.0.48.Final;
  • io.netty.netty-transport, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-classes-epoll, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-classes-kqueue, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-epoll-linux-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-epoll-linux-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-kqueue-osx-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-kqueue-osx-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
  • io.netty.netty-transport-native-unix-common, с версии 4.1.73.Final до 4.1.74.Final;
  • joda-time.joda-time, с версии 2.10.12 до 2.10.13;
  • org.apache.commons.commons-math3, с версии 3.4.1 до 3.6.1;
  • org.apache.httpcomponents.httpcore, с версии 4.4.12 до 4.4.14;
  • org.apache.orc.orc-core, с версии 1.7.3 до 1.7.4;
  • org.apache.orc.orc-mapreduce, с версии 1.7.3 до 1.7.4;
  • org.apache.orc.orc-shims, с версии 1.7.3 до 1.7.4;
  • org.eclipse.jetty.jetty-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-continuation, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-http, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-io, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-jndi, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-plus, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-proxy, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-security, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-servlets, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-util, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-util-ajax, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-webapp, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.jetty-xml, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-api, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-common, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.eclipse.jetty.websocket.websocket-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
  • org.mariadb.jdbc.mariadb-java-client, с версии 2.2.5 до 2.7.4;
  • org.postgresql.postgresql, с версии 42.2.19 до 42.3.3;
  • org.roaringbitmap.RoaringBitmap, с версии 0.9.23 до 0.9.25;
  • org.roaringbitmap.shims, с версии 0.9.23 до 0.9.25;
  • org.rocksdb.rocksdbjni, с версии 6.20.3 до 6.24.2;
  • org.slf4j.jcl-over-slf4j, с версии 1.7.32 до 1.7.36;
  • org.slf4j.jul-to-slf4j, с версии 1.7.32 до 1.7.36;
  • org.slf4j.slf4j-api, с версии 1.7.30 до 1.7.36;

Apache Spark

Databricks Runtime 11.0 включает Apache Spark 3.3.0.

В этом разделе рассматриваются следующие вопросы.

• Spark SQL и Core
• Структурированная потоковая передача
• PySpark
• MLlib
• SparkR
• Пользовательский интерфейс
• Сборка

Spark SQL и Core

Режим ANSI

• Новые правила синтаксиса явного приведения в режиме ANSI (SPARK-33354)
• Elt() теперь возвращает значение NULL, если индекс имеет значение NULL в режиме ANSI (SPARK-38304)
• Дополнительный возврат результата NULL, если элемент не существует в массиве или сопоставлении (SPARK-37750)
• Разрешено приведение между числовым типом и типом метки времени (SPARK-37714)
• Отключение зарезервированных ключевых слов ANSI по умолчанию (SPARK-37724)
• Использование правил назначения хранилища для разрешения вызова функции (SPARK-37438)
• Добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями (SPARK-37179)
• Добавление конфигурации, с помощью которой можно при необходимости принудительно применить зарезервированные ключевые слова ANSI (SPARK-37133)
• Запрет двоичных операций между интервалом и строковым литералом (SPARK-36508)

Усовершенствования функций

• Поддержка типов ANSI SQL INTERVAL (SPARK-27790)
• Улучшения сообщений об ошибках (SPARK-38781)
• Поддержка скрытых метаданных файлов для Spark SQL (SPARK-37273)
• Поддержка необработанного строкового литерала (SPARK-36371)
• Вспомогательный класс для пакетной обработки с помощью Dataset.observe() (SPARK-34806)
• Поддерживается указание начального значения partition для перебаланса (SPARK-38410)
• Добавлена поддержка каскадного режима для API dropNamespace (SPARK-37929)
• Разрешение назначения хранилища и неявного приведения типов даты и времени (SPARK-37707)
• Collect, first и last должны быть детерминированными агрегатными функциями (SPARK-32940)
• Добавление ExpressionBuilder для функций со сложными перегрузками (SPARK-37164)
• Добавление поддержки массивов в объединение по имени (SPARK-36546)
• Добавление df.withMetadata: синтаксический сахар для update метаданных датафрейма (SPARK-36642)
• Поддержка необработанного строкового литерала (SPARK-36371)
• Использование CAST для синтаксического анализа дат и меток времени с шаблоном по умолчанию (SPARK-36418)
• Поддержка класса значений во вложенном schema для набора данных (SPARK-20384)
• Добавление поддержки синтаксиса AS OF (SPARK-37219)
• Добавьте REPEATABLE в TABLESAMPLE, чтобы указать начальное значение (SPARK-37165)
• Добавьте синтаксис ansi set catalog xxx для изменения текущего catalog (SPARK-36841)
• Поддержка ILIKE (ALL | ANY | SOME) — LIKE без учета регистра (SPARK-36674, SPARK-36736, SPARK-36778)
• Этап запроса о поддержке отображает статистику времени выполнения в режиме explain (SPARK-38322)
• Добавление метрик размера разлива для join сортировки (SPARK-37726)
• Update синтаксис SQL SHOW FUNCTIONS (SPARK-37777)
• Поддержка синтаксиса команды DROP COLUMN [IF EXISTS] (SPARK-38939)
• Новые встроенные функции и их расширения (SPARK-38783)
  • Дата и время
    • Добавление функции TIMESTAMPADD() (SPARK-38195)
    • Добавление функции TIMESTAMPDIFF() (SPARK-38284)
    • Добавление псевдонима DATEDIFF() для TIMESTAMPDIFF() (SPARK-38389)
    • Добавление псевдонима DATEADD() для TIMESTAMPADD() (SPARK-38332)
    • Добавление функции convert\_timezone() (SPARK-37552, SPARK-37568)
    • Предоставление выражения make_date в functions.scala (SPARK-36554)
  • Функции AES (SPARK-12567)
    • Добавление встроенных функций aes_encrypt и aes_decrypt (SPARK-12567)
    • Поддержка режима GCM в aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Set GCM в качестве режима по умолчанию в aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Добавление аргументов mode и padding в aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • Функция агрегирования ANSI (SPARK-37671)
    • Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
    • Поддержка агрегатной функции ANSI: regr_avgx и regr_avgy (SPARK-37614)
    • Поддержка функции агрегирования ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Поддержка функции агрегирования ANSI: percentile_disc (SPARK-37691)
    • Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
    • Поддержка агрегатной функции ANSI: array_agg (SPARK-27974)
    • Поддержка агрегатной функции ANSI: regr_r2 (SPARK-37641)
    • Новая функция SQL: try_avg (SPARK-38589)
  • Коллекции
    • Добавление функции SQL ARRAY_SIZE (SPARK-38345)
    • Новая функция SQL: map_contains_key (SPARK-37584)
    • Новая функция SQL: try_element_at (SPARK-37533)
    • Новая функция SQL: try_sum (SPARK-38548)
  • Формат
    • Добавлена новая функция SQL to_binary (SPARK-37507, SPARK-38796)
    • Новая функция SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Функции форматирования типов данных: to\_number (SPARK-28137)
  • String/Binary
    • Добавление строковой функции CONTAINS() (SPARK-37508)
    • Добавление строковых функций startswith() и endswith() (SPARK-37520)
    • Добавление функций lpad и rpad для двоичных строк (SPARK-37047)
    • Поддержка функции split_part (SPARK-38063)
  • Добавление параметра масштабирования в функции floor и ceil (SPARK-37475)
  • Новые функции SQL: try_subtract и try_multiply (SPARK-38164)
  • Реализация агрегатной функции histogram_numeric, которая поддерживает частичное агрегирование (SPARK-16280)
  • Добавление max_by/min_by в sql.functions (SPARK-36963)
  • Добавление новых встроенных функций SQL: SEC и CSC (SPARK-36683)
  • array_intersect обрабатывает повторяющиеся Double.NaN и Float.NaN (SPARK-36754)
  • Добавление cot в качестве функций Scala и Python (SPARK-36660)

Улучшения в плане производительности

• Создание кода всего этапа
  • Добавление генератора кода для сортировки агрегатов без группирования ключей (SPARK-37564)
  • Добавить код для полного внешнего сортировочного слияния join (SPARK-35352)
  • Добавление генерации кода для полного внешнего перетасованного хеширования join (SPARK-32567)
  • Добавление генерации кода для сортировки слиянием join (SPARK-37316)
• Отправка (фильтры)
  • Pushdown фильтров использованием RebalancePartitions (SPARK-37828)
  • Применяем логический фильтр column (SPARK-36644)
  • Нажмите limit 1 для правой стороны левой полу-или анти join, если условие join пусто (SPARK-37917)
  • Преобразование более стандартных агрегатных функции для pushdown (SPARK-37527)
  • Поддержка распространения пустых связей с помощью агрегата или объединения (SPARK-35442)
  • Фильтрация среды выполнения на уровне строк (SPARK-32268)
  • Поддержка Left Semi join в фильтрах выполнения на уровне строк (SPARK-38565)
  • Поддержка принудительной отправки предиката и column обрезки для дедупированных ТС (SPARK-37670)
• Векторизации
  • Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов (SPARK-37896)
  • Включение векторизованного чтения для VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Объединить /remove/заменить узлы
  • Совмещение объединений, если между ними есть проект (SPARK-37915)
  • Объединение двух приведений в одно, если для них повышающее приведение безопасно (SPARK-37922)
  • Remove Сортировка, если она является дочерним элементом RepartitionByExpression (SPARK-36703)
  • Удаляются внешние join, если они имеют только DISTINCT на потоковой стороне с псевдонимом (SPARK-37292)
  • Замена хэш-кода агрегатной функцией сортировки, если дочерний элемент уже отсортирован (SPARK-37455)
  • Проекты сворачиваются только в том случае, если не дублируются дорогостоящие выражения (SPARK-36718)
  • Remove избыточные псевдонимы после RewritePredicateSubquery (SPARK-36280)
  • Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
• Разбиение
  • Не добавляйте динамическое partition усечение, если существует статическое partition усечение (SPARK-38148)
  • Улучшено RebalancePartitions в правилах оптимизатора (SPARK-37904)
  • Добавление небольшого коэффициента partition для перебалансировки разделов (SPARK-37357)
• Join
  • Точная настройка логики для снижения приоритета хэша трансляции join в DynamicJoinSelection (SPARK-37753)
  • Игнорируйте повторяющиеся ключи join при создании отношения для semi/ANTI shuffled hash join (SPARK-36794)
  • Поддерживайте optimize перекос join даже если вводится дополнительная перемешивка (SPARK-33832)
• AQE
  • Добавлена поддержка устранения ограничений в оптимизаторе AQE (SPARK-36424)
  • Optimize план одной строки в обычном оптимизаторе и оптимизаторе AQE (SPARK-38162)
• Aggregate.groupOnly поддерживает свертываемые выражения (SPARK-38489)
• ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой (SPARK-37796)
• В правило CTESubstitution добавлена возможность удалить шаблон дерева (SPARK-37379)
• Добавлены дополнительные упрощения оператора Not (SPARK-36665)
• Добавлена поддержка BooleanType в UnwrapCastInBinaryComparison (SPARK-36607)
• Объединение удаляет все выражения после первого выражения, недопускающего значения NULL (SPARK-36359)
• Добавление посетителя для логического плана для распространения различных атрибутов (SPARK-36194)

Улучшения встроенных соединителей

• Общее
  • Гибкая сериализация даты и времени из источника данных (SPARK-38437)
  • Обрабатывать расположение table как абсолютное, когда путь начинается с косой черты в командах create/alter table (SPARK-38236)
  • Remove начальные нули из пустого типа статических чисел partition (SPARK-35561)
  • Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
  • Добавлена команда SHOW CATALOGS (SPARK-35973)
• Паркет
  • Включить сопоставление имен schemacolumn по идентификаторам полей (SPARK-38094)
  • Remove Проверьте имя поля при чтении/записи данных в parquet (SPARK-27442)
  • Поддержка векторного чтения булевых значений values использует кодировку RLE с помощью Parquet DataPage V2 (SPARK-37864)
  • Поддержка кодировки страниц данных Parquet версии 2 (DELTA_BINARY_PACKED) для векторизованного пути (SPARK-36879)
  • Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet или Avro (SPARK-37705)
  • Оптимизация группировки по partitioncolumn для агрегации (SPARK-36646)
  • Pushdown агрегата (Min, Max или Count) для Parquet (SPARK-36645)
  • Parquet: включить сопоставление schemacolumns по идентификатору поля (SPARK-38094)
  • Уменьшение размера страницы по умолчанию с помощью LONG_ARRAY_OFFSET, если используются G1GC и ON_HEAP (SPARK-37593)
  • Реализация векторизованных кодировок DELTA_BYTE_ARRAY и DELTA_LENGTH_BYTE_ARRAY для поддержки Parquet версии 2 (SPARK-37974)
  • Поддержка сложных типов для векторного средства чтения Parquet (SPARK-34863)
• ОРК
  • Remove проверить имя поля при чтении и записи существующих данных в ORC (SPARK-37965)
  • Pushdown агрегата для ORC (SPARK-34960)
  • Поддержка чтения и записи интервалов ANSI в источниках данных ORC (SPARK-36931)
  • Поддержка имен только column в источниках данных ORC (SPARK-36663)
• JSON — .
  • Учитывать allowNonNumericNumbers при разборе кавычных значений NaN и Infinity values в JSON-читалке (SPARK-38060)
  • По умолчанию используется CAST для даты и времени в CSV и JSON (SPARK-36536)
  • Выравнивание сообщения об ошибке для неподдерживаемых типов ключей в MapType в средстве чтения JSON (SPARK-35320)
• CSV
  • Исправление, ссылающееся на поврежденную запись column из CSV (SPARK-38534)
  • значение null values должно быть сохранено как ничего, вместо пустых строк в кавычках "" по умолчанию (SPARK-37575)
• JDBC
  • Добавлен оператор IMMEDIATE в реализацию усечения диалекта DB2 (SPARK-30062)
• Hive
  • Поддержка записи сегментированных table Hive (форматы файлов Hive с хэшом Hive) (SPARK-32712)
  • Фильтрация секций Hive на стороне клиента с помощью выражений (SPARK-35437)
  • Поддержка динамической Partition обрезки для HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir должен использовать источник данных, если он является преобразуемым (SPARK-38215)
  • Поддержка записи сегментированных table Hive (формат Parquet/ORC с хэшом Hive) (SPARK-32709)

Прекращение использования узла

• Объект FallbackStorage не должен пытаться разрешить произвольное "удаленное" имя узла (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved должен обрабатывать ExecutorDecommission как завершенный (SPARK-38023)

Другие важные изменения

• Добавление блокировки мелких фрагментов данных в BlockInfoManager (SPARK-37356)
• Поддержка сопоставления типов ресурсов GPU и FPGA Spark с пользовательским типом ресурсов YARN (SPARK-37208)
• Сообщение точного размера перемешанного блока в случае неравномерных данных в нем (SPARK-36967)
• Поддержка ведения журнала Netty на уровне сети (SPARK-36719)

Структурированная потоковая передача

Основные возможности

• Представлен Trigger.AvailableNow для выполнения потоковых запросов, таких как Trigger.Once, в нескольких пакетах (SPARK-36533)

Другие важные изменения

• Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)
• Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа (SPARK-38320)
• Исправлена проблема корректности в Stream-Stream Outer join с использованием поставщика RocksDB для хранилища состояния (SPARK-38684)
• Поддержка Trigger.AvailableNow для источника данных Kafka (SPARK-36649)
• Optimize путь записи в поставщике хранилища состояний RocksDB (SPARK-37224)
• Ввести новый источник данных для обеспечения постоянного количества set строк на микробатч (SPARK-37062)
• Использование HashClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)

PySpark

API Pandas в Spark

Основные улучшения

• Оптимизация индекса распределенной последовательности с использованием по умолчанию (SPARK-36559, SPARK-36338)
  • Поддержка указания имени и типа индекса в API Pandas в Spark (SPARK-36709)
  • Отображение типа индекса по умолчанию в планах SQL для API Pandas в Spark (SPARK-38654)

Основные возможности

• Реализация собственной для Spark SQL функции ps.merge_asof (SPARK-36813)
• Поддержка TimedeltaIndex в API Pandas в Spark (SPARK-37525)
• Поддержка timedelta Python (SPARK-37275, SPARK-37510)
• Реализация функций в CategoricalAccessor и CategoricalIndex (SPARK-36185)
• Использование стандартного форматировщика строк Python для SQL API в API Pandas в Spark (SPARK-37436)
• Поддержка базовых операций timedelta Series и Index (SPARK-37510)
• Поддержка ps.MultiIndex.dtypes (SPARK-36930)
• Реализация Index.map (SPARK-36469)
• Реализация Series.xor и Series.rxor (SPARK-36653)
• Реализация унарного оператора invert целочисленных ps.Series и ps.Index (SPARK-36003)
• Реализация DataFrame.cov (SPARK-36396)
• Поддержка строкового типа и типа меток времени для (Series|DataFrame).describe() (SPARK-37657)
• Поддержка лямбда-параметра column для DataFrame.rename(SPARK-38763)

Другие важные изменения

Критические изменения

• Удалены упоминания о поддержке Python 3.6 в docs и python/docs (SPARK-36977)
• Remove хак именованного кортежа, путем замены встроенного модуля pickle на cloudpickle (SPARK-32079)
• Повышена минимальная версия Pandas до версии 1.0.5 (SPARK-37465)
• Основные улучшения
  • Предоставление профилировщика для определяемых пользователем функций Python и Pandas (SPARK-37443)
  • Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
  • Предоставление класса ошибок и состояний в исключениях PySpark (SPARK-36953)
  • Попытка записи данных faulthanlder при сбое рабочей роли Python (SPARK-36062)

Основные возможности

• Реализация DataFrame.mapInArrow в Python (SPARK-37228)
• Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
• Добавление API PySpark df.withMetadata (SPARK-36642)
• Поддержка timedelta Python (SPARK-37275)
• Предоставление таблицExists в pyspark.sql.catalog (SPARK-36176)
• Доступ к databaseExists в pyspark.sql.catalog (SPARK-36207)
• Открытие functionExists в pyspark SQL catalog (SPARK-36258)
• Добавление Dataframe.observation в PySpark (SPARK-36263)
• Добавление API max_by/min_by в PySpark (SPARK-36972)
• Поддержка определения вложенного словаря в виде структуры при создании DataFrame (SPARK-35929)
• Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
• Поддержка API ILIKE в Python (SPARK-36882)
• Добавлен метод isEmpty в API DataFrame для Python (SPARK-37207)
• Добавление поддержки для нескольких columns (SPARK-35173)
• Добавление SparkContext.addArchive в PySpark (SPARK-38278)
• Добавлена возможность сделать представления типов SQL вычисляемыми (SPARK-18621)
• Встроены подсказки для типов fpm.py в python/pyspark/mllib (SPARK-37396)
• Реализация параметра dropna для SeriesGroupBy.value_counts (SPARK-38837)

MLlib

Основные возможности

• Добавлен параметр distanceMeasure в trainKMeansModel (SPARK-37118)
• Предоставление LogisticRegression.setInitialModel, таких как KMeans и другие (SPARK-36481)
• Поддержка CrossValidatorModel get стандартное отклонение метрик для каждого paramMap (SPARK-36425)

Основные улучшения

• Optimize некоторые агрегаты деревьев в MLlib путем задержки выделения (SPARK-35848)
• Перезаписан _shared_params_code_gen.py, чтобы встроить подсказки для типов для ml/param/shared.py (SPARK-37419)

Другие важные изменения

• Update ветерок 1.2 (SPARK-35310)

SparkR

• Перенос документов SparkR в pkgdown (SPARK-37474)
• Предоставление выражения make_date в R (SPARK-37108)
• Добавление API max_by/min_by в SparkR (SPARK-36976)
• Поддержка API ILIKE в R (SPARK-36899)
• Добавление sec и csc в качестве функций R (SPARK-36824)
• Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
• Добавление cot в качестве функции R (SPARK-36688)

UI

• Сводка метрик упреждающего выполнения задач на уровне этапа (SPARK-36038)
• Объединенная метрика Shuffle Read Block Time (Время блокировки при чтении в случайном порядке) заменена метрикой Shuffle Read Fetch Wait Time (Время ожидания при чтении в случайном порядке) в StagePage (SPARK-37469)
• Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе (SPARK-34735)
• Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex (SPARK-36400)
• Подключение и запуск обработчика после запуска приложения в пользовательском интерфейсе (SPARK-36237)
• Добавление длительности фиксации в узел графа вкладки SQL (SPARK-34399)
• Поддержка серверной части RocksDB на сервере журнала Spark (SPARK-37680)
• Отображение параметров API Pandas в Spark в пользовательском интерфейсе (SPARK-38656)
• Переименование SQL в SQL / DataFrame (SQL / Кадр данных) на странице пользовательского интерфейса SQL (SPARK-38657)

Сборка

• Переход с версии log4j 1 на log4j 2 (SPARK-37814)
• Обновление log4j2 до версии 2.17.2 (SPARK-38544)
• Обновление до Py4J 0.10.9.5 (SPARK-38563)
• Update ORC до 1.7.4 (SPARK-38866)
• Update таблицы данных до 1.10.25 (SPARK-38924)

Обновления в рамках обслуживания

См. раздел Databricks Runtime 11.0 (EoS).

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 1.2.1

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 06.05.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)