Databricks Runtime 13.1 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.1, на базе Apache Spark 3.4.0.

Databricks выпустила эту версию в мае 2023 года.

Новые функции и внесенные улучшения

• Поддержка кластера для JDK 17 (общедоступная предварительная версия)
• Добавление, изменение или удаление данных в таблицах потоковой передачи
• Чтение Kafka с помощью SQL
• Новые встроенные функции SQL
• Поддержка каталога Unity для библиотек Python с областью действия кластера
• Включение по умолчанию расширено для оптимизированных записей в каталоге Unity
• Расширенная поддержка операторов с сохранением состояния в структурированных потоковых рабочих нагрузках
• Delta-клон для каталога Unity находится в публичном предварительном просмотре
• Поддержка pub/sub для структурированной потоковой передачи
• Удаление дубликатов в подложках в структурированной потоковой передаче
• Расширенная поддержка преобразований Delta из таблиц Iceberg с усеченными столбцами разделов
• Потоковое изменение схемы с сопоставлением столбцов в Delta Lake
• Удаление НАЧАЛЬНОЙ ВЕРСИИ
• Новые выражения H3, доступные с помощью Python

Поддержка кластера для JDK 17 (общедоступная предварительная версия)

Databricks теперь поддерживает кластер для пакета средств разработки Java (JDK) 17. См. SDK Databricks для Java.

Добавление, изменение или удаление данных в таблицах потоковой передачи

Теперь можно использовать инструкции DML для изменения потоковых таблиц, опубликованных в Unity Catalog конвейерами DLT. См. сведения о добавлении, изменении или удалении данных в потоковой таблице и добавлении, изменении или удалении данных в целевой потоковой таблице. Инструкции DML также можно использовать для изменения таблиц потоковой передачи, созданных в Databricks SQL.

Чтение Kafka с помощью SQL

Теперь можно использовать функцию read_kafka SQL для чтения данных Kafka. Потоковая передача с помощью SQL поддерживается только в DLT или с таблицами потоковой передачи в Databricks SQL. См. табличную функцию read_kafka.

Новые встроенные функции SQL

Добавлены следующие функции:

• array_prepend(массив, elem) Возвращает array, к которому добавлен в начало elem.
• try_aes_decrypt(expr, key [, mode [, padding])) расшифровывает двоичный файл, созданный с помощью шифрования AES, и возвращается, если возникает NULL ошибка.
• sql_keywords() Возвращает таблицу ключевых слов SQL Azure Databricks.

Поддержка Unity Catalog для библиотек Python, относящихся к кластеру

Каталог Unity имеет некоторые ограничения на использование библиотеки. В Databricks Runtime 13.1 и более поздних версиях поддерживаются кластеризованные библиотеки Python, включая файлы колес Python, отправленные в виде файлов рабочей области. Библиотеки, на которые ссылаются с помощью файловых путей DBFS, не поддерживаются, будь то в корневом каталоге DBFS или внешнем расположении, подключенном к DBFS. Библиотеки, отличные от библиотек Python, не поддерживаются. Дополнительные сведения см. в статье Библиотеки кластера.

В Databricks Runtime 13.0 и ниже библиотеки с областью действия кластера не поддерживаются в кластерах, использующих стандартный режим доступа (ранее общий режим доступа) в рабочей области с поддержкой каталога Unity.

Расширенные настройки по умолчанию для оптимизированных операций записи в Unity Catalog.

Поддержка оптимизированной записи по умолчанию для таблиц Delta, зарегистрированных в каталоге Unity, расширена для включения CTAS инструкций и INSERT операций для секционированных таблиц. Это поведение соответствует значениям по умолчанию в хранилищах SQL. См. Об оптимизированных записях для Delta Lake в Azure Databricks.

Расширенная поддержка сохранения состояния для операторов в рабочей нагрузке структурированной потоковой передачи

Теперь вы можете связывать несколько операторов с отслеживанием состояния вместе, что означает, что вы можете передать результаты операции, такой как агрегирование по окну, в другую операцию с отслеживанием состояния, такую как соединение. См. статью "Что такое потоковая передача с отслеживанием состояния?".

Delta-клон для Unity Catalog находится в общедоступной обзорной версии

Теперь можно использовать неглубокий клон для создания управляемых таблиц каталога Unity из существующих управляемых таблиц каталога Unity. См. раздел "Мелкий клон" для таблиц каталога Unity.

Поддержка pub/sub для структурированной потоковой передачи

Теперь можно использовать встроенный соединитель для подписки на Google Pub или Sub с структурированной потоковой передачей. См . статью "Подписка на Google Pub/Sub".

Удаление дубликатов в подложках в структурированной потоковой передаче

Теперь можно использовать dropDuplicatesWithinWatermark в сочетании с заданным пороговым значением водяного знака для дедупликации записей в структурированной потоковой передаче. См. раздел «Удалить дубликаты в водяном знаке».

Расширенная поддержка конверсий Delta из таблиц Iceberg с усеченными разделенными столбцами.

Теперь можно использовать CLONE и CONVERT TO DELTA с таблицами Айсберга, которые имеют разделы, определенные для усеченных столбцов типов int, long, и string. Усеченные столбцы типа decimal не поддерживаются.

Изменения схемы потоковой передачи с сопоставлением столбцов в Delta Lake

Теперь можно предоставить местонахождение для отслеживания схемы, чтобы активировать потоковую передачу из таблиц Delta с включенным сопоставлением столбцов. См. раздел Потоковая передача с сопоставлением столбцов и изменениями схемы.

Удаление НАЧАЛЬНОЙ ВЕРСИИ

START VERSION теперь не рекомендуется использовать для ALTER SHARE.

Новые выражения H3, доступные с помощью Python

Выражения h3_coverash3 и h3_coverash3string доступны в Python.

Исправления ошибок

Parquet failOnUnknownFields больше не удаляет данные о несоответствии типов без уведомления.

Если файл Parquet был считан только с параметром failOnUnknownFields или с автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, использование столбцов с различными типами данных теперь приводит к ошибке, и рекомендуется использовать rescuedDataColumn. Автозагрузчик теперь правильно считывает и больше не обрабатывает целочисленные, байтовые или короткие типы, если задан один из этих типов данных. Файл Parquet указывает на один из других двух типов.

Кардинальные изменения

Обновление sqlite-jdbc до версии 3.42.0.0, чтобы устранить CVE-2023-32697.

Обновление версии sqlite-jdbc с версии 3.8.11.2 до 3.42.0.0. API версии 3.42.0.0.0 не полностью совместимы с 3.8.11.2. Если в коде используется sqlite-jdbc, ознакомьтесь с отчетом о совместимости sqlite-jdbc. При миграции на 13.1 и использовании sqlite подтвердите методы и тип возврата в версии 3.42.0.0.

Обновления библиотек

• Обновленные библиотеки Python:
  • facets-overview от 1.0.2 до 1.0.3
  • блокировка файлов от 3.10.7 до 3.12.0
  • pyarrow от 7.0.0 до 8.0.0
  • устойчивость от 8.0.1 до 8.1.0
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • com.github.ben-manes.caffeine.caffeine от 2.3.4 до 2.9.3
  • io.delta.delta-sharing-spark_2.12 от 0.6.8 до 0.6.4
  • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.22
  • org.checkerframework.checker-qual от 3.5.0 до 3.19.0
  • org.scalactic.scalactic_2.12 от 3.0.8 до 3.2.15
  • org.scalatest.scalatest_2.12 от 3.0.8 до 3.2.15
  • org.xerial.sqlite-jdbc от 3.8.11.2 до 3.42.0.0

Apache Spark

Databricks Runtime 13.1 включает Apache Spark 3.4.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Revert "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Revert [SC-127830]/
• [SPARK-433331] [SC-130064][connect] Add Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Сделать возможным расширение ChannelBuilder для SparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Исправление DataFrame.toPandas с поддержкой Arrow для правильной обработки исключений
• [SPARK-42940] [SC-129896][ss][CONNECT] Улучшение управления сеансами для потоковых запросов
• [SPARK-43032] [SC-125756] [CONNECT][ss] добавить диспетчер потоковых запросов
• [SPARK-16484] [SC-129975][sql] Добавить поддержку Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Перенос ошибок типа Arrow в Spark SQL pandas в класс ошибок.
• [SPARK-41766] [SC-129964][core] Обработка запроса на деактивацию, отправленного перед регистрацией исполнителя
• [SPARK-43307] [SC-129971][python] Перенос ошибок значений PandasUDF в класс ошибок
• [SPARK-43206] [SC-129903] [SS] [CONNECT] Исключение StreamingQuery() включает трассировку стека
• [SPARK-43311] [SC-129905][ss] Добавление усовершенствований управления памятью поставщика хранилища состояний RocksDB
• [SPARK-43237] [SC-129898][core] Обработка сообщения об исключении NULL в журнале событий
• [SPARK-43320] [SC-129899][sql][HIVE] Прямой вызов API Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Реализация __dir__() в pyspark.sql.dataframe.DataFrame для включения столбцов
• [SPARK-43183] Отменить «[SC-128938][ss] Введите новый обратный вызов "…
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Замените класс ошибок _LEGACY_ERROR_TEMP_2022 внутренней ошибкой
• [SPARK-43198] [SC-129470][connect] Исправление "Не удалось инициализировать аммонит класса..." ошибка при использовании фильтра
• [SPARK-43165] [SC-129777][sql] Перемещение canWrite в DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf с скалярными входными данными сбоем при размере пакета один.
• [SPARK-43298] [SC-129700]Revert "[PYTHON][ml] predict_batch_udf с скалярными входными данными завершается ошибкой при размере пакета один"
• [SPARK-43052] [SC-129663][core] Обработка трассировки стека с нулевым именем файла в журнале событий
• [SPARK-43183] [SC-128938][ss] Ввести новый обратный вызов “onQueryIdle” в StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Перенос ошибок выражений в класс ошибок
• [SPARK-42151] [SC-128754][sql] Выравнивание назначений UPDATE с атрибутами таблицы
• [SPARK-43134] [SC-129468] [CONNECT] [SS] API исключение() потоковой передачи клиента JVM
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf с скалярными входными данными вызывает сбой с размером пакета в один.
• [SPARK-43248] [SC-129660][sql] Ненужная сериализация/десериализация пути при параллельном сборе статистики секций
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Введение PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Реализуйте страстную оценку и repr_html
• [SPARK-42953] [SC-129469][connect][Продолжение] Исправление maven-сборки для тестов UDF клиента Scala
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][connect] Добавление функций groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][sc-128532][SQL] Исправление ошибки COUNT(*) is null в коррелированных скалярных вложенных запросах
• [SPARK-43046] [SC-129110] [SS] [Connect] Реализована API Python dropDuplicatesWithinWatermark для Spark Connect
• [SPARK-43199] [SC-129467][sql] Сделать InlineCTE идемпотентным
• [SPARK-43293] [SC-129657][sql] __qualified_access_only следует игнорировать в обычных столбцах
• [SPARK-43276] [SC-129461][connect][PYTHON] Перенос ошибок окна Spark Connect в класс ошибок
• [SPARK-43174] [SC-129109][sql] Исправление автозаполнения SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Добавление поддержки applyInPandasWithState для spark connect
• [SPARK-43119] [SC-129040][sql] Поддержка динамического получения ключевых слов SQL через API JDBC и TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] Python UDF, оптимизированных с использованием Arrow, в Spark Connect
• [SPARK-43085] [SC-128432][sql] Поддержка назначения столбца DEFAULT для многосоставных имен таблиц
• [SPARK-43226] [LC-671] Определите средства извлечения для метаданных файловой константы
• [SPARK-43210] [SC-129189][connect][PYTHON] Введение PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Публикация метрик на стороне драйвера для LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Исправление последовательного сбоя ReplE2ESuite с помощью JDK 17
• [SPARK-43268] [SC-129249][sql] Используйте правильные классы ошибок при создании исключений с сообщением
• [SPARK-43142] [SC-129299] Исправление выражений DSL для атрибутов со специальными символами
• [SPARK-43129] [SC-128896] Api Scala core для потоковой передачи Spark Connect
• [SPARK-43233] [SC-129250] [SS] Добавить логирование для пакетного чтения Kafka, для раздела, для диапазона смещения и для идентификатора задачи.
• [SPARK-43249] [SC-129195][connect] Исправление отсутствующих статистик для команды SQL
• [SPARK-42945] [SC-129188][connect] Поддержка PYSPARK_JVM_STACKTRACE_ENABLED в Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Перенос ошибок UDF в платформу ошибок PySpark
• [SPARK-43123] [SC-128494][sql] Внутренние метаданные поля не должны просачиваться в каталоги
• [SPARK-43217] [SC-129205] Правильное рекурсирование в вложенных картах или массивах в findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Добавить параметр уровня в функцию printSchema для Python
• [SPARK-43230] [SC-129191][connect] Упростить DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Соблюдение RequiresDistributionAndOrdering в CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Миграция ValueError из Conect DataFrame в класс ошибок
• [SPARK-43212] [SC-129187][ss][PYTHON] Перенос ошибок структурированной потоковой передачи в класс ошибок
• [SPARK-43239] [SC-129186][ps] Удалить null_counts из info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput должен соответствовать дочерним выходным данным
• [SPARK-43191] [SC-128924][core] Замените рефлексию с прямым вызовом для Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Удалить обходное решение для HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Поддержка поиска и передачи клиентских файлов классов REPL на сервер в виде артефактов
• [SPARK-43098] [SC-77059][sql] Исправление ошибки COUNT правильности, если скалярный вложенный запрос содержит предложение GROUP BY
• [SPARK-43213] [SC-129062][python] Добавление DataFrame.offset в ваниль PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Исправить createDataFrame для соблюдения заданной схемы DDL
• [SPARK-43124] [SC-129011][sql] Dataset.show отображает CommandResults локально
• [SPARK-42998] [SC-127422][connect][PYTHON] Исправление DataFrame.collect с нулевой структурой
• [SPARK-41498] [SC-125343]Отмена "Распространение метаданных через объединение"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Добавление API await_termination() и exception() для потокового запроса в Python
• [SPARK-42552] [SC-128824][sql] Корректировка двухэтапной стратегии синтаксического анализа antlr
• [SPARK-43207] [SC-128937][connect] Добавление вспомогательных функций для извлечения значения из литерального выражения
• [SPARK-43186] [SC-128841][sql][HIVE] Удалить обходной путь для FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Объединение контейнеров в соединении, применено к стороне потока соединения с вещанием
• [SPARK-43195] [SC-128922][core] Удалите ненужную сериализуемую обертку в HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Улучшить ArrayInsert, если позиция свертываема и положительна.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join должно возвращать значение NULL для несовпадной строки
• [SPARK-43042] [SC-128602] [SS] [Подключение] Добавление поддержки API table() для DataStreamReader
• [SPARK-43153] [SC-128753][connect] Пропустить выполнение Spark, если кадр данных является локальным
• [SPARK-43064] [SC-128496][sql] Вкладка SQL CLI Spark SQL должна показывать каждое выражение только один раз.
• [SPARK-43126] [SC-128447][sql] Помечены два выражения UDF Hive как сохраняющие состояние
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Объединение вложенных if инструкций в одну if инструкцию.
• [SPARK-43113] [SC-128749][sql] Оценка переменных на стороне потока при создании кода для привязанного условия
• [SPARK-42895] [SC-127258][connect] Улучшение сообщений об ошибках для остановленных сеансов Spark
• [SPARK-42884] [SC-126662][connect] Интеграция с Ammonite REPL
• [SPARK-43168] [SC-128674][sql] Удалить метод get PhysicalDataType из класса Datatype
• [SPARK-43121] [SC-128455][sql] Используйте BytesWritable.copyBytes вместо ручного копирования в HiveInspectors
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog сохраняет метаданные Char/Varchar на стороне чтения
• [SPARK-43050] [SC-128550][sql] Исправить построение агрегатных выражений путем замены функций группирования
• [SPARK-43095] [SC-128549][sql] Избегайте идемпотенции стратегии после того, как стратегия нарушена для пакета: Infer Filters
• [SPARK-43130] [SC-128597][sql] Перемещение InternalType в PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Сократите байты и строки в протокольном сообщении
• [SPARK-43099] [SC-128596][sql] Используйте getName вместо getCanonicalName для получения имени класса построителя при регистрации udf в FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] Распространитель PyTorch поддерживает локальный режим
• [SPARK-42859] Revert "[SC-127935][connect][PS] Базовая поддержка API pandas в Spark Connect"
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin не работают при использовании AQE
• [SPARK-43125] [SC-128477][connect] Исправить: сервер Connect не может обрабатывать исключение с пустым сообщением
• [SPARK-43147] [SC-128594] исправление flake8 lint для локальной проверки
• [SPARK-43031] [SC-128360] [SS] [Подключение] Включение модульного теста и doctest для потоковой передачи
• [SPARK-43039] [LC-67] Поддержка настраиваемых полей в столбце источника файла _metadata.
• [SPARK-43120] [SC-128407][ss] Добавить поддержку отслеживания использования памяти закрепленных блоков для хранилища состояний RocksDB
• [SPARK-43110] [SC-128381][sql] Перемещение asIntegral в PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Удаление ненужных ассертов для UninterruptibleThread в KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Поддержка повторяющихся вложенных имен полей
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable позволит указать уровень хранения
• [SPARK-42985] [SC-1283332][connect][PYTHON] Исправление createDataFrame для соблюдения конфигураций SQL
• [SPARK-39696] [SC-127830][core] Исправление гонки данных в доступе к TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Перемещение интегрального в PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Не раскрывать приведение в двоичном сравнении, если литерал имеет значение NULL
• [SPARK-43057] [SC-127948][connect][PYTHON] Перенос ошибок столбца Spark Connect в класс ошибок
• [SPARK-42859] [SC-127935][connect][PS] Базовая поддержка API pandas в Spark Connect
• [SPARK-43013] [SC-127773][python] Миграция ValueError из DataFrame в PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Строка отладки Redact в пользовательском интерфейсе
• [SPARK-43028] [SC-128070][sql] Добавление класса ошибок SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Добавление теста для dropDuplicates в JavaDatasetSuite
• [SPARK-43075] [SC-127939][connect] Измените gRPC на grpcio, если она не установлена.
• [SPARK-42953] [SC-127809][connect] Типизированный фильтр, карта, плоская карта, mapPartitions
• [SPARK-42597] [SC-125506][sql] Поддержка преобразования типа даты в тип метки времени
• [SPARK-42931] [SC-127933][ss] Введение dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Добавить константы типов данных proto
• [SPARK-43077] [SC-128050][sql] Улучшение сообщения об ошибке UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] API DataStreamReader
• [SPARK-43049] [SC-127846][sql] Использование CLOB вместо VARCHAR(255) для StringType для Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Исправлена ошибка для команд INSERT с литералами меток времени
• [SPARK-42855] [SC-127722][sql] Использование проверки значений null во время выполнения в TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Дедупликация отношений с столбцами метаданных
• [SPARK-42993] [SC-127829][ml][CONNECT] Сделать распространитель PyTorch совместимым с Spark Connect
• [SPARK-43058] [SC-128072][sql] Перемещение категорий Numeric и Fractional в PhysicalDataType
• [SPARK-43056] [SC-127946][ss] Хранилище состояний RocksDB должно продолжать фоновую работу, только если она приостановлена
• [SPARK-43059] [SC-127947][connect][PYTHON] Переместить TypeError из DataFrame(Reader|Writer) в класс ошибок
• [SPARK-43071] [SC-128018][sql] Поддержка SELECT DEFAULT с ORDER BY, LIMIT, OFFSET для отношения источника INSERT
• [SPARK-43061] [SC-127956][core][SQL] Внедрение PartitionEvaluator для исполнения оператора SQL
• [SPARK-43067] [SC-127938][ss] Исправьте расположение файла ресурсов класса ошибок в соединителе Kafka
• [SPARK-43019] [SC-127844][sql] Перенос упорядочивания в PhysicalDataType
• [SPARK-43010] [SC-127759][python] Перенос ошибок столбца в класс ошибок
• [SPARK-42840] [SC-127782][sql] Измените ошибку _LEGACY_ERROR_TEMP_2004 на внутреннюю ошибку
• [SPARK-43041] [SC-127765][sql] Восстановление конструкторов исключений для совместимости в API коннектора
• [SPARK-42939] [SC-127761][ss][CONNECT] Основной API потоковой передачи Python для Spark Connect
• [SPARK-42844] [SC-127766][sql] Обновите класс ошибок _LEGACY_ERROR_TEMP_2008 до INVALID_URL
• [SPARK-42316] [SC-127720][sql] Назначьте имя _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Перенос ошибок Spark Connect DataFrame в класс ошибок
• [SPARK-42983] [SC-127717][connect][PYTHON] Исправление createDataFrame для правильной обработки массива числовых чисел 0-dim
• [SPARK-42955] [SC-127476][sql] Пропустить classifyException и перехватить AnalysisException для SparkThrowable
• [SPARK-42949] [SC-127255][sql] Упрощение кода для NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert должен завершиться ошибкой с индексом 0
• [SPARK-42974] [SC-127487][core] Восстановить Utils.createTempDir для использования ShutdownHookManager и упростить метод JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' также означает, что таблица уже существует
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME не может квалифицировать новое имя таблицы с именем схемы
• [SPARK-37980] [SC-127668][sql] Доступ к row_index через _metadata, если это возможно, в тестах
• [SPARK-42655] [SC-127591][sql] Ошибка неверной ссылки на неоднозначный столбец
• [SPARK-43009] [SC-127596][sql] Параметризованные sql() с использованием констант Any
• [SPARK-43026] [SC-127590][sql] Применить AQE с кэшем таблиц без обмена
• [SPARK-42963] [SC-127576][sql] Расширение SparkSessionExtensions для внедрения правил в оптимизатор этапов запросов AQE
• [SPARK-42918] [SC-127357] Обобщение обработки атрибутов метаданных в FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Добавление поддержки Catalog
• [SPARK-42997] [SC-127535][sql] TableOutputResolver должен использовать правильные пути столбцов в сообщениях об ошибках для массивов и карт
• [SPARK-43006] [SC-127486][pyspark] Исправление опечатки в StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Исправить опечатку в pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Исправление опечатки в ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Реализация функций Avro
• [SPARK-42979] [SC-127272][sql] Определение литеральных конструкторов как ключевые слова
• [SPARK-42946] [SC-127252][sql] Редактировать конфиденциальные данные, вложенные подстановкой переменных
• [SPARK-42952] [SC-127260][sql] Упростить параметр правила PreprocessTableCreation и DataSourceAnalysis
• [SPARK-42683] [LC-75] Автоматическое переименование конфликтующих столбцов метаданных
• [SPARK-42853] [SC-126101][отслеживание] Исправление конфликтов
• [SPARK-42929] [SC-126748][connect] обеспечить поддержку "is_barrier" для mapInPandas / mapInArrow
• [SPARK-42968] [SC-127271][ss] Добавление параметра пропуска координатора фиксации в рамках API StreamingWrite для источников и приемников DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Добавление YearMonthIntervalType в PySpark и Клиент Python Spark Connect
• [SPARK-41359] [SC-127256][sql] Использовать PhysicalDataType вместо DataType в UnsafeRow
• [SPARK-42873] [SC-127262][sql] Определение типов SQL Spark в качестве ключевых слов
• [SPARK-42808] [SC-126302][core] Избегайте повторного запроса доступных процессоров каждый раз в MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries должен задать значение true InSubqueryExec#shouldBroadcast
• [SPARK-42896] [SC-126729][sql][PYTHON] Обеспечить поддержку барьерного режима выполнения для mapInPandas / mapInArrow
• [SPARK-42874] [SC-126442][sql] Включение новой системы тестирования золотых файлов для анализа всех входных файлов
• [SPARK-42922] [SC-126850][sql] Переход от "Random" к SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange ссылается на несуществующие узлы
• [SPARK-40822] [SC-126274][sql] Стабильные производные псевдонимы столбцов
• [SPARK-42908] [SC-126856][python] Выдаёт RuntimeError, если SparkContext требуется, но не был запущен
• [SPARK-42779] [SC-126042][sql] Разрешить записям V2 указывать рекомендованный размер раздела перетасовки
• [SPARK-42914] [SC-126727][python] Повторно использовать transformUnregisteredFunction для DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] API таблицы в DataFrameReader также может принимать параметры
• [SPARK-42927] [SC-126883][core] Измените область доступа o.a.spark.util.Iterators#size на private[util]
• [SPARK-42943] [SC-126879][sql] Используйте LONGTEXT вместо TEXT для StringType, чтобы увеличить длину.
• [SPARK-37677] [SC-126855][core] Unzip может сохранить разрешения на файлы
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Реализация API coGrouped Map
• [SPARK-41876] [SC-126849][connect][PYTHON] Реализация DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Измените область доступа ProtobufSerDe связанных реализаций на private[protobuf]
• [SPARK-42819] [SC-125879][ss] Добавьте поддержку настройки max_write_buffer_number и write_buffer_size для RocksDB, используемых в потоковой передаче
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Уточнение комментария параметризованных SQL-аргументов
• [SPARK-42748] [SC-126455][connect] Управление артефактами на стороне сервера
• [SPARK-42816] [SC-126365][connect] Поддержка максимального размера сообщения до 128 МБ
• [SPARK-42850] [SC-126109][sql] Удаление повторяющихся правил CombineFilters в оптимизаторе
• [SPARK-42662] [SC-126355][connect][PS] Добавление прото-сообщения для API pandas в индексе по умолчанию Spark
• [SPARK-42720] [SC-126136][ps][SQL] Использует выражение для индекса по умолчанию распределенной последовательности вместо плана
• [SPARK-42790] [SC-126174][sql] Абстрагировать исключенный метод для более эффективного тестирования docker JDBC.
• [SPARK-42900] [SC-126473][connect][PYTHON] Исправление createDataFrame для соблюдения инференции и имен столбцов
• [SPARK-42917] [SC-126657][sql] Исправление getUpdateColumnNullabilityQuery для DerbyDialect
• [SPARK-42684] [SC-125157][sql] каталог версии 2 не должен разрешать значение столбца по умолчанию
• [SPARK-42861] [SC-126635][sql] Использовать private[sql] вместо protected[sql], чтобы избежать создания документации API
• [SPARK-42920] [SC-126728][connect][PYTHON] Включить тесты для UDF совместно с UDT
• [SPARK-42791] [SC-126617][sql] Создать новый фреймворк для тестирования эталонных файлов для анализа
• [SPARK-42911] [SC-126652][python] Введите более основные исключения
• [SPARK-42904] [SC-126634][sql] Поддержка Char/Varchar для каталога JDBC
• [SPARK-42901] [SC-126459][connect][PYTHON] Переместить StorageLevel в отдельный файл, чтобы избежать потенциальных file recursively imports
• [SPARK-42894] [SC-126451][connect] Поддержка cache/persist/unpersist/storageLevel для jvm-клиента Spark connect
• [SPARK-42792] [SC-125852][ss] Добавление поддержки WRITE_FLUSH_BYTES для RocksDB, используемых в операторах потоковой передачи с отслеживанием состояния
• [SPARK-41233] [SC-126441][connect][PYTHON] Добавить array_prepend в клиент Python для Spark Connect
• [SPARK-42681] [SC-125149][sql] Ослабление ограничения порядка для ALTER TABLE ADD|REPLACE дескриптор столбца
• [SPARK-42889] [SC-126367][connect][PYTHON] Реализуйте кэширование, персистирование, удаление сохранения и storageLevel
• [SPARK-42824] [SC-125985][connect][PYTHON] Укажите четкое сообщение об ошибке для неподдерживаемых атрибутов JVM
• [SPARK-42340] [SC-126131][connect][PYTHON] Реализация API сгруппированной карты
• [SPARK-42892] [SC-126454][sql] Move sameType и соответствующие методы из DataType
• [SPARK-42827] [SC-126126][connect] Поддержка functions#array_prepend для клиента Scala connect
• [SPARK-42823] [SC-125987][sql] spark-sql shell поддерживает многопартийные пространства имен для инициализации
• [SPARK-42817] [SC-125960][core] Ведение журнала имени службы перетасовки один раз в ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Typed Select
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Реализация функции ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Поддержка Codegen для HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Добавить функцию array_prepend
• [SPARK-42864] [SC-126268][ml][3.4] Сделать IsotonicRegression.PointsAccumulator приватным
• [SPARK-42876] [SC-126281][sql] physicalDataType класса DataType должен быть приватным[sql]
• [SPARK-42101] [SC-125437][sql] Сделать AQE поддерживающим InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Поддержка выражений CREATEED ALWAYS AS для столбцов в инструкциях создания и замены таблиц
• [SPARK-42870] [SC-126220][connect] Переместить toCatalystValue на connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Исправление UserDefinedFunction для установления returnType
• [SPARK-42875] [SC-126258][connect][PYTHON] Исправление toPandas для правильной обработки часовых поясов и типов карт
• [SPARK-42757] [SC-125626][connect] Реализация textFile для DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Используйте функцию getParameterCount вместо getParameterTypes.length.
• [SPARK-42833] [SC-126043][sql] Рефакторинг applyExtensions в SparkSession
• [SPARK-41765] Revert "[SC-123550][sql] Извлечь метрики записи версии 1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Реализовать DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Поддержка UserDefinedType в Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Реализация DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Добавить client_type в сообщение AddArtifactsRequest в формате protobuf
• [SPARK-42772] [SC-125860][sql] Изменено значение по умолчанию опций JDBC о push down на true
• [SPARK-42771] [SC-125855][sql] Рефакторинг HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: написание сложных союзов
• [SPARK-42765] [SC-125850][connect][PYTHON] Включение импорта pandas_udf из pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation должны соблюдать spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Улучшение производительности удаления разделов
• [SPARK-42689] [SC-125195][core][SHUFFLE] Разрешить ShuffleDriverComponent объявить, надежно ли хранятся данные перетасовки
• [SPARK-42726] [SC-125279][connect][PYTHON] Реализация DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Извлечение метрик записи версии 1 в WriteFiles
• [SPARK-41171] [SC-124191][sql] Определение и снижение ограничения окна через окно, если partitionSpec пуста
• [SPARK-42686] [SC-125292][core] Отложить форматирование сообщений отладки в TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][Python] Вспомогательные функции для преобразования прото-литерала в значение в клиенте Python
• [SPARK-42793] [SC-125627][connect] connect модуль требует build_profile_flags
• [SPARK-42701] [SC-125192][sql] Добавьте функцию try_aes_decrypt()
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame не работает с ненулевой схемой
• [SPARK-42733] [SC-125542][connect][Дополнение] Запись без пути или таблицы
• [SPARK-42777] [SC-125525][sql] Включение возможности преобразования статистики каталога TimestampNTZ в статистику плана
• [SPARK-42770] [SC-125558][connect] Добавить truncatedTo(ChronoUnit.MICROS), чтобы SQLImplicitsTestSuite прошёл в Java 17 ежедневной тестовой задаче GA
• [SPARK-42752] [SC-125550][pyspark][SQL] Создание исключений PySpark для печати во время инициализации
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Поддержка метода spark connect session getActiveSession
• [SPARK-42755] [SC-125442][connect] Вынести преобразование литеральных значений в connect-common
• [SPARK-42747] [SC-125399][ml] Исправление некорректного внутреннего состояния LoR и AFT
• [SPARK-42740] [SC-125439][sql] Исправлена ошибка, из-за которой смещение pushdown или разбиение по страницам не работает для некоторых встроенных диалектов.
• [SPARK-42745] [SC-125332][sql] Улучшенная версия AliasAwareOutputExpression работает с DSv2
• [SPARK-42743] [SC-125330][sql] Поддержка анализа столбцов TimestampNTZ
• [SPARK-42721] [SC-125371][connect] перехватчик журналов RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Реализация набора данных.semanticHash
• [SPARK-42688] [SC-124922][connect] Переименовать client_id запроса proto connect на session_id
• [SPARK-42310] [SC-122792][sql] Назначьте имя _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Оптимизация подпрограмм Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Make LiteralExpression support array params
• [SPARK-42702] [SC-125293][spark-42623][SQL] Поддержка параметризованного запроса в вложенных запросах и CTE
• [SPARK-42697] [SC-125189][webui] Исправление /api/v1/applications для возврата общего времени простоя вместо 0 для поля длительности
• [SPARK-42733] [SC-125278][connect][PYTHON] Исправить DataFrameWriter.save для работы без параметра пути
• [SPARK-42376] [SC-124928][ss] Введение распространения подложки между операторами
• [SPARK-42710] [SC-125205][connect][PYTHON] Переименовать proto FrameMap в MapPartitions
• [SPARK-37099] [SC-123542][sql] Введите ограничение группы фильтра на основе ранга для оптимизации вычислений top-k
• [SPARK-42630] [SC-125207][connect][PYTHON] Введение UnparsedDataType и задержка синтаксического анализа строки DDL до тех пор, пока SparkConnectClient не будет доступен
• [SPARK-42690] [SC-125193][connect] Реализация функций анализа CSV/JSON для клиента Scala
• [SPARK-42709] [SC-125172][python] Удалите предположение о доступности __file__
• [SPARK-42318] [SC-122648][spark-42319][SQL] Присвоить имя LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Поддержка разбора типа данных json "timestamp_ltz" как TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() не должен кэшировать схему
• [SPARK-42643] [SC-125152][connect][PYTHON] Регистрация пользовательских функций Java (агрегатная)
• [SPARK-42656] [SC-125177][connect][Отслеживание] Исправить скрипт spark-connect
• [SPARK-41516] [SC-123899] [SQL] Разрешить jdbc диалектам переопределить запрос, используемый для создания таблицы
• [SPARK-41725] [SC-124396][connect] Неотложное выполнение DF.sql()
• [SPARK-42687] [SC-124896][ss] Улучшено сообщение об ошибке для операции неподдерживаемого pivot в потоковой передаче
• [SPARK-42676] [SC-124809][ss] Запись временных контрольных точек для потоковых запросов в локальную файловую систему, даже если по умолчанию FS задано по-разному.
• [SPARK-42303] [SC-122644][sql] Присвойте имя _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Обеспечьте, что по крайней мере одна единица времени следует за «интервал»
• [SPARK-42649] [SC-124576][core] Удалите стандартный заголовок Apache License из верхней части сторонних исходных файлов
• [SPARK-42611] [SC-124395][sql] Вставка проверок длины char/varchar для внутренних полей во время разрешения
• [SPARK-42419] [SC-124019][connect][PYTHON] Переход на структуру ошибок для столбцового API Spark Connect.
• [SPARK-42637] [SC-124522][connect] Добавить SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Изменить псевдонимы для устаревших и удаленных типов в библиотеке numpy
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver должен закрыть только запущенное состояние сессии Hive
• [SPARK-42593] [SC-124405][ps] Нерекомендуйте & удалите API, которые будут удалены в pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Исправление createDataFrame для обработки повторяющихся имен столбцов
• [SPARK-42569] [SC-124379][connect] Вызов исключений для неподдерживаемого API сеанса
• [SPARK-42631] [SC-124526][connect] Поддержка пользовательских расширений в клиенте Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Исправление createDataFrame для поддержки длительности
• [SPARK-42572] [SC-124171][sql][SS] Исправление поведения для StateStoreProvider.validateStateRowFormat

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями для обслуживания Databricks Runtime 13.1.

Системная среда

• Операционная система: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка от Microsoft CRAN от 10.02.2023.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)