Databricks Runtime 14.3 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.3 LTS, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в феврале 2024 года.

Новые функции и внесенные улучшения

• поддержка файловой системы рабочей области в PySpark User-Defined Пользовательские функции (UDF) в кластерах стандартного режима доступа (ранее известного как общий режим доступа)
• Поддержка оптимизаций для вектора удаления без использования PhotonMERGE
• API каталога Spark теперь полностью поддерживаются в стандартном режиме доступа
• Delta UniForm теперь общедоступен
• Новая функция SQL EXECUTE IMMEDIATE
• Пересчитать статистику пропуска данных для таблиц Delta
• Запрос сведений о состоянии для запросов потоковой передачи с отслеживанием состояния
• использовать идентификатор Microsoft Entra для проверки подлинности Kafka в стандартных кластерах
• поддержка, добавленная для очистки файлов и секций для повышения производительности запросов
• Объявление временных переменных в сеансе SQL
• обновления для Thriftserver, убирающие неиспользуемые функции
• Использование файлов truststore и хранилища ключей в томах каталога Unity
• Поддержка формата собственного XML-файла (общедоступная предварительная версия)
• Поддержка хранилища Cloudflare R2 (общедоступная предварительная версия)
• Доступ Spark и dbutils к файлам рабочей области в кластерах каталога Unity с доступом 'Стандартный'
• Поддержка сценариев и библиотек кластеров в кластерах Unity Catalog с уровнем доступа 'Стандартный'

Поддержка файловой системы рабочей области в PySpark User-Defined Functions (UDFs) в кластерах стандартного режима доступа (ранее режим общего доступа)

Пользовательские функции PySpark в стандартных кластерах теперь могут импортировать модули Python из папок Git, файлов рабочих областейили томов UC.

Дополнительные сведения о работе с модулями в папках Git или файлах рабочей области см. в статье "Работа с модулями Python и R".

Поддержка оптимизации удаления векторов MERGE без Фотона

Фотон больше не требуется для MERGE операций для использования оптимизаций векторов удаления. См. раздел " Что такое векторы удаления?".

Api каталога Spark теперь полностью поддерживаются в стандартном режиме доступа

Теперь можно использовать все функции в API spark.catalog в Python и Scala для вычислений, настроенных в стандартном режиме доступа.

Delta UniForm теперь общедоступен

UniForm теперь общедоступен и использует функцию таблицы IcebergCompatV2. Теперь вы можете включить или обновить UniForm в существующих таблицах. См. как считывать таблицы Delta с помощью клиентов Iceberg.

Новая функция SQL EXECUTE IMMEDIATE

Теперь можно использовать синтаксис EXECUTE IMMEDIATE для поддержки параметризованных запросов в SQL. См. EXECUTE IMMEDIATE.

Пересчитать статистику пропуска данных для таблиц Delta

Теперь можно пересчитать статистику, сохраняемую в журнале Delta, после того как изменены столбцы, используемые для пропуска данных. См. Укажите столбцы статистики Delta.

Запрос сведений о состоянии для запросов потоковой передачи с отслеживанием состояния

Теперь можно запрашивать структурированные данные о состоянии потоковой передачи и метаданные. См. Сведения о состоянии структурированной потоковой передачи.

Использование идентификатора Microsoft Entra для проверки подлинности Kafka в стандартных кластерах

Теперь вы можете пройти проверку подлинности служб Event Hubs через OAuth с использованием Microsoft Entra ID на вычислительных системах, настроенных в стандартном режиме доступа. См. аутентификацию принципала службы с помощью идентификатора Microsoft Entra и Azure Event Hubs.

Поддержка, добавленная для очистки файлов и секций для повышения производительности запросов

Чтобы ускорить некоторые запросы, основанные на допустимом значении null в JOIN условиях, теперь мы поддерживаем DynamicFilePruning и DynamicPartitionPruning для оператора EqualNullSafe в JOIN.

Объявление временных переменных в сеансе SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на них в запросах. Смотрите переменные.

Обновления Thriftserver для удаления неиспользуемых функций

Код Thriftserver был обновлен, чтобы удалить код для устаревших функций. Из-за этих изменений следующие конфигурации больше не поддерживаются:

• Вспомогательные JAR Hive, настроенные с помощью свойства hive.aux.jars.path, больше не поддерживаются для подключений hive-thriftserver.
• Глобальный файл инициализации Hive (.hiverc), расположение которого настроено с помощью свойства hive.server2.global.init.file.location или переменной среды HIVE_CONF_DIR, больше не поддерживается для hive-thriftserver подключений.

Использование файлов truststore и файлов хранилища ключей в томах Unity Catalog

Теперь вы можете использовать файлы truststore и keystore в томах каталога Unity для аутентификации в реестре схем Confluent для данных Avro или Protocol Buffer. См. документацию по avro или протокольным буферам.

Поддержка встроенного формата XML-файла (общедоступная предварительная версия)

Поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать выражения SQL, такие как from_xml, и создавать XML-документы. Он не требует внешних JAR-файлов и работает беспроблемно с автозагрузчиком, read_files, COPY INTOи DLT. См. статью "Чтение и запись XML-файлов".

Поддержка хранилища Cloudflare R2 (общедоступная предварительная версия)

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity. Cloudflare R2 в первую очередь предназначен для сценариев использования Delta Sharing, когда необходимо избежать сборов за исходящий трафик данных, которые облачные провайдеры взимают при перемещении данных между регионами. Хранилище R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в AWS S3, Azure Data Lake Storage 2-го поколения и Google Cloud Storage. См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Доступ к файлам рабочей области с помощью Spark и dbutils поддерживается в кластерах Unity Catalog с уровня доступа "Стандартный"

Доступ на чтение и запись Spark и dbutils к файлам рабочей области теперь поддерживается в кластерах Unity Catalog в стандартном режиме доступа . См. статью " Работа с файлами рабочей области".

Поддержка сценариев и библиотек инициализации в кластерах Unity Catalog со стандартным доступом

Установка скриптов и python и JAR- библиотек в кластерах каталога Unity в стандартномрежиме доступа, включая установку с помощью политик кластеров , теперь общедоступна. Databricks рекомендует устанавливать скрипты и библиотеки инициализации из томов каталога Unity .

Обновления библиотек

• Обновленные библиотеки Python:
  • fastjsonschema от 2.19.0 до 2.19.1
  • блокировка файлов от 3.12.4 до 3.13.1
  • googleapis-common-protos с 1.61.0 до 1.62.0
  • упаковка размером от 22,0 до 23,2
• Обновленные библиотеки R:
  • внешний от 0,8-82 до 0,8-85
  • nlme от 3.1-162 до 3.1-163
  • rpart от 4.1.19 до 4.1.21
• Обновленные библиотеки Java:
  • com.databricks.databricks-sdk-java от 0.7.0 до 0.13.0
  • org.apache.orc.orc-core от 1.9.1-shaded-protobuf до 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce от 1.9.1-shaded-protobuf до 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims от 1.9.1 до 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 от 2.9.0 до 2.11.0

Apache Spark

Databricks Runtime 14.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-46541] [SC-153546][sql][CONNECT] Исправлена неоднозначная ссылка на столбец при самостоятельном соединении
• [SPARK-45433] Revert "[SC-145163][sql] Определение схемы CSV/JSON...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Сделать addArtifact повторяемым
• [SPARK-46660] [SC-153391][connect] ReattachExecute запрашивает обновление живучести SessionHolder
• [SPARK-46670] [SC-153273][python][SQL] Сделать DataSourceManager способным к самоклонированию через разделение статических и выполняемых во время работы источников данных Python
• [SPARK-46720] [SC-153410][sql][Python] Рефакторинг источника данных Python для соответствия другим встроенным источникам данных DSv2
• [SPARK-46684] [SC-153275][python][CONNECT] Исправление CoGroup.applyInPandas/Arrow для правильного передачи аргументов
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: выдавать ошибку при использовании нескольких источников данных XML
• [SPARK-46382] [SC-151881][sql]XML: по умолчанию игнорироватьSurroundingSpaces значение true
• [SPARK-46382] [SC-153178][sql]: обновить документацию по ignoreSurroundingSpaces
• [SPARK-45292] Отменить "[SC-151609][sql][HIVE] Удалить Guava из общих классов из IsolatedClientLoader"
• [SPARK-45292] [SC-151609][sql][HIVE] Удалить Guava из общих классов из IsolatedClientLoader
• [SPARK-46311] [SC-150137][core] Зафиксировать конечное состояние драйверов во время Master.removeDriver
• [SPARK-46413] [SC-151052][python] Проверка возвращаемого типа Python UDF с использованием Apache Arrow
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Исправление средства чтения Avro для обработки блоков нулевой длины
• [SPARK-46537] [SC-151286][sql] Преобразование NPE и утверждений из команд во внутренние ошибки
• [SPARK-46179] [SC-151678][sql] Добавить CrossDbmsQueryTestSuites, который запускает другие СУБД против эталонных файлов с другими СУБД, начиная с Postgres.
• [SPARK-44001] [SC-151413][protobuf] Добавить опцию для разрешения распаковки известных типов-оберток protobuf.
• [SPARK-40876] [SC-151786][sql] Расширение типов для десятичных чисел с большим масштабом в средствах чтения Parquet
• [SPARK-46605] [SC-151769][connect] Сделать так, чтобы функция lit/typedLit в модуле подключения поддерживала s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] проверка литералов не должна углубляться в поля NULL
• [SPARK-37039] [SC-153094][ps] Исправление Series.astype для правильной работы с отсутствующим значением
• [SPARK-46312] [SC-150163][core] Использовать lower_camel_case в store_types.proto
• [SPARK-46630] [SC-153084][sql]: проверка имени XML-элемента при записи
• [SPARK-46627] [SC-152981][пользовательский интерфейс] Исправление содержимого подсказки временной шкалы в пользовательском интерфейсе потоковой передачи
• [SPARK-46248] [SC-151774][sql]: поддержка параметров ignoreCorruptFiles и ignoreMissingFiles
• [SPARK-46386] [SC-150766][python] Улучшение утверждений наблюдения (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Обновить комментарий по isZero в AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Исправлена ошибка журнала в handleStatusMessage
• [SPARK-46568] [SC-151685][python] Сделать параметры источника данных Python словарем, нечувствительным к регистру
• [SPARK-46611] [SC-151783][core] Удалить ThreadLocal, заменив SimpleDateFormat на DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Сделать Literal.apply поддерживающим s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Исправьте выходное имя pyspark.sql.functions.user и session_user
• [SPARK-46621] [SC-151794][python] Адрес NULL из exception.getMessage в py4J записанное исключение
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader должен учитывать режим памяти при создании векторов столбцов для отсутствующих столбцов
• [SPARK-46613] [SC-151778][sql][Python] Полное исключение журнала при сбое поиска источников данных Python
• [SPARK-46559] [SC-151364][mllib] Обернуть export в имя пакета в обратные апострофы
• [SPARK-46522] [SC-151784][python] Блокировать регистрацию источников данных в Python с конфликтами имен
• [SPARK-45580] [SC-149956][sql] Обработка случая, когда вложенный запрос становится соединением по существованию
• [SPARK-46609] [SC-151714][sql] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Исправление ошибки Null Pointer Exception (NPE) при описании расширенного столбца без статистики столбца
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Use TypeCoercion.findTightestCommonType для проверки совместимости
• [SPARK-40876] [SC-151129][sql] Расширение преобразований типов в читателях Parquet
• [SPARK-46179] [SC-151069][sql] Извлечение кода в повторно используемые функции в SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Поддержка s.c.immutable.ArraySeq как customCollectionCls в MapObjects
• [SPARK-46585] [SC-151622][core] Был напрямую создан metricPeaks как immutable.ArraySeq вместо того, чтобы использовать mutable.ArraySeq.toSeq в Executor
• [SPARK-46488] [SC-151173][sql] Пропуск вызова trimAll во время разбора метки времени
• [SPARK-46231] [SC-149724][python] Миграция всех оставшихся NotImplementedError & TypeError в фреймворк обработки ошибок PySpark
• [SPARK-46348] [SC-150281][core] Поддержка spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Запись длительности восстановления Spark HA
• [SPARK-46358] [SC-150307][connect] Упростить проверку условия в ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Заменить текущее время/дату перед оценкой встроенных табличных выражений.
• [SPARK-46563] [SC-151441][sql] View simpleString не соответствует spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Уменьшить глубину стека путем замены (string|array).size на (string|array).length
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT (исключение всех полей структуры) приводит к ошибке утверждения
• [SPARK-46565] [SC-151414][python] Уточнение классов ошибок и сообщений об ошибках для источников данных Python
• [SPARK-46576] [SC-151614][sql] Улучшение сообщений об ошибках для неподдерживаемого режима сохранения источника данных
• [SPARK-46540] [SC-151355][python] Учитываются имена столбцов, когда функция чтения источника данных Python возвращает объекты Row с заданными именами.
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite допускает утечку SessionState в Hive
• [SPARK-44556] [SC-151562][sql] Повторно использовать OrcTail при включении vectorizedReader
• [SPARK-46587] [SC-151618][sql] XML: исправление преобразования больших целых чисел XSD
• [SPARK-46382] [SC-151297][sql] XML: извлечение значений, встречающихся между элементами
• [SPARK-46567] [SC-151447][core] Удалить ThreadLocal для ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Автоматическая регистрация источника данных Python при запуске
• [SPARK-28386] [SC-151014][sql] Не удается разрешить столбцы с ORDER BY, когда присутствуют GROUP BY и HAVING
• [SPARK-46524] [SC-151446][sql] Улучшение сообщений об ошибках для недопустимого режима сохранения
• [SPARK-46294] [SC-150672][sql] Уточнение семантики инициализации и использования нулевого значения
• [SPARK-46301] [SC-150100][core] Поддержка spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Удалите проверку c>=0 из ExternalCatalogUtils#needsEscaping, так как всегда верно
• [SPARK-46553] [SC-151360][ps] FutureWarning для interpolate с типом объекта
• [SPARK-45914] [SC-151312][python] Поддержка API для фиксации и отмены при записи источника данных на Python
• [SPARK-46543] [SC-151350][python][CONNECT] Сделать json_tuple выброс PySparkValueError для пустых полей
• [SPARK-46520] [SC-151227][python] Поддержка режима перезаписи для источника данных Python
• [SPARK-46502] [SC-151235][sql] Поддержка типов меток времени в UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Передача параметров сообщения в метаданных ErrorInfo
• [SPARK-46397] Отменить "[SC-151311][python][CONNECT] Функция sha2 должна выбрасывать PySparkValueError для недопустимого numBits"
• [SPARK-46170] [SC-149472][sql] Поддержка внедрения правил стратегии пост-планировщика адаптивного запроса в SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable не следует загружать таблицу
• [SPARK-46397] [SC-151311][python][CONNECT] Функция sha2 должна вызывать PySparkValueError для недопустимого numBits
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables не создает исключение, если таблица или представление не найдено
• [SPARK-46272] [SC-151012][sql] Поддержка CTAS с использованием источников DSv2
• [SPARK-46480] [SC-151127][core][SQL] Исправление NPE при попытке задачи кэша таблиц
• [SPARK-46100] [SC-149051][core][PYTHON] Уменьшить глубину стека путем замены (string|array).size на (string|array).length
• [SPARK-45795] [SC-150764][sql] DS V2 поддерживает режим отправки
• [SPARK-46485] [SC-151133][sql] V1Write не должно добавлять сортировку, когда это не нужно
• [SPARK-46468] [SC-151121] [SQL] Обработка ошибки COUNT для вложенных запросов EXISTS с помощью агрегата без группирования ключей
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE поддержка SQL
• [SPARK-46498] [SC-151199][core] Удалить shuffleServiceEnabled из o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Задайте конфигурации перебазы в режим CORRECTED по умолчанию
• [SPARK-45525] [SC-151120][sql][PYTHON] Поддержка записи источника данных Python с помощью DSv2
• [SPARK-46505] [SC-151187][connect] Сделать порог байтов настраиваемым в ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Удаление конфигураций SQL устаревшего пересчёта даты и времени
• [SPARK-46443] [SC-151123][sql] Десятичная точность и масштабирование должны быть определены диалектом H2.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Исправлена диаграмма стека длительности операций на странице структурированной потоковой передачи
• [SPARK-46207] [SC-151068][sql] Поддержка MergeInto в DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Добавление нового API в DataWriter для записи записей с помощью итератора
• [SPARK-46273] [SC-150313][sql] Поддержка INSERT INTO/OVERWRITE с помощью источников DSv2
• [SPARK-46344] [SC-150267][core] Предупреждать правильно, если драйвер существует успешно, но главный отключен
• [SPARK-46284] [SC-149944][python][CONNECT] Добавление функции session_user в Python
• [SPARK-46043] [SC-149786][sql] Поддержка создания таблицы с помощью источников DSv2
• [SPARK-46323] [SC-150191][python] Исправьте выходное имя pyspark.sql.functions.now.
• [SPARK-46465] [SC-151059][python][CONNECT] Добавление Column.isNaN в PySpark
• [SPARK-46456] [SC-151050][core] Добавить spark.ui.jettyStopTimeout для установки времени ожидания остановки сервера Jetty, чтобы разблокировать завершение работы SparkContext.
• [SPARK-43427] [SC-150356][protobuf] spark protobuf: разрешить передачу без знака целых чисел
• [SPARK-46399] [SC-151013][14.x][Ядро] Добавление состояния выхода в событие конца приложения для использования прослушивателя Spark
• [SPARK-46423] [SC-150752][python][SQL] Сделать экземпляр источника данных Python в DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Поддержка метрик Python в источнике данных Python
• [SPARK-46330] [SC-151015] Загрузка блоков пользовательского интерфейса Spark в течение длительного времени при включении гибридного хранилища
• [SPARK-46378] [SC-150397][sql] Удаление сортировки по-прежнему происходит после преобразования агрегата в проект
• [SPARK-45506] [SC-146959][connect] Добавление поддержки URI ivy в addArtifact SparkConnect
• [SPARK-45814] [SC-147871][connect][SQL]Сделать так, чтобы ArrowConverters.createEmptyArrowBatch вызывал close() для предотвращения утечки памяти.
• [SPARK-46427] [SC-150759][python][SQL] Измените описание источника данных Python, чтобы оно было более наглядным в объяснении.
• [SPARK-45597] [SC-150730][python][SQL] Поддержка создания таблицы с использованием источника данных Python в SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Добавление поддержки getMessageParameters и getQueryContext
• [SPARK-46453] [SC-150897][connect] Создание исключения из internalError() в SessionHolder
• [SPARK-45758] [SC-147454][sql] Введение средства сопоставления для кодеков сжатия hadoop
• [SPARK-46213] [PYTHON] Введение PySparkImportError в структуру ошибок
• [SPARK-46230] [SC-149960][python] Миграция RetriesExceeded в ошибку PySpark
• [SPARK-45035] [SC-1458887][sql] Исправление ignoreCorruptFiles/ignoreMissingFiles с помощью multiline CSV/JSON сообщит об ошибке
• [SPARK-46289] [SC-150846][sql] Поддержка сортировки пользовательских типов данных в интерпретируемом режиме
• [SPARK-46229] [SC-150798][python][CONNECT] Добавление ApplyInArrow к groupBy и cogroup в Spark Connect
• [SPARK-46420] [SC-150847][sql] Удаление неиспользуемого транспорта в SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Перенос всех оставшихся RuntimeError в платформу ошибок PySpark
• [SPARK-45796] [SC-150613][sql] ПОДДЕРЖКА MODE() В КОНТЕКСТЕ ГРУППЫ (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Add ApplyInArrow to groupBy and cogroup
• [SPARK-46069] [SC-149672][sql] Поддержка преобразования типа метки времени в тип даты
• [SPARK-46406] [SC-150770][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Преобразование IllegalStateException в internalError в итераторах сеансов
• [SPARK-45807] [SC-150751][sql] Улучшение API ViewCatalog
• [SPARK-46009] [SC-149771][sql][CONNECT] Слияние правила синтаксического анализа PercentileCont и PercentileDisc в functionCall
• [SPARK-46403] [SC-150756][sql] Декодирование двоичного файла parquet с помощью метода getBytesUnsafe
• [SPARK-46389] [SC-150779][core] Вручную закройте экземпляр RocksDB/LevelDB при вызове исключения checkVersion
• [SPARK-46360] [SC-150376][python] Улучшение отладки сообщений об ошибке с помощью нового API getMessage
• [SPARK-46233] [SC-149766][python] Перенос всех оставшихся AttributeError в систему обработки ошибок PySpark
• [SPARK-46394] [SC-150599][sql] Исправлены проблемы spark.catalog.listDatabases() при использовании схем со специальными символами, когда spark.sql.legacy.keepCommandOutputSchema задано значение true
• [SPARK-45964] [SC-148484][sql] Удаление приватного SQL аксессора в пакете XML и JSON в пакете Catalyst
• [SPARK-45856] [SC-148691] Перемещение ArtifactManager из Spark Connect в SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Исправление скрипта запуска для spark-connect-scala-client
• [SPARK-46416] [SC-150699][core] Добавление @tailrec в HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Ограничить наборы символов в encode()
• [SPARK-46253] [SC-150416][python] Планирование чтения из источника данных Python с помощью MapInArrow
• [SPARK-46339] [SC-150266][ss] Каталог с именем пакетного номера не следует рассматривать как журнал метаданных
• [SPARK-46353] [SC-150396][core] Проведён рефакторинг для улучшения охвата модульных тестов RegisterWorker
• [SPARK-45826] [SC-149061][sql] Добавление конфигурации SQL для трассировки стека в контексте запроса DataFrame
• [SPARK-45649] [SC-150300][sql] Объединить подготовительную структуру для OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][core] Исправление, чтобы мастер-сервер обновлял рабочий узел с UNKNOWN до ALIVE на сообщение RegisterWorker
• [SPARK-46388] [SC-150496][sql] HiveAnalysis пропускает защиту шаблонов query.resolved
• [SPARK-46401] [SC-150609][core] Использовать !isEmpty() на RoaringBitmap вместо getCardinality() > 0 в RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Классификация исключений в каталоге таблиц JDBC
• [SPARK-45798] [SC-150513][connect] Следующее: добавление serverSessionId в SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: добавление поддержки TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Улучшения менеджера сеансов SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Замените неправильное использование документации setConf с conf.set.
• [SPARK-46202] [SC-150420][connect] Предоставление новых API ArtifactManager для поддержки пользовательских целевых каталогов
• [SPARK-45824] [SC-147648][sql] Принудительно применять класс ошибок в ParseException
• [SPARK-45845] [SC-148163][ss][UI] Добавьте количество вытесненных строк состояния в пользовательский интерфейс потоковой передачи
• [SPARK-46316] [SC-150181][core] Включить buf-lint-action в модуле core
• [SPARK-45816] [SC-147656][sql] Возвращает NULL при переполнении во время приведения метки времени в целые числа
• [SPARK-46333] [SC-150263][sql] Замените IllegalStateException на SparkException.internalError в катализаторе
• [SPARK-45762] [SC-148486][core] Поддержка диспетчеров перетасовки, определенных в пользовательских jar-файлах путем изменения порядка запуска
• [SPARK-46239] [SC-149752][core] Скрыть Jetty сведения
• [SPARK-45886] [SC-148089][sql] Вывод полной трассировки стека в callSite контекста DataFrame
• [SPARK-46290] [SC-150059][python] Изменить saveMode на логический флаг для DataSourceWriter
• [SPARK-45899] [SC-148097][connect] Set errorClass in errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Раскрытие трассировки стека по DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Поддержка killall в API отправки REST
• [SPARK-46234] [SC-149711][python] Внедрение PySparkKeyError для структуры ошибок PySpark
• [SPARK-45606] [SC-147655][sql] Снятие ограничений на фильтр среды выполнения с несколькими слоями
• [SPARK-45725] [SC-147006][sql] Удалите не по умолчанию фильтр выполнения подзапроса
• [SPARK-45694] [SC-147314][spark-45695][SQL] Очистить использование устаревших API View.force и ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] Сделать withOrigin более универсальным
• [SPARK-46292] [SC-150086][core][UI] Показать сводку рабочих ролей в MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Использовать LazyList вместо Stream
• [SPARK-45888] [SC-149945][ss] Применение фреймворка классов ошибок к источнику данных метаданных (состояния)
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed должен сохранять порядок в словарях и отображениях
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Очистка преобразований SeqOps.view и ArrayOps.view
• [SPARK-46029] [SC-149255][sql] Экранирование одинарной кавычки, _ и % для pushdown DS V2
• [SPARK-46275] [SC-150189] Protobuf: возвращает значение NULL в разрешительном режиме при сбое десериализации.
• [SPARK-46320] [SC-150187][core] Поддержка spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Не применяйте фильтры групп строк Parquet, вызывающие переполнение
• [SPARK-46300] [SC-150097][python][CONNECT] Соответствие незначительному поведению в столбце с полным тестовым покрытием
• [SPARK-46298] [SC-150092][python][CONNECT] Предупреждение об отмене соответствия, случай теста и ошибка Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Очистка нерекомендуемого использования API, связанного с StringContext/StringOps/RightProjection/LeftProjection/Either и типом использования BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][sql] Поддержка SHOW TABLE EXTENDED в версии 2
• [SPARK-45737] [SC-147011][sql] Удалите ненужные .toArray[InternalRow] в SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Требовать блокировку экземпляра для получения метрик RocksDB для предотвращения гонки с фоновыми операциями
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed должны соблюдать порядок диктовки
• [SPARK-46274] [SC-150043] [SQL] Исправление оператора range computeStats() для проверки длительной допустимости перед преобразованием
• [SPARK-46040] [SC-149767][sql][Python] Обновление API UDTF для секционирования и упорядочивания столбцов для поддержки общих выражений
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty должны работать со всеми типами данных
• [SPARK-45678] [SC-146825][core] Cover BufferReleasingInputStream.available/reset в разделе tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Очистка устаревшего использования API, связанного с IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql], введя синтаксис select * except
• [SPARK-46269] [SC-149816][ps] Включение дополнительных тестов функции совместимости NumPy
• [SPARK-45807] [SC-149851][sql] Добавить createOrReplaceView(..) / replaceView(..) в ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Введите неявную функцию для Scala Array для упаковки в immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Повышение производительности PersistenceEngine с помощью KryoSerializer
• [SPARK-45746] [SC-149359][python] Возвращает определенные сообщения об ошибках, если метод UDTF "анализ" или "eval" принимает или возвращает неправильные значения
• [SPARK-46186] [SC-149707][connect] Исправлено некорректное изменение состояния при прерывании ExecuteThreadRunner перед его запуском
• [SPARK-46262] [SC-149803][ps] Включить тестирование для np.left_shift объекта Pandas-on-Spark.
• [SPARK-45093] [SC-149679][connect][PYTHON] Правильная поддержка обработки ошибок и преобразования для AddArtifactHandler.
• [SPARK-46188] [SC-149571][doc][3.5] Исправление CSS созданных таблиц документации Spark
• [SPARK-45940] [SC-149549][python] Добавление InputPartition в интерфейс DataSourceReader
• [SPARK-43393] [SC-148301][sql] Ошибка переполнения выражения последовательности адресов.
• [SPARK-46144] [SC-149466][sql] Fail INSERT INTO ... Инструкция REPLACE, если условие содержит вложенный запрос
• [SPARK-46118] [SC-149096][sql][SS][connect] Используйте SparkSession.sessionState.conf вместо SQLContext.conf и пометьте SQLContext.conf как нерекомендуемые
• [SPARK-45760] [SC-147550][sql] Добавить WITH-выражение, чтобы избежать дублирования выражений
• [SPARK-43228] [SC-149670][sql] Ключи присоединения также соответствуют PartitioningCollection в CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Тест SparkPandasNotImplementedError с очисткой неиспользуемого кода
• [SPARK-46119] [SC-149205][sql] Переопределение метода toString для UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Использовать более узкий диапазон исключений для процессора SQL
• [SPARK-46191] [SC-149565][core] Улучшение FileSystemPersistenceEngine.persist ошибки msg в случае существующего файла
• [SPARK-46036] [SC-149356][sql] Удаление класса ошибок из функции raise_error
• [SPARK-46055] [SC-149254][sql] Переопределение API базы данных каталога
• [SPARK-46152] [SC-149454][sql] добавление поддержки DecimalType в определение схемы XML
• [SPARK-45943] [SC-149452][sql] Перенести DetermineTableStats в правила разрешения
• [SPARK-45887] [SC-148994][sql] Унифицировать реализацию с генерацией кода и без нее Encode
• [SPARK-45022] [SC-147158][sql] Укажите контекст для ошибок API набора данных
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Замените toIteratoriterator для IterableOnce
• [SPARK-46141] [SC-149357][sql] Измените значение по умолчанию для spark.sql.legacy.ctePrecedencePolicy на CORRECTED
• [SPARK-45663] [SC-146617][core][MLLIB] Замените IterableOnceOps#aggregateIterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Повторно использовать объекты Literal в правиле ComputeCurrentTime
• [SPARK-45803] [SC-147489][core] Удалите больше не используемые RpcAbortException
• [SPARK-46148] [SC-149350][ps] Исправление pyspark.pandas.mlflow.load_model теста (Python 3.12)
• [SPARK-46110] [SC-149090][python] Использование классов ошибок в каталогах, conf, connect, observation, pandas модулях
• [SPARK-45827] [SC-149203][sql] Исправления вариантов с отключенной генерацией кода и векторизованным средством чтения
• [SPARK-46080] Отменить "[SC-149012][python] Обновление Cloudpickle до 3.0.0"
• [SPARK-45460] [SC-144852][sql] Замените scala.collection.convert.ImplicitConversions на scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Удалите специальное разрешение неразрешенного пространства имен для определенных команд
• [SPARK-45600] [SC-148976][python] Регистрация источника данных Python на уровне сеанса
• [SPARK-46074] [SC-149063][connect][SCALA] Недостаточно сведений об ошибке при сбое UDF
• [SPARK-46114] [SC-149076][python] Добавление PySparkIndexError для фреймворка обработки ошибок
• [SPARK-46120] [SC-149083][connect][PYTHON] Удалить вспомогательные функции DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Обновление обработки путей для источника данных на Python
• [SPARK-46062] [14.x][sc-148991][SQL] Синхронизация флага isStreaming между определением CTE и ссылкой
• [SPARK-45698] [SC-146736][core][SQL][ss] Очистка устаревшего использования API, связанного с Buffer
• [SPARK-46064] [SC-148984][sql][SS] Переместить EliminateEventTimeWatermark в анализатор и изменить, чтобы применяться только на разрешенном дочернем элементе.
• [SPARK-45922] [SC-149038][connect][CLIENT] Дополнительный рефакторинг повторных попыток (выполнение нескольких политик)
• [SPARK-45851] [SC-148419][connect][SCALA] Поддерживает несколько политик в клиенте scala
• [SPARK-45974] [SC-149062][sql] Добавление проверки на пустоту в scan.filterAttributes для RowLevelOperationRuntimeGroupFiltering.
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets в клиенте Scala Spark Connect
• [SPARK-45136] [SC-146607][connect] Улучшить ClosureCleaner с поддержкой Ammonite
• [SPARK-46084] [SC-149020][ps] Рефакторинг операции приведения типов данных для категориального типа.
• [SPARK-46083] [SC-149018][python] Make SparkNoSuchElementException в качестве канонического API ошибок
• [SPARK-46048] [SC-148982][python][CONNECT] Поддержка DataFrame.groupingSets в Python Spark Connect
• [SPARK-46080] [SC-149012][python] Обновление Cloudpickle до 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Исправлено представление строки protobuf для API функций Pandas с помощью Spark Connect
• [SPARK-46065] [SC-148985][ps] Переделать (DataFrame|Series).factorize() с использованием create_map.
• [SPARK-46070] [SC-148993][sql] Компиляция шаблона regex в SparkDateTimeUtils.getZoneId за пределами горячего цикла
• [SPARK-46063] [SC-148981][python][CONNECT] Улучшение сообщений об ошибках, связанных с типами аргументов в cute, rollup, groupby и pivot
• [SPARK-44442] [SC-144120][mesos] Удаление поддержки Mesos
• [SPARK-45555] [SC-147620][python] Включает отлаживаемый объект для утверждения с ошибкой
• [SPARK-46048] [SC-148871][python][SQL] Поддержка DataFrame.groupingSets в PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Сделать faulthandler конфигурацией времени выполнения для выполнения Python-кода в SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Показать правильные сообщения о требованиях зависимостей для Spark Connect
• [SPARK-45681] [SC-146893][ui] Клонировать js-версию UIUtils.errorMessageCell для согласованной отрисовки ошибок в пользовательском интерфейсе
• [SPARK-45767] [SC-147225][core] Удалить TimeStampedHashMap и ее UT
• [SPARK-45696] [SC-148864][core] Метод tryCompleteWith из трэйта Promise устарел
• [SPARK-45503] [SC-1463338][ss] Добавление conf для установки сжатия RocksDB
• [SPARK-45338] [SC-143934][core][SQL] Замените scala.collection.JavaConverters на scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Исправление ArrayIndexOutOfBoundsException в conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Усовершенствование API XSDToSchema: переход на API HDFS для доступа к облачному хранилищу
• [SPARK-45819] [SC-147570][core] Поддержка clear в API отправки REST
• [SPARK-45552] [14.x][sc-146874][PS] Ввод гибких параметров для assertDataFrameEqual
• [SPARK-45815] [SC-1478777][sql][Потоковая передача][14.x][CHERRY-PICK] Укажите интерфейс для других источников потоковой передачи для добавления столбцов _metadata
• [SPARK-45929] [SC-148692][sql] Поддержка операций groupingSets в API DataFrame
• [SPARK-46012] [SC-148693][core] EventLogFileReader не следует читать роллируемые журналы, если отсутствует файл состояния приложения
• [SPARK-45965] [SC-148575][sql] Перенос выражений секционирования DSv2 в функции partitioning
• [SPARK-45971] [SC-148541][core][SQL] Исправьте имя пакета SparkCollectionUtils на org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Очистка устаревшего использования API, связанного с MapOps & Исправление method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Удалить treatEmptyValuesAsNulls и использовать вместо этого параметр nullValue в XML
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Исправлены аннотации типов для обработки list GenericAlias в Python 3.11+
• [SPARK-45999] [SC-148595][ps] Использовать выделенные PandasProduct в cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Исправление pyspark.ml.torch.tests.test_distributor в Python 3.11
• [SPARK-45994] [SC-148581][python] Измените description-file на description_file
• [SPARK-45575] [SC-146713][sql] Поддержка вариантов перемещения по времени для API чтения df
• [SPARK-45747] [SC-148404][ss] Использование сведений о префиксном ключе в метаданных состояния для управления состоянием чтения при агрегировании окна сеанса
• [SPARK-45898] [SC-148213][sql] Переопределение API таблиц каталога для использования неразрешенного логического плана
• [SPARK-45828] [SC-147663][sql] Удалить устаревший метод в dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Обновление protobuf до 4.25.1 для поддержки Python 3.11
• [SPARK-45911] [SC-148226][core] Сделать TLS1.3 по умолчанию для ПРОТОКОЛА SSL RPC
• [SPARK-45955] [SC-148429][ui] Поддержка сворачивания для флеймграфа и деталей дампа потоков
• [SPARK-45936] [SC-148392][ps] Оптимизация Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Корректное правило сопоставления MetaException для получения метаданных раздела
• [SPARK-45655] [SC-148085][sql][SS] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics
• [SPARK-45946] [SC-148448][ss] Исправлено использование устаревшего метода записи FileUtils для указания стандартной кодировки в RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Источник данных состояния — ридер
• [SPARK-45918] [SC-148293][ps] Оптимизация MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Возвращает наблюдаемые метрики из команд
• [SPARK-45867] [SC-147916][core] Поддержка spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Добавление вспомогательной функции для parser
• [SPARK-45930] [SC-148399][sql] Поддержка недетерминированных пользовательских определяемых функций в MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Создание API UDTF Python для остановки использования строк из входной таблицы
• [SPARK-45731] [SC-147929][sql] Также обновите статистику секций с помощью команды ANALYZE TABLE
• [SPARK-45868] [SC-148355][connect] Убедитесь, что spark.table использует тот же синтаксический анализатор, что и стандартный Spark
• [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec при распространении секционирования должен учитывать CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] Назначьте имена ошибкам _LEGACY_ERROR_TEMP_21[59, 60, 61, 62]
• [SPARK-45915] [SC-148306][sql] Обрабатывать тип decimal(x, 0) так же как IntegralType в PromoteStrings
• [SPARK-45786] [SC-147552][sql] Исправление неточных результатов десятичного умножения и деления
• [SPARK-45871] [SC-148084][connect] Преобразование коллекции оптимизаций, связанных с .toBuffer в модулях connect
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager может найти остановленный sparkcontext
• [SPARK-45913] [SC-148289][python] Сделать внутренние атрибуты закрытыми для ошибок PySpark.
• [SPARK-45827] [SC-148201][sql] Добавление типа данных Variant в Spark.
• [SPARK-44886] [SC-147876][sql] Введите предложение CLUSTER BY для CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][core] Поддержка spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Проверка идентификатора сессии на стороне сервера
• [SPARK-45896] [SC-148091][sql] Построить ValidateExternalType с правильным ожидаемым типом
• [SPARK-45902] [SC-148123][sql] Удаление неиспользуемой функции resolvePartitionColumns из DataSource
• [SPARK-45909] [SC-148137][sql] Удалите NumericType приведение, если оно может безопасно преобразовать в IsNotNull
• [SPARK-42821] [SC-147715][sql] Удаление неиспользуемых параметров в методах splitFiles
• [SPARK-45875] [SC-148088][core] Удаление MissingStageTableRowData из модуля core
• [SPARK-45783] [SC-148120][python][CONNECT] Улучшение сообщений об ошибках при включении режима Spark Connect, но удаленный URL-адрес не задан.
• [SPARK-45804] [SC-147529][ui] Добавить конфигурацию spark.ui.threadDump.flamegraphEnabled для переключения графа пламени вкл/выкл.
• [SPARK-45664] [SC-146878][sql] Введение сопоставителя для кодеков сжатия ORC
• [SPARK-45481] [SC-146715][sql] Введение средства сопоставления для кодеков сжатия parquet
• [SPARK-45752] [SC-148005][sql] Упростите код для проверки отношений CTE без ссылки
• [SPARK-44752] [SC-146262][sql] XML: обновление документации Spark
• [SPARK-45752] [SC-147869][sql] Непривязанные ОВЗ должны быть проверены CheckAnalysis0
• [SPARK-45842] [SC-147853][sql] Рефакторинг API каталоговых функций для использования анализатора
• [SPARK-45639] [SC-1476766][sql][PYTHON] Поддержка загрузки источников данных Python в DataFrameReader
• [SPARK-45592] [SC-146977][sql] Ошибка правильности в AQE с InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Введите источник метаданных состояния для запроса сведений о метаданных состояния потоковой передачи
• [SPARK-45739] [SC-147059][python] Обработка IOException вместо только EOFException для обработчика ошибок
• [SPARK-45677] [SC-146700] Лучшее ведение журнала ошибок для API наблюдения
• [SPARK-45544] [SC-146873][core] Интеграция поддержки SSL в TransportContext
• [SPARK-45654] [SC-147152][python] Добавление API записи источника данных Python
• [SPARK-45771] [SC-147270][core] Включить spark.eventLog.rolling.enabled по умолчанию
• [SPARK-45713] [SC-146986][python] Поддержка регистрации источников данных Python
• [SPARK-45656] [SC-146488][sql] Исправьте наблюдение при именованных наблюдениях с одинаковым именем в разных наборах данных
• [SPARK-45808] [SC-147571][connect][PYTHON] Улучшена обработка ошибок для исключений SQL
• [SPARK-45774] [SC-147353][core][UI] Поддержка spark.master.ui.historyServerUrl в ApplicationPage
• [SPARK-45776] [SC-147327][core] Удалите оборонительный флажок null для MapOutputTrackerMaster#unregisterShuffle добавлен в SPARK-39553
• [SPARK-45780] [SC-147410][connect] Распространение всех клиентских потоков Spark Connect в InheritableThread
• [SPARK-45785] [SC-147419][core] Поддержка spark.deploy.appNumberModulo для смены номера приложения
• [SPARK-45793] [SC-147456][core] Улучшение встроенных кодеков сжатия
• [SPARK-45757] [SC-147282][ml] Избегайте повторного вычисления NNZ в Binarizer
• [SPARK-45209] [SC-146490][core][UI] Поддержка графа пламени для страницы дампа потока исполнителя
• [SPARK-45777] [SC-147319][core] Поддержка spark.test.appId в LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Рефакторинг проверки на null для более простого использования shortcuts
• [SPARK-45711] [SC-146854][sql] Введите средство сопоставления для кодеков сжатия avro
• [SPARK-45523] [SC-146077][python] Возвращает полезное сообщение об ошибке, если UDTF возвращает значение None для любого столбца, не допускающего значения NULL
• [SPARK-45614] [SC-146729][sql] Назначьте имена ошибкам _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Улучшение Dataset.isEmpty() путем применения глобального ограничения 1
• [SPARK-45569] [SC-145915][sql] Назначьте имя ошибке _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Исправление Spark History Server для правильной сортировки столбца Duration
• [SPARK-45754] [SC-147169][core] Поддержка spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Упростить DataFrameStatFunctions.countMinSketch с помощью CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] Поддержка spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] Улучшить MasterPage для отображения столбца Resource только в том случае, если он существует
• [SPARK-45112] [SC-143259][sql] Использование разрешения на основе UnresolvedFunction в функциях SQL наборов данных

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 14.3.

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN, сделанного диспетчером пакетов Posit на 2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)