Databricks Runtime 14.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.0, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в сентябре 2023 года.

Новые функции и внесенные улучшения

• Отслеживание строк — это общедоступная версия
• Прогнозный ввод-вывод для обновлений — это общедоступная версия
• Векторы удаления — общедоступная версия
• Spark 3.5.0 — общедоступная версия
• Общедоступная предварительная версия пользовательских табличных функций для Python
• Общедоступная предварительная версия для параллелизма на уровне строк
• Текущий рабочий каталог по умолчанию изменился
• Известная проблема с sparklyr
• Знакомство с Spark Connect в архитектуре общего кластера
• Обновление API, отображающее список доступных версий Spark

Отслеживание строк — это общедоступная версия

Отслеживание строк для Delta Lake теперь общедоступен. См. используйте отслеживание строк для таблиц Delta.

Прогнозный ввод-вывод для обновлений — это общедоступная версия

Прогнозный ввод-вывод для обновлений теперь общедоступен. См. сведения о прогнозных ввода-выводах.

Векторы удаления — общедоступная версия

Теперь доступны векторы удаления. См. раздел " Что такое векторы удаления?".

Spark 3.5.0 — общедоступная версия

Apache Spark 3.5.0 теперь общедоступен. См . версию Spark 3.5.0.

Общедоступная предварительная версия для пользовательских определенных функций таблиц в Python

Определяемые пользователем функции таблиц (UDTFs) позволяют регистрировать функции, возвращающие таблицы вместо скалярных значений. См. определяемые пользователем табличные функции Python (UDTFs).

Общедоступная предварительная версия для параллелизма на уровне строк

Параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк и автоматически разрешая конкурирующие изменения в параллельных записях, которые обновляют или удаляют разные строки в одном файле данных. См. статью "Конфликты записи с параллелизмом на уровне строк".

Текущий рабочий каталог по умолчанию изменился

Текущий рабочий каталог (CWD) по умолчанию для кода, выполняемого локально, теперь является каталогом, содержащим записную книжку или скрипт, выполняемый. Сюда входят такие коды, как %sh и код Python или R, не использующие Spark. См. раздел " Что такое текущий рабочий каталог по умолчанию?".

Известная проблема с sparklyr

Установленная версия sparklyr пакета (версия 1.8.1) несовместима с Databricks Runtime 14.0. Чтобы использовать sparklyr, установите версию 1.8.3 или более поздней.

Знакомство с Spark Connect в архитектуре общего кластера

В Databricks Runtime 14.0 и более поздних версиях общие кластеры теперь используют Spark Connect с драйвером Spark из Python REPL по умолчанию. Внутренние API Spark больше не доступны из пользовательского кода.

Spark Connect теперь взаимодействует с драйвером Spark из REPL вместо устаревшей интеграции REPL.

Список доступных обновлений API версий Spark

Включите Photon по параметру runtime_engine = PHOTONи включите aarch64 , выбрав тип экземпляра graviton. Azure Databricks задает правильную версию среды выполнения Databricks. Ранее API версии Spark возвращал среды выполнения для каждой версии для конкретной реализации. См. GET /api/2.0/clusters/spark-versions в справочнике по REST API.

Критические изменения

В Databricks Runtime 14.0 и более поздних версиях кластеры с режимом общего доступа используют Spark Connect для обмена данными с клиентским сервером. К ним относятся следующие изменения.

Дополнительные сведения об ограничениях режима общего доступа см. в разделе Ограничения режима доступа к вычислительным ресурсам длякаталога Unity.

Python в кластерах с режимом общего доступа

• Параметр sqlContext недоступен. Azure Databricks рекомендует использовать spark переменную для экземпляра SparkSession .
• Контекст Spark (sc) больше недоступен в записных книжках или при использовании Databricks Connect в кластере с режимом общего доступа. Следующие sc функции больше не доступны:
  • emptyRDD, rangeinit_batched_serializerparallelizepickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Функция сведений о наборе данных больше не поддерживается.
• При запросе Apache Spark больше не существует зависимости от JVM и, как следствие, внутренние API, связанные с JVM, например _jsc, _jconf_jvm_jsparkSession_jreader_jc_jseq, _jdfи _jmap_jcols больше не поддерживаются.
• При доступе к значениям конфигурации с помощью spark.conf доступны только динамические значения конфигурации среды выполнения.
• Команды анализа Delta Live Tables ещё не поддерживаются в общих кластерах.

Разностный доступ в кластерах с режимом общего доступа

• В Python при запросе Apache Spark больше не существует зависимости от JVM. Внутренние API, связанные с JVM, например DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilderи DeltaOptimizeBuilder._jbuilder больше не поддерживаются.

SQL в кластерах с режимом общего доступа

• DBCACHE и DBUNCACHE команды больше не поддерживаются.
• Редкие варианты использования, такие как cache table db as show databases больше не поддерживаются.

Обновления библиотек

• Обновленные библиотеки Python:
  • asttokens от 2.2.1 до 2.0.5
  • attrs от 21.4.0 до 22.1.0
  • botocore от 1.27.28 до 1.27.96
  • сертификат от 2022.9.14 до 2022.12.7
  • криптография от 37.0.1 до 39.0.1
  • debugpy от 1.6.0 до 1.6.7
  • docstring-to-markdown от 0.12 до 0.11
  • выполнение от 1.2.0 до 0.8.3
  • facets-overview от 1.0.3 до 1.1.1
  • googleapis-common-protos от 1.56.4 до 1.60.0
  • grpcio от 1.48.1 до 1.48.2
  • idna от 3.3 до 3.4
  • ipykernel от 6.17.1 до 6.25.0
  • ipython от 8.10.0 до 8.14.0
  • Jinja2 от 2.11.3 до 3.1.2
  • jsonschema от 4.16.0 до 4.17.3
  • jupyter_core от 4.11.2 до 5.2.0
  • kiwisolver от 1.4.2 до 1.4.4
  • MarkupSafe от 2.0.1 до 2.1.1
  • matplotlib от 3.5.2 до 3.7.0
  • nbconvert от 6.4.4 до 6.5.4
  • nbformat от 5.5.0 до 5.7.0
  • nest-asyncio от 1.5.5 до 1.5.6
  • записная книжка от 6.4.12 до 6.5.2
  • numpy от 1.21.5 до 1.23.5
  • упаковка от 21.3 до 22.0
  • pandas от 1.4.4 до 1.5.3
  • pathspec от 0.9.0 до 0.10.3
  • patsy от 0.5.2 до 0.5.3
  • Подушка от 9.2.0 до 9.4.0
  • pip от 22.2.2 до 22.3.1
  • protobuf от 3.19.4 до 4.24.0
  • pytoolconfig от 1.2.2 до 1.2.5
  • pytz с 2022.1 по 2022.7
  • s3transfer от 0.6.0 до 0.6.1
  • seaborn с 0.11.2 до 0.12.2
  • setuptools от 63.4.1 до 65.6.3
  • супсев с 2.3.1 до 2.3.2.post1
  • stack-data от 0.6.2 до 0.2.0
  • statsmodels от 0.13.2 до 0.13.5
  • terminado от 0.13.1 до 0.17.1
  • признаки от 5.1.1 до 5.7.1
  • typing_extensions от 4.3.0 до 4.4.0
  • urllib3 от 1.26.11 до 1.26.14
  • virtualenv от 20.16.3 до 20.16.7
  • колесо от 0.37.1 до 0.38.4
• Обновленные библиотеки R:
  • стрелка от 10.0.1 до 12.0.1
  • база от 4.2.2 до 4.3.1
  • БОЛЬШОЙ двоичный объект от 1.2.3 до 1.2.4
  • веник от 1.0.3 до 1.0.5
  • bslib от 0.4.2 до 0.5.0
  • cachem от 1.0.6 до 1.0.8
  • caret от 6.0-93 до 6.0-94
  • chron от 2.3-59 до 2.3-61
  • класс от 7.3-21 до 7.3-22
  • cli от 3.6.0 до 3.6.1
  • часы от 0.6.1 до 0.7.0
  • commonmark от 1.8.1 до 1.9.0
  • компилятор от 4.2.2 до 4.3.1
  • cpp11 от 0.4.3 до 0.4.4
  • curl от 5.0.0 до 5.0.1
  • data.table от 1.14.6 до 1.14.8
  • наборы данных от 4.2.2 до 4.3.1
  • dbplyr от 2.3.0 до 2.3.3
  • дайджест от 0.6.31 до 0.6.33
  • от 0.4.2 до 0.4.3
  • dplyr от 1.1.0 до 1.1.2
  • dtplyr от 1.2.2 до 1.3.1
  • оценка от 0.20 до 0,21
  • fastmap от 1.1.0 до 1.1.1
  • fontawesome от 0.5.0 до 0.5.1
  • fs от 1.6.1 до 1.6.2
  • будущее от 1.31.0 до 1.33.0
  • future.apply от 1.10.0 до 1.11.0
  • гигль с 1.3.0 до 1.5.1
  • ggplot2 от 3.4.0 до 3.4.2
  • gh от 1.3.1 до 1.4.0
  • glmnet от 4.1-6 до 4.1-7
  • googledrive от 2.0.0 до 2.1.1
  • googlesheets4 от 1.0.1 до 1.1.1
  • графика от 4.2.2 до 4.3.1
  • grDevices от 4.2.2 до 4.3.1
  • сетка от 4.2.2 до 4.3.1
  • gtable от 0.3.1 до 0.3.3
  • hardhat от 1.2.0 до 1.3.0
  • haven от 2.5.1 до 2.5.3
  • hms от 1.1.2 до 1.1.3
  • htmltools от 0.5.4 до 0.5.5
  • htmlwidgets от 1.6.1 до 1.6.2
  • httpuv от 1.6.8 до 1.6.11
  • httr от 1.4.4 до 1.4.6
  • ipred от 0.9-13 до 0,9-14
  • jsonlite от 1.8.4 до 1.8.7
  • KernSmooth от 2.23-20 до 2.23-21
  • трикотаж от 1,42 до 1,43
  • более поздней версии от 1.3.0 до 1.3.1
  • латтии от 0.20-45 до 0,21-8
  • лава от 1.7.1 до 1.7.2.1
  • lubridate от 1.9.1 до 1.9.2
  • markdown от 1.5 до 1.7
  • МАСС с 7.3-58.2 до 7.3-60
  • Матрица от 1.5-1 до 1.5-4.1
  • Методы от 4.2.2 до 4.3.1
  • mgcv от 1,8-41 до 1,8-42
  • modelr от 0.1.10 до 0.1.11
  • nnet от 7.3-18 до 7.3-19
  • opensl от 2.0.5 до 2.0.6
  • параллельная от 4.2.2 до 4.3.1
  • параллельно от 1.34.0 до 1.36.0
  • столб с 1.8.1 до 1.9.0
  • pkgbuild от 1.4.0 до 1.4.2
  • pkgload от 1.3.2 до 1.3.2.1
  • pROC от 1.18.0 до 1.18.4
  • processx от 3.8.0 до 3.8.2
  • prodlim с 2019.11.13 до 2023.03.31
  • profvis от 0.3.7 до 0.3.8
  • ps от 1.7.2 до 1.7.5
  • Rcpp от 1.0.10 до 1.0.11
  • readr от 2.1.3 до 2.1.4
  • readxl от 1.4.2 до 1.4.3
  • рецепты от 1.0.4 до 1.0.6
  • rlang от 1.0.6 до 1.1.1
  • rmarkdown от 2.20 до 2.23
  • Rserve от 1.8-12 до 1.8-11
  • RSQLite от 2.2.20 до 2.3.1
  • rstudioapi от 0.14 до 0.15.0
  • sass от 0.4.5 до 0.4.6
  • блестящий от 1.7.4 до 1.7.4.1
  • sparklyr от 1.7.9 до 1.8.1
  • SparkR от 3.4.1 до 3.5.0
  • splines от 4.2.2 до 4.3.1
  • статистика от 4.2.2 до 4.3.1
  • статистика4 от 4.2.2 до 4.3.1
  • выживание от 3.5-3 до 3,5-5
  • sys от 3.4.1 до 3.4.2
  • tcltk от 4.2.2 до 4.3.1
  • testthat от 3.1.6 до 3.1.10
  • tibble от 3.1.8 до 3.2.1
  • tidyverse от 1.3.2 до 2.0.0
  • tinytex от 0,44 до 0,45
  • средства от 4.2.2 до 4.3.1
  • tzdb от 0.3.0 до 0.4.0
  • usethis от 2.1.6 до 2.2.2.2
  • utils от 4.2.2 до 4.3.1
  • vctrs от 0.5.2 до 0.6.3
  • viridisLite от 0.4.1 до 0.4.2
  • vroom от 1.6.1 до 1.6.3
  • waldo от 0.4.0 до 0.5.1
  • xfun от 0,37 до 0,39
  • xml2 от 1.3.3 до 1.3.5
  • zip от 2.2.2 до 2.3.0
• Обновленные библиотеки Java:
  • com.fasterxml.джексон.core.джексон-заметки от 2.14.2 до 2.15.2
  • com.fasterxml.jackson.core.jackson-core-core от 2.14.2 до 2.15.2
  • com.fasterxml.джексон.core.джексон-databind с 2.14.2 до 2.15.2
  • com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.14.2 до 2.15.2
  • com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.14.2 до 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.13.4 до 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer от 2.14.2 до 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 от 2.14.2 до 2.15.2
  • com.github.luben.zstd-jni от 1.5.2-5 до 1.5.5-4
  • com.google.code.gson.gson от 2.8.9 до 2.10.1
  • com.google.crypto.tink.tink.tink с 1.7.0 до 1.9.0
  • commons-codec.commons-codec с 1.15 по 1.16.0
  • commons-io.commons-io с 2.11.0 до 2.13.0
  • io.airlift.aircompressor от 0,21 до 0,24
  • io.dropwizard.metrics.metrics-core от 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-graphite от 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks с 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 с 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-jmx от 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-json от 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-jvm от 4.2.10 до 4.2.19
  • io.dropwizard.metrics.metrics-servlets от 4.2.10 до 4.2.19
  • io.netty.netty-all от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-buffer от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-codec от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-codec-http с 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-codec-http2 с 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-codec-socks от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-common с 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-handler от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-handler-proxy от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-resolver от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-transport от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-transport-classes-epoll от 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue с 4.1.87.Final до 4.1.93.Final
  • io.netty.netty-transport-native-epoll от 4.1.87.Final-linux-x86_64 до 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue от 4.1.87.Final-osx-x86_64 до 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common от 4.1.87.Final до 4.1.93.Final
  • org.apache.arrow.arrow-format от 11.0.0 до 12.0.1
  • org.apache.arrow.arrow-memory-core с 11.0.0 до 12.0.1
  • org.apache.arrow.arrow-memory-netty от 11.0.0 до 12.0.1
  • org.apache.arrow.arrow-vector от 11.0.0 до 12.0.1
  • org.apache.avro.avro с 1.11.1 до 1.11.2
  • org.apache.avro.avro-ipc с 1.11.1 до 1.11.2
  • org.apache.avro.avro-mapred с 1.11.1 до 1.11.2
  • org.apache.commons.commons-compress от 1.21 до 1.23.0
  • org.apache.hadoop.hadoop-client-runtime с 3.3.4 до 3.3.6
  • org.apache.log4j.log4j-1.2-api от 2.19.0 до 2.20.0
  • org.apache.log4j.log4j-api с 2.19.0 до 2.20.0
  • org.apache.log4j.log4j-core с 2.19.0 до 2.20.0
  • org.apache.log4j.log4j-slf4j2-impl от 2.19.0 до 2.20.0
  • org.apache.orc.orc-core от 1.8.4-shaded-protobuf до 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce от 1.8.4-shaded-protobuf до 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims от 1.8.4 до 1.9.0
  • org.apache.xbean.xbean-asm9-оттеняется от 4.22 до 4.23
  • org.checkerframework.checker-qual от 3.19.0 до 3.31.0
  • org.glassfish.jersey.container.container-servlet от 2.36 до 2.40
  • org.glassfish.jersey.container.container-servlet-core от 2.36 до 2.40
  • org.glassfish.jersey.core.jersey-client с 2.36 по 2.40
  • org.glassfish.jersey.core.джерси-common с 2.36 по 2.40
  • org.glassfish.jersey.core.джерси-server с 2.36 по 2.40
  • org.glassfish.jersey.inject.jersey-hk2 с 2.36 по 2.40
  • org.javasist.javassist с 3.25.0-GA до 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client с 2.7.4 по 2.7.9
  • org.postgresql.postgresql с 42.3.8 до 42.6.0
  • org.roaringbitmap.RoaringBitmap с 0.9.39 до 0.9.45
  • org.roaringbitmap.shims от 0.9.39 до 0.9.45
  • org.rocksdb.rocksdbjni с 7.8.3 до 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 от 2.4.3 до 2.9.0
  • org.slf4j.jcl-over-slf4j от 2.0.6 до 2.0.7
  • org.slf4j.jul-to-slf4j от 2.0.6 до 2.0.7
  • org.slf4j.slf4j-api от 2.0.6 до 2.0.7
  • org.xerial.snappy.snappy-java с 1.1.10.1 до 1.1.10.3
  • org.yaml.snakeyaml с 1.33 по 2.0

Apache Spark

Databricks Runtime 14.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-45109] [DBRRM-462][SC-142247][SQL][CONNECT] Исправление функций aes_decrypt и ln в Connect
• [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] Исправление унаследованных именованных элементов для работы в createDataFrame
• [SPARK-44795] [DBRRM-462][SC-139720][CONNECT] Кэш CodeGenerator должен иметь определенный классloader
• [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][SC-139767][CONNECT] Работа потоковых запросов с помощью управления артефактами Connect
• [SPARK-44791] [DBRRM-462][SC-139623][CONNECT] Создание стрелкиDeserializer работает с созданными классами REPL
• [SPARK-44876] [DBRRM-480][SC-140431][PYTHON] Исправление UDF Python, оптимизированного со стрелками, в Spark Connect
• [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Поддержка функций protobuf python для Spark Connect
• [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Удалить функцию uuid/random/chr из PySpark
• [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Исправьте значения метаданных для артефактов
• [SPARK-44822] [DBRRM-464][PYTHON][SQL] Создание определяемых пользователем функций Python по умолчанию, недетерминированных
• [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Рефакторинг стрелки Python UDTF
• [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Добавление отсутствующих метаданных клиента в вызовы
• [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: объект NoneType не имеет атрибута "message"
• [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager для отслеживания всех выполнений
• [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Отключение оптимизации со стрелками по умолчанию для определяемых пользователем файлов Python
• [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Выполнение ExecuteGrpcResponseSender в повторном выполнении в новом потоке для исправления элемента управления потоком
• [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Создание всех итераторов CloseableIterator
• [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] Повторная попытка ExecutePlan в случае, если первоначальный запрос не достиг сервера в клиенте Python
• [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] Повторная попытка ExecutePlan в случае, если первоначальный запрос не достиг сервера
• [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Ошибки, перенесенные в sq/api, также должны использовать AnalysisException
• [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Добавление объекта Encoders
• [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Отслеживание завершения потокового запроса при истечении времени ожидания сеанса клиента для Spark Connect
• [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute в ExecutePlanResponseReattachableIterator после того, как он получает ошибку с сервера
• [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Удалить зависимость клиента подключения Catalyst
• [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Отпустите выполнение при закрытии итератора в клиенте Python
• [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] Удалите сеансовый каталог при вытеснении изолированного сеансового кэша
• [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Оставьте без дальнеу итераторов
• [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Клиент Python для повторного подключения к существующему выполнению в Spark Connect
• [SPARK-44637] [SC-138571] Синхронизация доступа к ExecuteResponseObserver
• [SPARK-44538] [SC-138178][CONNECT][SQL] Восстановление Row.jsonValue и друзей
• [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Повторное подключение к выполнению в Spark Connect
• [SPARK-44418] [SC-136807][PYTHON][CONNECT] Обновление protobuf с 3.19.5 до 3.20.3
• [SPARK-44587] [SC-138315][SQL][CONNECT] Увеличить предел рекурсии маршаллера protobuf
• [SPARK-44591] [SC-138292][CONNECT][SQL] Добавление jobTags в SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][SQL] ДедупликацияRelations должна хранить метаданные Псевдонима при создании нового экземпляра.
• [SPARK-44542] [SC-138323][CORE] С нетерпением загружайте класс SparkExitCode в обработчик исключений
• [SPARK-44264] [SC-138143][PYTHON]Тестирование E2E для Deepspeed
• [SPARK-43997] [SC-138347][CONNECT] Добавление поддержки определяемых пользователем java
• [SPARK-44507] [SQL][CONNECT][14.x][14.0] Перемещение AnalysisException в sql/api
• [SPARK-44453] [SC-137013][PYTHON] Использование диффлиба для отображения ошибок в assertDataFrameEqual
• [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Добавление страницы пользовательского интерфейса Spark для Spark Connect
• [SPARK-44611] [SC-138415][CONNECT] Не исключить scala-xml
• [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Перемещение вывода кодировщика в sql/api
• [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Исправление проблемы загрузки класса cau...
• [SPARK-44590] [SC-138296][SQL][CONNECT] Удалите ограничение пакетной записи со стрелками для SqlCommandResult
• [SPARK-43968] [SC-138115][PYTHON] Улучшение сообщений об ошибках для определяемых пользователем файлов Python с неправильным числом выходных данных
• [SPARK-44432] [SC-138293][SS][CONNECT] Завершение потоковых запросов при истечении времени ожидания сеанса в Spark Connect
• [SPARK-44584] [SC-138295][CONNECT] Установите информацию client_type для запросов AddArtifactsRequest и ArtifactStatusesRequest в клиенте Scala.
• [SPARK-44552] [14.0][SC-138176][SQL] Удаление определения private object ParseState из IntervalUtils
• [SPARK-43660] [SC-136183][CONNECT][PS] Включение resample с помощью Spark Connect
• [SPARK-44287] [SC-136223][SQL] Используйте API PartitionEvaluator в операторах RowToColumnarExec и ColumnarToRowExec SQL.
• [SPARK-39634] [SC-137566][SQL] Разрешить разделение файлов в сочетании с созданием индекса строк
• [SPARK-44533] [SC-138058][PYTHON] Добавление поддержки для аккумулятора, трансляции и файлов Spark в анализе UDTF Python
• [SPARK-44479] [SC-138146][PYTHON] Исправить ArrowStreamPandasUDFSerializer для принятия DataFrame pandas без столбцов
• [SPARK-44425] [SC-138177][CONNECT] Проверка того, что предоставленный пользователем sessionId является UUID
• [SPARK-44535] [SC-138038][CONNECT][SQL] Перемещение необходимого API потоковой передачи в sql/api
• [SPARK-44264] [SC-136523][ML][PYTHON] Написание класса Deepspeed Distributed Learning DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][SQL] Исправление resolveInlineTables не может обрабатываться с выражением RuntimeReplaceable
• [SPARK-44060] [SC-135693][SQL] Code-gen для присоединения внешнего хэша на стороне сборки
• [SPARK-44496] [SC-137682][SQL][CONNECT] Перемещение интерфейсов, необходимых SCSC в sql/api
• [SPARK-44532] [SC-137893][CONNECT][SQL] Перемещение ArrowUtils в sql/api
• [SPARK-44413] [SC-137019][PYTHON] Уточнение ошибки для неподдерживаемого типа данных arg в assertDataFrameEqual
• [SPARK-44530] [SC-138036][CORE][CONNECT] Перемещение SparkBuildInfo в common/util
• [SPARK-36612] [SC-133071][SQL] Поддержка построения левого внешнего соединения слева или правого внешнего соединения справа в перемешанном хэш-соединении
• [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils сгенерировал неправильные параметры для файлов JAR
• [SPARK-44449] [SC-137818][CONNECT] Переадресации для прямой десериализации стрелки
• [SPARK-44131] [SC-136346][SQL] Добавление call_function и нерекомендуемого call_udf для API Scala
• [SPARK-44541] [SQL] Удаление бесполезной функции hasRangeExprAgainstEventTimeCol из UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][SQL] Значение maxRows/maxRowsPerPartition имеет значение 0, если условие falseLiteral
• [SPARK-44540] [SC-137873][UI] Удаление неиспользуемой таблицы стилей и файлов javascript jsonFormatter
• [SPARK-44466] [SC-137856][SQL] Исключение конфигураций, начиная с SPARK_DRIVER_PREFIX измененных конфигураций и SPARK_EXECUTOR_PREFIX из измененных конфигураций
• [SPARK-44477] [SC-137508][SQL] Рассматривать TYPE_CHECK_FAILURE_WITH_HINT как подкласс ошибки
• [SPARK-44509] [SC-137855][PYTHON][CONNECT] Добавление набора API отмены заданий в клиенте Python Spark Connect
• [SPARK-44059] [SC-137023] Добавление поддержки анализатора именованных аргументов для встроенных функций
• [SPARK-38476] [SC-136448][CORE] Использование класса ошибок в org.apache.spark.storage
• [SPARK-44486] [SC-137817][PYTHON][CONNECT] Реализация функции PyArrow self_destruct для toPandas
• [SPARK-44361] [SC-137200][SQL] Использование API PartitionEvaluator в MapInBatchExec
• [SPARK-44510] [SC-137652][UI] Обновите dataTables до версии 1.13.5 и удалите некоторые неиспользуемые файлы PNG
• [SPARK-44503] [SC-137808][SQL] Добавление грамматики SQL PARTITION для предложения BY и ORDER BY после TABLE аргументов для вызовов TVF
• [SPARK-38477] [SC-136319][CORE] Использование класса ошибок в org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][CONNECT] Детальное прерывание Spark Connect
• [SPARK-44380] [SC-137415][SQL][PYTHON] Поддержка UDTF Python для анализа в Python
• [SPARK-43923] [SC-137020][CONNECT] Post listenerBus events durin...
• [SPARK-44303] [SC-136108][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][UI] Столбец гистограммы кучи неожиданно отображается с полем выбора всех
• [SPARK-44409] [SC-136975][SQL] Обработка char/varchar в Dataset.to для поддержания согласованности с другими пользователями
• [SPARK-44334] [SC-136576][SQL][пользовательский интерфейс] Состояние в ответе REST API для неудачного DDL/DML без заданий не должно быть выполнено, а не завершено.
• [SPARK-42309] [SC-136703][SQL] Введите INCOMPATIBLE_DATA_TO_TABLE и подклассы.
• [SPARK-44367] [SC-137418][SQL][пользовательский интерфейс] Отображение сообщения об ошибке в пользовательском интерфейсе для каждого неудачного запроса
• [SPARK-44474] [SC-137195][CONNECT] Повторное создание ответа "Проверка наблюдения" в SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[1067,1150 1220 1265 1277]
• [SPARK-44310] [SC-136055][CONNECT] Журнал запуска Connect Server должен отображать имя узла и порт
• [SPARK-44309] [SC-136193][UI] Отображение времени добавления и удаления исполнителей на вкладке "Исполнителей"
• [SPARK-42898] [SC-137556][SQL] Помечайте, что приведения строк или дат не требуется идентификатор часового пояса
• [SPARK-44475] [SC-137422][SQL][CONNECT] Перемещение DataType и Parser в sql/api
• [SPARK-44484] [SC-137562][SS]Добавление batchDuration в метод StreamingQueryProgress json
• [SPARK-43966] [SC-137559][SQL][PYTHON] Поддержка недетерминированных табличных функций
• [SPARK-44439] [SC-136973][CONNECT][SS]Исправлен списокListeners для отправки идентификаторов только клиенту
• [SPARK-44341] [SC-137054][SQL][PYTHON] Определите логику вычислений с помощью API PartitionEvaluator и используйте ее в WindowExec и WindowInPandasExec
• [SPARK-43839] [SC-132680][SQL] Преобразование _LEGACY_ERROR_TEMP_1337 в UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][CONNECT][SS]Добавление поддержки прослушивателя потоковой передачи в Scala для Spark Connect
• [SPARK-44260] [SC-135618][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[1215-1245-2329] и использование checkError() для проверки исключения в _CharVarchar_Suite
• [SPARK-42454] [SC-136913][SQL] SPJ: инкапсулирует все связанные параметры SPJ в BatchScanExec
• [SPARK-44292] [SC-135844][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][Подключение] Десериализация прямых стрелок
• [SPARK-44324] [SC-137172][SQL][CONNECT] Перемещение CaseInsensitiveMap в sql/api
• [SPARK-44395] [SC-136744][SQL] Добавление теста обратно в StreamingTableSuite
• [SPARK-44481] [SC-137401][CONNECT][PYTHON] Создание api pyspark.sql.is_remote
• [SPARK-44278] [SC-137400][CONNECT] Реализация перехватчика сервера GRPC, который очищает локальные свойства потока
• [SPARK-44264] [SC-137211][ML][PYTHON] Поддержка распределенного обучения функций с помощью deepspeed
• [SPARK-44430] [SC-136970][SQL] Добавление причины, когда AnalysisException параметр недопустим
• [SPARK-44264] [SC-137167][ML][PYTHON] Включение FunctionPickler в TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Создание общедоступного API assertSchemaEqual
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-43203] [SC-134528][SQL] Перенос всех случаев команды Drop Table в DataSource V2
• [SPARK-43755] [SC-137171][CONNECT][ДОПОЛНИТЕЛЬНЫЙ] Открытие AdaptiveSparkPlanHelper.allChildren вместо использования копирования в MetricGenerator
• [SPARK-44264] [SC-137187][ML][PYTHON] Рефакторинг TorchDistributor, чтобы разрешить настраиваемый указатель функции "run_training_on_file"
• [SPARK-43755] [SC-136838][CONNECT] Перемещение выполнения из SparkExecutePlanStreamHandler и в другой поток
• [SPARK-44411] [SC-137198][SQL] Использование API PartitionEvaluator в ArrowEvalPythonExec и BatchEvalPythonExec
• [SPARK-44375] [SC-137197][SQL] Использование API PartitionEvaluator в DebugExec
• [SPARK-43967] [SC-137057][PYTHON] Поддержка обычных определяемых пользователем табличных функций Python с пустыми значениями возврата
• [SPARK-43915] [SC-134766][SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][PYTHON][CONNECT] Поддержка UDTF Python в Spark Connect
• [SPARK-44154] [SC-137050][SQL] Добавлены дополнительные модульные тесты в BitmapExpressionUtilsSuite и внесены незначительные улучшения в выражения статистических выражений bitmap
• [SPARK-44169] [SC-135497][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][CONNECT][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][SQL][PYTHON] Поддержка определяемых пользователем пользователей Python со стрелками
• [SPARK-44321] [SC-136308][CONNECT] Decouple ParseException от AnalysisException
• [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Повторное test_artifact с соответствующими изменениями
• [SPARK-44145] [SC-136698][SQL] Обратный вызов при готовности к выполнению
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Включение теста оценки перекрестного проверяющего элемента
• [SPARK-44399] [SC-136669][PYHTON][CONNECT] Импорт SparkSession в UDF Python только при использованииArrow — None
• [SPARK-43631] [SC-135300][CONNECT][PS] Включение Series.интерполяция с помощью Spark Connect
• [SPARK-44374] [SC-136544][PYTHON][ML] Добавьте пример кода для распределенного машинного обучения для spark connect
• [SPARK-44282] [SC-135948][CONNECT] Подготовка синтаксического анализа DataType для использования в клиенте Spark Connect Scala
• [SPARK-44052] [SC-134469][CONNECT][PS] Добавить util, чтобы получить правильный класс Column или DataFrame для Spark Connect.
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Реализация перекрестного оценки проверяющего элемента
• [SPARK-44290] [SC-136300][CONNECT] Файлы и архивы на основе сеансов в Spark Connect
• [SPARK-43710] [SC-134860][PS][CONNECT] Поддержка functions.date_part Spark Connect
• [SPARK-44036] [SC-134036][CONNECT][PS] Очистка и консолидация билетов для упрощения задач.
• [SPARK-44150] [SC-135790][PYTHON][CONNECT] Явное приведение стрелки для несогласованного типа возвращаемого значения в UDF Со стрелками Python
• [SPARK-43903] [SC-134754][PYTHON][CONNECT] Улучшение поддержки входных данных ArrayType в UDF со стрелками Python
• [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Реализация вычислителя классификации
• [SPARK-44255] [SC-135704][SQL] Перемещение StorageLevel в common/utils
• [SPARK-42169] [SC-135735] [SQL] Реализация создания кода для функции to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] Рефакторинг PythonUDTFRunner для отправки возвращаемого типа отдельно
• [SPARK-43353] [SC-132734][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
• [SPARK-44133] [SC-134795][PYTHON] Обновление MyPy с версии 0.920 до 0.982
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Event Serde в формате JSON
• [SPARK-43353] Возврат "[SC-132734][ES-729763][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок"
• [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Перемещение пространства имен из pyspark.mlv2pyspark.ml.connect
• [SPARK-44220] [SC-135484][SQL] Перемещение StringConcat в sql/api
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listFunctions
• [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Реализация оценки конвейера для машинного обучения в spark connect
• [SPARK-438888] [SC-132893][CORE] Переместите ведение журнала в общие и бесполезные
• [SPARK-42941] Возврат "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde в формате JSON"
• [SPARK-43624] [SC-134557][PS][CONNECT] Добавьте EWM в SparkConnectPlanner.
• [SPARK-43981] [SC-134137][PYTHON][ML] Базовая реализация сохранения и загрузки для машинного обучения при подключении spark
• [SPARK-43205] [SC-133371][SQL] исправление SQLQueryTestSuite
• [SPARK-43376] Отменить "[SC-130433][SQL] Улучшение повторного использования подзапросов с использованием кэша таблиц"
• [SPARK-44040] [SC-134366][SQL] Исправление статистики вычислений, если узел AggregateExec выше QueryStageExec
• [SPARK-43919] [SC-133374][SQL] Извлечение функциональных возможностей JSON из строки
• [SPARK-42618] [SC-134433][PYTHON][PS] Предупреждение о изменениях поведения, связанных с pandas, в следующем крупном выпуске
• [SPARK-43893] [SC-133381][PYTHON][CONNECT] Поддержка не атомарных типов данных в UDF Python, оптимизированной со стрелками
• [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Включите pyspark.pandas.spark.functions.{kurt, skew} в Spark Connect.
• [SPARK-43798] [SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблиц Python
• [SPARK-43616] [SC-133849][PS][CONNECT] Включение pyspark.pandas.spark.functions.mode в Spark Connect
• [SPARK-43133] [SC-133728] Поддержка Foreach клиента Scala Client DataStreamWriter
• [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Исправление (NullOps|NumOps).(eq|ne) для Spark Connect.
• [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Включение pyspark.pandas.spark.functions.{var, stddev} в Spark Connect
• [SPARK-43617] [SC-133893][PS][CONNECT] Включение pyspark.pandas.spark.functions.product в Spark Connect
• [SPARK-43610] [SC-133832][CONNECT][PS] Включите InternalFrame.attach_distributed_column в Spark Connect.
• [SPARK-43621] [SC-133852][PS][CONNECT] Включение pyspark.pandas.spark.functions.repeat в Spark Connect
• [SPARK-43921] [SC-133461][PROTOBUF] Создание файлов дескриптора Protobuf во время сборки
• [SPARK-43613] [SC-133727][PS][CONNECT] Включение pyspark.pandas.spark.functions.covar в Spark Connect
• [SPARK-43376] [SC-130433][SQL] Улучшение повторного использования вложенных запросов с кэшем таблиц
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Реализация SparkSession.addArtifact(s) в клиенте Python
• [SPARK-43920] [SC-133611][SQL][CONNECT] Создание модуля SQL/API
• [SPARK-43097] [SC-133372][ML] Новый оценщик логистической регрессии pyspark ML, реализованный на вершине распространителя
• [SPARK-43783] [SC-133240][SPARK-43784][SPARK-437888][ML] Make MLv2 (ML on spark connect) поддерживает pandas >= 2.0
• [SPARK-43024] [SC-132716][PYTHON] Обновление pandas до версии 2.0.0
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Добавить необязательный шаблон для Catalog.listDatabases
• [SPARK-39281] [SC-131422][SQL] Ускорение вывода типа timestamp с устаревшим форматом в источнике данных JSON/CSV
• [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API api foreach() клиента Python DataStreamWriter
• [SPARK-43545] [SC-132378][SQL][PYTHON] Поддержка типа вложенной метки времени
• [SPARK-43353] [SC-132734][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
• [SPARK-43304] [SC-129969][CONNECT][PYTHON] Миграция NotImplementedError в PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] Базовые интерфейсы SparkML для spark3.5: estimator/преобразователь/модель/оценка
• [SPARK-43128] Возврат "[SC-131628][CONNECT][SS] Сделать recentProgress и lastProgress вернуться StreamingQueryProgress в соответствии с собственным API Scala"
• [SPARK-43543] [SC-131839][PYTHON] Исправление вложенного поведения MapType в UDF Pandas
• [SPARK-38469] [SC-131425][CORE] Использование класса ошибок в org.apache.spark.network
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Расширьте INTERNAL_ERROR с категориями и добавьте класс ошибок INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Перемещение платформы ошибок в общий модуль utils
• [SPARK-43440] [SC-131229][PYTHON][CONNECT] Поддержка регистрации оптимизированной для стрелки UDF Python
• [SPARK-43528] [SC-131531][SQL][PYTHON] Поддержка повторяющихся имен полей в createDataFrame с pandas DataFrame
• [SPARK-43412] [SC-130990][PYTHON][CONNECT] Введение SQL_ARROW_BATCHED_UDF EvalType для пользовательских файлов Python, оптимизированных для стрелок
• [SPARK-40912] [SC-130986][CORE]Затраты на исключения в KryoDeserializationStream
• [SPARK-39280] [SC-131206][SQL] Ускорение вывода типа timestamp с использованием пользовательского формата в источнике данных JSON/CSV
• [SPARK-43473] [SC-131372][PYTHON] Тип структуры поддержки в createDataFrame из pandas DataFrame
• [SPARK-43443] [SC-131024][SQL] Добавление теста для вывода типа Timestamp при использовании недопустимого значения
• [SPARK-41532] [SC-130523][CONNECT][КЛИЕНТ] Добавление проверки операций с несколькими кадрами данных
• [SPARK-43296] [SC-130627][CONNECT][PYTHON] Перенос ошибок сеанса Spark Connect в класс ошибок
• [SPARK-43324] [SC-130455][SQL] Обработка команд UPDATE для источников на основе дельта
• [SPARK-43347] [SC-130148][PYTHON] Удаление поддержки Python 3.7
• [SPARK-43292] [SC-130525][CORE][CONNECT] Переход к модулю и упрощение ExecutorClassLoadercoreExecutor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Добавить загрузчик данных распространителя факела, который загружает данные из данных секции Spark
• [SPARK-43331] [SC-130061][CONNECT] Добавление Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][PYTHON] Миграция ValueError из типов SQL Spark в класс ошибок
• [SPARK-43261] [SC-129674][PYTHON] Миграция TypeError из типов SQL Spark в класс ошибок.
• [SPARK-42992] [SC-129465][PYTHON] Введение PySparkRuntimeError
• [SPARK-16484] [SC-129975][SQL] Добавление поддержки Datasketches HllSketch
• [SPARK-43165] [SC-128823][SQL] Перемещение canWrite в DataTypeUtils
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Пользовательские функции Python, оптимизированные для стрелок, в Spark Connect
• [SPARK-43084] [SC-128654] [SS] Добавление поддержки applyInPandasWithState для spark connect
• [SPARK-42657] [SC-128621][CONNECT] Поддержка поиска и передачи файлов классов REPL на стороне клиента на сервер как артефакты
• [SPARK-43098] [SC-77059][SQL] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
• [SPARK-42884] [SC-126662][CONNECT] Добавление интеграции Ammonite REPL
• [SPARK-42994] [SC-128333][ML][CONNECT] Распространитель PyTorch поддерживает локальный режим
• [SPARK-41498] [SC-125343]Возврат "Распространение метаданных через объединение"
• [SPARK-42993] [SC-127829][ML][CONNECT] Совместимость распространителя PyTorch с Spark Connect
• [SPARK-42683] [LC-75] Автоматическое переименование конфликтующих столбцов метаданных
• [SPARK-42874] [SC-126442][SQL] Включение новой платформы тестирования золотого файла для анализа для всех входных файлов
• [SPARK-42779] [SC-126042][SQL] Разрешить записям V2 указывать рекомендательный размер раздела перетасовки
• [SPARK-42891] [SC-126458][CONNECT][PYTHON] Реализация API сопоставления CoGrouped
• [SPARK-42791] [SC-126134][SQL] Создание платформы тестирования золотого файла для анализа
• [SPARK-42615] [SC-124237][CONNECT][PYTHON] Рефакторинг RPC Анализа и добавление session.version
• [SPARK-41302] Вернуть "[ВСЕ ТЕСТЫ][SC-122423][SQL] Назначить имя _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][PYTHON] Улучшены сообщения об ошибках для applyInPandas при несоответствии схемы
• [SPARK-40770] Revert "[ALL TESTS][SC-122652][PYTHON] Улучшены сообщения об ошибках для applyInPandas при несоответствии схемы".
• [SPARK-42398] [SC-123500][SQL] Улучшение интерфейса значения столбца по умолчанию DS версии 2
• [SPARK-40770] [ВСЕ ТЕСТЫ][SC-122652][PYTHON] Улучшены сообщения об ошибках для applyInPandas для несоответствия схемы
• [SPARK-40770] Отменить "[SC-122652][PYTHON] Улучшенные сообщения об ошибках для applyInPandas при несоответствии схемы".
• [SPARK-40770] [SC-122652][PYTHON] Улучшены сообщения об ошибках для функции applyInPandas при несоответствии схемы.
• [SPARK-42038] [ВСЕ ТЕСТЫ] Возврат "Вернуться" [SC-122533][SQL] SPJ: поддержка частично кластеризованного распределения""
• [SPARK-42038] Возврат "[SC-122533][SQL] SPJ: поддержка частично кластеризованного распределения"
• [SPARK-42038] [SC-122533][SQL] SPJ: поддержка частично кластеризованного распределения
• [SPARK-40550] [SC-120989][SQL] DataSource версии 2. Обработка команд DELETE для разностных источников
• [SPARK-40770] Revert "[SC-122652][PYTHON] Улучшены сообщения об ошибках при применении applyInPandas для несоответствия схемы".
• [SPARK-40770] [SC-122652][PYTHON] Улучшены сообщения об ошибках для applyInPandas в случае несоответствия схемы
• [SPARK-41302] Возврат "[SC-122423][SQL] Назначьте имя _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Возврат "[SC-120989][SQL] DataSource V2: обработка команд DELETE для разностных источников"
• [SPARK-42123] Revert "[SC-121453][SQL] Включить значения по умолчанию для столбцов в DESCRIBE и SHOW CREATE TABLE вывод"
• [SPARK-42146] [SC-121172][CORE] Рефакторинг Utils#setStringField для передачи сборки Maven при использовании этого метода модулем SQL
• [SPARK-42119] Отмена "[SC-121342][SQL] Добавить встроенные табличные функции inline и inline_outer"

Советы

• Исправление aes_decrypt и ln функций в Connect SPARK-45109
• Исправление унаследованных именованных кортежей для работы в createDataFrame SPARK-44980
• Кэш CodeGenerator теперь предназначен для классаloader [SPARK-44795]
• SparkListenerConnectOperationStarted.planRequest Добавлен [SPARK-44861]
• Работа потоковых запросов с помощью управления артефактами Connect [SPARK-44794]
• СтрелкаDeserializer работает с созданными классами REPL [SPARK-44791]
• Исправлена конфигурация UDF Python со стрелками в Spark Connect [SPARK-44876]
• Поддержка клиентов Scala и Go в Spark Connect SPARK-42554SPARK-43351
• Поддержка распределенного машинного обучения на основе PyTorch для Spark Connect SPARK-42471
• Поддержка структурированной потоковой передачи для Spark Connect в Python и Scala SPARK-42938
• Поддержка API Pandas для клиента Python Spark Connect SPARK-42497
• Введение пользовательских функций Python со стрелками SPARK-40307
• Поддержка пользовательских функций таблиц Python SPARK-43798
• Перенос ошибок PySpark на классы ошибок SPARK-42986
• PySpark Test Framework SPARK-44042
• Добавление поддержки Datasketches HllSketch SPARK-16484
• Встроенное улучшение функции SQL SPARK-41231
• предложение IDENTIFIERSPARK-43205
• Добавление функций SQL в Scala, Python и R API SPARK-43907
• Добавление поддержки именованных аргументов для функций SQL SPARK-43922
• Избегайте повторного запуска ненужных задач при удалении исполнителя при перемещении данных SPARK-41469
• Распределенное машинное обучение <> spark подключает SPARK-42471
• Распространитель DeepSpeed SPARK-44264
• Реализация контрольных точек журнала изменений для хранилища состояний RocksDB-43421
• Введение распространения подложки между операторами SPARK-42376
• Введение dropDuplicatesWithinWatermark SPARK-42931
• Усовершенствования управления памятью поставщика хранилища состояний RocksDB— SPARK-43311

Spark Connect

• Рефакторинг модуля SQL в sql и sql-api для создания минимального набора зависимостей, которые можно совместно использовать между клиентом Scala Spark Connect и Spark и избегает извлечения всех транзитивных зависимостей Spark. SPARK-44273
• Знакомство с клиентом Scala для Spark Connect SPARK-42554
• Поддержка API Pandas для клиента Python Spark Connect SPARK-42497
• Поддержка распределенного машинного обучения на основе PyTorch для Spark Connect SPARK-42471
• Поддержка структурированной потоковой передачи для Spark Connect в Python и Scala SPARK-42938
• Начальная версия клиента Go SPARK-43351
• Много улучшений совместимости между собственным кодом Spark и клиентами Spark Connect в Python и Scala
• Улучшена отладка и обработка запросов для клиентских приложений (асинхронная обработка, повторные попытки, длительные запросы)

SQL Spark

Функции

• Добавьте блок файла столбцов метаданных, начало и длина SPARK-42423
• Поддержка позиционных параметров в Scala/Java sql() SPARK-44066
• Добавление поддержки именованных параметров в средство синтаксического анализа для вызовов SPARK-43922
• Поддержка SELECT DEFAULT с ORDER BY, LIMIT, OFFSET для связи INSERT источника SPARK-43071
• Добавьте SQL-грамматику для конструкции BY PARTITION и ORDER BY после аргументов TABLE для вызовов TVF SPARK-44503
• Включить значения столбца по умолчанию в DESCRIBE и SHOW CREATE TABLE выходные данные SPARK-42123
• Добавить необязательный шаблон для Catalog.listCatalogs SPARK-43792
• Добавление необязательного шаблона для Catalog.listDatabases SPARK-43881
• Обратный вызов при готовности к выполнению SPARK-44145
• Поддержка инструкции Insert By Name SPARK-42750
• Добавление call_function для API Scala SPARK-44131
• Стабильные псевдонимы производных столбцов SPARK-40822
• Поддержка общих константных выражений в виде значений CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Поддержка вложенных запросов с корреляцией через INTERSECT/EXCEPT SPARK-36124
• предложение IDENTIFIERSPARK-43205
• РЕЖИМ ANSI: Conv должен возвращать ошибку, если внутреннее преобразование переполнено SPARK-42427

Функции

• Добавление поддержки Datasketches HllSketch SPARK-16484
• Поддержка режима CBC с помощью aes_encrypt()/aes_decrypt() SPARK-43038
• Поддержка правила синтаксического анализа аргументов TABLE для tableValuedFunction SPARK-44200
• Реализация функций растрового изображения SPARK-44154
• Добавление функции try_aes_decrypt() SPARK-42701
• array_insert должен завершиться ошибкой с индексом 0 SPARK-43011
• Добавление псевдонима to_varchar для to_char SPARK-43815
• Функция высокого порядка: реализация SPARK-41235 array_compact
• Добавление поддержки анализатора именованных аргументов для встроенных функций SPARK-44059
• Добавьте NULL для INSERT с пользовательскими списками, содержащими меньше столбцов, чем целевая таблица SPARK-42521
• Добавляет поддержку aes_encrypt IV и AAD SPARK-43290
• Функция DECODE возвращает неправильные результаты при передаче NULL SPARK-41668
• Поддержка udf "luhn_check" SPARK-42191
• Поддержка неявного разрешения псевдонимов бокового столбца в агрегатах SPARK-41631
• Поддержка неявного бокового псевдонима столбца в запросах с использованием оконных функций SPARK-42217
• Добавление псевдонимов функций 3-args DATE_ADD и DATE_DIFF SPARK-43492

Источники данных

• Поддержка Char/Varchar в каталоге для JDBC SPARK-42904
• Поддержка получения SQL ключевых слов динамически через JDBC API и TVF SPARK-43119
• DataSource V2: обработка команд MERGE для разностных источников SPARK-43885
• DataSource V2. Обработка команд MERGE для групповых источников SPARK-43963
• DataSource V2: обработка команд UPDATE для групповых источников SPARK-43975
• DataSource версии 2. Разрешить представление обновлений в виде удаления и вставки SPARK-43775
• Разрешить jdbc-диалектам переопределить запрос, используемый для создания таблицы SPARK-41516
• SPJ: поддержка частично кластеризованного распределения SPARK-42038
• DSv2 позволяет CTAS/RTAS резервировать нулированность схемы SPARK-43390
• Добавление spark.sql.files.maxPartitionNum SPARK-44021
• Обработка команд UPDATE для разностных источников SPARK-43324
• Разрешить записям версии 2 указывать рекомендательный размер раздела для перетасовки SPARK-42779
• Поддержка кодека сжатия lz4raw для Parquet SPARK-43273
• Avro: написание сложных профсоюзов SPARK-25050
• Ускорение вывода типа timestamp с использованием пользовательского формата в источнике данных JSON/CSV SPARK-39280
• Avro to Support custom десятичный тип, поддерживаемый Long SPARK-43901
• Избегайте перемешивания Storage-Partitioned соединения при несоответствии ключей секций, но выражения соединения совместимы SPARK-41413
• Изменение двоичного файла на неподдерживаемый тип данных в формате CSV SPARK-42237
• Разрешить Avro преобразовать тип объединения в SQL с стабильным именем поля с типом SPARK-433333
• Ускорение вывода типа timestamp с устаревшим форматом в источнике данных JSON/CSV SPARK-39281

Оптимизация запросов

• Исключение вложенных выражений поддерживает сочетание выражений SPARK-42815
• Улучшение оценки статистики соединения, если одна сторона может сохранить уникальность SPARK-39851
• Введите групповое ограничение окна для фильтра ранжирования с целью оптимизации вычисления top-k SPARK-37099
• Исправлено поведение NULL IN (пустого списка) в правилах оптимизации SPARK-44431
• Вывод и удаление ограничения окна через окно, если partitionSpec пуст SPARK-41171
• Удалите внешнее объединение, если все они являются различными агрегатными функциями SPARK-42583
• Свернуть два смежных окна с одинаковой секцией/порядком во вложенном запросе SPARK-42525
• Оптимизация ограничения с помощью пользовательских функций Python SPARK-42115
• Оптимизация порядка предикатов фильтрации SPARK-40045

Создание кода и выполнение запросов

• Фильтр среды выполнения должен поддерживать соединение с несколькими уровнями через shuffle, где одна сторона выступает в роли стороны создания фильтра SPARK-41674
• Поддержка Codegen для HiveSimpleUDF SPARK-42052
• Поддержка Codegen для HiveGenericUDF SPARK-42051
• Поддержка Codegen для внешнего хэш-соединения с перемешиванием на стороне сборки SPARK-44060
• Реализация создания кода для функции to_csv (StructsToCsv) SPARK-42169
• Поддержка AQE InMemoryTableScanExec SPARK-42101
• Поддержка построения левостороннего внешнего соединения или правостороннего внешнего соединения в перетасованном хэш-соединении SPARK-36612
• Уважение требуетсяDistributionAndOrdering в CTAS/RTAS SPARK-430888
• Объединение контейнеров в join на стороне потоковой передачи вещаемых данных SPARK-43107
• Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING SPARK-44251
• Исправление вложенного запроса ListQuery nullability SPARK-43413

Другие важные изменения

• Правильно задать значение NULL для ключей в соединениях USING SPARK-43718
• Исправление ошибки COUNT(*) является ошибкой NULL в сопоставленном скалярном подзапросе SPARK-43156
• DataFrame.joinWith с внешним соединением должен возвращать значение NULL для несоответствующей строки SPARK-37829
• Автоматическое переименование конфликтующих столбцов метаданных SPARK-42683
• Документируйте классы ошибок Spark SQL в пользовательской документации SPARK-42706

PySpark

Функции

• Поддержка позиционных параметров в sql() Python SPARK-44140
• Поддержка параметризованного SQL по sql() SPARK-416666
• Поддержка пользовательских функций таблиц Python SPARK-43797
• Поддержка настройки исполняемого файла Python для API функций UDF и pandas в процессе выполнения в рабочих процессах SPARK-43574
• Добавить DataFrame.offset в PySpark SPARK-43213
• Реализовать dir() в pyspark.sql.dataframe.DataFrame, чтобы включить столбцы SPARK-43270
• Добавление параметра для использования больших векторов ширины переменной для операций UDF со стрелками SPARK-39979
• Создание mapInPandas / mapInArrow поддерживает режим барьерного режима выполнения SPARK-42896
• Добавление API-интерфейсов JobTag в PySpark SparkContext SPARK-44194
• Поддержка UDTF Python для анализа в Python SPARK-44380
• Предоставление timestampNTZType в pyspark.sql.types SPARK-43759
• Поддержка вложенной метки времени SPARK-43545
• Поддержка UserDefinedType в createDataFrame из dataFrame pandas и toPandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Добавление двоичного параметра дескриптора в API Pyspark Protobuf SPARK-43799
• Прием кортежей универсальных шаблонов в качестве подсказок ввода инструкций по UDF Pandas SPARK-43886
• Добавление функции array_prepend SPARK-41233
• Добавление функции assertDataFrameEqual util SPARK-44061
• Поддержка оптимизированных со стрелками пользователей Python SPARK-43964
• Разрешить пользовательскую точность для приблизительного равенства SPARK-44217
• Создание api assertSchemaEqual public SPARK-44216
• Поддержка fill_value для ps. Серия SPARK-42094
• Тип структуры поддержки в createDataFrame из pandas DataFrame SPARK-43473

Другие важные изменения

• Добавление поддержки автозаполнения для df[|] в pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Нерекомендуемые & удалите API-интерфейсы, которые будут удалены в pandas 2.0 [SPARK-42593]
• Создание первой вкладки Python для примеров кода — Spark SQL, Кадры данных и наборы данных руководства SPARK-42493
• Обновление оставшихся примеров кода документации Spark для отображения Python по умолчанию SPARK-42642
• Используйте дедупликированные имена полей при создании arrow RecordBatch [SPARK-41971]
• Поддержка повторяющихся имен полей в createDataFrame с dataFrame pandas [SPARK-43528]
• Разрешить параметр столбцов при создании кадра данных с серией [SPARK-42194]

Основные сведения

• Планирование слиянияFinalize при отправке повторных попыток слияния shuffleMapStage, но не выполняющихся задач SPARK-40082
• Введение PartitionEvaluator для выполнения оператора SQL SPARK-43061
• Разрешить ShuffleDriverComponent объявить, если данные перетасовки надежно хранятся SPARK-42689
• Добавление максимального ограничения попыток для этапов, чтобы избежать потенциальной бесконечной попытки SPARK-42577
• Поддержка конфигурации уровня журнала со статическим подключением Spark-43782
• Оптимизация PercentileHeap SPARK-42528
• Добавление аргумента причины в TaskScheduler.cancelTasks SPARK-42602
• Избегайте повторного запуска ненужных задач при удалении исполнителя при перемещении данных SPARK-41469
• Исправление недоучета аккумулятора в случае задачи повторных попыток с помощью кэша rdd SPARK-41497
• Использование RocksDB для spark.history.store.hybridStore.diskBackend по умолчанию SPARK-42277
• Оболочка NonFateSharingCache для кэша Guava-43300
• Повышение производительности MapOutputTracker.updateMapOutput SPARK-43043
• Разрешение приложениям контролировать, сохраняются ли их метаданные в базе данных внешними службами Shuffle SPARK-43179
• Добавление переменной env SPARK_DRIVER_POD_IP в модули pod исполнителя SPARK-42769
• Подключает карту конфигурации Hadoop на карте исполнителя pod SPARK-43504

Структурированная потоковая передача

• Добавление поддержки отслеживания закрепленных блоков использования памяти для хранилища состояний RocksDB SPARK-43120
• Добавление усовершенствований управления памятью поставщика хранилища состояний RocksDB с помощью SPARK-43311
• Введение dropDuplicatesWithinWatermark SPARK-42931
• Введение нового обратного вызова onQueryIdle() в StreamingQueryListener SPARK-43183
• Добавление параметра пропуска координатора фиксации в рамках API StreamingWrite для источников и приемников DSv2 SPARK-42968
• Введение нового обратного вызова onQueryIdle в StreamingQueryListener SPARK-43183
• Реализация контрольных точек на основе журнала изменений для поставщика хранилища состояний RocksDB SPARK-43421
• Добавление поддержки WRITE_FLUSH_BYTES для RocksDB, используемой в операторах с отслеживанием состояния потоковой передачи SPARK-42792
• Добавление поддержки настройки max_write_buffer_number и write_buffer_size для RocksDB, используемых в потоковой передаче SPARK-42819
• Приобретение блокировки StateStore RocksDB должно произойти после получения итератора входных данных из входного SPARK-42566
• Введение распространения подложки между операторами SPARK-42376
• Очистка потерянных файлов sst и журналов в каталоге контрольных точек RocksDB SPARK-42353
• Разверните queryTerminatedEvent, чтобы содержать класс ошибок, если он существует в исключении SPARK-43482

ML

• Поддержка распределенного обучения функций с помощью deepspeed SPARK-44264
• Базовые интерфейсы sparkML для spark3.5: estimator/transformer/model/scoreor SPARK-43516
• Make MLv2 (ML on spark connect) поддерживает pandas >= 2.0 SPARK-43783
• Обновление интерфейсов преобразователя MLv2 SPARK-43516
• Новый оценщик логистической регрессии pyspark ML, реализованный на вершине распространителя SPARK-43097
• Добавление classifier.getNumClasses обратно SPARK-42526
• Написание класса Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
• Базовая реализация сохранения и загрузки для машинного обучения в Spark connect SPARK-43981
• Улучшение модели логистической регрессии с сохранением SPARK-43097
• Реализация оценки конвейера для машинного обучения в Spark connect SPARK-43982
• Реализация перекрестного оценщика SPARK-43983
• Реализация вычислителя классификации SPARK-44250
• Совместимость распространителя PyTorch с Spark Connect SPARK-42993

UI

• Добавление страницы пользовательского интерфейса Spark для Spark Connect SPARK-44394
• Поддержка столбца гистограммы кучи на вкладке "Исполнителей" SPARK-44153
• Отображение сообщения об ошибке в пользовательском интерфейсе для каждого неудачного запроса SPARK-44367
• Отображение времени добавления и удаления исполнителей на вкладке "Исполнители" SPARK-44309

Сборка и другие

• Удалить поддержку Python 3.7 SPARK-43347
• Создание минимальной версии PyArrow до версии 4.0.0 SPARK-44183
• Поддержка R 4.3.1 SPARK-43447SPARK-44192
• Добавление API-интерфейсов JobTag в SparkContext SPARK-44195
• Добавление математических функций в SparkR SPARK-44349
• Обновление Parquet до версии 1.13.1 SPARK-43519
• Обновление ASM до 9.5 SPARK-43537SPARK-43588
• Обновление rocksdbjni до 8.3.2 SPARK-41569 SPARK-42718 SPARK-43007 SPARK-43436 SPARK-44256
• Обновление Netty до 4.1.93 SPARK-42218 SPARK-42417 SPARK-42487 SPARK-43609SPARK-44128
• Обновление zstd-jni до 1.5.5-5-5 SPARK-42409 SPARK-42625SPARK-43080SPARK-43294 SPARK-43737SPARK-43994 SPARK-44465
• Обновление метрик dropwizard 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Обновление gcs-connector до версии 2.2.14 SPARK-42888SPARK-43842
• Обновление commons-crypto до версии 1.2.0 SPARK-42488
• Обновление комбинаторов scala-parser-с 2.1.1 до 2.2.0 SPARK-42489
• Обновление protobuf-java до 3.23.4 SPARK-41711 SPARK-42490 SPARK-42798 SPARK-43899SPARK-44382
• Обновление commons-codec до версии 1.16.0 SPARK-44151
• Обновление Apache Kafka до версии 3.4.1 SPARK-42396SPARK-44181
• Обновление RoaringBitmap до 0.9.45 SPARK-42385 SPARK-43495SPARK-44221
• Обновление ORC до версии 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Обновление до Avro 1.11.2 SPARK-44277
• Обновление commons-compress до версии 1.23.0 SPARK-43102
• Обновление joda-time с 2.12.2 до 2.12.5 SPARK-43008
• Обновление snappy-java до версии 1.1.10.3 SPARK-42242 SPARK-43758 SPARK-44070 SPARK-44415SPARK-44513
• Обновление mysql-connector-java с версии 8.0.31 до версии 8.0.32 SPARK-42717
• Обновление Apache Arrow до версии 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Обновление commons-io до версии 2.12.0 SPARK-43739
• Обновление Apache commons-io до версии 2.13.0 SPARK-43739SPARK-44028
• Обновление джексона FasterXML до версии 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Обновление log4j2 до 2.20.0 SPARK-42536
• Обновление slf4j до версии 2.0.7 SPARK-42871
• Обновление numpy и pandas в выпуске Dockerfile SPARK-42524
• Обновление Джерси до 2.40 SPARK-44316
• Обновление H2 с версии 2.1.214 до версии 2.220 SPARK-44393
• Обновление параметра до ^0.9.3 SPARK-44279
• Обновление bcprov-jdk15on и bcpkix-jdk15on до 1.70 SPARK-44441
• Обновление mlflow до 2.3.1 SPARK-43344
• Обновление Tink до 1.9.0 SPARK-42780
• Обновление глушителя до версии 1.7.13 SPARK-41787SPARK-44031
• Обновление Ammonite до 2.5.9 SPARK-44041
• Обновление Scala до версии 2.12.18 SPARK-43832
• Обновление org.scalatestplus:selenium-4-4 до org.scalatestplus:selenium-4-7 SPARK-41587
• Обновление миниматча до версии 3.1.2 SPARK-41634
• Обновление sbt-assembly с версии 2.0.0 до версии 2.1.0 SPARK-41704
• Обновление maven-checkstyle-plugin с 3.1.2 до версии 3.2.0 SPARK-41714
• Обновление dev.ludovic.netlib до версии 3.0.3 SPARK-41750
• Обновление hive-storage-api до версии 2.8.1 SPARK-41798
• Обновление Apache httpcore до версии 4.4.16 SPARK-41802
• Обновление jetty до 9.4.52.v20230823 SPARK-45052
• Обновление compress-lzf до 1.1.2 SPARK-42274

Удаление, изменения поведения и нерекомендуемы

Предстоящее удаление

Следующие функции будут удалены в следующем основном выпуске Spark

• Поддержка Java 8 и Java 11, а минимальная поддерживаемая версия Java будет Java 17
• Поддержка Scala 2.12 и минимальная поддерживаемая версия Scala будет 2.13

Руководства по миграции

• Spark Core
• SQL, наборы данных и кадры данных
• Структурированная потоковая передача
• MLlib (Машинное обучение)
• PySpark (Python в Spark)
• SparkR (R в Spark)

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-07-13.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)