Databricks Runtime 14.0 (EoS)

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.0, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v září 2023.

Nové funkce a vylepšení

• Sledování řádků je obecně dostupné.
• Prediktivní vstupně-výstupní operace pro aktualizace jsou obecně dostupné.
• Vektory odstranění jsou GA
• Spark 3.5.0 je obecně dostupný
• Public Preview pro funkce tabulek definované uživatelem pro Python
• Veřejná ukázka souběžnosti na úrovni řádků
• Změnil se výchozí pracovní adresář.
• Známý problém s sparklyr
• Představujeme Spark Connect ve sdílené architektuře clusteru
• Seznam dostupných aktualizací rozhraní API pro verze Sparku

Sledování řádků je obecně dostupné.

Sledování řádků pro Delta Lake je nyní obecně dostupné. Vizte Použijte sledování řádků pro tabulky Delta.

Prediktivní vstupně-výstupní operace pro aktualizace jsou obecně dostupné.

Prediktivní vstupně-výstupní operace pro aktualizace jsou teď obecně dostupné. Podívejte se, co je prediktivní vstupně-výstupní operace?

Vektory odstranění jsou obecně dostupné.

Vektory odstranění jsou teď obecně dostupné. Podívejte se na Co jsou to vektory odstranění?

Spark 3.5.0 je obecně dostupný

Apache Spark 3.5.0 je teď obecně dostupný. Viz Spark Release 3.5.0.

Public Preview pro uživatelem definované funkce tabulek pro Python

Uživatelem definované funkce tabulek (UDTFs) umožňují registrovat funkce, které vracejí tabulky místo skalárních hodnot. Viz uživatelem definované funkce tabulek v Pythonu (UDTFs).

Veřejná verze souběžnosti na úrovni řádků

Souběžnost na úrovni řádků snižuje konflikty mezi souběžnými operacemi zápisu tím, že detekuje změny na úrovni řádku a automaticky přeloží konkurenční změny v souběžných zápisech, které aktualizují nebo odstraní různé řádky ve stejném datovém souboru. Viz Konflikty zápisu se souběžností na úrovni řádků.

Výchozí aktuální pracovní adresář se změnil.

Výchozí aktuální pracovní adresář (CWD) pro kód spuštěný místně je teď adresář obsahující poznámkový blok nebo skript, který se spouští. To zahrnuje kód, jako %sh, a kód v Pythonu nebo R, který nepoužívá Spark. Podívejte se, co je výchozí aktuální pracovní adresář?

Známý problém s sparklyr

Nainstalovaná verze sparklyr balíčku (verze 1.8.1) není kompatibilní s Modulem Databricks Runtime 14.0. Pokud chcete použít sparklyr, nainstalujte verzi 1.8.3 nebo vyšší.

Představujeme Spark Connect ve sdílené architektuře clusteru

S prostředím Databricks Runtime verze 14.0 a vyšší nyní sdílené clustery ve výchozím nastavení používají Spark Connect s ovladačem Spark z Pythonu REPL. Interní rozhraní API Sparku už nejsou přístupná z uživatelského kódu.

Spark Connect teď komunikuje s ovladačem Sparku z REPL místo starší integrace REPL.

Výpis dostupných aktualizací rozhraní API pro verze Sparku

Povolte Photon nastavením runtime_engine = PHOTONa povolte aarch64 tak, že zvolíte typ instance gravitonu. Azure Databricks nastaví správnou verzi Databricks Runtime. Rozhraní API verze Spark dříve vracelo runtimy specifické pro implementaci každé verze. Viz GET /api/2.0/clusters/spark-versions v referenčních informacích k rozhraní REST API.

Změny narušující funkčnost

V Databricks Runtime 14.0 a novějších používají clustery se standardním režimem přístupu (dříve sdílený režim přístupu) ke komunikaci mezi klientem a serverem Spark Connect. To zahrnuje následující změny.

Další informace o omezeních standardního režimu přístupu najdete v tématu Omezení režimu přístupu Compute pro katalog Unity.

Python v clusterech se standardním režimem přístupu (dříve sdílený režim přístupu)

• sqlContext není k dispozici. Azure Databricks doporučuje použít proměnnou spark pro instanci SparkSession.
• Spark Context (sc) už není k dispozici v Noteboocích nebo při použití Databricks Connect v clusteru se standardním režimem přístupu. sc Následující funkce už nejsou k dispozici:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• Funkce Informace o datové sadě se už nepodporuje.
• Neexistuje již závislost na JVM při dotazování Apache Sparku, a v důsledku toho již nejsou podporována interní rozhraní API související s JVM, jako _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap a _jcols.
• Při přístupu k hodnotám konfigurace pomocí spark.conf jsou přístupné pouze hodnoty konfigurace dynamického modulu runtime.
• Příkazy analýzy DLT se zatím ve sdílených clusterech nepodporují.

Rozdíl v clusterech se standardním režimem přístupu (dříve sdílený režim přístupu)

• V Pythonu už při dotazování Apache Sparku není závislost na prostředí JVM. Interní rozhraní API související s prostředím JVM, například DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, a DeltaOptimizeBuilder._jbuilder již nejsou podporována.

SQL v clusterech se standardním režimem přístupu (dříve režim sdíleného přístupu)

• DBCACHE a DBUNCACHE příkazy se už nepodporují.
• Vzácné případy použití, jako je cache table db as show databases, se už nepodporují.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • asttokens od 2.2.1 do 2.0.5
  • attrs od 21.4.0 do 22.1.0
  • botocore od 1.27.28 do 1.27.96
  • Certifikát od 14. 9. 2022 do 7. 12. 2022
  • kryptografie od 37.0.1 do 39.0.1
  • debugpy od 1.6.0 do 1.6.7
  • docstring-to-markdown od 0.12 do 0.11
  • provádění od 1.2.0 do 0.8.3
  • přehled aspektů od 1.0.3 do 1.1.1
  • googleapis-common-protos od 1.56.4 do 1.60.0
  • grpcio od 1.48.1 do 1.48.2
  • idna od 3.3 do 3.4
  • ipykernel od 6.17.1 do 6.25.0
  • ipython od 8.10.0 do 8.14.0
  • Jinja2 od 2.11.3 do 3.1.2
  • jsonschema od 4.16.0 do 4.17.3
  • jupyter_core od 4.11.2 do 5.2.0
  • kiwisolver od 1.4.2 do 1.4.4
  • MarkupSafe od 2.0.1 do 2.1.1
  • matplotlib od 3.5.2 do 3.7.0
  • nbconvert od 6.4.4 do 6.5.4
  • nbformat od 5.5.0 do 5.7.0
  • nest-asyncio od 1.5.5 do 1.5.6
  • poznámkový blok od 6.4.12 do 6.5.2
  • numpy od 1.21.5 do 1.23.5
  • balení od 21.3 do 22.0
  • Pandas od 1.4.4 do 1.5.3
  • pathspec od 0.9.0 do 0.10.3
  • patsy z verze 0.5.2 na verzi 0.5.3
  • Polštář od 9.2.0 do 9.4.0
  • pip od 22.2.2 do 22.3.1
  • protobuf od 3.19.4 do 4.24.0
  • pytoolconfig od 1.2.2 do 1.2.5
  • pytz od 2022.1 do 2022.7
  • s3transfer z 0.6.0 do 0.6.1
  • seaborn od 0.11.2 do 0.12.2
  • instalační nástroje od 63.4.1 do 65.6.3
  • soupsieve od 2.3.1 do 2.3.2.post1
  • stack-data od 0.6.2 na 0.2.0
  • statsmodels from 0.13.2 to 0.13.5
  • terminado od 0.13.1 do 0.17.1
  • vlastnosti od 5.1.1 do 5.7.1
  • typing_extensions od 4.3.0 do 4.4.0
  • urllib3 od 1.26.11 do 1.26.14
  • virtualenv od 20.16.3 do 20.16.7
  • kolo od 0.37.1 do 0.38.4
• Upgradované knihovny jazyka R:
  • šipka od 10.0.1 do 12.0.1
  • základ od 4.2.2 do 4.3.1
  • blob z 1.2.3 do 1.2.4
  • broom od 1.0.3 do 1.0.5
  • bslib od 0.4.2 do 0.5.0
  • cachem od 1.0.6 do 1.0.8
  • Caret od 6.0-93 do 6.0-94
  • Chron od 2.3-59 do 2.3-61
  • třída od 7.3-21 do 7.3-22
  • cli od 3.6.0 do 3.6.1
  • hodiny od 0.6.1 do 0.7.0
  • commonmark od 1.8.1 do 1.9.0
  • kompilátor z verze 4.2.2 do 4.3.1
  • cpp11 od 0.4.3 do 0.4.4
  • curl od 5.0.0 do 5.0.1
  • data.table od 1.14.6 do 1.14.8
  • datové sady od 4.2.2 do 4.3.1
  • dbplyr od 2.3.0 do 2.3.3
  • shrnutí od 0.6.31 do 0.6.33
  • downlit od 0.4.2 do 0.4.3
  • dplyr od 1.1.0 do 1.1.2
  • dtplyr od 1.2.2 do 1.3.1
  • vyhodnotit od 0.20 do 0.21
  • fastmap od 1.1.0 do 1.1.1
  • fontawesome od 0.5.0 do 0.5.1
  • fs od 1.6.1 do 1.6.2
  • verze od 1.31.0 do 1.33.0
  • future.apply od verze 1.10.0 do verze 1.11.0
  • gargle (software balíček) od verze 1.3.0 do 1.5.1
  • ggplot2 od 3.4.0 do 3.4.2
  • gh od 1.3.1 do 1.4.0
  • glmnet od 4.1-6 do 4.1-7
  • googledrive od 2.0.0 do 2.1.1
  • googlesheets4 od 1.0.1 do 1.1.1
  • grafika od 4.2.2 do 4.3.1
  • grDevices od 4.2.2 do 4.3.1
  • mřížka od 4.2.2 do 4.3.1
  • gtable od 0.3.1 do 0.3.3
  • hardhat od 1.2.0 do 1.3.0
  • útočiště od 2.5.1 do 2.5.3
  • hms od 1.1.2 do 1.1.3
  • htmltools od 0.5.4 do 0.5.5
  • htmlwidgets od 1.6.1 do 1.6.2
  • httpuv od 1.6.8 do 1.6.11
  • httr od 1.4.4 do 1.4.6
  • ipred z 0.9-13 do 0.9-14
  • jsonlite od 1.8.4 do 1.8.7
  • KernSmooth od 2.23-20 do 2.23-21
  • knitr od 1.42 do 1.43
  • později od 1.3.0 do 1.3.1
  • mřížka od 0,20-45 do 0,21-8
  • láva od 1.7.1 do 1.7.2.1
  • lubridate od 1.9.1 do 1.9.2
  • Markdown od 1,5 do 1,7
  • HMOTNOST od 7.3-58.2 do 7.3-60
  • Matice od 1,5-1 do 1,5-4.1
  • metody od 4.2.2 do 4.3.1
  • mgcv od 1,8-41 do 1,8-42
  • modelr od 0.1.10 do 0.1.11
  • nnet od 7.3-18 do 7.3-19
  • openssl od 2.0.5 do 2.0.6
  • paralelně od 4.2.2 do 4.3.1
  • paralelně od 1.34.0 do 1.36.0
  • pilíř od 1.8.1 do 1.9.0
  • pkgbuild od 1.4.0 do 1.4.2
  • pkgload od 1.3.2 do 1.3.2.1
  • pROC od 1.18.0 do 1.18.4
  • processx od 3.8.0 do 3.8.2
  • prodlim od 13.11.2019 do 31.03.2023
  • profvis od 0.3.7 do 0.3.8
  • ps od 1.7.2 do 1.7.5
  • Rcpp od 1.0.10 do 1.0.11
  • readr od 2.1.3 do 2.1.4
  • readxl od 1.4.2 do 1.4.3
  • recepty od 1.0.4 do 1.0.6
  • rlang od 1.0.6 do 1.1.1
  • rmarkdown od 2.20 do 2.23
  • Rserve od 1.8-12 do 1.8-11
  • RSQLite od 2.2.20 do 2.3.1
  • rstudioapi od 0.14 do 0.15.0
  • sass od 0.4.5 do 0.4.6
  • lesklý od 1.7.4 do 1.7.4.1
  • sparklyr od 1.7.9 do 1.8.1
  • SparkR od 3.4.1 do 3.5.0
  • splines od 4.2.2 do 4.3.1
  • Statistiky od 4.2.2 do 4.3.1
  • Statistiky 4 od 4.2.2 do 4.3.1
  • přežití od 3,5-3 do 3,5-5
  • sys z 3.4.1 do 3.4.2
  • tcltk od 4.2.2 do 4.3.1
  • testthat od verze 3.1.6 do verze 3.1.10
  • tibble od 3.1.8 do 3.2.1
  • Tidyverse od 1.3.2 do 2.0.0
  • tinytex od 0,44 do 0,45
  • nástroje od 4.2.2 do 4.3.1
  • tzdb od 0.3.0 do 0.4.0
  • usethis z verze 2.1.6 na verzi 2.2.2
  • nástroje od 4.2.2 do 4.3.1
  • vctrs od 0.5.2 do 0.6.3
  • viridisLite od 0.4.1 do 0.4.2
  • vroom od 1.6.1 do 1.6.3
  • waldo od 0.4.0 do 0.5.1
  • xfun od 0.37 do 0.39
  • xml2 od 1.3.3 do 1.3.5
  • zip od 2.2.2 do 2.3.0
• Upgradované knihovny Java:
  • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
  • com.fasterxml.jackson.core.jackson-core od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.core.jackson-databind od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 od 2.13.4 do 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.14.2 do 2.15.2
  • com.github.luben.zstd-jni od 1.5.2-5 do 1.5.5-4
  • com.google.code.gson.gson od 2.8.9 do 2.10.1
  • com.google.crypto.tink.tink od 1.7.0 do 1.9.0
  • commons-codec.commons-codec z verze 1.15 na 1.16.0
  • commons-io.commons-io od 2.11.0 do 2.13.0
  • io.airlift.aircompressor od 0.21 do 0.24
  • io.dropwizard.metrics.metrics-core od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-graphite od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks z 4.2.10 na 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-jmx od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-json od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-jvm od 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-servlets z verze 4.2.10 na 4.2.19
  • io.netty.netty-all od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-buffer od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec-http od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec-http2 od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec-socks od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-common od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-handler z verze 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-handler-proxy z verze 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-resolver od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-transport z verze 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-transport-classes-epoll od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-transport-native-epoll od 4.1.87.Final-linux-x86_64 do 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue od verze 4.1.87.Final-osx-x86_64 do verze 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common od 4.1.87.Final do 4.1.93.Final
  • org.apache.arrow.arrow-format od 11.0.0 na 12.0.1
  • org.apache.arrow.arrow-memory-core od 11.0.0 do 12.0.1
  • org.apache.arrow.arrow-memory-netty od 11.0.0 do 12.0.1
  • org.apache.arrow.arrow-vector od 11.0.0 do 12.0.1
  • org.apache.avro.avro od 1.11.1 do 1.11.2
  • org.apache.avro.avro-ipc od 1.11.1 do 1.11.2
  • org.apache.avro.avro-mapred od 1.11.1 do 1.11.2
  • org.apache.commons.commons-compress z verze 1.21 na 1.23.0
  • org.apache.hadoop.hadoop-client-runtime od 3.3.4 do 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api od 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-api od 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-core od 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl od 2.19.0 do 2.20.0
  • org.apache.orc.orc-core verze 1.8.4-shaded-protobuf na verzi 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce z verze 1.8.4-shaded-protobuf na verzi 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims od 1.8.4 do 1.9.0
  • org.apache.xbean.xbean-asm9-shaded od 4.22 do 4.23
  • org.checkerframework.checker-qual od 3.19.0 do 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet od 2.36 do 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-client od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-common od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-server od 2.36 do 2.40
  • org.glassfish.jersey.inject.jersey-hk2 od 2.36 do 2.40
  • org.javassist.javassist od 3.25.0-GA do verze 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client od 2.7.4 do 2.7.9
  • org.postgresql.postgresql od 42.3.8 do 42.6.0
  • org.roaringbitmap.RoaringBitmap od 0.9.39 do 0.9.45
  • org.roaringbitmap.shims od 0.9.39 do 0.9.45
  • org.rocksdb.rocksdbjni od 7.8.3 do 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 od 2.4.3 do 2.9.0
  • org.slf4j.jcl-over-slf4j od 2.0.6 do 2.0.7
  • org.slf4j.jul-to-slf4j od 2.0.6 do 2.0.7
  • org.slf4j.slf4j-api od 2.0.6 do 2.0.7
  • org.xerial.snappy.snappy-java od 1.1.10.1 do 1.1.10.3
  • org.yaml.snakeyaml od 1.33 do 2.0

Apache Spark

Databricks Runtime 14.0 Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 13.3 LTS, a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Oprava funkcí aes_decrypt a ln v connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Opravit zděděné namedtuples pro práci v createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] Mezipaměť CodeGeneratoru by měla být specifická pro načítání tříd.
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Zajistěte, aby streamovací dotazy fungovaly se správou artefaktů Připojení.
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Udělejte ArrowDeserializer funkční s vygenerovanými třídami REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Oprava uživatelem definované funkce Pythonu optimalizované pro Arrow na Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Podpora funkcí protobuf pythonu pro Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Odebrání funkce uuid/random/chr z PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Oprava hodnot metadat artefaktů
• [SPARK-44822] [DBRRM-464][python][SQL] UDTF Pythonu jsou ve výchozím stavu nedeterministické
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refaktoring Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Přidání chybějících metadat klienta do volání
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: objekt typu NoneType neobsahuje žádný atribut message.
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager ke sledování všech spuštění
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Zakázat optimalizaci Arrow ve výchozím nastavení pro uživatelem definované tabulkové funkce v Pythonu
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Spusťte ExecuteGrpcResponseSender ve znovu připojitelném prostředí v novém vlákně, aby se opravilo řízení toku.
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Nastavit všechny iterátory jako uzavíratelné iterátory
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Opakujte ExecutePlan v případě, že počáteční požadavek nedosáhl serveru v Python klientovi.
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Opakovat ExecutePlan v případě, že se počáteční požadavek nedosáhl serveru
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Chyby přesunuté do rozhraní sq/API by také měly používat analysisException.
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Přidat objekt kodérů
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Následné kroky pro ukončení streamovacího dotazu při vypršení časového limitu relace klienta pro Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute v ExecutePlanResponseReattachableIterator po přijetí chyby ze serveru
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Odstranění závislosti Connect Client na Catalyst
• [SPARK-44664] [DBRRM-396][python][CONNECT] Uvolnění spuštění při zavření iterátoru v klientovi Pythonu
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Odebrání adresáře založeného na relaci při vyřazení izolované mezipaměti relací
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Nezanechávejte žádné visící iterátory
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Klient Pythonu pro opětovné připojení k existujícímu spuštění v nástroji Spark Connect
• [SPARK-44637] [SC-138571] Synchronizace přístupu k ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Obnovení Row.jsonValue a podobných funkcí
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Znovu připojitelné spuštění ve Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Upgrade protobuf z verze 3.19.5 na verzi 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Zvýšení limitu rekurze protobuf marshaller
• [SPARK-44591] [SC-138292][connect][SQL] Přidání značek úloh do SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations by při vytváření nové instance měly uchovávat metadata aliasů.
• [SPARK-44542] [SC-138323][core] Okamžitě načtěte třídu SparkExitCode v obslužné rutině výjimek
• [SPARK-44264] [SC-138143][python]E2E testování pro Deepspeed
• [SPARK-43997] [SC-138347][connect] Přidání podpory pro Java UDF
• [SPARK-44507] [SQL][connect][14.x][14.0] Přesun analysisException do sql/api
• [SPARK-44453] [SC-137013][python] Použití knihovny difflib pro zobrazení chyb v assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Přidání stránky uživatelského rozhraní Sparku pro Spark Connect
• [SPARK-44611] [SC-138415][connect] Nevylučujte scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Přesun vyvozování kodéru do sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Oprava problému načítání třídy způsobe…
• [SPARK-44590] [SC-138296][sql][CONNECT] Odebrání limitu dávkových záznamů se šipkami pro SqlCommandResult
• [SPARK-43968] [SC-138115][python] Vylepšení chybové zprávy pro uživatelsky definované tabulkové funkce Pythonu s nesprávným počtem výstupů
• [SPARK-44432] [SC-138293][ss][CONNECT] Ukončete dotazy streamování v případě vypršení časového limitu relace ve Spark Connect.
• [SPARK-44584] [SC-138295][connect] Nastavení client_type informací pro AddArtifactsRequest a ArtifactStatusesRequest v klientovi Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Odebrání definice private object ParseState z IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Povolení resample pomocí Spark Connect
• [SPARK-44287] [SC-136223][sql] Použijte rozhraní API PartitionEvaluator v operátorech RowToColumnarExec & ColumnarToRowExec SQL.
• [SPARK-39634] [SC-137566][sql] Povolit rozdělení souborů v kombinaci s generováním indexu řádků
• [SPARK-44533] [SC-138058][python] Přidání podpory pro soubory akumulátoru, vysílání a Sparku v analýze UDTF v Pythonu
• [SPARK-44479] [SC-138146][python] Oprava arrowStreamPandasUDFSerializer pro přijetí datového rámce pandas bez sloupce
• [SPARK-44425] [SC-138177][connect] Ověřte, že uživatelem poskytnutý sessionId je UUID.
• [SPARK-44535] [SC-138038][connect][SQL] Přesun požadovaného rozhraní API streamování do sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Vytvoření třídy Deepspeed Distributed Learning DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Oprava ResolveInlineTables nedokáže zpracovat výraz RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Generování kódu pro vnější proložené hash spojení na straně vytváření
• [SPARK-44496] [SC-137682][sql][CONNECT] Přesunout rozhraní potřebná pro SCSC do sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Přesun ArrowUtils do sql/api
• [SPARK-44413] [SC-137019][python] Vysvětlení chyby pro nepodporovaný datový typ arg v assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Přesun SparkBuildInfo do common/util
• [SPARK-36612] [SC-133071][sql] Podpora sestavení levého vnějšího spojení vlevo nebo sestavení pravého vnějšího spojení v přeuspořádaném hash spojení
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils vygeneroval nesprávné parametry pro soubory JAR
• [SPARK-44449] [SC-137818][connect] Povýšení typu pro přímou deserializaci Arrow
• [SPARK-44131] [SC-136346][sql] Přidání call_function a vyřazení call_udf pro rozhraní Scala API
• [SPARK-44541] [SQL] Odebrání zbytečné funkce hasRangeExprAgainstEventTimeCol z UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] Hodnota maxRows/maxRowsPerPartition filtru je 0, pokud je podmínka FalseLiteral
• [SPARK-44540] [SC-137873][ui] Odebrání nepoužívaných šablon stylů a souborů javascriptu jsonFormatter
• [SPARK-44466] [SC-137856][sql] Vyloučit konfigurace začínající SPARK_DRIVER_PREFIX a SPARK_EXECUTOR_PREFIX z upravených konfigurací
• [SPARK-44477] [SC-137508][sql] Považovat TYPE_CHECK_FAILURE_WITH_HINT za podtřídu chyby
• [SPARK-44509] [SC-137855][python][CONNECT] Přidání sady rozhraní API pro zrušení úlohy v klientovi Spark Connect Pythonu
• [SPARK-44059] [SC-137023] Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce
• [SPARK-38476] [SC-136448][core] Použijte třídu chyb v org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementace funkce PyArrow self_destruct pro toPandas
• [SPARK-44361] [SC-137200][sql] Použití rozhraní API PartitionEvaluatoru v MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Aktualizace datových tabulek na verzi 1.13.5 a odebrání některých souborů PNG, které nejsou nedostupné
• [SPARK-44503] [SC-137808][sql] Přidání gramatiky SQL pro PARTITION BY a ORDER BY klauzule za TABLE argumenty pro volání TVF
• [SPARK-38477] [SC-136319][core] Použití třídy chyb v org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Přiřaďte názvy ke třídě chyb _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Detailní přerušení Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Podpora pythonu UDTF pro analýzu v Pythonu
• [SPARK-43923] [SC-137020][connect] Odeslání událostí listenerBus během...
• [SPARK-44303] [SC-136108][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Oprava, kdy se sloupec HeapHistogram neočekávaně zobrazuje s políčkem pro vybrání všeho
• [SPARK-44409] [SC-136975][sql] Zajištění podpory pro char/varchar v metodě Dataset.to, aby byla zachována konzistence s ostatními
• [SPARK-44334] [SC-136576][sql][UI] Stav v odpovědi REST API pro neúspěšné DDL/DML bez úloh by měl být "NEÚSPĚŠNÉ" místo "DOKONČENO".
• [SPARK-42309] [SC-136703][sql] Představit INCOMPATIBLE_DATA_TO_TABLE a podtřídy.
• [SPARK-44367] [SC-137418][sql][UI] Zobrazit chybovou zprávu v uživatelském rozhraní pro každý neúspěšný dotaz
• [SPARK-44474] [SC-137195][connect] Opětovné povolení „Testovat sledování odezvy“ ve SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[1067 1150 1220,1265,1277]
• [SPARK-44310] [SC-136055][connect] Spouštěcí protokol serveru Connect Server by měl zobrazit název hostitele a port.
• [SPARK-44309] [SC-136193][ui] Zobrazit čas přidání/odebrání Executorů na kartě Exekutory
• [SPARK-42898] [SC-137556][sql] Uvést, že přetypování řetězců a dat nepotřebuje ID časového pásma
• [SPARK-44475] [SC-137422][sql][CONNECT] Přemístění datového typu a analyzátoru do sql/api
• [SPARK-44484] [SC-137562][ss]Přidat batchDuration do metody jsonu StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Podpora ne deterministických tabulkových funkcí
• [SPARK-44439] [SC-136973][connect][SS]Opraveno listListeners pro odeslání pouze ID zpět klientovi
• [SPARK-44341] [SC-137054][sql][PYTHON] Definujte výpočetní logiku prostřednictvím rozhraní PartitionEvaluator API a použijte ji v okně WindowExec a WindowInPandasExec.
• [SPARK-43839] [SC-132680][sql] Převod _LEGACY_ERROR_TEMP_1337 na UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Přidat podporu pro Streaming Listener ve Scale pro Spark Connect
• [SPARK-44260] [SC-135618][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[1215-1245-2329] & Použijte checkError() k ověření výjimky v _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: Zapouzdření všech souvisejících parametrů SPJ ve službě BatchScanExec
• [SPARK-44292] [SC-135844][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Přímá deserializace šipky
• [SPARK-44324] [SC-137172][sql][CONNECT] Move CaseInsensitiveMap na sql/api
• [SPARK-44395] [SC-136744][sql] Přidání testu zpět do StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Vytvoření pyspark.sql.is_remote rozhraní API
• [SPARK-44278] [SC-137400][connect] Implementujte zachycovač serveru GRPC, který vyčistí místní vlastnosti vlákna.
• [SPARK-44264] [SC-137211][ml][PYTHON] Podpora distribuovaného trénování funkcí pomocí deepspeedu
• [SPARK-44430] [SC-136970][sql] Přidejte příčinu k AnalysisException, když je volba neplatná
• [SPARK-44264] [SC-137167][ml][PYTHON] Začlenění FunctionPickler do TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Zpřístupnit rozhraní API assertSchemaEqual veřejnosti
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-43203] [SC-134528][sql] Převést všechny případy operace Drop Table na DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Otevřete AdaptiveSparkPlanHelper.allChildren místo kopírování v MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refaktor TorchDistributor umožňující vlastní ukazatel funkce run_training_on_file
• [SPARK-43755] [SC-136838][connect] Přesunutí spuštění mimo SparkExecutePlanStreamHandler a do jiného vlákna
• [SPARK-44411] [SC-137198][sql] Použít API PartitionEvaluator v ArrowEvalPythonExec a BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Použití rozhraní API PartitionEvaluatoru v DebugExec
• [SPARK-43967] [SC-137057][python] Podpora běžných funkcí definovaných uživatelem Pythonu s prázdnými návratovými hodnotami
• [SPARK-43915] [SC-134766][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Podpora Python UDTF ve Spark Connect
• [SPARK-44154] [SC-137050][sql] Přidání dalších testů jednotek do BitmapExpressionUtilsSuite a menší vylepšení bitmapových agregačních výrazů
• [SPARK-44169] [SC-135497][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Podpora šipekově optimalizovaných UDF Pythonu
• [SPARK-44321] [SC-136308][connect] Odpojení výjimky ParseException od výjimky AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Opětovné povolení test_artifact s relevantními změnami
• [SPARK-44145] [SC-136698][sql] Zpětné volání, když je připraveno ke spuštění
• [SPARK-43983] [SC-136404][python][ML][connect] Povolení testu estimátoru křížového validátoru
• [SPARK-44399] [SC-136669][python][CONNECT] Import SparkSession v Pythonu UDF pouze v případech, kdy je useArrow None
• [SPARK-43631] [SC-135300][connect][PS] Povolit funkci Series.interpolate pomocí Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Přidání ukázkového kódu pro distribuované strojové učení pro spark connect
• [SPARK-44282] [SC-135948][connect] Příprava parsování datových typů pro použití v klientovi Spark Connect Scala
• [SPARK-44052] [SC-134469][connect][PS] Přidejte nástroj pro získání správné třídy sloupce nebo datového rámce pro Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementujte estimátor křížového validátoru.
• [SPARK-44290] [SC-136300][connect] Soubory a archivy založené na relacích ve Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Podpora functions.date_part pro Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Vyčištění & sloučení lístků pro zjednodušení úloh.
• [SPARK-44150] [SC-135790][python][CONNECT] Explicitní přetypování šipek pro neshodný návratový typ v UDF v Pythonu šipky
• [SPARK-43903] [SC-134754][python][CONNECT] Zlepšení podpory vstupu ArrayType v UDF v Pythonu se šipkou
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementovat klasifikační evaluátor
• [SPARK-44255] [SC-135704][sql] Přemístění úrovně úložiště do běžných/utilů
• [SPARK-42169] [SC-135735] [SQL] Implementace generování kódu pro funkci to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refaktorování PythonUDTFRunner pro samostatné odeslání návratového typu
• [SPARK-43353] [SC-132734][python] Migrace zbývajících chyb relace do třídy chyb
• [SPARK-44133] [SC-134795][python] Upgrade MyPy z 0.920 na 0.982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Událost Serde ve formátu JSON
• [SPARK-43353] Vrátit zpět [SC-132734][es-729763][PYTHON] Migrovat zbývající chyby relace do třídy chyb
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Přesun oboru názvů z pyspark.mlv2 na pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Přesun StringConcat do sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Přidání volitelného vzoru pro Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementujte odhadovač pipeline pro ML na Spark Connect
• [SPARK-43888] [SC-132893][jádro] Přemístění protokolování do common/utils
• [SPARK-42941] Revert "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Event Serde ve formátu JSON"
• [SPARK-43624] [SC-134557][ps][CONNECT] Přidejte EWM do SparkConnectPlanneru.
• [SPARK-43981] [SC-134137][python][ML] Základní ukládání a načítání pro ML při připojení Sparku
• [SPARK-43205] [SC-133371][sql] oprava SQLQueryTestSuite
• [SPARK-43376] Vrátit zpět “[SC-130433][sql] Zlepšit opakované použití poddotazů s mezipamětí tabulky”
• [SPARK-44040] [SC-134366][sql] Opravit výpočetní statistiky, když je uzel AggregateExec nad QueryStageExec
• [SPARK-43919] [SC-133374][sql] Extrahování funkcí JSON z řádku
• [SPARK-42618] [SC-134433][python][PS] Upozornění na změny chování související s knihovnou pandas v příští hlavní verzi
• [SPARK-43893] [SC-133381][python][CONNECT] Podpora neatomických datových typů v UDF optimalizovaném pro Arrowu
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Povolte pyspark.pandas.spark.functions.{kurt, skew} v nástroji Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Podpora uživatelem definovaných tabulkových funkcí Pythonu
• [SPARK-43616] [SC-133849][ps][CONNECT] Povolení pyspark.pandas.spark.functions.mode v nástroji Spark Connect
• [SPARK-43133] [SC-133728] Podpora Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Oprava (NullOps|NumOps).(eq|ne) pro Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Povolení pyspark.pandas.spark.functions.{var, stddev} v nástroji Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Povolení pyspark.pandas.spark.functions.product v nástroji Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Povolte InternalFrame.attach_distributed_column v nástroji Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Povolení pyspark.pandas.spark.functions.repeat v nástroji Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Generování souborů popisovače Protobuf v době sestavení
• [SPARK-43613] [SC-133727][ps][CONNECT] Povolení pyspark.pandas.spark.functions.covar v nástroji Spark Connect
• [SPARK-43376] [SC-130433][sql] Vylepšení opětovného použití poddotazu s cache tabulky
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementujte SparkSession.addArtifact(s) v klientovi Pythonu.
• [SPARK-43920] [SC-133611][sql][CONNECT] Vytvoření modulu sql/api
• [SPARK-43097] [SC-133372][ml] Nový estimátor logistické regrese pyspark ML implementovaný nad distributorem
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Zajistit, že MLv2 (ML na spark connect) podporuje pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Upgrade pandas na verzi 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Přidání volitelného vzoru pro Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Urychlí se odvození typu časového razítka ve starším formátu ve zdroji dat JSON/CSV.
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Přidání volitelného vzoru pro Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][sql][PYTHON] Podpora vnořeného typu časového razítka
• [SPARK-43353] [SC-132734][python] Migrace zbývajících chyb relace do třídy chyb
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrace NotImplementedError do PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Základní rozhraní SparkML pro spark3.5: estimator/transformer/model/vyhodnocovač
• [SPARK-43128] Vrátit zpět “[SC-131628][connect][SS] Udělat recentProgress a lastProgress vracející StreamingQueryProgress konzistentní s nativním rozhraním Scala API”
• [SPARK-43543] [SC-131839][python] Oprava chování vnořeného typu MapType v pandas UDF
• [SPARK-38469] [SC-131425][core] Použít třídu chyb v org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Rozšíření INTERNAL_ERROR kategoriemi a přidání INTERNAL_ERROR_BROADCAST třídy chyb
• [SPARK-43265] [SC-129653] Přesun rámce pro chyby do společného modulu nástrojů
• [SPARK-43440] [SC-131229][python][CONNECT] Podpora registrace uživatelem definované funkce Pythonu optimalizované pomocí Apache Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Podpora duplicitních názvů polí v createDataFrame s pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Zavedení SQL_ARROW_BATCHED_UDF EvalType pro Python UDF optimalizované pro Apache Arrow
• [SPARK-40912] [SC-130986][jádro]Zátěž výjimek v KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Urychlí se odvození typu časového razítka pomocí formátu poskytnutého uživatelem ve zdroji dat JSON/CSV.
• [SPARK-43473] [SC-131372][python] Podpora typu struktury v createDataFrame z datového rámce pandas
• [SPARK-43443] [SC-131024][sql] Přidání srovnávacího testu pro odvození typu časového razítka při použití neplatné hodnoty
• [SPARK-41532] [SC-130523][CONNECT][CLIENT] Přidání kontroly operací, které zahrnují více datových rámců
• [SPARK-43296] [SC-130627][connect][PYTHON] Převedení chyb relace Spark Connect do třídy chyb
• [SPARK-43324] [SC-130455][sql] Zpracování příkazů UPDATE pro rozdílové zdroje
• [SPARK-43347] [SC-130148][python] Odebrání podpory Pythonu 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Přesuňte ExecutorClassLoader do modulu core a zjednodušte Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Přidejte torch distributor data loader, který načítá data ze Spark oddílů
• [SPARK-43331] [SC-130061][connect] Přidání Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrace ValueError z typů Spark SQL do třídy chyb
• [SPARK-43261] [SC-129674][python] Migrujte TypeError z typů Spark SQL do třídy chyb.
• [SPARK-42992] [SC-129465][python] Zavedení chyby PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Přidání podpory pro Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Přesunout canWrite do DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] Arrow-optimalizované uživatelské funkce v Pythonu ve Spark Connect
• [SPARK-43084] [SC-128654] [SS] Přidání podpory applyInPandasWithState pro připojení Sparku
• [SPARK-42657] [SC-128621][connect] Podpora nalezení a přenosu klientských souborů tříd REPL na server jako artefaktů
• [SPARK-43098] [SC-77059][sql] Oprava chyby funkce COUNT, když má skalární poddotaz klauzuli GROUP BY
• [SPARK-42884] [SC-126662][connect] Přidání integrace Ammonite REPL
• [SPARK-42994] [SC-128333][ml][CONNECT] Podpora místního režimu PyTorch Distributor
• [SPARK-41498] [SC-125343]Vrátit zpět "Šíření metadat prostřednictvím sjednocení"
• [SPARK-42993] [SC-127829][ml][CONNECT] Zajištění kompatibility distributora PyTorch se Spark Connect
• [SPARK-42683] [LC-75] Automaticky přejmenovat konfliktní sloupce metadat
• [SPARK-42874] [SC-126442][sql] Povolit nový rámec pro testování zlatých souborů pro analýzu všech vstupních souborů
• [SPARK-42779] [SC-126042][sql] Povolit zápisům v2 indikovat doporučenou velikost oddílu pro přeskupování
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementace rozhraní API pro mapování CoGrouped
• [SPARK-42791] [SC-126134][sql] Vytvoření nové zlaté architektury pro testování souborů pro analýzu
• [SPARK-42615] [SC-124237][connect][PYTHON] Přepracování RPC AnalyzePlan a přidání session.version
• [SPARK-41302] Vrátit zpět "[VŠECHNY TESTY][sc-122423][SQL] Přiřadit název _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Vylepšené chybové zprávy pro použitíInPandas kvůli neshodě schématu
• [SPARK-40770] Vrátit “[VŠECHNY TESTY][sc-122652][PYTHON] Vylepšené chybové zprávy pro applyInPandas při neshodě schématu”
• [SPARK-42398] [SC-123500][sql] Upřesnit výchozí hodnotu sloupce DS v2 rozhraní
• [SPARK-40770] [VŠECHNY TESTY][sc-122652][PYTHON] Vylepšené chybové zprávy pro applyInPandas při neshodě schématu
• [SPARK-40770] Vrátit zpět “[SC-122652][python] Vylepšené chybové zprávy pro applyInPandas pro neshodu schématu”
• [SPARK-40770] [SC-122652][python] Vylepšené chybové zprávy pro použitíInPandas kvůli neshodě schématu
• [SPARK-42038] [VŠECHNY TESTY] Vrátit zpět "[SC-122533][sql] SPJ: Podpora částečně clusterované distribuce".
• [SPARK-42038] Vrátit zpět "[SC-122533][sql] SPJ: Podpora částečně clusterované distribuce
• [SPARK-42038] [SC-122533][sql] SPJ: Podpora částečně clusterované distribuce
• [SPARK-40550] [SC-120989][sql] DataSource V2: Zpracování příkazů DELETE pro zdroje založené na delta
• [SPARK-40770] Vrátit zpět "[SC-122652][python] Vylepšené chybové zprávy pro applyInPandas pro neshodu schématu"
• [SPARK-40770] [SC-122652][python] Vylepšené chybové zprávy pro použitíInPandas kvůli neshodě schématu
• [SPARK-41302] Vrátit zpět [SC-122423][sql] Přiřadit název _LEGACY_ERROR_TEMP_1185
• [SPARK-40550] Zrušit „[SC-120989][sql] Zdroj dat V2: Zpracování příkazů DELETE pro rozdílové zdroje“
• [SPARK-42123] Vrátit zpět [SC-121453][sql] Zahrnout výchozí hodnoty sloupce do funkce DESCRIBE a SHOW CREATE TABLE výstupu
• [SPARK-42146] [SC-121172][core] Refaktorovat Utils#setStringField, aby maven build prošel, když sql modul použije tuto metodu.
• [SPARK-42119] Vrátit zpět "[SC-121342][sql] Přidání vestavěných funkcí tabulka-hodnoty inline a inline_outer"

Nejzajímavější body

• Oprava aes_decrypt a ln funkcí v Connect SPARK-45109
• Oprava zděděných pojmenovaných řazených kolekcí členů pro práci v createDataFrame SPARK-44980
• Mezipaměť CodeGenerator je teď specifická pro spouštěč tříd [SPARK-44795]
• Přidáno SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Aby dotazy streamování fungovaly se správou artefaktů Connectu [SPARK-44794]
• ArrowDeserializer pracuje s vygenerovanými třídami REPL [SPARK-44791]
• Oprava Pythonem optimalizované uživatelem definované funkce na Spark Connect [SPARK-44876]
• Podpora klienta Scala a Go ve Spark Connect SPARK-42554SPARK-43351
• Podpora distribuovaného strojového učení založeného na PyTorchu pro Spark Connect SPARK-42471
• Podpora strukturovaného streamování pro Spark Connect v Pythonu a Scala SPARK-42938
• Podpora rozhraní Pandas API pro klienta Python Spark Connect SPARK-42497
• Představení Arrow Python UDFs SPARK-40307
• Podpora uživatelem definovaných tabulkových funkcí Pythonu spark-43798
• Migrace chyb PySpark do tříd chyb SPARK-42986
• PySpark Test Framework SPARK-44042
• Přidání podpory pro Datasketches HllSketch SPARK-16484
• Vylepšení vestavěné funkce SQL SPARK-41231
• klauzule IDENTIFIERSPARK-43205
• Přidání funkcí SQL do Scala, Pythonu a R API SPARK-43907
• Přidání podpory pojmenovaných argumentů pro funkce SQL SPARK-43922
• Pokud byla migrovaná zamíchaná data SPARK-41469 přemístěna, vyhněte se opětovnému spuštění nepotřebných úloh při ztrátě vyřazeného exekutoru.
• Distribuované strojové učení <> připojení Spark SPARK-42471
• DeepSpeed Distributor SPARK-44264
• Implementace kontrolních bodů protokolu změn pro úložiště stavů RocksDB SPARK-43421
• Zavést propagaci vodoznaku mezi operátory SPARK-42376
• Zavedení funkce dropDuplicatesWithinWatermark v rámci SPARK-42931
• Vylepšení správy paměti poskytovatele úložiště stavů RocksDB – Spark-43311

Spark Connect

• Refaktorizace modulu SQL do SQL a SQL-API s cílem vytvořit minimální sadu závislostí, které lze sdílet mezi klientem Scala Spark Connect a Sparkem a zabránit vyžadování všech tranzitivních závislostí Sparku. SPARK-44273
• Představujeme klienta Scala pro Spark Connect SPARK-42554
• Podpora rozhraní Pandas API pro klienta Spark Connect v Pythonu SPARK-42497
• Podpora distribuovaného strojového učení založeného na PyTorchu pro Spark Connect SPARK-42471
• Podpora strukturovaného streamování pro Spark Connect v Pythonu a Scala SPARK-42938
• Počáteční verze klienta Go SPARK-43351
• Hodně vylepšení kompatibility mezi nativním Sparkem a klienty Spark Connect v Pythonu a Scala
• Vylepšená možnost ladění a zpracování požadavků v klientských aplikacích (asynchronní zpracování, opakované pokusy, dlouhotrvající dotazy)

Spark SQL

Funkce

• Přidání počátečního a dlouhého bloku souboru metadat spark-42423
• Podpora pozičních parametrů v jazyce Scala/Java sql() SPARK-44066
• Přidání podpory pojmenovaných parametrů pro volání funkcí v analyzátoru SPARK-43922
• Podpora SELECT DEFAULT s ORDER BY, LIMIT, OFFSET pro INSERT zdrojové relace SPARK-43071
• Přidat gramatiku SQL pro klauzuli PARTITION BY a klauzuli ORDER BY, následující po argumentech TABLE, pro volání TVF SPARK-44503
• Zahrňte výchozí hodnoty sloupců ve výstupu DESCRIBE a SHOW CREATE TABLESPARK-42123
• Přidání volitelného vzoru pro Catalog.listCatalogs SPARK-43792
• Přidání volitelného vzoru pro Catalog.listDatabases SPARK-43881
• Zpětné volání, když je připraveno ke spuštění SPARK-44145
• Podpora pro příkaz Insert By Name SPARK-42750
• Přidání call_function pro Scala API SPARK-44131
• Stabilní odvozené aliasy sloupců SPARK-40822
• Podpora obecných konstantních výrazů jako hodnoty CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Podpora poddotazů s korelací prostřednictvím INTERSECT/EXCEPT SPARK-36124
• klauzule IDENTIFIERSPARK-43205
• REŽIM ANSI: Pokud vnitřní převod přeteče, Conv by měl vrátit chybu SPARK-42427

Funkce

• Přidání podpory pro Datasketches HllSketch SPARK-16484
• Podpora režimu CBC pomocí aes_encrypt()/aes_decrypt() SPARK-43038
• Podpora pravidla analyzátoru argumentů TABLE pro TableValuedFunction SPARK-44200
• Implementace rastrových funkcí SPARK-44154
• Přidání funkce try_aes_decrypt() SPARK-42701
• array_insert by měl selhat s 0 indexem SPARK-43011
• Přidání aliasu to_varchar pro to_char SPARK-43815
• Funkce s vysokým pořadím: array_compact implementace SPARK-41235
• Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce SPARK-44059
• Přidat NULL hodnoty pro INSERT pomocí uživatelsky zadaných seznamů s menším počtem sloupců než cílová tabulka SPARK-42521
• Přidává podporu pro aes_encrypt IV a AAD SPARK-43290
• Funkce DECODE vrací nesprávné výsledky při předání NULL SPARK-41668
• Podpora udf 'luhn_check' SPARK-42191
• Podpora implicitního vyhodnocení aliasů bočního sloupce na Aggregate SPARK-41631
• Podpora implicitního laterálního aliasu sloupce v dotazech s Window SPARK-42217
• Přidání aliasů pro funkce s tří argumenty DATE_ADD a DATE_DIFF SPARK-43492

Zdroje dat

• Podpora char/varchar pro katalog JDBC SPARK-42904
• Podpora dynamického získávání klíčových slov SQL prostřednictvím rozhraní JDBC API a TVF SPARK-43119
• Zdroj dat V2: Zpracování příkazů MERGE pro deltaové zdroje SPARK-43885
• Zdroj dat V2: Zpracování příkazů MERGE pro zdroje založené na skupinách SPARK-43963
• Zdroj dat V2: Řešení příkazů UPDATE pro skupinové zdroje SPARK-43975
• Zdroj dat V2: Umožnit reprezentaci aktualizací jako odstranění a vkládání SPARK-43775
• Povolit dialektům jdbc přepsat dotaz použitý k vytvoření tabulky SPARK-41516
• SPJ: Podpora částečně clusterované distribuce SPARK-42038
• DSv2 umožňuje CTAS/RTAS zajištění nullovatelnosti schématu SPARK-43390
• Přidejte spark.sql.files.maxPartitionNum SPARK-44021
• Zpracovat příkazy UPDATE pro rozdílové zdroje SPARK-43324
• Povolit zápisům verze 2 indikovat velikost doporučeného přerozdělovacího oddílu SPARK-42779
• Podpora kodeku komprese lz4raw pro Parquet SPARK-43273
• Avro: Psaní komplexních unií SPARK-25050
• Zrychlení odvozování typu časového razítka pomocí uživatelského formátu ve zdroji dat JSON/CSV SPARK-39280
• Avro podporuje typ desetinného čísla založený na Long SPARK-43901
• Vyhněte se přeuspořádání v Storage-Partitioned Join při neshodě klíčů oddílů, ale výrazy spojení jsou kompatibilní SPARK-41413
• Změna binárního souboru na nepodporovaný datový typ ve formátu CSV SPARK-42237
• Povolit Avru převést sjednocovací typ na SQL se stabilním názvem pole s typem SPARK-43333
• Zrychlete odvození typu časového razítka s použitím starého formátu pro zdroj dat JSON/CSV SPARK-39281

Optimalizace dotazů

• Odstranění dílčího výrazu podporuje zkratkový výraz SPARK-42815
• Vylepšit odhad statistik spojení, pokud může jedna strana zachovat jedinečnost SPARK-39851
• Zaveďte skupinový limit pro okno filtrace na základě pořadí, aby se optimalizoval výpočet top-k SPARK-37099
• Oprava chování null IN (prázdný seznam) v pravidlech optimalizace SPARK-44431
• Odvození a optimalizace limitu okna přes funkci okna, pokud je partitionSpec prázdný SPARK-41171
• Odeberte vnější spojení, pokud jsou to všechny jedinečné agregační funkce spark-42583
• Spojit dvě sousední okna se stejným oddílem/pořadím v poddotazu SPARK-42525
• Prosazení limitu pomocí uživatelsky definovaných funkcí v Pythonu SPARK-42115
• Optimalizace pořadí predikátů filtrování spark-40045

Generování kódu a spouštění dotazů

• Filtr za běhu by měl podporovat vícestupňovou shuffle join stranu jako stranu pro vytvoření filtru SPARK-41674
• Podpora Codegenu pro HiveSimpleUDF SPARK-42052
• Podpora Codegenu pro HiveGenericUDF SPARK-42051
• Podpora generování kódu pro při sestavení vnějšího náhodného spojení hash SPARK-44060
• Implementace generování kódu pro funkci to_csv (StructsToCsv) SPARK-42169
• Zajistit podporu AQE pro InMemoryTableScanExec SPARK-42101
• Podpora sestavení levého vnějšího spojení doleva nebo pravého vnějšího spojení v náhodném spojení hash SPARK-36612
• Dodržení RequiresDistributionAndOrdering v CTAS/RTAS SPARK-43088
• Sloučení segmentů ve spojení na straně streamu použitého pro broadcastové spojení SPARK-43107
• Správně nastavte hodnotu null u sloučeného spojovacího klíče v úplném vnějším spojení USING SPARK-44251
• Oprava nulovatelnosti dotazů IN v ListQuery SPARK-43413

Další významné změny

• Správně nastavit vlastnost nullable pro klíče ve spojení USING SPARK-43718
• Oprava chyby, kdy je COUNT(*) null v korelovaném skalárním poddotazu SPARK-43156
• Objekt DataFrame.joinWith s outer-join by měl vrátit hodnotu null pro neodpovídající řádek SPARK-37829
• Automatické přejmenování konfliktních sloupců metadat spark-42683
• Zdokumentujte třídy chyb Spark SQL v uživatelské dokumentaci SPARK-42706

PySpark

Funkce

• Podpora pozičních parametrů v Pythonu sql() SPARK-44140
• Podpora parametrizovaného SQL sql() SPARK-41666
• Podpora uživatelem definovaných tabulkových funkcí Pythonu spark-43797
• Podpora nastavení spustitelného souboru Pythonu pro rozhraní API funkcí UDF a pandas v pracovních procesech během provádění SPARK-43574
• Přidání prvku DataFrame.offset do PySpark SPARK-43213
• Implementujte dir() v pyspark.sql.dataframe.DataFrame tak, aby zahrnoval sloupce spark-43270
• Přidání možnosti použití velkých vektorů proměnlivé šířky pro operace UDF se šipkami SPARK-39979
• Upravte mapInPandas / mapInArrow tak, aby podporovaly vykonávání v bariérovém režimu SPARK-42896
• Přidání rozhraní API JobTag do PySpark SparkContext SPARK-44194
• Podpora pythonového UDTF pro analýzu v Python SPARK-44380
• Zobrazit TimestampNTZType v pyspark.sql.types SPARK-43759
• Podpora vnořeného časového razítka typu SPARK-43545
• Podpora userDefinedType v createDataFrame z datového rámce pandas a toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Přidání možnosti binárního popisovače do rozhraní API Pyspark Protobuf SPARK-43799
• Přijměte generické n-tice jako typovou nápovědu pro Pandas UDF SPARK-43886
• Přidejte funkci array_prepend SPARK-41233
• Přidání funkce assertDataFrameEqual util SPARK-44061
• Podpora UDTF optimalizovaných pomocí Arrow pro Python SPARK-43964
• Umožnit nastavení vlastní přesnosti pro přibližnou rovnost SPARK-44217
• Zveřejnit API assertSchemaEqual SPARK-44216
• Podpora fill_value pro ps.Series SPARK-42094
• Podpora typu struktury v createDataFrame z pandas DataFrame SPARK-43473

Další významné změny

• Přidání podpory automatického dokončování pro df[|] v pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Vyřazení & odebrání rozhraní API, která budou odebrána v knihovně pandas 2.0 [SPARK-42593]
• Nastavit Python jako první kartu pro příklady kódu – Průvodce Spark SQL, datovými rámci a datovými sadami SPARK-42493
• Aktualizace zbývajících příkladů kódu dokumentace Sparku pro zobrazení Pythonu ve výchozím nastavení SPARK-42642
• Použijte deduplikované názvy polí při vytváření Arrow RecordBatch [SPARK-41971]
• Podpora duplicitních názvů polí v createDataFrame s datovým rámcem pandas [SPARK-43528]
• Povolit parametr sloupců při vytváření datového rámce s řadou [SPARK-42194]

Základ

• Naplánovat mergeFinalize při opakovaném pokusu o spojení shuffleMapStage, ale žádné spuštěné úlohy SPARK-40082
• Zavedení PartitionEvaluatoru pro provádění operátoru SQL SPARK-43061
• Umožnit komponentě ShuffleDriverComponent oznámit, zda jsou shuffle data spolehlivě uložená SPARK-42689
• Přidání maximálního omezení počtu pokusů o fáze, aby se zabránilo potenciálnímu nekonečnému opakování SPARK-42577
• Podpora konfigurace úrovně protokolování pomocí statické Spark konfigurace SPARK-43782
• Optimalizace PercentileHeapu SPARK-42528
• Přidat argument důvodu do TaskScheduler.cancelTasks SPARK-42602
• Vyhněte se zbytečnému opětovnému spuštění úloh na vyřazeném exekutoru, pokud došlo k migraci dat pro zamíchání SPARK-41469.
• Oprava snížení počtu akumulátorů v případě úlohy opakovaného pokusu s mezipamětí rdd SPARK-41497
• Použití RocksDB pro spark.history.store.hybridStore.diskBackend ve výchozím nastavení SPARK-42277
• Obálka NonFateSharingCache pro Guava Cache SPARK-43300
• Vylepšení výkonu MapOutputTracker.updateMapOutput SPARK-43043
• Povolení aplikacím kontrolovat, zda jejich metadata jsou ukládána do databáze pomocí externí služby Shuffle Service SPARK-43179
• Přidání proměnné SPARK_DRIVER_POD_IP env do podů exekutoru SPARK-42769
• Připojí mapu konfigurace hadoop na pod exekutoru SPARK-43504.

Strukturované streamování

• Přidání podpory pro sledování využití paměti připnutých bloků pro stavové úložiště RocksDB SPARK-43120
• Přidání vylepšení správy paměti zprostředkovatele úložiště stavu RocksDB SPARK-43311
• Zavedení dropDuplicatesWithinWatermark SPARK-42931
• Zavedení nového zpětného volání onQueryIdle() do StreamingQueryListener SPARK-43183
• Přidat možnost pro přeskočení commit koordinátora jako součást rozhraní API StreamingWrite pro zdroje/sinky DSv2 SPARK-42968
• Zaveďte nové zpětné volání „onQueryIdle“ pro StreamingQueryListener SPARK-43183
• Implementace kontrolních bodů založených na protokolu změn pro poskytovatele úložiště stavů RocksDB SPARK-43421
• Přidání podpory pro WRITE_FLUSH_BYTES pro RocksDB používané ve streamovaných stavových operátorech SPARK-42792
• Přidat podporu pro nastavení max_write_buffer_number a write_buffer_size pro RocksDB používané ve streamování SPARK-42819
• Získání zámku pro StateStore v RocksDB by se mělo provést po získání vstupního iterátoru z inputRDD SPARK-42566
• Zavedení šíření vodoznaku mezi operátory SPARK-42376
• Vyčištění osamocených souborů sst a souborů protokolu v adresáři kontrolního bodu RocksDB SPARK-42353
• Rozšiřte QueryTerminatedEvent tak, aby obsahoval třídu chyb, pokud existuje ve výjimce SPARK-43482

ML

• Podpora distribuovaného trénování funkcí pomocí Deepspeed SPARK-44264
• Základní rozhraní sparkML pro Spark3.5: odhadovač/transformátor/model/vyhodnocovač SPARK-43516
• Zajistit, aby MLv2 (ML na spark connect) podporovalo pandas >= 2.0 SPARK-43783
• Aktualizace rozhraní MLv2 Transformer SPARK-43516
• Nová pyspark ML logistická regrese implementovaná nad distributorem SPARK-43097
• Přidejte Classifier.getNumClasses zpět SPARK-42526
• Napiš třídu Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
• Základní implementace ukládání / načítání pro ML na Spark connect SPARK-43981
• Vylepšení ukládání logistického regresního modelu SPARK-43097
• Implementace estimátoru potrubí pro ML ve Spark connect SPARK-43982
• Implementace estimátoru křížového validátoru SPARK-43983
• Implementujte vyhodnocovač klasifikace SPARK-44250
• Zajištění kompatibility distributora PyTorch se Spark Connect SPARK-42993

Uživatelské rozhraní

• Přidání stránky uživatelského rozhraní Sparku pro Spark Connect SPARK-44394
• Sloupec podpory histogramu haldy na kartě Exekutoři SPARK-44153
• Zobrazit chybovou zprávu v uživatelském rozhraní pro každý neúspěšný dotaz SPARK-44367
• Zobrazení času přidání/odebrání exekutorů na záložce Exekutoři SPARK-44309

Vytváření a další

• Odebrání podpory Pythonu 3.7 SPARK-43347
• Vytvoření minimální verze PyArrow na 4.0.0 SPARK-44183
• Podpora R 4.3.1 SPARK-43447SPARK-44192
• Přidání rozhraní API JobTag do SparkR SparkContext SPARK-44195
• Přidání matematických funkcí do SparkR SPARK-44349
• Aktualizovat Parquet na verzi 1.13.1 SPARK-43519
• Upgradeujte ASM na verzi 9.5 SPARK-43537SPARK-43588
• Upgrade rocksdbjni na 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Aktualizovat Netty na 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Aktualizace zstd-jni na 1.5.5-5 SPARK-42409 SPARK-42625 SPARK-43080 SPARK-43294 SPARK-43737 SPARK-43994 SPARK-44465
• Aktualizovat metriky dropwizard 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Aktualizace konektoru GCS na verzi 2.2.14 SPARK-42888SPARK-43842
• Aktualizovat commons-crypto na verzi 1.2.0 SPARK-42488
• Aktualizovat scala-parser-combinators z verze 2.1.1 na 2.2.0 SPARK-42489
• Aktualizovat protobuf-java na 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Aktualizovat commons-codec na verzi 1.16.0 SPARK-44151
• Upgrade Apache Kafka na 3.4.1 SPARK-42396SPARK-44181
• Upgrade roaringBitmap na 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Aktualizace ORC na 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Aktualizace na Avro 1.11.2 SPARK-44277
• Aktualizujte commons-compress na verzi 1.23.0 SPARK-43102
• Upgrade joda-time z verze 2.12.2 na 2.12.5 SPARK-43008
• Aktualizovat snappy-java na 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Upgrade mysql-connector-java z verze 8.0.31 na 8.0.32 SPARK-42717
• Upgrade Apache Arrow na 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Vylepšit commons-io na verzi 2.12.0 SPARK-43739
• Upgrade Apache commons-io na 2.13.0 SPARK-43739SPARK-44028
• Upgrade FasterXML jackson na 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Upgrade log4j2 na 2.20.0 SPARK-42536
• Upgrade slf4j na 2.0.7 SPARK-42871
• Aktualizovat numpy a pandas v produkční verzi Dockerfile SPARK-42524
• Aktualizujte Jersey na 2.40 SPARK-44316
• Upgrade H2 z verze 2.1.214 na 2.2.220 SPARK-44393
• Upgrade parametru na ^0.9.3 SPARK-44279
• Aktualizujte bcprov-jdk15on a bcpkix-jdk15on na verzi 1.70 SPARK-44441
• Upgrade mlflow na verzi 2.3.1 SPARK-43344
• Upgrade Tink na 1.9.0 SPARK-42780
• Upgrade tlumiče na 1.7.13 SPARK-41787SPARK-44031
• Aktualizovat Ammonite na 2.5.9 SPARK-44041
• Aktualizovat Scala na verzi 2.12.18 SPARK-43832
• Upgrade org.scalatestplus:selenium-4-4 na org.scalatestplus:selenium-4-7 SPARK-41587
• Aktualizace minimatche na verzi 3.1.2 SPARK-41634
• Upgrade sbt-assembly z verze 2.0.0 na 2.1.0 SPARK-41704
• Aktualizace modulu plug-in maven-checkstyle-plugin z verze 3.1.2 na verzi 3.2.0 SPARK-41714
• Upgrade dev.ludovic.netlib na verzi 3.0.3 SPARK-41750
• Vylepšit hive-storage-api na verzi 2.8.1 SPARK-41798
• Upgrade Apache httpcore na 4.4.16 SPARK-41802
• Aktualizujte Jetty na verzi 9.4.52.v20230823 SPARK-45052
• Upgrade compress-lzf na 1.1.2 SPARK-42274

Odebrání, změny chování a vyřazení

Nadcházející odebrání

Následující funkce se odeberou v příští hlavní verzi Sparku.

• Podpora pro Javu 8 a Javu 11 a minimální podporovaná verze Javy bude Java 17.
• Podpora pro Scala 2.12 a minimální podporovaná verze Scala bude 2.13

Průvodci migrací

• Spark Core
• SQL, datové sady a datový rámec
• Strukturované streamování
• MLlib (Machine Learning)
• PySpark (Python ve Sparku)
• SparkR (R ve Sparku)

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Prostředí systému

• Operační systém: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Posit Správce balíčků z 13. 7. 2023.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)