Databricks Runtime 14.0 (EoS)

Följande versionsanmärkningar innehåller information om Databricks Runtime 14.0, försedd med Apache Spark 3.5.0.

Databricks släppte den här versionen i september 2023.

Nya funktioner och förbättringar

• Radspårning är GA
• Förutsägande I/O för uppdateringar är GA
• Borttagningsvektorer är GA
• Spark 3.5.0 är allmänt tillgänglig
• Offentlig förhandsversion för användardefinierade tabellfunktioner för Python
• Offentlig förhandsversion för radbaserad konkurrens
• Standardvärdet för den aktuella arbetskatalogen har ändrats
• Känt problem med sparklyr
• Introduktion till Spark Connect i arkitektur för delat kluster
• Visa en lista över tillgängliga API-uppdateringar för Spark-versioner

** Radspårning är i GA-status

Radspårning för Delta Lake är nu allmänt tillgänglig. Se Använda radspårning för Delta-tabeller.

Förutsägande I/O för uppdateringar är GA

Prediktiv I/O för uppdateringar är nu allmänt tillgänglig. Se Vad är förutsägande I/O?.

Borttagningsvektorer är GA

Borttagningsvektorer är nu allmänt tillgängliga. Se Vad är borttagningsvektorer?.

Spark 3.5.0 är GA

Apache Spark 3.5.0 är nu allmänt tillgängligt. Se Spark Version 3.5.0.

Offentlig förhandsversion för användardefinierade tabellfunktioner för Python

Med användardefinierade tabellfunktioner (UDF: er) kan du registrera funktioner som returnerar tabeller i stället för skalära värden. Se Användardefinierade tabellfunktioner i Python (UDF).

Offentlig förhandsversion för konkurrens på radnivå

Samtidighet på radnivå minskar konflikterna mellan samtidiga skrivåtgärder genom att identifiera ändringar på radnivå och automatiskt matcha konkurrerande ändringar i samtidiga skrivningar som uppdaterar eller tar bort olika rader i samma datafil. Se Skriva konflikter med samtidighet på radnivå.

Standardarbetskatalogen har ändrats

Standardkatalogen för aktuell arbetskatalog (CWD) för kod som körs lokalt är nu katalogen som innehåller anteckningsboken eller skriptet som körs. Detta inkluderar kod som %sh och Python- eller R-kod som inte använder Spark. Se Vad är standardkatalogen för aktuell arbetskatalog?.

Känt problem med sparklyr

Den installerade versionen av sparklyr paketet (version 1.8.1) är inte kompatibel med Databricks Runtime 14.0. Om du vill använda sparklyrinstallerar du version 1.8.3 eller senare.

Introduktion till Spark Connect i arkitektur för delat kluster

Med Databricks Runtime 14.0 och senare använder delade kluster nu Spark Connect med Spark-drivrutinen från Python REPL som standard. Interna Spark-API:er är inte längre tillgängliga från användarkoden.

Spark Connect interagerar nu med Spark-drivrutinen från REPL i stället för den äldre REPL-integreringen.

Visa en lista över tillgängliga API-uppdateringar för Spark-versioner

Aktivera Photon genom att ange runtime_engine = PHOTONoch aktivera aarch64 genom att välja en gravitoninstanstyp. Azure Databricks anger rätt Databricks Runtime-version. Tidigare returnerade Spark-versionens API körtider som var specifika för implementeringen för varje version. Se GET /api/2.0/clusters/spark-versions i REST API-referensen.

Brytande ändringar

I Databricks Runtime 14.0 och senare använder kluster med standardåtkomstläge (tidigare delat åtkomstläge) Spark Connect för klientserverkommunikation. Detta inkluderar följande ändringar.

Mer information om standardbegränsningar för åtkomstläge finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Python på kluster med standardåtkomstläge (tidigare delat åtkomstläge)

• sqlContext är inte tillgängligt. Azure Databricks rekommenderar att du använder variabeln spark för instansen SparkSession .
• Spark Context (sc) är inte längre tillgängligt i Notebooks eller när du använder Databricks Connect i ett kluster med standardåtkomstläge. Följande sc funktioner är inte längre tillgängliga:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• Funktionen Datamängdsinformation stöds inte längre.
• Det finns inte längre något beroende på JVM när du frågar Apache Spark och därför stöds inte längre interna API:er relaterade till JVM, såsom _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap och _jcols.
• När du kommer åt konfigurationsvärden med spark.conf endast dynamiska körningskonfigurationsvärden är tillgängliga.
• DLT-analyskommandon stöds inte på delade kluster ännu.

Delta i kluster med standardåtkomstläge (tidigare delat åtkomstläge)

• I Python finns det inte längre något beroende av JVM när du kör frågor mot Apache Spark. Interna API:er relaterade till JVM, till exempel DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderoch DeltaOptimizeBuilder._jbuilder stöds inte längre.

SQL på kluster med standardåtkomstläge (tidigare delat åtkomstläge)

• DBCACHE och DBUNCACHE kommandon stöds inte längre.
• Sällsynta användningsfall som cache table db as show databases stöds inte längre.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • asttokens från 2.2.1 till 2.0.5
  • attrs från 21.4.0 till 22.1.0
  • botocore från 1.27.28 till 1.27.96
  • certifi från 2022.9.14 till 2022.12.7
  • kryptografi från 37.0.1 till 39.0.1
  • debugpy från 1.6.0 till 1.6.7
  • docstring-to-markdown från 0.12 till 0.11
  • körs från 1.2.0 till 0.8.3
  • facets-overview från 1.0.3 till 1.1.1
  • googleapis-common-protos från 1.56.4 till 1.60.0
  • grpcio från 1.48.1 till 1.48.2
  • idna från 3.3 till 3.4
  • ipykernel från 6.17.1 till 6.25.0
  • ipython från 8.10.0 till 8.14.0
  • Jinja2 från 2.11.3 till 3.1.2
  • jsonschema från 4.16.0 till 4.17.3
  • jupyter_core från 4.11.2 till 5.2.0
  • kiwisolver från 1.4.2 till 1.4.4
  • MarkupSafe från 2.0.1 till 2.1.1
  • matplotlib från 3.5.2 till 3.7.0
  • nbconvert från 6.4.4 till 6.5.4
  • nbformat från 5.5.0 till 5.7.0
  • nest-asyncio från 1.5.5 till 1.5.6
  • notebook från 6.4.12 till 6.5.2
  • numpy från 1.21.5 till 1.23.5
  • förpackning från 21.3 till 22.0
  • pandas från 1.4.4 till 1.5.3
  • pathspec från 0.9.0 till 0.10.3
  • patsy från 0.5.2 till 0.5.3
  • Pillow från 9.2.0 till 9.4.0
  • pip från 22.2.2 till 22.3.1
  • protobuf från 3.19.4 till 4.24.0
  • pytoolconfig från 1.2.2 till 1.2.5
  • pytz från 2022.1 till 2022.7
  • s3transfer från 0.6.0 till 0.6.1
  • seaborn från 0.11.2 till 0.12.2
  • setuptools från 63.4.1 till 65.6.3
  • soupsieve från 2.3.1 till 2.3.2.post1
  • stack-data från 0.6.2 till 0.2.0
  • statsmodels från 0.13.2 till 0.13.5
  • terminado från 0.13.1 till 0.17.1
  • traitlets från 5.1.1 till 5.7.1
  • typing_extensions från 4.3.0 till 4.4.0
  • urllib3 från 1.26.11 till 1.26.14
  • virtualenv från 20.16.3 till 20.16.7
  • hjul från 0.37.1 till 0.38.4
• Uppgraderade R-bibliotek:
  • pil från 10.0.1 till 12.0.1
  • bas från 4.2.2 till 4.3.1
  • blob från 1.2.3 till 1.2.4
  • kvast från 1.0.3 till 1.0.5
  • bslib från 0.4.2 till 0.5.0
  • cachem från 1.0.6 till 1.0.8
  • caret från 6.0-93 till 6.0-94
  • chron från 2.3-59 till 2.3-61
  • klass från 7.3-21 till 7.3-22
  • cli från 3.6.0 till 3.6.1
  • klockan från 0.6.1 till 0.7.0
  • commonmark från 1.8.1 till 1.9.0
  • kompilator från 4.2.2 till 4.3.1
  • cpp11 från 0.4.3 till 0.4.4
  • curl från 5.0.0 till 5.0.1
  • data.table från 1.14.6 till 1.14.8
  • datauppsättningar från 4.2.2 till 4.3.1
  • dbplyr från 2.3.0 till 2.3.3
  • sammanfatta från 0.6.31 till 0.6.33
  • downlit från 0.4.2 till 0.4.3
  • dplyr från 1.1.0 till 1.1.2
  • dtplyr från 1.2.2 till 1.3.1
  • utvärdera från 0,20 till 0,21
  • Uppdatering av fastmap från 1.1.0 till 1.1.1
  • fontawesome från 0.5.0 till 0.5.1
  • fs från 1.6.1 till 1.6.2
  • framtid från 1.31.0 till 1.33.0
  • future.apply från 1.10.0 till 1.11.0
  • gargle från 1.3.0 till 1.5.1
  • ggplot2 från 3.4.0 till 3.4.2
  • gh från 1.3.1 till 1.4.0
  • glmnet från 4.1-6 till 4.1-7
  • googledrive från 2.0.0 till 2.1.1
  • googlesheets4 från 1.0.1 till 1.1.1
  • grafik från 4.2.2 till 4.3.1
  • grDevices från 4.2.2 till 4.3.1
  • rutnät från 4.2.2 till 4.3.1
  • gtable från 0.3.1 till 0.3.3
  • hardhat från 1.2.0 till 1.3.0
  • haven från 2.5.1 till 2.5.3
  • hms från 1.1.2 till 1.1.3
  • htmltools från 0.5.4 till 0.5.5
  • htmlwidgets från 1.6.1 till 1.6.2
  • httpuv från 1.6.8 till 1.6.11
  • httr från 1.4.4 till 1.4.6
  • ipred från 0,9-13 till 0,9-14
  • jsonlite från 1.8.4 till 1.8.7
  • KernSmooth från 2.23-20 till 2.23-21
  • knitr från 1.42 till 1.43
  • senare från 1.3.0 till 1.3.1
  • lattice från 0.20-45 till 0.21-8
  • lava från 1.7.1 till 1.7.2.1
  • lubridat från 1.9.1 till 1.9.2
  • markdown från 1,5 till 1,7
  • MASS från 7.3-58.2 till 7.3-60
  • Matris från 1,5-1 till 1,5-4,1
  • metoder från 4.2.2 till 4.3.1
  • mgcv från 1,8-41 till 1,8-42
  • modelr från 0.1.10 till 0.1.11
  • nnet från 7.3-18 till 7.3-19
  • openssl från 2.0.5 till 2.0.6
  • parallell från 4.2.2 till 4.3.1
  • parallellt från 1.34.0 till 1.36.0
  • pelare från 1.8.1 till 1.9.0
  • pkgbuild från 1.4.0 till 1.4.2
  • pkgload från 1.3.2 till 1.3.2.1
  • pROC från 1,18,0 till 1,18,4
  • processx från 3.8.0 till 3.8.2
  • prodlim från 2019.11.13 till 2023.03.31
  • profvis från 0.3.7 till 0.3.8
  • ps från 1.7.2 till 1.7.5
  • Rcpp från 1.0.10 till 1.0.11
  • readr från 2.1.3 till 2.1.4
  • readxl från 1.4.2 till 1.4.3
  • recept från 1.0.4 till 1.0.6
  • rlang från 1.0.6 till 1.1.1
  • rmarkdown från 2.20 till 2.23
  • Rserve från 1,8-12 till 1,8-11
  • RSQLite från 2.2.20 till 2.3.1
  • rstudioapi från 0,14 till 0,15,0
  • sass från 0.4.5 till 0.4.6
  • glänsande från 1.7.4 till 1.7.4.1
  • sparklyr från 1.7.9 till 1.8.1
  • SparkR från 3.4.1 till 3.5.0
  • splines från 4.2.2 till 4.3.1
  • statistik från 4.2.2 till 4.3.1
  • stats4 från 4.2.2 till 4.3.1
  • överlevnad från 3,5-3 till 3,5-5
  • sys från 3.4.1 till 3.4.2
  • tcltk från 4.2.2 till 4.3.1
  • testthat från 3.1.6 till 3.1.10
  • tibble från 3.1.8 till 3.2.1
  • tidyverse från 1.3.2 till 2.0.0
  • tinytex från 0,44 till 0,45
  • verktyg från 4.2.2 till 4.3.1
  • tzdb från 0.3.0 till 0.4.0
  • usethis från 2.1.6 till 2.2.2
  • verktyg från 4.2.2 till 4.3.1
  • vctrs från 0.5.2 till 0.6.3
  • viridisLite från 0.4.1 till 0.4.2
  • vroom från 1.6.1 till 1.6.3
  • waldo från 0.4.0 till 0.5.1
  • xfun från 0,37 till 0,39
  • xml2 från 1.3.3 till 1.3.5
  • zip från 2.2.2 till 2.3.0
• Uppgraderade Java-bibliotek:
  • com.fasterxml.jackson.core.jackson-anteckningar från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.core.jackson-core från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.core.jackson-databind från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.13.4 till 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer från 2.14.2 till 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.14.2 till 2.15.2
  • com.github.luben.zstd-jni från 1.5.2-5 till 1.5.5-4
  • com.google.code.gson.gson från 2.8.9 till 2.10.1
  • com.google.crypto.tink.tink från 1.7.0 till 1.9.0
  • commons-codec.commons-codec från 1.15 till 1.16.0
  • commons-io.commons-io från 2.11.0 till 2.13.0
  • io.airlift.aircompressor från 0.21 till 0.24
  • io.dropwizard.metrics.metrics-core från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-graphite från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-jmx från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-json från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-jvm från 4.2.10 till 4.2.19
  • io.dropwizard.metrics.metrics-servlets från 4.2.10 till 4.2.19
  • io.netty.netty-all från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-buffert från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-codec från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-codec-http från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-codec-http2 från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-codec-socks från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-common från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-handler från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-handler-proxy från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-resolver från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-transport från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-transport-classes-epoll från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue från 4.1.87.Final till 4.1.93.Final
  • io.netty.netty-transport-native-epoll från 4.1.87.Final-linux-x86_64 till 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue från 4.1.87.Final-osx-x86_64 till 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common från 4.1.87.Final till 4.1.93.Final
  • org.apache.arrow.arrow-format från 11.0.0 till 12.0.1
  • org.apache.arrow.arrow-memory-core från 11.0.0 till 12.0.1
  • org.apache.arrow.arrow-memory-netty från 11.0.0 till 12.0.1
  • org.apache.arrow.arrow-vector från 11.0.0 till 12.0.1
  • org.apache.avro.avro från 1.11.1 till 1.11.2
  • org.apache.avro.avro-ipc från 1.11.1 till 1.11.2
  • org.apache.avro.avro-mapred från 1.11.1 till 1.11.2
  • org.apache.commons.commons-compress från 1.21 till 1.23.0
  • org.apache.hadoop.hadoop-client-runtime från 3.3.4 till 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api från 2.19.0 till 2.20.0
  • org.apache.logging.log4j.log4j-api från 2.19.0 till 2.20.0
  • org.apache.logging.log4j.log4j-core från 2.19.0 till 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl från 2.19.0 till 2.20.0
  • org.apache.orc.orc-core från 1.8.4-shaded-protobuf till 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce från 1.8.4-shaded-protobuf till 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims från 1.8.4 till 1.9.0
  • org.apache.xbean.xbean-asm9-shaded från 4.22 till 4.23
  • org.checkerframework.checker-qual från 3.19.0 till 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet från 2.36 till 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core från 2.36 till 2.40
  • org.glassfish.jersey.core.jersey-client från 2.36 till 2.40
  • org.glassfish.jersey.core.jersey-common från 2.36 till 2.40
  • org.glassfish.jersey.core.jersey-server från 2.36 till 2.40
  • org.glassfish.jersey.inject.jersey-hk2 från 2.36 till 2.40
  • org.javassist.javassist från 3.25.0-GA till 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client från 2.7.4 till 2.7.9
  • org.postgresql.postgresql från 42.3.8 till 42.6.0
  • org.roaringbitmap.RoaringBitmap från 0.9.39 till 0.9.45
  • org.roaringbitmap.shims från 0.9.39 till 0.9.45
  • org.rocksdb.rocksdbjni från 7.8.3 till 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 från 2.4.3 till 2.9.0
  • org.slf4j.jcl-over-slf4j från 2.0.6 till 2.0.7
  • org.slf4j.jul-to-slf4j från 2.0.6 till 2.0.7
  • org.slf4j.slf4j-api från 2.0.6 till 2.0.7
  • org.xerial.snappy.snappy-java från 1.1.10.1 till 1.1.10.3
  • org.yaml.snakeyaml från 1.33 till 2.0

Apache Spark

Databricks Runtime 14.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Åtgärda aes_decrypt och ln-funktionerna i Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Åtgärda ärvda namedtuples för att fungera i createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache bör vara specifik för klassladdaren
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] json ignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Få strömningsfrågor att fungera med Connects artefakthantering
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Få ArrowDeserializer att fungera med REPL-genererade klasser
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Åtgärda Arrow-optimerad Python UDF på Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Stöd för python protobuf-funktioner för Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Ta bort funktionen uuid/random/chr från PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][följ] Åtgärda metadatavärden för artefakter
• [SPARK-44822] [DBRRM-464][python][SQL] Gör Python-UDF:er som standard icke-deterministiska
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refaktorera Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Lägg till saknade klientmetadata i anrop
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: Objektet NoneType har inget attribut 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager för att spåra alla exekveringar
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Inaktivera piloptimering som standard för Python-UDF:er
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Kör ExecuteGrpcResponseSender i återkopplingsbar exekvering i en ny tråd för att fixa flödeskontroll
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Gör alla iteratorer CloseableIterators
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Retry ExecutePlan om den första begäran inte nådde servern i Python-klienten
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Retry ExecutePlan om den första begäran inte nådde servern
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Fel som flyttats till sq/api bör också använda AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Lägg till kodare-objekt
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Uppföljning av avslutning av strömmande fråga när klientsessionen har timeout för Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute i ExecutePlanResponseReattachableIterator efter att det får ett felmeddelande från servern
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remove Connect Client Catalyst Dependency
• [SPARK-44664] [DBRRM-396][python][CONNECT] Släpp körningen när iteratorn stängs i Python-klienten
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Ta bort sessionsbaserad katalog när den isolerade sessionscachen avlägsnas
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Lämna inga lösa iteratorer
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Python-klient för att återansluta till befintlig exekvering i Spark Connect
• [SPARK-44637] [SC-138571] Synkronisera åtkomster till ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Återställ Row.jsonValue och vänner
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Återanslutningsbar körning i Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Uppgradera protobuf från 3.19.5 till 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Öka rekursionsgränsen för protobuf marshaller
• [SPARK-44591] [SC-138292][connect][SQL] Lägg till jobTags i SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations bör behålla aliasmetadata när du skapar en ny instans
• [SPARK-44542] [SC-138323][core] Läser ivrigt in SparkExitCode-klassen i undantagshanteraren
• [SPARK-44264] [SC-138143][python]E2E-testning för Deepspeed
• [SPARK-43997] [SC-138347][connect] Lägg till stöd för Java-UDF:er
• [SPARK-44507] [SQL][connect][14.x][14.0] Flytta AnalysisException till sql/api
• [SPARK-44453] [SC-137013][python] Använd difflib för att visa fel i assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Lägg till en Spark-användargränssnittssida för Spark Connect
• [SPARK-44611] [SC-138415][connect] Uteslut inte scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Flytta kodarinferens till sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Åtgärda klassinläsningsproblemet som orsakas av...
• [SPARK-44590] [SC-138296][sql][CONNECT] Ta bort pilbatchpostgränsen för SqlCommandResult
• [SPARK-43968] [SC-138115][python] Förbättra felmeddelanden för Python UDTF:er med fel antal utdata
• [SPARK-44432] [SC-138293][ss][CONNECT] Avsluta strömningsfrågor när en session överskrider tidsgränsen i Spark Connect
• [SPARK-44584] [SC-138295][connect] Ange client_type information för AddArtifactsRequest och ArtifactStatusesRequest i Scala Client
• [SPARK-44552] [14.0][sc-138176][SQL] Ta bort private object ParseState definition från IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Aktivera resample med Spark Connect
• [SPARK-44287] [SC-136223][sql] Använd PartitionEvaluator API i RowToColumnarExec & ColumnarToRowExec SQL-operatorer.
• [SPARK-39634] [SC-137566][sql] Tillåt fildelning i kombination med radindexgenerering
• [SPARK-44533] [SC-138058][python] Lägg till stöd för ackumulator-, sändnings- och Spark-filer i Python UDTF:s analys
• [SPARK-44479] [SC-138146][python] Fix ArrowStreamPandasUDFSerializer för att acceptera pandas DataFrame utan kolumner
• [SPARK-44425] [SC-138177][connect] Verifiera att användarens sessions-ID är ett UUID
• [SPARK-44535] [SC-138038][connect][SQL] Flytta nödvändig strömnings-API till sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Skriv en Deepspeed-distribuerad lärandeklass DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables kan inte hantera RuntimeReplaceable-uttryck
• [SPARK-44060] [SC-135693][sql] Code-gen för yttre blandad hashkoppling på byggsidan
• [SPARK-44496] [SC-137682][sql][CONNECT] Flytta gränssnitt som behövs av SCSC till sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Flytta ArrowUtils till sql/api
• [SPARK-44413] [SC-137019][python] Klargöra fel för arg-datatyp som inte stöds i assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Flytta SparkBuildInfo till common/util
• [SPARK-36612] [SC-133071][sql] Stöd för att bygga vänster eller höger yttre koppling i blandad hash-anslutning
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils genererade felaktiga parametrar för jars
• [SPARK-44449] [SC-137818][connect] Upcasting för direkt Arrow Deserialisering
• [SPARK-44131] [SC-136346][sql] Lägg till call_function och avveckla call_udf för Scala API
• [SPARK-44541] [SQL] Ta bort värdelös funktion hasRangeExprAgainstEventTimeCol från UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] Filter maxRows/maxRowsPerPartition är 0 om villkoret är FalseLiteral
• [SPARK-44540] [SC-137873][ui] Ta bort oanvända formatmallar och javascript-filer i jsonFormatter
• [SPARK-44466] [SC-137856][sql] Undanta konfigurationer som börjar med SPARK_DRIVER_PREFIX och SPARK_EXECUTOR_PREFIX från modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Behandla TYPE_CHECK_FAILURE_WITH_HINT som en felunderklass
• [SPARK-44509] [SC-137855][python][CONNECT] Lägg till API för uppsägning av jobb i Spark Connect Python-klienten
• [SPARK-44059] [SC-137023] Lägga till analysstöd för namngivna argument för inbyggda funktioner
• [SPARK-38476] [SC-136448][core] Använd felklass i org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementera PyArrow self_destruct funktion för toPandas
• [SPARK-44361] [SC-137200][sql] Använd PartitionEvaluator API i MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Uppdatera dataTabeller till 1.13.5 och ta bort några ej åtkomliga png-filer
• [SPARK-44503] [SC-137808][sql] Lägg till SQL-grammatik för PARTITION BY- och ORDER BY-klausul efter TABLE argument för TVF-anrop
• [SPARK-38477] [SC-136319][core] Använd felklass i org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Spark Connect finkornigt avbrott
• [SPARK-44380] [SC-137415][sql][PYTHON] Stöd för Python UDTF att analysera i Python
• [SPARK-43923] [SC-137020][connect] Skicka listenerBus-händelser under...
• [SPARK-44303] [SC-136108][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Åtgärda att kolumnen HeapHistogram visas oväntat med välj-alla-rutan
• [SPARK-44409] [SC-136975][sql] Hantera char/varchar i Dataset.to för att vara konsekvent med andra
• [SPARK-44334] [SC-136576][sql][UI] Status i REST API-svaret för en misslyckad DDL/DML utan jobb bör vara FELAKTIG i stället för fullständig
• [SPARK-42309] [SC-136703][sql] Introducera INCOMPATIBLE_DATA_TO_TABLE- och underklasser.
• [SPARK-44367] [SC-137418][sql][UI] Visa felmeddelande i användargränssnittet för varje misslyckad fråga
• [SPARK-44474] [SC-137195][connect] Återaktivera "Test observera svar" på SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[1067 1150 1220 1265 1277]
• [SPARK-44310] [SC-136055][connect] Startloggen för Connect Server bör visa värdnamnet och porten
• [SPARK-44309] [SC-136193][ui] Visa visning av tid för tillägg/borttagning av exekutorer på fliken Exekutorer
• [SPARK-42898] [SC-137556][sql] Markera att sträng-/datumgjutningar inte behöver tidszons-ID
• [SPARK-44475] [SC-137422][sql][CONNECT] Flytta DataType och Parser till sql/api
• [SPARK-44484] [SC-137562][ss]Lägg till batchDuration i StreamingQueryProgress json-metoden
• [SPARK-43966] [SC-137559][sql][PYTHON] Stöder icke-deterministiska tabellvärdesfunktioner
• [SPARK-44439] [SC-136973][connect][SS] Åtgärdat listListeners för att endast skicka id:n tillbaka till klienten
• [SPARK-44341] [SC-137054][sql][PYTHON] Definiera databehandlingslogiken via PartitionEvaluator API och använd den i WindowExec och WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Konvertera _LEGACY_ERROR_TEMP_1337 till UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Lägg till stöd för strömningslyssnare i Scala för Spark Connect
• [SPARK-44260] [SC-135618][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[1215-1245-2329] & Använd checkError() för att kontrollera undantaget i _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: kapsla in alla SPJ-relaterade parametrar i BatchScanExec
• [SPARK-44292] [SC-135844][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Direkt Arrow-avserialisering
• [SPARK-44324] [SC-137172][sql][CONNECT] Flytta CaseInsensitiveMap till sql/api
• [SPARK-44395] [SC-136744][sql] Lägg till test tillbaka till StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Gör pyspark.sql.is_remote till ett API
• [SPARK-44278] [SC-137400][connect] Implementera en GRPC-serverinterceptor som rensar lokala trådegenskaper
• [SPARK-44264] [SC-137211][ml][PYTHON] Har stöd för distribuerad träning av funktioner med deepspeed
• [SPARK-44430] [SC-136970][sql] Lägg till orsak till AnalysisException när alternativet är ogiltigt
• [SPARK-44264] [SC-137167][ml][PYTHON] Som införlivar FunctionPickler i TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Göra assertSchemaEqual API offentligt
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-43203] [SC-134528][sql] Flytta alla Drop Table-fall till DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Öppna AdaptiveSparkPlanHelper.allChildren istället för att använda kopia i MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Omstrukturera TorchDistributor för att möjliggöra en anpassad "run_training_on_file"-funktionspekare
• [SPARK-43755] [SC-136838][connect] Flytta utförandet från SparkExecutePlanStreamHandler till en annan tråd
• [SPARK-44411] [SC-137198][sql] Använd PartitionEvaluator API i ArrowEvalPythonExec och BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Använd PartitionEvaluator API i DebugExec
• [SPARK-43967] [SC-137057][python] Stöder vanliga Python UDTF:er med tomma returvärden
• [SPARK-43915] [SC-134766][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Stödjer Python UDTF i Spark Connect
• [SPARK-44154] [SC-137050][sql] Lade till fler enhetstester i BitmapExpressionUtilsSuite och gjorde mindre förbättringar av Bitmap Aggregate Expressions
• [SPARK-44169] [SC-135497][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Ta bort StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Stöd för piloptimerade Python-UDF:er
• [SPARK-44321] [SC-136308][connect] Frikoppla ParseException från AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Återaktivera test_artifact med relevanta ändringar
• [SPARK-44145] [SC-136698][sql] Återanrop när det är klart för körning
• [SPARK-43983] [SC-136404][python][ML][connect] Aktivera korsvaliderare för estimatorprov
• [SPARK-44399] [SC-136669][pyhton][CONNECT] Importera SparkSession i Python UDF endast när useArrow är Ingen
• [SPARK-43631] [SC-135300][connect][PS] Aktivera Series.interpolate med Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Lägg till exempelkod för distribuerad ML för Spark Connect
• [SPARK-44282] [SC-135948][connect] Förbered DataType-parsning för användning i Spark Connect Scala-klienten
• [SPARK-44052] [SC-134469][connect][PS] Lägg till verktyg för att hämta rätt kolumn- eller DataFrame-klass för Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementera korsverifierare
• [SPARK-44290] [SC-136300][connect] Sessionsbaserade filer och arkiv i Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Stöd functions.date_part för Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Cleanup & konsolidera biljetter för att förenkla uppgifterna.
• [SPARK-44150] [SC-135790][python][CONNECT] Explicit Arrow-konvertering för ojämn returtyp i Arrow Python UDF
• [SPARK-43903] [SC-134754][python][CONNECT] Förbättra ArrayType-indatastöd i Arrow Python UDF
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementera klassificeringsutvärdering
• [SPARK-44255] [SC-135704][sql] Flytta StorageLevel till common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementera kodgenerering för funktionen to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Omstrukturera PythonUDTFRunner för att skicka sin returtyp separat
• [SPARK-43353] [SC-132734][python] Migrera återstående sessionsfel till felklassen
• [SPARK-44133] [SC-134795][python] Uppgradera MyPy från 0,920 till 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Event Serde i JSON-format
• [SPARK-43353] Återställ "[SC-132734][es-729763][PYTHON] Migrera återstående sessionsfel till felklass"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Flytta namnområdet från pyspark.mlv2 till pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Flytta StringConcat till sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Lägg till valfritt mönster för Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementera pipelineberäknare för ML på Spark Connect
• [SPARK-43888] [SC-132893][core] Flytta loggning till vanliga/verktyg
• [SPARK-42941] Revert "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Event Serde i JSON-format"
• [SPARK-43624] [SC-134557][ps][CONNECT] Lägg till EWM i SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Basic saving/loading implementation for ML on spark connect
• [SPARK-43205] [SC-133371][sql] fix SQLQueryTestSuite
• [SPARK-43376] Revert "[SC-130433][sql] Improve reuse subquery with table cache"
• [SPARK-44040] [SC-134366][sql] Åtgärda beräkningsstatistik när AggregateExec-noden är ovanför QueryStageExec
• [SPARK-43919] [SC-133374][sql] Extrahera JSON-funktioner från rad
• [SPARK-42618] [SC-134433][python][PS] Varning för pandas-relaterade beteendeändringar i nästa större version
• [SPARK-43893] [SC-133381][python][CONNECT] Stöd för icke-atomiska datatyper i Arrow-optimerad Python UDF
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Aktivera pyspark.pandas.spark.functions.{kurt, skew} i Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Stöder användardefinierade Python-tabellfunktioner
• [SPARK-43616] [SC-133849][ps][CONNECT] Aktivera pyspark.pandas.spark.functions.mode i Spark Connect
• [SPARK-43133] [SC-133728] Stöd för Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) för Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Aktivera pyspark.pandas.spark.functions.{var, stddev} i Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Aktivera pyspark.pandas.spark.functions.product i Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Aktivera InternalFrame.attach_distributed_column i Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Aktivera pyspark.pandas.spark.functions.repeat i Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Generera Protobuf-beskrivande filer vid byggtiden
• [SPARK-43613] [SC-133727][ps][CONNECT] Aktivera pyspark.pandas.spark.functions.covar i Spark Connect
• [SPARK-43376] [SC-130433][sql] Förbättra återanvändningsunderfrågan med tabellcachen
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementera SparkSession.addArtifact(er) i Python-klienten
• [SPARK-43920] [SC-133611][sql][CONNECT] Skapa sql/api-modul
• [SPARK-43097] [SC-133372][ml] Ny pyspark ML-logistisk regressionsestimator implementerad baserat på distributionsprogrammet
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Make MLv2 (ML on spark connect) stöder Pandas >= 2,0
• [SPARK-43024] [SC-132716][python] Uppgradera pandas till 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Lägg till valfritt mönster för Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Påskynda slutsatsdragning av tidsstämpeltyp med äldre format i JSON/CSV-datakälla
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Lägg till valfritt mönster för Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][sql][PYTHON] Stöd för kapslad tidsstämpeltyp
• [SPARK-43353] [SC-132734][python] Migrera återstående sessionsfel till felklassen
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrera NotImplementedError till PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Basgränssnitt för sparkML för spark3.5: estimator/transformer/model/evaluator
• [SPARK-43128] Revert "[SC-131628][connect][SS] Make recentProgress and lastProgress return StreamingQueryProgress consistent with the native Scala API"
• [SPARK-43543] [SC-131839][python] Åtgärda kapslat MapType-beteende i Pandas UDF
• [SPARK-38469] [SC-131425][core] Använd felklass i org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Utöka INTERNAL_ERROR med kategorier och lägg till felklass INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Flytta felramverket till en vanlig verktygsmodul
• [SPARK-43440] [SC-131229][python][CONNECT] Stöd för registrering av en Arrow-optimerad Python UDF
• [SPARK-43528] [SC-131531][sql][PYTHON] Stöd för duplicerade fältnamn i createDataFrame med Pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Introducerar SQL_ARROW_BATCHED_UDF EvalType för piloptimerade Python-UDF:er
• [SPARK-40912] [SC-130986][core]Överhuvud av undantag i KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Påskynda slutsatsdragning av tidsstämpeltyp med användarformat i JSON/CSV-datakälla
• [SPARK-43473] [SC-131372][python] Stöd för strukturtyp i createDataFrame från pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Lägg till benchmark för inferens av tidsstämpeltyp när ogiltigt värde används
• [SPARK-41532] [SC-130523][connect][CLIENT] Lägg till kontroll för åtgärder som omfattar flera dataramar
• [SPARK-43296] [SC-130627][connect][PYTHON] Migrera Spark Connect-sessionsfel till felklass
• [SPARK-43324] [SC-130455][sql] Hantera UPDATE kommandon för deltabaserade källor
• [SPARK-43347] [SC-130148][python] Ta bort Python 3.7-stöd
• [SPARK-43292] [SC-130525][core][CONNECT] Flytta ExecutorClassLoader till core modul och förenkla Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Lägg till fackeldistributörsdatainläsare som läser in data från Spark-partitionsdata
• [SPARK-43331] [SC-130061][connect] Lägg till Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrera ValueError från Spark SQL-typer till felklass
• [SPARK-43261] [SC-129674][python] Migrera TypeError från Spark SQL-typer till felklass.
• [SPARK-42992] [SC-129465][python] Introduce PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Lägg till stöd för Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Flytta canWrite till DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] Piloptimerade Python-UDF:er i Spark Connect
• [SPARK-43084] [SC-128654] [SS] Lägg till applyInPandasWithState-stöd för Spark Connect
• [SPARK-42657] [SC-128621][connect] Stöd för att hitta och överföra REPL-klassfiler på klientsidan till servern som artefakter
• [SPARK-43098] [SC-77059][sql] Åtgärda korrekthetsfelet i ANTAL när skalär underfråga har group by-klausul
• [SPARK-42884] [SC-126662][connect] Lägg till Ammonite REPL-integration
• [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Distributor stöder lokalt läge
• [SPARK-41498] [SC-125343]Återställ " Sprid metadata via Union"
• [SPARK-42993] [SC-127829][ml][CONNECT] Gör PyTorch-distributören kompatibel med Spark Connect
• [SPARK-42683] [LC-75] Byta namn på metadatakolumner som är i konflikt automatiskt
• [SPARK-42874] [SC-126442][sql] Aktivera nytt golden file-testramverk för analys för alla indatafiler
• [SPARK-42779] [SC-126042][sql] Tillåt att V2-skrivningar anger rekommenderad shuffle-partitionsstorlek
• [SPARK-42891] [SC-126458][connect][PYTHON] Implement CoGrouped Map API
• [SPARK-42791] [SC-126134][sql] Skapa ett nytt golden file-testramverk för analys
• [SPARK-42615] [SC-124237][connect][PYTHON] Omstrukturera AnalyzePlan RPC och lägg till session.version
• [SPARK-41302] Återställ "[ALLA TESTER][sc-122423][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Förbättrade felmeddelanden för applyInPandas vid schemafel
• [SPARK-40770] Återställ “[ALLA TESTER][sc-122652][PYTHON] Förbättrade felmeddelanden för applyInPandas vid schemamissanpassning”
• [SPARK-42398] [SC-123500][sql] Förfina standardkolumnvärdet DS v2-gränssnitt
• [SPARK-40770] [ALLA TESTER][sc-122652][PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamissmatch
• [SPARK-40770] Återställ "[SC-122652][python] Förbättrade felmeddelanden för applyInPandas för schemamatchningsfel"
• [SPARK-40770] [SC-122652][python] Förbättrade felmeddelanden för applyInPandas vid schemamissmatchning
• [SPARK-42038] [ALLA TESTER] Återställ "Återställ "[SC-122533][sql] SPJ: Stöd delvis klustrad distribution""
• [SPARK-42038] Återställ "[SC-122533][sql] SPJ: Stöd för delvis klustrad distribution"
• [SPARK-42038] [SC-122533][sql] SPJ: Ger stöd för delvis klustrad distribution
• [SPARK-40550] [SC-120989][sql] DataSource V2: Hantera DELETE-kommandon för deltabaserade källor
• [SPARK-40770] Återställ "[SC-122652][python] Förbättrade felmeddelanden för applyInPandas för schemamatchningsfel"
• [SPARK-40770] [SC-122652][python] Förbättrade felmeddelanden för applyInPandas vid inkonsekvens i schema
• [SPARK-41302] Återställ "[SC-122423][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Revert "[SC-120989][sql] DataSource V2: Hantera DELETE-kommandon för deltabaserade källor"
• [SPARK-42123] Återställ "[SC-121453][sql] Inkludera kolumnstandardvärden i DESCRIBE och SHOW CREATE TABLE utdata"
• [SPARK-42146] [SC-121172][core] Refactor Utils#setStringField för att få maven-builden att lyckas när sql-modulen använder den här metoden
• [SPARK-42119] Återgå “[SC-121342][sql] Lägg till inbyggda tabellvärdesfunktioner inline och inline_outer”

Höjdpunkter

• Åtgärda aes_decryp och ln-funktioner i Connect SPARK-45109
• Åtgärda ärvda namngivna tupler så att de fungerar i createDataFrame SPARK-44980
• CodeGenerator Cache är nu klassladdarspecifik [SPARK-44795]
• Lade till SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Gör så att strömförfrågningar fungerar med Connects artefakthantering [SPARK-44794]
• ArrowDeserializer fungerar med REPL-genererade klasser [SPARK-44791]
• Fixad Arrow-optimerad Python UDF på Spark Connect [SPARK-44876]
• Scala- och Go-klientstöd i Spark Connect SPARK-42554SPARK-43351
• PyTorch-baserat distribuerat ML-stöd för Spark Connect SPARK-42471
• Stöd för strukturerad direktuppspelning för Spark Connect i Python och Scala SPARK-42938
• Stöd för Pandas API för Python Spark Connect-klienten SPARK-42497
• Introducera Arrow Python UDFs SPARK-40307
• Stöd för användardefinierade Python-tabellfunktioner SPARK-43798
• Migrera PySpark-fel till felklasserna SPARK-42986
• PySpark Test Framework SPARK-44042
• Lägga till stöd för Datasketches HllSketch SPARK-16484
• Förbättring av inbyggd SQL-funktion SPARK-41231
• IDENTIFIER klausul SPARK-43205
• Lägga till SQL-funktioner i Scala, Python och R API SPARK-43907
• Lägg till stöd för namngivna argument för SQL-funktioner SPARK-43922
• Undvik onödiga omkörningar av avvecklade utförare om shuffle-data migreras SPARK-41469
• Distribuerad ML <> spark connect SPARK-42471
• DeepSpeed Distributor SPARK-44264
• Implementera kontrollpunktskontroll för ändringsloggar för RocksDB-tillståndslagring SPARK-43421
• Introducera vattenstämpelspridning bland operatörerna SPARK-42376
• Introducera dropDuplicatesWithinWatermark SPARK-42931
• Förbättringar av minneshantering för RocksDB-tillståndsbutikleverantörer SPARK-43311

Spark Connect

• Omstrukturera sql-modulen till sql och sql-api för att skapa en minsta uppsättning beroenden som kan delas mellan Scala Spark Connect-klienten och Spark och undviker att hämta alla Spark-transitiva beroenden. SPARK-44273
• Introduktion till Scala-klienten för Spark Connect SPARK-42554
• Stöd för Pandas API för Python Spark Connect-klienten SPARK-42497
• PyTorch-baserat distribuerat ML-stöd för Spark Connect SPARK-42471
• Stöd för strukturerad direktuppspelning för Spark Connect i Python och Scala SPARK-42938
• Första versionen av Go-klienten SPARK-43351
• Många kompatibilitetsförbättringar mellan Spark-inbyggda och Spark Connect-klienter i Python och Scala
• Förbättrad felsökning och hantering av begäranden för klientprogram (asynkron bearbetning, återförsök, långvariga frågor)

Spark SQL

Funktioner

• Lägg till metadatakolumn för start och längd på filblock SPARK-42423
• Stöd för positionsparametrar i Scala/Java sql() SPARK-44066
• Lägg till namngivet parameterstöd i parser för funktionsanrop SPARK-43922
• Stöd SELECT DEFAULT med ORDER BY, LIMIT, OFFSET för INSERT källrelation SPARK-43071
• Lägg till SQL-grammatik för PARTITION BY- och ORDER BY-satser efter TABLE-argument för TVF-anrop SPARK-44503
• Inkludera standardvärden för kolumn i DESCRIBE och SHOW CREATE TABLE-utdata SPARK-42123
• Lägg till valfritt mönster för Catalog.listCatalogs SPARK-43792
• Lägg till valfritt mönster för Catalog.listDatabases SPARK-43881
• Återanrop när det är klart för körning SPARK-44145
• Stöd för Insert By Name-uttalande SPARK-42750
• Lägg till call_function för Scala API SPARK-44131
• Stabila härledda kolumnaliasnamn SPARK-40822
• Stöd för allmänna konstanta uttryck som CREATE/REPLACE TABLE OPTIONS-värden SPARK-43529
• Stöd för underfrågor med korrelation via INTERSECT/EXCEPT SPARK-36124
• IDENTIFIER klausul SPARK-43205
• ANSI-LÄGE: Conv ska returnera ett fel om den interna konverteringen flödar över SPARK-42427

Funktioner

• Lägga till stöd för Datasketches HllSketch SPARK-16484
• Stöd för CBC-läget med aes_encrypt()/aes_decrypt() SPARK-43038
• Stöd TABLE argumentparserregel för TableValuedFunction SPARK-44200
• Implementera bitmappsfunktioner SPARK-44154
• Lägg till funktionen try_aes_decrypt() SPARK-42701
• array_insert bör misslyckas med 0-indexet SPARK-43011
• Lägg till to_varchar alias för to_char SPARK-43815
• Funktion med hög ordning: implementering av array_compact av SPARK-41235
• Lägga till analysstöd för namngivna argument för inbyggda funktioner SPARK-44059
• Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen SPARK-42521
• Lägger till stöd för aes_encrypt IV:er och AAD SPARK-43290
• DECODE-funktionen returnerar fel resultat när null SPARK-41668 skickades
• Stöd för udf "luhn_check" SPARK-42191
• Stöd för implicit lateral kolumnaliaslösning i Aggregate SPARK-41631
• Stöd för implicit lateralt kolumnalias i frågor med Window SPARK-42217
• Lägg till 3-args-funktionsalias DATE_ADD och DATE_DIFF SPARK-43492

Datakällor

• Char/Varchar-stöd för JDBC-katalog SPARK-42904
• Stöd för att hämta SQL-nyckelord dynamiskt via JDBC API och TVF SPARK-43119
• DataSource V2: Hantera MERGE-kommandon för deltabaserade källor SPARK-43885
• DataSource V2: Hantera MERGE-kommandon för gruppbaserade källor SPARK-43963
• DataSource V2: Hantera UPDATE kommandon för gruppbaserade källor SPARK-43975-
• DataSource V2: Tillåt att uppdateringar representeras som borttagningar och infogningar SPARK-43775
• Tillåt jdbc-dialekter att åsidosätta frågan som används för att skapa en tabell SPARK-41516
• SPJ: Stöd för delvis klustrad distribution SPARK-42038
• DSv2 tillåter CTAS/RTAS att reservera schemats möjlighet för null SPARK-43390
• Lägg till spark.sql.files.maxPartitionNum SPARK-44021
• Hantera UPDATE kommandon för deltabaserade källor SPARK-43324
• Tillåt V2-skrivningar för att indikera rådgivande blandningspartitionsstorlek SPARK-42779
• Stöd för lz4raw-komprimeringscodec för Parquet SPARK-43273
• Avro: skriva komplexa unioner SPARK-25050
• Påskynda slutsatsdragning av tidsstämpeltyp med användarformat i JSON/CSV-datakällan SPARK-39280
• Avro kommer att stödja anpassad decimaltyp baserad på Long SPARK-43901
• Undvik omfördelning i lagringspartitionerad koppling när partitionsnycklar inte stämmer överens, men kopplingsuttryck är kompatibla SPARK-41413
• Ändra binär till dataType som inte stöds i CSV-format SPARK-42237
• Tillåt att Avro konverterar unionstyp till SQL med fältnamnet stabilt med typen SPARK-43333
• Påskynda slutsatsdragning av tidsstämpeltyp med äldre format i JSON/CSV-datakällan SPARK-39281

Frågeoptimering

• Underuttryckseliminering stöder genvägsuttrycket SPARK-42815
• Förbättra uppskattningen av kopplingsstatistik om ena sidan kan behålla unikheten SPARK-39851
• Inför en gruppgräns för Window för ett rangordningsbaserat filter för att optimera Top K-beräkningen SPARK-37099
• Åtgärda beteendet för null IN (tom lista) i optimeringsregler SPARK-44431
• Härled och tryck ned fönstergränsen genom fönstret om partitionSpec är tom SPARK-41171
• Ta bort den yttre kopplingen om de alla är distinkta mängdfunktioner SPARK-42583
• Dölj två intilliggande fönster med samma partition/ordning i underfrågan SPARK-42525
• Reducera gränsen via Python UDFs SPARK-42115
• Optimera ordningen på filtreringspredikaten SPARK-40045

Kodgenerering och frågekörning

• Körningsfilter bör ha stöd för multinivå shuffle join-sida som filterskapandesidan SPARK-41674
• Codegen-stöd för HiveSimpleUDF SPARK-42052
• Codegen-stöd för HiveGenericUDF SPARK-42051
• Codegen-stöd för genereringssidans yttre blandade hashkoppling SPARK-44060
• Implementera kodgenerering för to_csv funktion (StructsToCsv) SPARK-42169
• Skapa AQE-stöd för InMemoryTableScanExec SPARK-42101
• Stöd för att bygga vänster eller höger yttre koppling i blandad hash-sammanslagning SPARK-36612
• Respekt kräverDistributionAndOrdering i CTAS/RTAS SPARK-43088
• Sammanslagningshinkar i koppling tillämpas på sändningsanslutningsströmsidan SPARK-43107
• Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling SPARK-44251
• Åtgärda IN-underfrågan ListQuery nullability SPARK-43413

Andra anmärkningsvärda ändringar

• Ange nullable korrekt för nycklar i USING-sammanfogningar SPARK-43718
• Fix COUNT(*) är null-bugg i korrelerad skalär underfråga SPARK-43156
• Dataframe.joinWith outer-join ska returnera ett null-värde för omatchad rad SPARK-37829
• Byta namn på motstridiga metadatakolumner automatiskt SPARK-42683
• Dokumentera Spark SQL-felklasserna i den användarinriktade dokumentationen SPARK-42706

PySpark

Funktioner

• Stöd för positionsparametrar i Python sql() SPARK-44140
• Stöd för parameteriserad SQL med sql() SPARK-41666
• Stöd för användardefinierade Python-tabellfunktioner SPARK-43797
• Stöd för att ställa in Python-exekverbar fil för UDF- och Pandas-funktions-API:er i arbetstrådar vid körning SPARK-43574
• Lägg till DataFrame.offset i PySpark SPARK-43213
• Implementera dir() i pyspark.sql.dataframe.DataFrame för att inkludera kolumnerna SPARK-43270
• Lägg till alternativ för att använda stora variabelbreddsvektorer för pilens UDF-åtgärder SPARK-39979
• Få mapInPandas / mapInArrow att stödja körning i barriärläge SPARK-42896
• Lägga till JobTag-API:er i PySpark SparkContext SPARK-44194
• Stöd för Python UDTF för att analysera i Python SPARK-44380
• Exponera tidsstämpelNTZType i pyspark.sql.types SPARK-43759
• Stöd för kapslad tidsstämpeltyp SPARK-43545
• Stöd för UserDefinedType i createDataFrame från Pandas DataFrame och toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Lägg till ett binärt deskriptoralternativ i Pyspark Protobuf API SPARK-43799
• Acceptera generisk tupel som typhänvisningar för Pandas UDF SPARK-43886
• Lägg till array_prepend funktionen SPARK-41233
• Lägg till assertDataFrameEqual util-funktionen SPARK-44061
• Stöd för piloptimerade Python UDTFs SPARK-43964
• Tillåt anpassad precision för fp ca likhet SPARK-44217
• Göra assertSchemaEqual API:et offentligt SPARK-44216
• Stöd fill_value för ps. Serien SPARK-42094
• Stöd för struct-typ i createDataFrame från Pandas DataFrame SPARK-43473

Andra anmärkningsvärda ändringar

• Lägg till stöd för automatisk komplettering för df[|] i pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Ta bort de API:er som ska tas bort i Pandas 2.0 [SPARK-42593]
• Gör Python till den första fliken för kodexempel – Spark SQL, DataFrames och Datasets Guide SPARK-42493
• Uppdatera återstående Kodexempel för Spark-dokumentation för att visa Python som standard SPARK-42642
• Använd deduplicerade fältnamn när du skapar Arrow RecordBatch [SPARK-41971]
• Stöd för duplicerade fältnamn i createDataFrame med Pandas DataFrame [SPARK-43528]
• Tillåt kolumnparameter när du skapar DataFrame med Serie [SPARK-42194]

Kärna

• Schemalägg sammanslagningSluts när push-sammanslagning shuffleMapStage försöker igen men inga aktiviteter som körs SPARK-40082
• Introducera PartitionEvaluator för SQL-operatorkörning SPARK-43061
• Tillåt ShuffleDriverComponent att deklarera om shuffle-data lagras på ett tillförlitligt sätt SPARK-42689
• Lägg till maxförsöksbegränsning för varje steg för att undvika potentiellt oändliga återförsök SPARK-42577
• Stöd för konfiguration på loggnivå med statisk Spark conf SPARK-43782
• Optimera PercentileHeap SPARK-42528
• Lägg till orsaksargument i TaskScheduler.cancelTasks SPARK-42602
• Undvik onödiga omstarter av borttappade avvecklade utförare om shuffledata migreras SPARK-41469
• Åtgärda problemet med ackumulatorns underkonto i fallet med återförsöksuppgiften med rdd-cache SPARK-41497
• Använd RocksDB för spark.history.store.hybridStore.diskBackend som standard SPARK-42277
• NonFateSharingCache wrapper för Guava Cache SPARK-43300
• Förbättra prestanda för MapOutputTracker.updateMapOutput SPARK-43043
• Låta appar styra om deras metadata sparas i databasen av den externa shuffle-tjänsten SPARK-43179
• Lägg till SPARK_DRIVER_POD_IP miljövariabel till exekutorpoddar SPARK-42769
• Monterar hadoop-konfigurationskartan på executor-podden SPARK-43504

Strukturerad direktuppspelning

• Lägg till stöd för spårning av minnesanvändning för fästa block i RocksDB-tillståndsdataarkivet SPARK-43120
• Lägg till rocksDB-tillståndslagringsproviderns minneshanteringsförbättringar SPARK-43311
• Introducera dropDuplicatesWithinWatermark SPARK-42931
• Introducera ett nytt återanrop påQueryIdle() till StreamingQueryListener SPARK-43183
• Lägg till alternativ för att hoppa över commit-koordinatorn som en del av StreamingWrite API för DSv2-källor/sänkor SPARK-42968
• Introducera ett nytt återanrop "onQueryIdle" till StreamingQueryListener SPARK-43183
• Implementera ändringsloggbaserad checkpointing för RocksDB State Store Provider SPARK-43421
• Lägg till stöd för WRITE_FLUSH_BYTES för RocksDB som används i strömningstillståndskänsliga operatorer SPARK-42792
• Lägg till stöd för att ange max_write_buffer_number och write_buffer_size för RocksDB som används i streaming SPARK-42819
• RocksDB StateStore-låsanskaffning bör ske efter att inmatnings-iteratorn hämtats från inputRDD SPARK-42566
• Introducera vattenstämpelns spridning bland operatörerna SPARK-42376
• Rensa överblivna sst- och loggfiler i RocksDB-kontrollpunktskatalogen SPARK-42353
• Expandera QueryTerminatedEvent för att innehålla felklass om den finns i undantaget SPARK-43482

ML

• Stöd för den distribuerade träningen av funktioner med Deepspeed SPARK-44264
• Basgränssnitt för sparkML för spark3.5: estimator/transformer/model/evaluator SPARK-43516
• Se till att MLv2 (ML på Spark Connect) stödjer pandas >= 2.0 SPARK-43783
• Uppdatera MLv2 Transformer-gränssnitten SPARK-43516
• Ny pyspark ML logistic regression estimator implementerad ovanpå distributören SPARK-43097
• Lägg till Classifier.getNumClasses tillbaka SPARK-42526
• Skriv en Deepspeed distribuerad inlärningsklass DeepspeedTorchDistributor SPARK-44264
• Grundläggande implementering av sparande/inläsning för ML på Spark Connect SPARK-43981
• Förbättra sparandet av logistisk regressionsmodell SPARK-43097
• Implementera pipelineberäknare för ML på Spark Connect SPARK-43982
• Implementera korsvalideringsuppskattare SPARK-43983
• Implementera klassificeringsutvärderaren SPARK-44250
• Gör PyTorch-distributören kompatibel med Spark Connect SPARK-42993

användargränssnitt

• Lägga till en Spark-användargränssnittssida för Spark Connect SPARK-44394
• Stöd för kolumnen heap histogram på fliken 'Executors' SPARK-44153
• Visa felmeddelande i användargränssnittet för varje misslyckad fråga SPARK-44367
• Visa lägg till/ta bort tid för utförare på fliken Utförare SPARK-44309

Bygg och andra

• Ta bort Python 3.7 Stöd för SPARK-43347
• Skapa lägsta version av PyArrow till 4.0.0 SPARK-44183
• Stöd för R 4.3.1 SPARK-43447SPARK-44192
• Lägga till JobTag-API:er i SparkR SparkContext SPARK-44195
• Lägga till matematiska funktioner i SparkR SPARK-44349
• Uppgradera Parquet till 1.13.1 SPARK-43519
• Uppgradera ASM till 9.5 SPARK-43537SPARK-43588
• Uppgradera rocksdbjni till 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Uppgradera Netty till 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Uppgradera zstd-jni till 1.5.5-5 SPARK-42409 SPARK-42625SPARK-43080SPARK-43294SPARK-43737 SPARK-43994 SPARK-44465
• Uppgradera dropwizard-mått 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Uppgradera gcs-connector till 2.2.14 SPARK-42888SPARK-43842
• Uppgradera commons-crypto till 1.2.0 SPARK-42488
• Uppgradera scala-parser-combinators från 2.1.1 till 2.2.0 SPARK-42489
• Uppgradera protobuf-java till 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Uppgradera commons-codec till 1.16.0 SPARK-44151
• Uppgradera Apache Kafka till 3.4.1 SPARK-42396SPARK-44181
• Uppgradera RoaringBitmap till 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Uppdatera ORC till 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Uppgradera till Avro 1.11.2 SPARK-44277
• Uppgradera commons-compress till 1.23.0 SPARK-43102
• Uppgradera joda-time från 2.12.2 till 2.12.5 SPARK-43008
• Uppgradera snappy-java till 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Uppgradera mysql-connector-java från 8.0.31 till 8.0.32 SPARK-42717
• Uppgradera Apache Arrow till 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Uppgradera commons-io till 2.12.0 SPARK-43739
• Uppgradera Apache commons-io till 2.13.0 SPARK-43739SPARK-44028
• Uppgradera FasterXML jackson till 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Uppgradera log4j2 till 2.20.0 SPARK-42536
• Uppgradera slf4j till 2.0.7 SPARK-42871
• Uppgradera numpy och pandas i versionen Dockerfile SPARK-42524
• Uppgradera Jersey till 2.40 SPARK-44316
• Uppgradera H2 från 2.1.214 till 2.2.220 SPARK-44393
• Uppgradera optionator till ^0.9.3 SPARK-44279
• Uppgradera bcprov-jdk15on och bcpkix-jdk15on till 1.70 SPARK-44441
• Uppgradera mlflow till 2.3.1 SPARK-43344
• Uppgradera Tink till 1.9.0 SPARK-42780
• Uppgradera ljuddämparen till 1.7.13 SPARK-41787SPARK-44031
• Uppgradera Ammonite till 2.5.9 SPARK-44041
• Uppgradera Scala till 2.12.18 SPARK-43832
• Uppgradera org.scalatestplus:selenium-4-4 till org.scalatestplus:selenium-4-7 SPARK-41587
• Uppgradera minimatchning till 3.1.2 SPARK-41634
• Uppgradera sbt-assembly från 2.0.0 till 2.1.0 SPARK-41704
• Uppdatera maven-checkstyle-plugin från 3.1.2 till 3.2.0 SPARK-41714
• Uppgradera dev.ludovic.netlib till 3.0.3 SPARK-41750
• Uppgradera hive-storage-api till 2.8.1 SPARK-41798
• Uppgradera Apache httpcore till 4.4.16 SPARK-41802
• Uppgradera Jetty till 9.4.52.v20230823 SPARK-45052
• Uppgradera compress-lzf till 1.1.2 SPARK-42274

Borttagningar, beteendeändringar och utfasningar

Kommande borttagning

Följande funktioner tas bort i nästa spark-huvudversion

• Stöd för Java 8 och Java 11 och den lägsta Java-versionen som stöds är Java 17
• Stöd för Scala 2.12 och den minimala Scala-versionen som stöds är 2.13

Migreringsguider

• Spark Core
• SQL, Datamängder och DataFrame
• Strukturerad strömning
• MLlib (Machine Learning)
• PySpark (Python på Spark)
• SparkR (R på Spark)

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

• Operativsystem: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Deltasjön: 2.4.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-07-13.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)