Databricks Runtime 14.0 (EoS)

A következő kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 14.0-ról nyújtanak információkat.

A Databricks 2023 szeptemberében adta ki ezt a verziót.

Új funkciók és fejlesztések

• A sorkövetés ga
• A frissítések prediktív I/O-jához ga
• A törlési vektorok ga
• A Spark 3.5.0 ga
• Nyilvános előzetes verzió a Python felhasználó által definiált táblafüggvényeihez
• Nyilvános előzetes verzió a sorszintű egyidejűséghez
• Az alapértelmezett aktuális munkakönyvtár megváltozott
• Ismert probléma a sparklyrrel
• A Spark Connect bemutatása a megosztott fürtarchitektúrában
• Elérhető Spark-verziók API-frissítésének listázása

A sorkövetés ga

A Delta Lake sorkövetése mostantól általánosan elérhető. Lásd: Sorkövetés használata Delta-táblákhoz.

A frissítések prediktív I/O-jához ga

Általánosan elérhető a prediktív I/O a frissítésekhez. Lásd : Mi a prediktív I/O?.

A törlési vektorok ga

A törlési vektorok már általánosan elérhetők. Lásd: Mik azok a törlési vektorok?.

A Spark 3.5.0 ga

Az Apache Spark 3.5.0 már általánosan elérhető. Lásd: Spark Release 3.5.0.

Nyilvános előzetes verzió a Python felhasználó által definiált táblafüggvényeihez

A felhasználó által definiált táblafüggvények (UDTF-ek) lehetővé teszik olyan függvények regisztrálását, amelyek skaláris értékek helyett táblákat ad vissza. Lásd: Python felhasználó által definiált táblafüggvények (UDTF-ek).

Nyilvános előzetes verzió a sorszintű egyidejűséghez

A sorszintű egyidejűség csökkenti az egyidejű írási műveletek közötti ütközéseket azáltal, hogy észleli a sorszintű változásokat, és automatikusan feloldja az egyidejű írások egymással versengő módosításait, amelyek ugyanazon adatfájl különböző sorait frissítik vagy törlik. Lásd: Írási ütközések sorszintű egyidejűséggel.

Az alapértelmezett aktuális munkakönyvtár megváltozott

A helyileg végrehajtott kód alapértelmezett aktuális munkakönyvtára (CWD) most az a könyvtár, amely a futtatott jegyzetfüzetet vagy szkriptet tartalmazza. Ide tartoznak például a %sh Sparkot nem használó Python- vagy R-kódok. Lásd : Mi az alapértelmezett aktuális munkakönyvtár?.

Ismert probléma a sparklyrrel

A csomag telepített verziója sparklyr (1.8.1-es verzió) nem kompatibilis a Databricks Runtime 14.0-val. A használatához sparklyrtelepítse az 1.8.3-s vagy újabb verziót.

A Spark Connect bemutatása a megosztott fürtarchitektúrában

A Databricks Runtime 14.0-s vagy újabb verziója esetén a megosztott fürtök alapértelmezés szerint a Spark Connectet használják a Python REPL Spark-illesztőprogramjával. A belső Spark API-k már nem érhetők el a felhasználói kódból.

A Spark Connect mostantól az örökölt REPL-integráció helyett a REPL-ből használja a Spark-illesztőprogramot.

Elérhető Spark-verziók API-frissítésének listázása

Engedélyezze a Photont a beállítással runtime_engine = PHOTON, és engedélyezze aarch64 a gravitonpéldány-típus kiválasztásával. Az Azure Databricks a databricks runtime megfelelő verzióját állítja be. Korábban a Spark verzió API implementációspecifikus futtatókörnyezeteket adott vissza az egyes verziókhoz. Lásd GET /api/2.0/clusters/spark-versions a REST API-referenciában.

Kompatibilitástörő változások

A Databricks Runtime 14.0-s és újabb verziókban a megosztott hozzáférési módban lévő fürtök a Spark Connectet használják az ügyfél-kiszolgáló kommunikációhoz. Ez a következő módosításokat foglalja magában.

A megosztott hozzáférési mód korlátairól további információt a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai című témakörben talál.

Python megosztott hozzáférési módú fürtökön

• sqlContext nem érhető el. Az Azure Databricks a változó használatát spark javasolja a SparkSession példányhoz.
• A Spark-környezet (sc) már nem érhető el a jegyzetfüzetekben, vagy ha a Databricks Connectet megosztott hozzáférési móddal rendelkező fürtön használja. A következő sc függvények már nem érhetők el:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFilewholeTextFiles, binaryFiles, binaryRecords, sequenceFile, , newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, , union, runJob, setSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Az Adathalmaz adatai funkció már nem támogatott.
• Az Apache Spark lekérdezésekor már nincs függőség a JVM-hez, és ennek következtében a JVM-hez kapcsolódó belső API-k, például _jsc, _jconf, _jvm, _jsparkSession_jreader_jc_jseq_jdf,_jmap_jcols, már nem támogatottak.
• Ha csak dinamikus futtatókörnyezeti konfigurációs értékekkel fér hozzá a konfigurációs értékekhez spark.conf , az elérhető.
• A Delta Live Tables elemzési parancsai egyelőre nem támogatottak a megosztott fürtöken.

Változás megosztott hozzáférési módú fürtökön

• A Pythonban már nincs függőség a JVM-hez az Apache Spark lekérdezésekor. A JVM-hez kapcsolódó belső API-k, például DeltaTable._jdta , DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderés DeltaOptimizeBuilder._jbuilder már nem támogatottak.

SQL megosztott hozzáférési móddal rendelkező fürtökön

• DBCACHE és DBUNCACHE a parancsok már nem támogatottak.
• A ritka használati esetek, például cache table db as show databases már nem támogatottak.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • asttokens 2.2.1 és 2.0.5 között
  • attrs 21.4.0-tól 22.1.0-ra
  • botocore 1.27.28-tól 1.27.96-osig
  • minősítés 2022.9.14-től 2022.12.7-ig
  • titkosítás 37.0.1–39.0.1 között
  • hibakeresés 1.6.0 és 1.6.7 között
  • docstring-to-markdown 0,12 és 0,11 között
  • végrehajtás 1.2.0-tól 0.8.3-ra
  • aspektusok áttekintése 1.0.3 és 1.1.1 között
  • googleapis-common-protos 1.56.4-től 1.60.0-ra
  • grpcio 1.48.1 és 1.48.2 között
  • idna 3,3 és 3,4 között
  • ipykernel 6.17.1-től 6.25.0-ra
  • ipython 8.10.0-tól 8.14.0-ig
  • Jinja2 2.11.3 és 3.1.2 között
  • jsonschema 4.16.0 és 4.17.3 között
  • jupyter_core 4.11.2-től 5.2.0-ra
  • kiwisolver 1.4.2 és 1.4.4 között
  • MarkupSafe 2.0.1 és 2.1.1 között
  • matplotlib 3.5.2 és 3.7.0 között
  • nbconvert 6.4.4-től 6.5.4-ig
  • nbformat 5.5.0-ról 5.7.0-ra
  • nest-asyncio 1.5.5-től 1.5.6-osig
  • jegyzetfüzet 6.4.12-től 6.5.2-től
  • numpy 1.21.5 és 1.23.5 között
  • csomagolás 21,3-tól 22,0-ra
  • pandas 1.4.4-től 1.5.3-ra
  • pathspec 0.9.0 és 0.10.3 között
  • patsy 0.5.2-től 0.5.3-ra
  • Párna 9.2.0 és 9.4.0 között
  • pip 22.2.2 és 22.3.1 között
  • protobuf 3.19.4-től 4.24.0-ra
  • pytoolconfig 1.2.2 és 1.2.5 között
  • pytz 2022.1 és 2022.7 között
  • s3transfer 0.6.0 és 0.6.1 között
  • tengeri 0.11.2-től 0.12.2-ig
  • setuptools 63.4.1-től 65.6.3-ra
  • levessieve 2.3.1-től 2.3.2.post1
  • stack-data from 0.6.2 to 0.2.0
  • 0.13.2 és 0.13.5 közötti állapotok
  • terminado 0.13.1 és 0.17.1 között
  • 5.1.1–5.7.1.
  • typing_extensions 4.3.0-ról 4.4.0-ra
  • urllib3 1.26.11 és 1.26.14 között
  • virtualenv 20.16.3 és 20.16.7 között
  • 0.37.1 és 0.38.4 közötti kerék
• Frissített R-kódtárak:
  • nyíl a 10.0.1-től a 12.0.1-hez
  • alap: 4.2.2–4.3.1
  • blob 1.2.3 és 1.2.4 között
  • seprű 1.0.3 és 1.0.5 között
  • bslib 0.4.2-től 0.5.0-ra
  • gyorsítótár 1.0.6-tól 1.0.8-ra
  • 6.0-93-tól 6.0-94-hez
  • chron 2.3-59-től 2.3-61-hez
  • osztály 7,3-21-7,3-22
  • cli 3.6.0 és 3.6.1 között
  • 0.6.1 és 0.7.0 közötti óra
  • commonmark from 1.8.1 to 1.9.0
  • fordító a 4.2.2-től a 4.3.1-hez
  • cpp11 0.4.3 és 0.4.4 között
  • curl 5.0.0-ról 5.0.1-re
  • data.table 1.14.6–1.14.8
  • 4.2.2 és 4.3.1 közötti adatkészletek
  • dbplyr 2.3.0 és 2.3.3 között
  • kivonat 0.6.31-ről 0.6.33-ra
  • 0.4.2-ről 0.4.3-ra csökkentve
  • dplyr 1.1.0 és 1.1.2 között
  • dtplyr 1.2.2-től 1.3.1-esig
  • kiértékelés 0,20 és 0,21 között
  • gyorstérkép 1.1.0 és 1.1.1 között
  • fontawesome 0.5.0 és 0.5.1 között
  • fs 1.6.1 és 1.6.2 között
  • 1.31.0-tól 1.33.0-ra
  • future.apply from 1.10.0 to 1.11.0
  • gargle 1.3.0-1.5.1
  • ggplot2 3.4.0 és 3.4.2 között
  • gh 1.3.1 és 1.4.0 között
  • glmnet 4.1-6-tól 4.1-7-hez
  • googledrive 2.0.0 és 2.1.1 között
  • googlesheets4 1.0.1 és 1.1.1 között
  • 4.2.2 és 4.3.1 közötti grafikus elemek
  • grDevices 4.2.2 és 4.3.1 között
  • rács 4.2.2 és 4.3.1 között
  • 0.3.1-től 0.3.3-ra
  • hardhat 1.2.0-tól 1.3.0-ra
  • 2.5.1-től 2.5.3-ra
  • hms 1.1.2 és 1.1.3 között
  • htmltoolok 0,5,4 és 0,5,5 között
  • htmlwidgets 1.6.1 és 1.6.2 között
  • httpuv 1.6.8-tól 1.6.11-ig
  • httr 1.4.4-től 1.4.6-osig
  • ipred 0,9-13-0,9-14
  • jsonlite 1.8.4 és 1.8.7 között
  • KernSmooth 2.23-20-tól 2.23-21-hez
  • knitr 1,42-től 1,43-ig
  • 1.3.0 és 1.3.1 között
  • Rács 0,20-45-től 0,21-8-ra
  • láva 1.7.1-től 1.7.2.1-től
  • lubridate 1.9.1 és 1.9.2 között
  • markdown 1,5 és 1,7 között
  • TÖMEG 7,3-58,2 és 7,3-60 között
  • Mátrix 1,5-1 és 1,5-4,1 között
  • 4.2.2–4.3.1.
  • mgcv 1,8-41 és 1,8-42 között
  • modellező 0.1.10 és 0.1.11 között
  • nnet 7.3-18-tól 7.3-19-hez
  • 2.0.5-től 2.0.6-os verzióig
  • 4.2.2 és 4.3.1 közötti párhuzamos
  • párhuzamosan az 1.34.0-ról az 1.36.0-ra
  • oszlop 1.8.1–1.9.0
  • pkgbuild 1.4.0-1.4.2
  • pkgload 1.3.2-től 1.3.2.1-re
  • pROC 1.18.0 és 1.18.4 között
  • processx 3.8.0 és 3.8.2 között
  • prodlim 2019.11.13-tól 2023.03.31-ig
  • profvis 0.3.7-től 0.3.8-ra
  • ps 1.7.2 és 1.7.5 között
  • Rcpp 1.0.10 és 1.0.11 között
  • olvasó a 2.1.3-tól a 2.1.4-hez
  • readxl 1.4.2 és 1.4.3 között
  • receptek 1.0.4-től 1.0.6-osig
  • rlang 1.0.6-tól 1.1.1-ig
  • rmarkdown 2.20-tól 2.23-ig
  • Rserve 1,8-12-től 1,8-11-ig
  • RSQLite 2.2.20-tól 2.3.1-esig
  • rstudioapi 0,14-től 0,15,0-ra
  • sass 0.4.5-től 0.4.6-osig
  • fényes 1.7.4 és 1.7.4.1 között
  • sparklyr 1.7.9 és 1.8.1 között
  • SparkR 3.4.1 és 3.5.0 között
  • splines from 4.2.2 to 4.3.1
  • 4.2.2 és 4.3.1 közötti statisztikák
  • stats4 from 4.2.2 to 4.3.1
  • túlélés 3,5-3 és 3,5-5 között
  • sys 3.4.1-től 3.4.2-re
  • tcltk 4.2.2 és 4.3.1 között
  • testthat 3.1.6-tól 3.1.10-ig
  • 3.1.8–3.2.1
  • 1.3.2 és 2.0.0 közötti rend
  • tinytex 0,44 és 0,45 között
  • 4.2.2 és 4.3.1 közötti eszközök
  • tzdb 0.3.0 és 0.4.0 között
  • usethis 2.1.6-tól 2.2.2-ig
  • utils from 4.2.2 to 4.3.1
  • vctrs 0.5.2-től 0.6.3-ra
  • viridisLite 0.4.1 és 0.4.2 között
  • vroom 1.6.1 és 1.6.3 között
  • waldo 0.4.0 és 0.5.1 között
  • xfun 0,37 és 0,39 között
  • xml2 1.3.3-tól 1.3.5-ösig
  • zip 2.2.2-től 2.3.0-ra
• Frissített Java-kódtárak:
  • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
  • com.fasterxml.jackson.core.jackson-core 2.14.2 és 2.15.2 között
  • com.fasterxml.jackson.core.jackson-databind 2.14.2 és 2.15.2 között
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor from 2.14.2 to 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2 és 2.15.2 között
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.4 és 2.15.1 között
  • com.fasterxml.jackson.module.jackson-module-paranamer 2.14.2 és 2.15.2 között
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.14.2 és 2.15.2 között
  • com.github.luben.zstd-jni 1.5.2-5-től 1.5.5-4-ig
  • com.google.code.gson.gson 2.8.9 és 2.10.1 között
  • com.google.crypto.tink.tink.tink 1.7.0 és 1.9.0 között
  • commons-codec.commons-codec 1.15–1.16.0
  • commons-io.commons-io 2.11.0 és 2.13.0 között
  • io.airlift.aircompressor 0,21 és 0,24 között
  • io.dropwizard.metrics.metrics-core 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-graphite 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-healthchecks 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-jetty9 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-jmx 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-json 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-jvm 4.2.10 és 4.2.19 között
  • io.dropwizard.metrics.metrics-servlets 4.2.10 és 4.2.19 között
  • io.netty.netty-all 4.1.87.Final-4.1.93.Final
  • io.netty.netty-puffer 4.1.87.Final-tól 4.1.93.Final
  • io.netty.netty-codec 4.1.87.Final-4.1.93.Final
  • io.netty.netty-codec-http 4.1.87.Final-4.1.93.Final
  • io.netty.netty-codec-http2 4.1.87.Final-4.1.93.Final
  • io.netty.netty-codec-socks 4.1.87.Final-4.1.93.Final
  • io.netty.netty-common 4.1.87.Final-4.1.93.Final
  • io.netty.netty-handler 4.1.87.Final-4.1.93.Final
  • io.netty.netty-handler-proxy 4.1.87.Final-4.1.93.Final
  • io.netty.netty-resolver 4.1.87.Final–4.1.93.Final
  • io.netty.netty-transport 4.1.87.Final-4.1.93.Final
  • io.netty.netty-transport-classes-epoll 4.1.87.Final-4.1.93.Final
  • io.netty.netty-transport-classes-kqueue 4.1.87.Final-4.1.93.Final
  • io.netty.netty-transport-native-epoll 4.1.87.Final-linux-x86_64-4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 4.1.87.Final-osx-x86_64 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 4.1.87.Final-4.1.93.Final
  • org.apache.arrow.arrow-format 11.0.0-tól 12.0.1-től
  • org.apache.arrow.arrow-memory-core 11.0.0 és 12.0.1 között
  • org.apache.arrow.arrow-memory-netty 11.0.0 és 12.0.1 között
  • org.apache.arrow.arrow-vector 11.0.0 és 12.0.1 között
  • org.apache.avro.avro 1.11.1-től 1.11.2-től
  • org.apache.avro.avro-ipc 1.11.1 és 1.11.2 között
  • org.apache.avro.avro-mapred 1.11.1-től 1.11.2-re
  • org.apache.commons.commons-compress from 1.21 to 1.23.0
  • org.apache.hadoop.hadoop-client-runtime 3.3.4-től 3.3.6-osig
  • org.apache.logging.log4j.log4j-1.2-api 2.19.0 és 2.20.0 között
  • org.apache.logging.log4j.log4j-api 2.19.0 és 2.20.0 között
  • org.apache.logging.log4j.log4j-core 2.19.0 és 2.20.0 között
  • org.apache.logging.log4j.log4j-slf4j2-impl 2.19.0 és 2.20.0 között
  • org.apache.orc.orc-core 1.8.4-shaded-protobuf 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce 1.8.4-shaded-protobuf-1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims 1.8.4 és 1.9.0 között
  • org.apache.xbean.xbean-asm9-shaded from 4.22 to 4.23
  • org.checkerframework.checker-qual 3.19.0 és 3.31.0 között
  • org.glassfish.jersey.containers.jersey-container-servlet 2,36-2,40
  • org.glassfish.jersey.containers.jersey-container-servlet-core 2,36-2,40
  • org.glassfish.jersey.core.jersey-client 2,36-2,40
  • org.glassfish.jersey.core.jersey-common 2,36-2,40
  • org.glassfish.jersey.core.jersey-server 2.36 és 2.40 között
  • org.glassfish.jersey.inject.jersey-hk2 2,36-2,40
  • org.javassist.javassist 3.25.0-GA-tól 3.29.2-GA-ra
  • org.mariadb.jdbc.mariadb-java-client 2.7.4-től 2.7.9-ig
  • org.postgresql.postgresql 42.3.8-tól 42.6.0-ig
  • org.roaringbitmap.RoaringBitmap 0.9.39 és 0.9.45 között
  • org.roaringbitmap.shims 0.9.39 és 0.9.45 között
  • org.rocksdb.rocksdbjni 7.8.3 és 8.3.2 között
  • org.scala-lang.modules.scala-collection-compat_2.12 2.4.3-tól 2.9.0-ra
  • org.slf4j.jcl-over-slf4j 2.0.6 és 2.0.7 között
  • org.slf4j.jul-to-slf4j 2.0.6 és 2.0.7 között
  • org.slf4j.slf4j-api 2.0.6-tól 2.0.7-esig
  • org.xerial.snappy.snappy-java 1.1.10.1-től 1.1.10.3-ra
  • org.yaml.snakeyaml 1,33-tól 2,0-ra

Apache Spark

Databricks Runtime 14.0. Ez a kiadás tartalmazza a Databricks Runtime 13.3 LTS-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-45109] [DBRRM-462][SC-142247][SQL][CONNECT] Aes_decrypt és ln függvények javítása a Connectben
• [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] Örökölt névvel ellátott elnevezett függvények javítása a createDataFrame-ben való működéshez
• [SPARK-44795] [DBRRM-462][SC-139720][CONNECT] A CodeGenerator Cache-nek classloader-specifikusnak kell lennie
• [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][SC-139767][CONNECT] A streamelési lekérdezések működése a Connect összetevő-kezelésével
• [SPARK-44791] [DBRRM-462][SC-139623][CONNECT] Az ArrowDeserializer használata a REPL által létrehozott osztályokkal
• [SPARK-44876] [DBRRM-480][SC-140431][PYTHON] Nyíloptimalizált Python UDF javítása a Spark Connecten
• [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Python Protobuf-függvények támogatása a Spark Connecthez
• [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] Függvény uuid/random/chr eltávolítása a PySparkból
• [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][KÖVETÉS] Az összetevők metaadat-értékeinek javítása
• [SPARK-44822] [DBRRM-464][PYTHON][SQL] Python UDTF-ek létrehozása alapértelmezés szerint nem determinisztikus
• [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Arrow Python UDTF újrabontása
• [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] Hiányzó ügyfél-metaadatok hozzáadása hívásokhoz
• [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: A "NoneType" objektum nem rendelkezik "message" attribútummal
• [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager az összes végrehajtás nyomon követéséhez
• [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] A Python UDTF-ek nyíloptimalizálásának letiltása alapértelmezés szerint
• [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] Az ExecuteGrpcResponseSender futtatása újraalkotható végrehajtással új szálon a folyamatvezérlés javításához
• [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] Az összes iterátor closeableIteratorssá tétele
• [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] Próbálkozzon újra az ExecutePlan használatával, ha a kezdeti kérés nem érte el a kiszolgálót a Python-ügyfélben
• [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] Az ExecutePlan újrapróbálkozva, ha a kezdeti kérés nem érte el a kiszolgálót
• [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] Az sq/api-ba áthelyezett hibáknak az AnalysisExceptionet is használniuk kell
• [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Kódolók objektum hozzáadása
• [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Nyomon követés a streamelési lekérdezés leállításakor, ha az ügyfél munkamenete időtúllépést végez a Spark Connect esetében
• [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] ReleaseExecute az ExecutePlanResponseReattachableIterator alkalmazásban, miután hibát kap a kiszolgálótól
• [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Kapcsolati ügyfél katalizátor függőségének eltávolítása
• [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] A végrehajtás feloldása az iterátor Python-ügyfélben való bezárásakor
• [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] A munkamenet-alapú címtár eltávolítása az izolált munkamenet-gyorsítótár kiürítésekor
• [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] Ne hagyjon csonkoló iterátorokat
• [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Python-ügyfél a Meglévő végrehajtáshoz való újracsatlakozáshoz a Spark Connectben
• [SPARK-44637] [SC-138571] Az ExecuteResponseObserver hozzáféréseinek szinkronizálása
• [SPARK-44538] [SC-138178][CONNECT][SQL] Row.jsonValue és barátainak visszaállítása
• [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Újracsatlakoztatható végrehajtás a Spark Connectben
• [SPARK-44418] [SC-136807][PYTHON][CONNECT] A protobuf frissítése 3.19.5-ről 3.20.3-ra
• [SPARK-44587] [SC-138315][SQL][CONNECT] Protobuf marshaller rekurziós korlátjának növelése
• [SPARK-44591] [SC-138292][CONNECT][SQL] Feladatcímkék hozzáadása a SparkListenerSQLExecutionStarthoz
• [SPARK-44610] [SC-138368][SQL] A deduplikátumrelációknak meg kell őriznie az alias metaadatait egy új példány létrehozásakor
• [SPARK-44542] [SC-138323][CORE] A SparkExitCode osztály lelkes betöltése a kivételkezelőben
• [SPARK-44264] [SC-138143][PYTHON]E2E-tesztelés a Deepspeedhez
• [SPARK-43997] [SC-138347][CONNECT] Támogatás hozzáadása Java UDF-ekhez
• [SPARK-44507] [SQL][CONNECT][14.x][14.0] Az AnalysisException áthelyezése az sql/api-ba
• [SPARK-44453] [SC-137013][PYTHON] Hibák megjelenítése az assertDataFrameEqual alkalmazásban a difflib használatával
• [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Spark-felhasználói felület hozzáadása a Spark Connecthez
• [SPARK-44611] [SC-138415][CONNECT] Ne zárja ki a scala-xml fájlt
• [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] Kódoló következtetésének áthelyezése az SQL/API-ba
• [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] Osztálybetöltési probléma kijavítása...
• [SPARK-44590] [SC-138296][SQL][CONNECT] Az SqlCommandResult nyíl kötegrekordkorlátjának eltávolítása
• [SPARK-43968] [SC-138115][PYTHON] A nem megfelelő számú kimenettel rendelkező Python UDTF-ek hibaüzeneteinek javítása
• [SPARK-44432] [SC-138293][SS][CONNECT] Streamelési lekérdezések leállása, ha egy munkamenet túllépi az időkorlátot a Spark Connectben
• [SPARK-44584] [SC-138295][CONNECT] Az AddArtifactsRequest és az ArtifactStatusesRequest client_type adatainak beállítása a Scala-ügyfélben
• [SPARK-44552] [14.0][SC-138176][SQL] Definíció eltávolítása private object ParseStateIntervalUtils
• [SPARK-43660] [SC-136183][CONNECT][PS] Engedélyezés resample a Spark Connect használatával
• [SPARK-44287] [SC-136223][SQL] Használja a PartitionEvaluator API-t a RowToColumnarExec & ColumnarToRowExec SQL-operátorokban.
• [SPARK-39634] [SC-137566][SQL] Fájlfelosztás engedélyezése sorindex-létrehozással kombinálva
• [SPARK-44533] [SC-138058][PYTHON] Az akkumulátor, a közvetítés és a Spark-fájlok támogatásának hozzáadása a Python UDTF elemzésében
• [SPARK-44479] [SC-138146][PYTHON] A ArrowStreamPandasUDFSerializer javítása oszlop nélküli pandas DataFrame elfogadásához
• [SPARK-44425] [SC-138177][CONNECT] Ellenőrizze, hogy a felhasználó által megadott sessionId egy UUID-e
• [SPARK-44535] [SC-138038][CONNECT][SQL] A szükséges Stream API áthelyezése az SQL/API-ba
• [SPARK-44264] [SC-136523][ML][PYTHON] Deepspeed Distributed Learning Class DeepspeedTorchDistributor írása
• [SPARK-42098] [SC-138164][SQL] A ResolveInlineTables javítása nem kezelhető RuntimeReplaceable kifejezéssel
• [SPARK-44060] [SC-135693][SQL] Code-gen a buildoldali külső elfojtott kivonat illesztéséhez
• [SPARK-44496] [SC-137682][SQL][CONNECT] Az SCSC által igényelt felületek áthelyezése az sql/api-ba
• [SPARK-44532] [SC-137893][CONNECT][SQL] ArrowUtils áthelyezése az sql/api-ba
• [SPARK-44413] [SC-137019][PYTHON] A nem támogatott arg adattípus hibáinak tisztázása az assertDataFrameEqual alkalmazásban
• [SPARK-44530] [SC-138036][CORE][CONNECT] SparkBuildInfo áthelyezése a common/util fájlba
• [SPARK-36612] [SC-133071][SQL] Bal oldali külső illesztés összeállításának támogatása balra vagy jobb oldali külső illesztés összeállítása jobbra az elfojtott kivonatos illesztésben
• [SPARK-44519] [SC-137728][CONNECT] A SparkConnectServerUtils helytelen paramétereket hozott létre a jarshoz
• [SPARK-44449] [SC-137818][CONNECT] Közvetlen nyíl deszerializálásának felcímkésítése
• [SPARK-44131] [SC-136346][SQL] Call_function hozzáadása és elavult call_udf a Scala API-hoz
• [SPARK-44541] [SQL] Használhatatlan függvény hasRangeExprAgainstEventTimeCol eltávolítása UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][SQL] A szűrő maxRows/maxRowsPerPartition értéke 0, ha a feltétel FalseLiteral
• [SPARK-44540] [SC-137873][Felhasználói felület] A jsonFormatter nem használt stíluslap- és JavaScript-fájljainak eltávolítása
• [SPARK-44466] [SC-137856][SQL] A konfigurációk kizárása a módosított konfigurációkkal SPARK_DRIVER_PREFIX kezdődően és SPARK_EXECUTOR_PREFIX a módosított konfigurációkból
• [SPARK-44477] [SC-137508][SQL] A TYPE_CHECK_FAILURE_WITH_HINT hiba alosztályként való kezelése
• [SPARK-44509] [SC-137855][PYTHON][CONNECT] Feladattörlési API-készlet hozzáadása a Spark Connect Python-ügyfélben
• [SPARK-44059] [SC-137023] A beépített függvények nevesített argumentumainak elemzői támogatásának hozzáadása
• [SPARK-38476] [SC-136448][CORE] Hibaosztály használata az org.apache.spark.storage-ban
• [SPARK-44486] [SC-137817][PYTHON][CONNECT] PyArrow-funkció self_destruct implementálása a következőhöz: toPandas
• [SPARK-44361] [SC-137200][SQL] PartitionEvaluator API használata a MapInBatchExecben
• [SPARK-44510] [SC-137652][Felhasználói felület] Frissítse a dataTables-t az 1.13.5-ös verzióra, és távolítsa el a nem elérhető png fájlokat
• [SPARK-44503] [SC-137808][SQL] SQL-nyelvtani szabályok hozzáadása a TVF-hívások TABLE argumentumai utáni PARTITION BY és ORDER BY záradékhoz
• [SPARK-38477] [SC-136319][CORE] Hibaosztály használata az org.apache.spark.shuffle-ben
• [SPARK-44299] [SC-136088][SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_227 hibaosztályhoz[4-6,8]
• [SPARK-44422] [SC-137567][CONNECT] Spark Connect – részletes megszakítás
• [SPARK-44380] [SC-137415][SQL][PYTHON] Python UDTF-támogatás a Pythonban történő elemzéshez
• [SPARK-43923] [SC-137020][CONNECT] Post listenerBus események durin...
• [SPARK-44303] [SC-136108][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2320-2324]
• [SPARK-44294] [SC-135885][Felhasználói felület] A HeapHistogram oszlop javítása váratlanul w/ select-all-box
• [SPARK-44409] [SC-136975][SQL] Karakter/varchar kezelése a Dataset.to a többiekkel való konzisztensség érdekében
• [SPARK-44334] [SC-136576][SQL][Felhasználói felület] A feladatokat nem tartalmazó sikertelen DDL/DML REST API-válaszában szereplő állapot nem fejezhető be, hanem SIKERTELEN
• [SPARK-42309] [SC-136703][SQL] Bevezetés INCOMPATIBLE_DATA_TO_TABLE és alosztályok.
• [SPARK-44367] [SC-137418][SQL][Felhasználói felület] Hibaüzenet megjelenítése a felhasználói felületen minden sikertelen lekérdezéshez
• [SPARK-44474] [SC-137195][CONNECT] A SparkConnectServiceSuite újrakondenzálható "Megfigyelési válasz tesztelése"
• [SPARK-44320] [SC-136446][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][CONNECT] A Connect Server indítási naplójának meg kell jelenítenie a gazdagépnevet és a portot
• [SPARK-44309] [SC-136193][Felhasználói felület] A Végrehajtók lap Végrehajtók hozzáadása/eltávolítása lapjának megjelenítése
• [SPARK-42898] [SC-137556][SQL] Jelölje meg, hogy a sztring/dátum leadásoknak nincs szükségük időzóna-azonosítóra
• [SPARK-44475] [SC-137422][SQL][CONNECT] DataType és Parser áthelyezése sql/api-ba
• [SPARK-44484] [SC-137562][SS]BatchDuration hozzáadása a StreamingQueryProgress json metódushoz
• [SPARK-43966] [SC-137559][SQL][PYTHON] Nem determinisztikus táblaértékű függvények támogatása
• [SPARK-44439] [SC-136973][CONNECT][SS]Kijavítottuk a listListenereket, hogy csak azonosítókat küldjenek vissza az ügyfélnek
• [SPARK-44341] [SC-137054][SQL][PYTHON] Határozza meg a számítási logikát a PartitionEvaluator API-val, és használja a WindowExecben és a WindowInPandasExecben
• [SPARK-43839] [SC-132680][SQL] Konvertálás _LEGACY_ERROR_TEMP_1337UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2305-2309]
• [SPARK-44201] [SC-136778][CONNECT][SS]Streamfigyelő támogatása a Scala for Spark Connectben
• [SPARK-44260] [SC-135618][SQL] Rendeljen neveket a LEGACY_ERROR_TEMP[1215-1245-2329] hibaosztályhoz. A kivétel ellenőrzéséhez használja a checkError() függvényt _CharVarchar_Suite
• [SPARK-42454] [SC-136913][SQL] SPJ: az SPJ-vel kapcsolatos összes paraméter beágyazása a BatchScanExecben
• [SPARK-44292] [SC-135844][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2315-2319]
• [SPARK-44396] [SC-137221][Csatlakozás] Közvetlen nyíl deszerializálása
• [SPARK-44324] [SC-137172][SQL][CONNECT] CaseInsensitiveMap áthelyezése sql/api-ba
• [SPARK-44395] [SC-136744][SQL] Teszt hozzáadása a StreamingTableSuite-hoz
• [SPARK-44481] [SC-137401][CONNECT][PYTHON] Pyspark.sql.is_remote API-vá alakítás
• [SPARK-44278] [SC-137400][CONNECT] GrPC-kiszolgálói elfogó implementálása, amely megtisztítja a szál helyi tulajdonságait
• [SPARK-44264] [SC-137211][ML][PYTHON] Függvények elosztott betanításának támogatása a Deepspeed használatával
• [SPARK-44430] [SC-136970][SQL] Ok hozzáadása az AnalysisException érvénytelen beállításhoz
• [SPARK-44264] [SC-137167][ML][PYTHON] A FunctionPickler beépítése a TorchDistributorba
• [SPARK-44216] [SC-137046] [PYTHON] Az assertSchemaEqual API nyilvánossá tétele
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-43203] [SC-134528][SQL] Az összes Drop Table-eset áthelyezése a DataSource V2-be
• [SPARK-43755] [SC-137171][CONNECT][AL] Megnyitás AdaptiveSparkPlanHelper.allChildren a másolás helyett MetricGenerator
• [SPARK-44264] [SC-137187][ML][PYTHON] A TorchDistributor újrabontása az egyéni "run_training_on_file" függvénymutató engedélyezéséhez
• [SPARK-43755] [SC-136838][CONNECT] Végrehajtás áthelyezése a SparkExecutePlanStreamHandlerből egy másik szálra
• [SPARK-44411] [SC-137198][SQL] PartitionEvaluator API használata az ArrowEvalPythonExec és a BatchEvalPythonExec alkalmazásban
• [SPARK-44375] [SC-137197][SQL] PartitionEvaluator API használata a DebugExecben
• [SPARK-43967] [SC-137057][PYTHON] Normál Python UDTF-ek támogatása üres visszatérési értékekkel
• [SPARK-43915] [SC-134766][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2438-2445]
• [SPARK-43965] [SC-136929][PYTHON][CONNECT] Python UDTF támogatása a Spark Connectben
• [SPARK-44154] [SC-137050][SQL] További egységtesztek hozzáadva a BitmapExpressionUtilsSuite-hoz, és kisebb fejlesztéseket hajtottak végre a Bitmap-összesítő kifejezéseken
• [SPARK-44169] [SC-135497][SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2300-2304]
• [SPARK-44353] [SC-136578][CONNECT][SQL] StructType.toAttributes eltávolítása
• [SPARK-43964] [SC-136676][SQL][PYTHON] A nyíloptimalizált Python UDTF-ek támogatása
• [SPARK-44321] [SC-136308][CONNECT] ParseException leválasztása az AnalysisExceptionről
• [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] Reenable test_artifact releváns módosításokkal
• [SPARK-44145] [SC-136698][SQL] Visszahívás, ha készen áll a végrehajtásra
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Kereszt-érvényesítő becslési teszt engedélyezése
• [SPARK-44399] [SC-136669][PYHTON][CONNECT] SparkSession importálása Python UDF-ben csak akkor, ha a useArrow nincs
• [SPARK-43631] [SC-135300][CONNECT][PS] Series.interpolate engedélyezése a Spark Connecttel
• [SPARK-44374] [SC-136544][PYTHON][ML] Példakód hozzáadása elosztott ml-hez a Spark Connecthez
• [SPARK-44282] [SC-135948][CONNECT] DataType-elemzés előkészítése a Spark Connect Scala-ügyfélben való használatra
• [SPARK-44052] [SC-134469][CONNECT][PS] Adjon hozzá util-t a Spark Connect megfelelő oszlop- vagy DataFrame-osztályának beszerzéséhez.
• [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] Kereszt-érvényesítő becslő implementálása
• [SPARK-44290] [SC-136300][CONNECT] Munkamenet-alapú fájlok és archívumok a Spark Connectben
• [SPARK-43710] [SC-134860][PS][CONNECT] A Spark Connect támogatása functions.date_part
• [SPARK-44036] [SC-134036][CONNECT][PS] A feladatok egyszerűsítése érdekében törölje a jegyeket és összesítse a jegyeket.
• [SPARK-44150] [SC-135790][PYTHON][CONNECT] Explicit nyílkiosztás eltérő visszatérési típushoz a Arrow Python UDF-ben
• [SPARK-43903] [SC-134754][PYTHON][CONNECT] A ArrayType bemeneti támogatásának javítása a Arrow Python UDF-ben
• [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] Besorolás-kiértékelő implementálása
• [SPARK-44255] [SC-135704][SQL] StorageLevel áthelyezése a common/utils szolgáltatásba
• [SPARK-42169] [SC-135735] [SQL] Kódgenerálás implementálása to_csv függvényhez (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] A PythonUDTFRunner újrabontása a visszatérési típus külön-külön történő elküldéséhez
• [SPARK-43353] [SC-132734][PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
• [SPARK-44133] [SC-134795][PYTHON] A MyPy frissítése 0,920-ról 0,982-re
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Event Serde JSON formátumban
• [SPARK-43353] "[SC-132734][ES-729763][PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba"
• [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] Névtér pyspark.mlv2 áthelyezése pyspark.ml.connect
• [SPARK-44220] [SC-135484][SQL] StringConcat áthelyezése sql/api-ba
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Választható minta hozzáadása a Catalog.listFunctionshez
• [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Folyamatbecslő implementálása az ML-hez spark connecten
• [SPARK-43888] [SC-132893][CORE] Naplózás áthelyezése a common/utils szolgáltatásba
• [SPARK-42941] "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Event Serde JSON formátumban"
• [SPARK-43624] [SC-134557][PS][CONNECT] Hozzáadás EWM a SparkConnectPlannerhez.
• [SPARK-43981] [SC-134137][PYTHON][ML] Alapvető mentési/betöltési implementáció az ML-hez Spark Connecten
• [SPARK-43205] [SC-133371][SQL] az SQLQueryTestSuite javítása
• [SPARK-43376] "[SC-130433][SQL] Az újrahasználat javítása a táblagyorsítótár használatával"
• [SPARK-44040] [SC-134366][SQL] Számítási statisztikák javítása a QueryStageExec fölötti AggregateExec csomópont esetén
• [SPARK-43919] [SC-133374][SQL] JSON-funkciók kinyerése sorból
• [SPARK-42618] [SC-134433][PYTHON][PS] Figyelmeztetés a pandashoz kapcsolódó viselkedésváltozásokra a következő fő kiadásban
• [SPARK-43893] [SC-133381][PYTHON][CONNECT] Nem atomi adattípus támogatása a Nyíloptimalizált Python UDF-ben
• [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.{kurt, skew} a Spark Connectben.
• [SPARK-43798] [SC-133990][SQL][PYTHON] Python felhasználó által definiált táblafüggvények támogatása
• [SPARK-43616] [SC-133849][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.mode a Spark Connectben
• [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach támogatása
• [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Javítás (NullOps|NumOps).(eq|ne) a Spark Connecthez.
• [SPARK-43645] [SC-134151][SPARK-43622][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.{var, stddev} a Spark Connectben
• [SPARK-43617] [SC-133893][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.product a Spark Connectben
• [SPARK-43610] [SC-133832][CONNECT][PS] Engedélyezés InternalFrame.attach_distributed_column a Spark Connectben.
• [SPARK-43621] [SC-133852][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.repeat a Spark Connectben
• [SPARK-43921] [SC-133461][PROTOBUF] Protobuf leírófájlok létrehozása a létrehozáskor
• [SPARK-43613] [SC-133727][PS][CONNECT] Engedélyezés pyspark.pandas.spark.functions.covar a Spark Connectben
• [SPARK-43376] [SC-130433][SQL] A táblagyorsítótár újrahasználatának javítása
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] SparkSession.addArtifact(ok) implementálása Python-ügyfélben
• [SPARK-43920] [SC-133611][SQL][CONNECT] SQL/API-modul létrehozása
• [SPARK-43097] [SC-133372][ML] Új pyspark ML logisztikai regressziós becslési eszköz implementálása a forgalmazón felül
• [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] Az MLv2 (ml spark connecten) támogatja a pandas >= 2,0
• [SPARK-43024] [SC-132716][PYTHON] Pandas frissítése 2.0.0-ra
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Választható minta hozzáadása a Catalog.listDatabaseshez
• [SPARK-39281] [SC-131422][SQL] Az időbélyeg típusának következtetésének felgyorsítása örökölt formátumban JSON-/CSV-adatforrásban
• [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Választható minta hozzáadása a Catalog.listCatalogshoz
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][SQL][PYTHON] Beágyazott időbélyeg típus támogatása
• [SPARK-43353] [SC-132734][PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
• [SPARK-43304] [SC-129969][CONNECT][PYTHON] Migrálás NotImplementedError a PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] SparkML alapillesztői a spark3.5-höz: becslő/átalakító/modell/kiértékelő
• [SPARK-43128] "[SC-131628][CONNECT][SS] A natív Scala Api-val konzisztenssé tétele recentProgress és lastProgress visszatérése StreamingQueryProgress "
• [SPARK-43543] [SC-131839][PYTHON] Beágyazott MapType-viselkedés javítása a Pandas UDF-ben
• [SPARK-38469] [SC-131425][CORE] Hibaosztály használata a org.apache.spark.network webhelyen
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] INTERNAL_ERROR kiterjesztése kategóriákkal és hibaosztály hozzáadása INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Hiba keretrendszer áthelyezése egy közös utils modulba
• [SPARK-43440] [SC-131229][PYTHON][CONNECT] Nyíloptimalizált Python UDF regisztrációjának támogatása
• [SPARK-43528] [SC-131531][SQL][PYTHON] Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával
• [SPARK-43412] [SC-130990][PYTHON][CONNECT] Az EvalType bemutatása SQL_ARROW_BATCHED_UDF nyíloptimalizált Python UDF-ekhez
• [SPARK-40912] [SC-130986][CORE]A KryoDeserializationStream kivételeinek többletterhelése
• [SPARK-39280] [SC-131206][SQL] A JSON/CSV adatforrás felhasználó által megadott formátumával felgyorsíthatja az időbélyeg típusú következtetést
• [SPARK-43473] [SC-131372][PYTHON] Támogatásstruktúratípus a createDataFrame-ben a pandas DataFrame-ből
• [SPARK-43443] [SC-131024][SQL] Teljesítménymutató hozzáadása időbélyeg típusú következtetéshez érvénytelen érték használata esetén
• [SPARK-41532] [SC-130523][CONNECT][ÜGYFÉL] Több adatkeretet tartalmazó műveletek ellenőrzése
• [SPARK-43296] [SC-130627][CONNECT][PYTHON] Spark Connect-munkamenet hibáinak migrálása hibaosztályba
• [SPARK-43324] [SC-130455][SQL] Delta-alapú források UPDATE parancsainak kezelése
• [SPARK-43347] [SC-130148][PYTHON] A Python 3.7 támogatásának eltávolítása
• [SPARK-43292] [SC-130525][CORE][CONNECT] Ugrás ExecutorClassLoader a modulra core és egyszerűsítés Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Olyan fáklyaelosztó adatbetöltő hozzáadása, amely a Spark partíció adataiból tölt be adatokat
• [SPARK-43331] [SC-130061][CONNECT] Spark Connect SparkSession.interruptAll hozzáadása
• [SPARK-43306] [SC-130320][PYTHON] Migrálás ValueError Spark SQL-típusokból hibaosztályba
• [SPARK-43261] [SC-129674][PYTHON] Migrálás TypeError Spark SQL-típusokból hibaosztályba.
• [SPARK-42992] [SC-129465][PYTHON] A PySparkRuntimeError bemutatása
• [SPARK-16484] [SC-129975][SQL] A Datasketches HllSketch támogatásának hozzáadása
• [SPARK-43165] [SC-128823][SQL] CanWrite áthelyezése a DataTypeUtils szolgáltatásba
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Nyíloptimalizált Python UDF-ek a Spark Connectben
• [SPARK-43084] [SC-128654] [SS] ApplyInPandasWithState támogatás hozzáadása spark connecthez
• [SPARK-42657] [SC-128621][CONNECT] Ügyféloldali REPL-osztályfájlok keresése és átvitele a kiszolgálóra összetevőként
• [SPARK-43098] [SC-77059][SQL] Kijavítottuk a helyességi DARAB hibát, ha a skaláris subquery záradék szerint csoportosítva van
• [SPARK-42884] [SC-126662][CONNECT] Ammonite REPL-integráció hozzáadása
• [SPARK-42994] [SC-128333][ML][CONNECT] A PyTorch-forgalmazó támogatja a helyi módot
• [SPARK-41498] [SC-125343]"Metaadatok propagálása az Unión keresztül" visszaállítása
• [SPARK-42993] [SC-127829][ML][CONNECT] A PyTorch-forgalmazó kompatibilissé tétele a Spark Connecttel
• [SPARK-42683] [LC-75] Ütköző metaadatoszlopok automatikus átnevezése
• [SPARK-42874] [SC-126442][SQL] Új golden file test framework engedélyezése az összes bemeneti fájl elemzéséhez
• [SPARK-42779] [SC-126042][SQL] A V2 írásának engedélyezése a tanácsadási shuffle partíció méretének jelzéséhez
• [SPARK-42891] [SC-126458][CONNECT][PYTHON] A CoGrouped Map API implementálása
• [SPARK-42791] [SC-126134][SQL] Új arany fájltesztelési keretrendszer létrehozása elemzéshez
• [SPARK-42615] [SC-124237][CONNECT][PYTHON] Az AnalyzePlan RPC újrabontása és hozzáadása session.version
• [SPARK-41302] "[MINDEN TESZT][SC-122423][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
• [SPARK-40770] "[MINDEN TESZT][SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas sémaeltéréshez"
• [SPARK-42398] [SC-123500][SQL] Az alapértelmezett oszlopérték pontosítása DS v2 interfész
• [SPARK-40770] [MINDEN TESZT][SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
• [SPARK-40770] "[SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez"
• [SPARK-40770] [SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
• [SPARK-42038] [MINDEN TESZT] "Revert "[SC-122533][SQL] SPJ: Részben fürtözött disztribúció támogatása"
• [SPARK-42038] "[SC-122533][SQL] SPJ: Részben fürtözött disztribúció támogatása"
• [SPARK-42038] [SC-122533][SQL] SPJ: Részben fürtözött disztribúció támogatása
• [SPARK-40550] [SC-120989][SQL] DataSource V2: DELETE-parancsok kezelése delta-alapú forrásokhoz
• [SPARK-40770] "[SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez"
• [SPARK-40770] [SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
• [SPARK-41302] "[SC-122423][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] "[SC-120989][SQL] DataSource V2: Delete parancsok kezelése delta-alapú forrásokhoz"
• [SPARK-42123] A “[SC-121453][SQL] Oszlop alapértelmezett értékeinek belefoglalása a DESCRIBE és SHOW CREATE TABLE kimenetbe” visszavonása
• [SPARK-42146] [SC-121172][CORE] Újrabontás Utils#setStringField a maven buildelési sikerességéhez, amikor az SQL-modul ezt a módszert használja
• [SPARK-42119] "[SC-121342][SQL] Beépített táblaértékű függvények hozzáadása beágyazott és inline_outer"

Legfontosabb tudnivalók

• T és aes_decryp függvények javítása lna SPARK-45109 csatlakoztatásában
• A createDataFrame SPARK-44980-ban való működéshez szükséges öröklődő elnevezett uples javítása
• A CodeGenerator Cache mostantól osztálybetöltő-specifikus [SPARK-44795]
• Hozzáadva SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• A streamelési lekérdezések működése a Connect összetevő-kezelésével [SPARK-44794]
• A ArrowDeserializer a REPL által létrehozott osztályokkal működik [SPARK-44791]
• Rögzített nyíloptimalizált Python UDF a Spark Connecten [SPARK-44876]
• Scala és Go ügyféltámogatás a Spark Connect SPARK-42554SPARK-43351-ben
• PyTorch-alapú elosztott ml-támogatás a Spark Connect SPARK-42471-hez
• Strukturált streamelés támogatása a Spark Connecthez Pythonban és Scala SPARK-42938-ban
• Pandas API-támogatás a Python Spark Connect-ügyfél SPARK-42497-hez
• Arrow Python UDFs SPARK-40307 bemutatása
• Python felhasználó által definiált táblafüggvények támogatása SPARK-43798
• PySpark-hibák migrálása SPARK-42986 hibaosztályokra
• PySpark Test Framework SPARK-44042
• A Datasketches HllSketch SPARK-16484 támogatásának hozzáadása
• Beépített SQL-függvényfejlesztés SPARK-41231
• IDENTIFIER záradék SPARK-43205
• SQL-függvények hozzáadása a Scalához, a Pythonhoz és az R API SPARK-43907-hez
• Elnevezett argumentum támogatásának hozzáadása a SPARK-43922 SQL-függvényekhez
• A spark-41469-re migrált adatok átrendezése esetén ne futtassa újra a felesleges feladatokat a leszerelt végrehajtón
• Elosztott ML <> spark connect SPARK-42471
• DeepSpeed Forgalmazó SPARK-44264
• Changelog checkpointing implementálása a Spark-43421 RocksDB állapottárolóhoz
• Vízjel propagálásának bevezetése a SPARK-42376 operátorok között
• DropDuplicatesWithinWatermark SPARK-42931 bemutatása
• A RocksDB állapottároló memóriakezelési fejlesztései SPARK-43311

Spark Connect

• Az sql-modul újrabontása az SQL-be és az sql-API-ba, hogy létrehozhassa a Scala Spark Connect-ügyfél és a Spark között megosztható minimális függőségeket, és elkerülheti az összes Spark-tranzitív függőség lekérését. SPARK-44273
• A Spark Connect SPARK-42554 Scala-ügyfélének bemutatása
• Pandas API-támogatás a Python Spark Connect-ügyfél SPARK-42497-hez
• PyTorch-alapú elosztott ml-támogatás a Spark Connect SPARK-42471-hez
• Strukturált streamelés támogatása a Spark Connecthez Pythonban és Scala SPARK-42938-ban
• A Go-ügyfél SPARK-43351 kezdeti verziója
• Számos kompatibilitási fejlesztés a Spark natív és a Spark Connect-ügyfelek között a Python és a Scala között
• Továbbfejlesztett hibakeresés és kéréskezelés ügyfélalkalmazásokhoz (aszinkron feldolgozás, újrapróbálkozás, hosszú élettartamú lekérdezések)

Spark SQL

Funkciók

• Metaadatoszlop-fájlblokk indítása és hossza SPARK-42423
• Pozícióparaméterek támogatása a Scala/Java sql() SPARK-44066-ban
• Elnevezett paramétertámogatás hozzáadása az elemzőben a SPARK-43922 függvényhívásokhoz
• A SPARK-43071 kapcsolati forráshoz , és alapértelmezett támogatása.
• SQL szintaxis hozzáadása a PARTITION BY és ORDER BY záradékhoz a TVF-hívások TABLE argumentumai után SPARK-44503
• Foglalja bele az oszlop alapértelmezett értékeit a DESCRIBE és SHOW CREATE TABLE kimenetébe SPARK-42123
• Választható minta hozzáadása a Catalog.listCatalogs SPARK-43792-hez
• Választható minta hozzáadása a Catalog.listDatabases SPARK-43881-hez
• Visszahívás, ha készen áll a SPARK-44145 végrehajtására
• Támogatás beszúrása név szerint utasítás SPARK-42750
• Call_function hozzáadása Scala API SPARK-44131-hez
• Stabil származtatott oszlop aliasok SPARK-40822
• Általános állandó kifejezések támogatása CREATE/REPLACE TABLE OPTIONS értékként SPARK-43529
• Az INTERSECT/KIVÉVE SPARK-36124 közötti korrelációval rendelkező al lekérdezések támogatása
• IDENTIFIER záradék SPARK-43205
• ANSI MÓD: A konvernek hibát kell visszaadnia, ha a belső átalakítás túlcsordul a SPARK-42427-en

Függvények

• A Datasketches HllSketch SPARK-16484 támogatásának hozzáadása
• A CBC mód támogatása aes_encrypt()/aes_decrypt() SPARK-43038 használatával
• A TableValuedFunction SPARK-44200TABLE argumentumelemző szabályának támogatása
• Bitképfüggvények implementálása SPARK-44154
• A SPARK-42701 try_aes_decrypt() függvény hozzáadása
• array_insert 0 index SPARK-43011 hibával kell meghiúsulnia
• To_varchar alias hozzáadása to_char SPARK-43815-höz
• High-order függvény: array_compact spark-41235 implementáció
• A spark-44059 beépített függvények nevesített argumentumainak elemzői támogatásának hozzáadása
• NULL-ek hozzáadása INSERT-ekhez a SPARK-42521 céltáblánál kevesebb oszlopot tartalmazó felhasználó által megadott listákkal
• Támogatja aes_encrypt IV-ket és AAD SPARK-43290-et
• A DECODE függvény hibás eredményt ad vissza, ha a NULL SPARK-41668 értéket adta vissza
• Az udf "luhn_check" SPARK-42191 támogatása
• Implicit oldaloszlop-aliasfeloldás támogatása a SPARK-41631 összesítésekor
• Implicit oldaloszlop-alias támogatása a Spark-42217 ablak lekérdezéseiben
• 3-args függvény aliasainak hozzáadása DATE_ADD és DATE_DIFF SPARK-43492

Adatforrások

• Char/Varchar támogatás a SPARK-42904 JDBC-katalógushoz
• SQL-kulcsszavak dinamikus lekérése JDBC API és TVF SPARK-43119 használatával
• DataSource V2: A SPARK-43885 delta-alapú források MERGE parancsainak kezelése
• DataSource V2: A SPARK-43963 csoportalapú források KÖRLEVÉL parancsainak kezelése
• DataSource V2: A SPARK-43975 csoportalapú források UPDATE parancsainak kezelése
• DataSource V2: A frissítések törlésének engedélyezése és a SPARK-43775 beszúrása
• A jdbc-dialektusok felülírhatják a SPARK-41516 tábla létrehozásához használt lekérdezést
• SPJ: Részben fürtözött spark-42038-disztribúció támogatása
• A DSv2 lehetővé teszi, hogy a CTAS/RTAS fenntartsa a spark-43390 séma érvénytelenségét
• Spark.sql.files.maxPartitionNum SPARK-44021 hozzáadása
• A UPDATE parancsok kezelése a delta-alapú források esetében, SPARK-43324
• A spark-42779-es kódú, tanácsadási elosztási partícióméretet jelző V2-írások engedélyezése
• Lz4raw tömörítési kodek támogatása a Parquet SPARK-43273-hoz
• Avro: összetett uniók írása SPARK-25050
• Gyorsíthatja az időbélyegtípus-következtetést a felhasználó által megadott formátumban a SPARK-39280 JSON/CSV adatforrásban
• A Long SPARK-43901 által támogatott egyéni tizedesjegy-típus támogatása
• Ha a partíciókulcsok nem egyeznek, kerülje a tárolóparticionált illesztés egyesítését, de az illesztési kifejezések kompatibilisek a SPARK-41413-sal
• Bináris érték módosítása nem támogatott dataType értékre CSV-formátumban SPARK-42237 formátumban
• Az Avro a spark-43333 típusú mezőnév stabil mezőnévvel rendelkező sql-típussá alakításához engedélyezze az egyesítő típust
• Gyorsíthatja az időbélyeg típusú következtetést az örökölt JSON-/CSV-adatforrás , a SPARK-39281 használatával

Lekérdezésoptimalizálás

• Subexpression elimination support shortcut expression SPARK-42815
• Az illesztésstatisztikák becslésének javítása, ha az egyik oldal meg tudja tartani az egyediséget SPARK-39851
• A Rangsoralapú szűrő ablak csoportkorlátjának bevezetése a SPARK-37099 top-k számításának optimalizálásához
• Null IN (üres lista) viselkedésének javítása a SPARK-44431 optimalizálási szabályokban
• Ha a partitionSpec üres SPARK-41171, akkor az ablak korlátjának következtetése és leküldése az ablakon keresztül
• Távolítsa el a külső illesztést, ha az összes különböző összesítő függvény SPARK-42583
• Két szomszédos ablak összecsukása ugyanazzal a partícióval/rendezéssel a SPARK-42525 al lekérdezésben
• Leküldéses korlát a Python UDFs SPARK-42115 használatával
• A SPARK-40045 szűrési predikátumainak sorrendjének optimalizálása

Kódlétrehozás és lekérdezés végrehajtása

• A futásidejű szűrőnek támogatja a többszintű shuffle join oldalt a spark-41674 szűrőlétrehozási oldalként
• Codegen-támogatás a HiveSimpleUDF SPARK-42052-hez
• Codegen-támogatás a HiveGenericUDF SPARK-42051-hez
• Codegen support for build side outer shuffled hash join SPARK-44060
• Kódgenerálás implementálása to_csv függvényhez (StructsToCsv) SPARK-42169
• Az AQE támogatása az InMemoryTableScanExec SPARK-42101-ben
• Bal oldali külső illesztés összeállításának támogatása balra vagy jobb oldali külső illesztés összeállítása jobbra a SPARK-36612 összekapcsolt kivonatos illesztésben
• Respect RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
• A spark-43107-hez csatlakozó streamoldalon alkalmazott összeillesztés gyűjtői
• Null értékű helyes beállítása a szénerősített illesztési kulcson teljes külső USING join SPARK-44251
• In subquery ListQuery nullability SPARK-43413 javítása

Egyéb jelentős változások

• Null értékű helyes beállítás a KULCSOK ESETÉBEN a SPARK-43718-illesztésekben
• A COUNT(*) javítása nullhiba a SPARK-43156 korrelált skaláris alqueryben
• Dataframe.joinWith külső illesztés esetén null értéket kell visszaadnia a SPARK-37829 nem egyező sorhoz
• Ütköző metaadatoszlopok automatikus átnevezése SPARK-42683
• A Spark SQL hibaosztályainak dokumentálása a spark-42706 felhasználói dokumentációban

PySpark

Funkciók

• Pozícióparaméterek támogatása a Python SQL() SPARK-44140-ben
• Sql() SPARK-41666 által paraméterezett SQL támogatása
• Python felhasználó által definiált táblafüggvények támogatása SPARK-43797
• Python-végrehajthatóság beállítása UDF- és pandas-függvény API-khoz a futtatókörnyezeti SPARK-43574 futtatókörnyezetben
• DataFrame.offset hozzáadása a PySpark SPARK-43213-hoz
• Implementálja a dir() dir() elemet a pyspark.sql.dataframe.DataFrame-ben a SPARK-43270 oszlopok belefoglalásához
• Lehetőség hozzáadása nagy változószélesség-vektorok használatához a SPARK-39979 nyílú UDF-műveletekhez
• MapInPandas/ mapInArrow támogatási akadály mód végrehajtása SPARK-42896
• JobTag API-k hozzáadása a PySpark SparkContext SPARK-44194-hez
• A Python UDTF támogatása a Python SPARK-44380-ban történő elemzéshez
• TimestampNTZType felfedés a pyspark.sql.types SPARK-43759-ben
• A spark-43545 típusú beágyazott időbélyeg támogatása
• A UserDefinedType támogatása a createDataFrame-ben a pandas DataFrame-ből és a toPandasból [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Leíró bináris beállítás hozzáadása a Pyspark Protobuf API SPARK-43799-hez
• A Pandas UDF SPARK-43886 gépelési tippjeinek elfogadása
• Array_prepend SPARK-41233 függvény hozzáadása
• AssertDataFrameEqual util függvény hozzáadása SPARK-44061
• A nyilat optimalizáló Python UDTFs SPARK-43964 támogatása
• Egyéni pontosság engedélyezése fp kb egyenlőség SPARK-44217 esetén
• Az assertSchemaEqual API nyilvános SPARK-44216-ra állítása
• Támogatási fill_value ps esetén. Spark-42094 sorozat
• Támogatási struktúratípus a createDataFrame-ben a pandas DataFrame SPARK-43473-ból

Egyéb jelentős változások

• A df[|] automatikus kiegészítési támogatásának hozzáadása a pyspark.sql.dataframe.DataFrame-ben [SPARK-43892]
• Elavult > távolítsa el a pandas 2.0-ban eltávolítandó API-kat [SPARK-42593]
• A Python első lapjának létrehozása példakódokhoz – Spark SQL, DataFrames és Adathalmazok útmutató SPARK-42493
• A Fennmaradó Spark dokumentációs kód példáinak frissítése a Python alapértelmezett SPARK-42642 megjelenítéséhez
• Deduplikált mezőnevek használata a Nyílrekordbatch létrehozásakor [SPARK-41971]
• Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával [SPARK-43528]
• Oszlopparaméter engedélyezése Adatkeret sorozattal történő létrehozásakor [SPARK-42194]

Alapvető

• Egyesítés ütemezéseA leküldéses egyesítés shuffleMapStage újrapróbálkozáskor, de nem futnak a SPARK-40082 feladatok
• A PartitionEvaluator bemutatása AZ SQL-operátor spark-43061 végrehajtásához
• Engedélyezze a ShuffleDriverComponent számára annak deklarálását, hogy az shuffle data megbízhatóan van-e tárolva SPARK-42689
• A spark-42577 lehetséges végtelen újrapróbálkozásának elkerülése érdekében adja hozzá a szakaszok maximális próbálkozási korlátozását
• Naplószintű konfiguráció támogatása statikus Spark conf SPARK-43782 használatával
• PercentileHeap SPARK-42528 optimalizálása
• Ok argumentum hozzáadása a TaskScheduler.cancelTasks SPARK-42602-hez
• A spark-41469-re migrált adatok átrendezése esetén ne futtassa újra a felesleges feladatokat a leszerelt végrehajtón
• Az újrapróbálkozási feladat halmozott számának javítása rdd cache SPARK-41497 használatával
• A RocksDB használata spark.history.store.hybridStore.diskBackend alapértelmezés szerint SPARK-42277
• NonFateSharingCache burkoló Guava Cache SPARK-43300-hoz
• A MapOutputTracker.updateMapOutput SPARK-43043 teljesítményének javítása
• Annak szabályozása, hogy az alkalmazások a SPARK-43179 külső shuffle szolgáltatással mentik-e a metaadataikat a adatbázisba
• SPARK_DRIVER_POD_IP env változó hozzáadása a spark-42769 végrehajtó podokhoz
• A hadoop konfigurációs térkép csatlakoztatása a SPARK-43504 végrehajtó podhoz

Strukturált streamelés

• Támogatás hozzáadása a rögzített blokkok memóriahasználatának nyomon követéséhez a Spark-43120 RocksDB állapottárolóhoz
• A Spark-43311 RocksDB állapottároló-szolgáltató memóriakezelési fejlesztéseinek hozzáadása
• DropDuplicatesWithinWatermark SPARK-42931 bemutatása
• Új visszahívás bevezetése a StreamQueryListener SPARK-43183-ra
• A véglegesítési koordinátor kihagyásának lehetősége a StreamWrite API részeként DSv2-forrásokhoz/-fogadókhoz SPARK-42968-hoz
• Új "onQueryIdle" visszahívás bevezetése a StreamingQueryListener SPARK-43183-ra
• Changelog-alapú ellenőrzőpont-készítés implementálása a RocksDB State Store-szolgáltató spark-43421-hez
• A Spark-42792 streamelési állapotú operátorokban használt RocksDB WRITE_FLUSH_BYTES támogatása
• Támogatás hozzáadása a Spark-42819 streameléséhez használt RocksDB max_write_buffer_number és write_buffer_size beállításához
• A RocksDB StateStore zárolási beszerzésének akkor kell történnie, ha bemeneti iterátort kap az inputRDD SPARK-42566-ból
• Vízjel propagálásának bevezetése a SPARK-42376 operátorok között
• Árva sst- és naplófájlok törlése a Spark-42353 RocksDB ellenőrzőpont könyvtárában
• Bontsa ki a QueryTerminatedEvent elemet, hogy hibaosztályt tartalmazzon, ha az a SPARK-43482 kivételben létezik

ML

• Függvények elosztott betanításának támogatása a Deepspeed SPARK-44264 használatával
• SparkML alapillesztői spark3.5-höz: becslő/átalakító/modell/kiértékelő SPARK-43516
• Az MLv2 (ml spark connecten) támogatja a pandas >= 2.0 SPARK-43783
• MLv2 Transformer interfészek frissítése SPARK-43516
• Új pyspark ML logisztikai regressziós becslő implementálása a SPARK-43097 forgalmazóra
• Classifier.getNumClasses hozzáadása a SPARK-42526-hoz
• Deepspeed Distributed Learning Class DeepspeedTorchDistributor SPARK-44264 írása
• Alapvető mentési/betöltési implementáció az ML-hez spark connect SPARK-43981-en
• A spark-43097-et mentő logisztikai regressziós modell fejlesztése
• Folyamatbecslő implementálása az ML-hez spark connect SPARK-43982 rendszeren
• Spark-43983 kereszt-érvényesítő becslés implementálása
• A SPARK-44250 besorolási kiértékelő implementálása
• A PyTorch-forgalmazó kompatibilissé tétele a Spark Connect SPARK-42993-tal

Felhasználói felület

• Spark-felhasználói felület hozzáadása a Spark Connect SPARK-44394-hez
• A Heap Hisztogram oszlop támogatása a Végrehajtók lapon SPARK-44153
• Hibaüzenet megjelenítése a felhasználói felületen az egyes sikertelen spark-44367 lekérdezésekhez
• Végrehajtók hozzáadása/eltávolítása a Végrehajtók lapon SPARK-44309

Build és egyéb

• A Python 3.7 támogatásának eltávolítása a SPARK-43347-ről
• A PyArrow minimális verziójának létrehozása a 4.0.0 SPARK-44183-ra
• Támogatás R 4.3.1 SPARK-43447SPARK-44192
• JobTag API-k hozzáadása a SparkR SparkContext SPARK-44195-höz
• Matematikai függvények hozzáadása a SparkR SPARK-44349-hez
• Parquet frissítése 1.13.1 SPARK-43519-re
• AZ ASM frissítése a 9.5 SPARK-43537SPARK-43588-ra
• A rocksdbjni frissítése a 8.3.2 SPARK-41569 SPARK-42718 SPARK-43007 SPARK-43436SPARK-44256-ra
• A Netty frissítése a 4.1.93 SPARK-42218 SPARK-42417 SPARK-42487 SPARK-43609SPARK-44128-ra
• A zstd-jni frissítése 1.5.5-5 SPARK-42409 SPARK-42625SPARK-43080SPARK-43294SPARK-43737 SPARK-43994 SPARK-44465
• Dropwizard-metrikák frissítése 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• A gcs-connector frissítése a 2.2.14 SPARK-42888SPARK-43842-re
• Commons-crypto frissítése 1.2.0 SPARK-42488-ra
• Scala-parser-combinators frissítése 2.1.1-ről 2.2.0 SPARK-42489-re
• A protobuf-java frissítése a 3.23.4 SPARK-41711 SPARK-42490 SPARK-42798 SPARK-43899SPARK-44382 verzióra
• Commons-codec frissítése 1.16.0 SPARK-44151-re
• Az Apache Kafka frissítése a 3.4.1 SPARK-42396SPARK-44181-re
• RoaringBitmap frissítése a 0.9.45 SPARK-42385SPARK-43495SPARK-44221-re
• ORC frissítése az 1.9.0 SPARK-42820SPARK-44053SPARK-44231-hez
• Frissítés az Avro 1.11.2 SPARK-44277-re
• Commons-compress frissítése 1.23.0 SPARK-43102-re
• Joda-time frissítése 2.12.2-ről 2.12.5 SPARK-43008-ra
• Snappy-Java frissítése 1.1.10.3 SPARK-42242 SPARK-43758 SPARK-44070 SPARK-44415SPARK-44513
• A mysql-connector-java frissítése a 8.0.31-ről a 8.0.32 SPARK-42717-re
• Az Apache Arrow frissítése a 12.0.1 SPARK-42161SPARK-43446SPARK-44094-re
• A commons-io frissítése a 2.12.0 SPARK-43739-re
• Az Apache commons-io frissítése a 2.13.0 SPARK-43739SPARK-44028-ra
• A FasterXML jackson frissítése a 2.15.2 SPARK-42354SPARK-43774SPARK-43904 verzióra
• A log4j2 frissítése a 2.20.0 SPARK-42536-ra
• Slf4j frissítése a 2.0.7 SPARK-42871-re
• A numpy és a pandas frissítése a dockerfile SPARK-42524 kiadásban
• Jersey frissítése a 2.40 SPARK-44316-ra
• A H2 frissítése a 2.1.214-ről a 2.2.220 SPARK-44393-ra
• Az optionator frissítése a(z) ^0.9.3 SPARK-44279 verzióra
• Bcprov-jdk15on és bcpkix-jdk15on frissítése 1.70 SPARK-44441-re
• Mlflow frissítése a 2.3.1 SPARK-43344-re
• A Tink frissítése az 1.9.0 SPARK-42780-ra
• Hangtompító frissítése 1.7.13 SPARK-41787SPARK-44031-re
• Az Ammonite frissítése a 2.5.9 SPARK-44041-re
• Scala frissítése 2.12.18 SPARK-43832-re
• Frissítés org.scalatestplus:selenium-4-4 to org.scalatestplus:selenium-4-7 SPARK-41587
• Minimatch frissítése a 3.1.2 SPARK-41634-re
• Sbt-assembly frissítése 2.0.0-ról 2.1.0 SPARK-41704-re
• A maven-checkstyle-plugin frissítése a 3.1.2-ről a 3.2.0 SPARK-41714-ra
• A dev.ludovic.netlib frissítése a 3.0.3 SPARK-41750-re
• A Hive-Storage-API frissítése a 2.8.1 SPARK-41798-ra
• Az Apache httpcore frissítése a 4.4.16 SPARK-41802-re
• Frissítés a 9.4.52.v20230823 SPARK-45052-re
• A compress-lzf frissítése 1.1.2 SPARK-42274-re

Eltávolítások, viselkedésváltozások és elavulások

Közelgő eltávolítás

A következő Spark-főverzióban a következő funkciók el lesznek távolítva

• A Java 8 és a Java 11 támogatása, a minimálisan támogatott Java-verzió pedig a Java 17 lesz
• A Scala 2.12 támogatása és a minimálisan támogatott Scala-verzió 2.13

Migrálási útmutatók

• Spark Core
• SQL, Adathalmazok és DataFrame
• Strukturált streamelés
• MLlib (Machine Learning)
• PySpark (Python a Sparkon)
• SparkR (R a Sparkon)

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023-07-13-án.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)