Databricks Runtime 16.0

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 16.0-ról nyújtanak információkat.

A Databricks 2024 novemberében adta ki ezt a verziót.

Működésbeli változások

• Kompatibilitástörő változás: A JDK 17 mostantól az alapértelmezett
• Breaking change: Hosted RStudio is end of life
• Kompatibilitástörő változás: A változók byteshort és int a típusok szélesebb típusokra történő módosításának longtámogatása
• Regex-minták helyes elemzése beágyazott karaktercsoportozással
• Duplikált egyezésészlelés javítása a Delta Lake-ben MERGE
• A fürttár telepítési módszere már nem bírálható felül
• Két óra alapértelmezett időtúllépése fürt hatókörű kódtár telepítésekor
• A kódtárak telepítése a DBFS-ből és a spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed beállítása le van tiltva
• A addArtifact() funkció mostantól konzisztens a számítási típusok között

Kompatibilitástörő változás: A JDK 17 mostantól az alapértelmezett

A Databricks Runtime 16.0-s és újabb verzióiban a JDK alapértelmezett verziója JDK 8-ról JDK 17-re vált. Ez a változás a JDK 8 tervezett elavulása és a támogatás megszűnése miatt történik. Ez a következőkre van hatással:

• Az Azure Databricks compute-en futó Java-kódnak kompatibilisnek kell lennie a Java 17-zel.
• A jegyzetfüzetekben vagy az Azure Databricks compute-ben futó Scala-kódnak kompatibilisnek kell lennie a Java 17-zel.
• A számításra telepített Java- és Scala-kódtáraknak kompatibilisnek kell lenniük a Java 17-zel.
• Az Apache Hive metaadattár-ügyfél 2.x alatti verziói. Ha a Spark-konfigurációt spark.sql.hive.metastore.version 2.x-nél kisebb verzióra állítja, kompatibilitási problémákat okoz a Java 17-zel, és a Hive metaadattárhoz való kapcsolódási hibákat okoz. A Databricks azt javasolja, hogy frissítse a Hive-t a 2.0.0-snál újabb verzióra.

Ha vissza kell térnie a Java 8-ra, adja hozzá a következőket a Spark környezeti változóihoz az Azure Databricks-számítás konfigurálásakor:

JNAME=zulu8-ca-amd64

ARM-példányok használata esetén használja a következőket:

JNAME=zulu8-ca-arm64

A JDK-verziók Azure Databricks-számítással való megadásáról további információt a JDK 17-et használó fürt létrehozása című témakörben talál.

A kód Java 8-ból való migrálásával kapcsolatos segítségért tekintse meg az alábbi útmutatókat:

• Váltás Java 8-ról Java 11-re
• Áttelepítés JDK 8-ról későbbi JDK-kiadásokra

Breaking change: Hosted RStudio is end of life

Ezzel a kiadással a Databricks által üzemeltetett RStudio-kiszolgáló élettartama lejárt, és nem érhető el a Databricks Runtime 16.0-s vagy újabb verzióját futtató Azure Databricks-munkaterületeken. További információkért és az RStudio alternatíváinak listájáért lásd: Az üzemeltetett RStudio-kiszolgáló elavulása.

Kompatibilitástörő változás: A változók byteshort és int a típusok szélesebb típusokra történő módosításának longtámogatása

A Databricks Runtime 15.4.3 és újabb verziókban a következő adattípus-módosítások már nem alkalmazhatók a típustágító funkcióval rendelkező táblákra:

• byte, shortés intlong a .decimal
• byte, shortés int a .double

Ez a módosítás a Delta- és Iceberg-táblák konzisztens viselkedésének biztosítása érdekében történik. A típusszűkítésről további információt a Típusszűkítés című témakörben talál.

Regex-minták helyes elemzése beágyazott karaktercsoportozással

Ez a kiadás tartalmaz egy módosítást, amely támogatja a regex minták megfelelő elemzését a beágyazott karaktercsoportozásban való negációval. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz, például [[a-c][1-3]].

Duplikált egyezésészlelés javítása a Delta Lake-ben MERGE

A Databricks Runtime 15.4 LTS-ben és alatta a műveletek meghiúsulnak, MERGE ha a forrástábla több sora megegyezik a céltábla ugyanazon sorával a MERGEON záradékban megadott feltétel alapján. A Databricks Runtime 16.0-s és újabb MERGE verziókban a záradékban WHEN MATCHED megadott feltételeket is figyelembe veszi. Lásd: Az Upsert használata egy Delta Lake-táblához történő egyesítéssel.

A fürttár telepítési módszere már nem bírálható felül

A Spark-konfigurációk spark.databricks.libraries.enableSparkPyPIspark.databricks.libraries.enableMavenResolution, és spark.databricks.libraries.enableCRANResolutionnow most már az alapértelmezetttrue, és nem lehet felülbírált.

Két óra alapértelmezett időtúllépése fürt hatókörű kódtár telepítésekor

A Databricks Runtime 16.0-s és újabb verzióiban a fürt hatókörű kódtárának telepítése két óra alapértelmezett időtúllépéssel rendelkezik. Az ennél az időtúllépésnél hosszabb ideig igénybe vett kódtár-telepítések sikertelenek lesznek, és a telepítés leáll. Fürt konfigurálásakor a Spark-konfigurációval spark.databricks.driver.clusterLibraryInstallationTimeoutSecmódosíthatja az időtúllépési időszakot.

A kódtárak telepítése a DBFS-ből és a spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed beállítása le van tiltva

A Databricks Runtime 16.0-s és újabb verziókban a kódtárak dbFS-ből való telepítése teljesen le van tiltva. Ez a módosítás a Databricks-munkaterületen lévő kódtárak biztonságának javítása érdekében történik. Emellett a Databricks Runtime 16.0-s és újabb verziókban már nem használhatja a Spark-konfigurációt spark.databricks.driver.dbfsLibraryInstallationAllowed.

A addArtifact() funkció mostantól konzisztens a számítási típusok között

Ezzel a kiadással az archívum automatikusan ki lesz csomagolva, amikor függőséget ad addArtifact(archive = True) hozzá a megosztott vagy kiszolgáló nélküli Azure Databricks-számításhoz. Ez a módosítás konzisztenssé teszi az addArtifact(archive = True) viselkedését ezeken a számítási típusokon az önálló felhasználói számítással, amely már támogatja az automatikus kicsomagolási archívumokat.

Új funkciók és fejlesztések

• A módosított Python-modulok megbízhatóbb újratöltése a autoreload
• Rekurzív séma Avro-támogatása
• to_avro és from_avro függvények
• A Confluent Schema Registry kiterjesztett támogatása az Avro-hoz
• Visszahelyezés kényszerítése folyékony fürtözéssel rendelkező táblákon
• A Pythonhoz és a Scalához készült Delta API-k mostantól támogatják az identitásoszlopokat
• Általánosan elérhető az egyfelhasználós számítás részletes hozzáférés-vezérlése
• Folyékony fürtözött táblák létrehozása streamelési írások során
• A OPTIMIZE FULL záradék támogatása
• A WITH opciók specifikációjának támogatása INSERT és a táblahivatkozás
• Új SQL-függvények
• Automatikus sémafejlődés engedélyezése adatok Delta-táblába való egyesítésekor

A módosított Python-modulok megbízhatóbb újratöltése a autoreload

A Databricks Runtime 16.0-s és újabb verzióiban a autoreload bővítmény frissítései növelik a munkaterületfájlokból importált módosított Python-modulok újratöltésének biztonságát és megbízhatóságát. Ezekkel a módosításokkal autoreloadlehetőség szerint csak a modul azon részét tölti be újra, amely a teljes modul helyett módosult. Emellett az Azure Databricks mostantól automatikusan javasolja a autoreload bővítmény használatát, ha a modul a legutóbbi importálás óta megváltozott. Lásd: Python-modulok automatikus betöltése.

Rekurzív séma Avro-támogatása

Most már használhatja a recursiveFieldMaxDepth funkciót és az from_avro adatforrást avro . Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Lásd a streamelt Avro-adatok olvasását és írását.

to_avro és from_avro függvények

A to_avro és from_avro függvények lehetővé teszik az SQL-típusok Avro bináris adatokké és visszaalakítását.

A Confluent Schema Registry kiterjesztett támogatása az Avro-hoz

Az Azure Databricks mostantól támogatja az Avro-sémahivatkozást a Confluent sémaregisztrációs adatbázisával. Lásd: Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.

Visszahelyezés kényszerítése folyékony fürtözéssel rendelkező táblákon

A Databricks Runtime 16.0-s és újabb verzióiban a OPTIMIZE FULL szintaxissal kényszerítheti a tábla összes rekordjának újrarekedését, ha engedélyezve van a folyékony fürtözés. Lásd: Az összes rekord visszahelyezésének kényszerítése.

A Pythonhoz és a Scalához készült Delta API-k mostantól támogatják az identitásoszlopokat

Mostantól a Pythonhoz és a Scalához készült Delta API-k segítségével identitásoszlopokat tartalmazó táblákat hozhat létre. Lásd: Az identitásoszlopok használata a Delta Lake esetében.

Általánosan elérhető az egyfelhasználós számítás részletes hozzáférés-vezérlése

A Databricks Runtime 16.0-s és újabb verziókban általánosan elérhető az egyfelhasználós számítás részletes hozzáférés-vezérlése. A kiszolgáló nélküli számításhoz engedélyezett munkaterületeken, ha egy lekérdezés támogatott számításon , például egyfelhasználós számításon fut, és a lekérdezés a következő objektumok bármelyikéhez hozzáfér, a számítási erőforrás átadja a lekérdezést a kiszolgáló nélküli számításnak az adatszűrés futtatásához:

• Olyan táblákhoz definiált nézetek, amelyeken a felhasználó nem rendelkezik SELECT jogosultsággal.
• Dinamikus nézetek.
• Sorszűrőket vagy oszlopmaszkokat tartalmazó táblák.
• Materializált nézetek és Streaming táblák

Folyékony fürtözött táblák létrehozása streamelési írások során

Mostantól clusterBy engedélyezheti a folyékony fürtözést, amikor új táblákat hoz létre strukturált streamelési írásokkal. Lásd: Folyékony fürtözés engedélyezése.

A OPTIMIZE FULL záradék támogatása

A Databricks Runtime 16.0 támogatja a OPTIMIZE FULL záradékot. Ez a záradék optimalizálja a folyékony fürtözést használó táblák összes rekordjait, beleértve a korábban fürtözött adatokat is.

WITH-beállítások specifikációjának támogatása a INSERT-ban és a táblahivatkozásban

A Databricks Runtime 16.0 támogatja egy , amely az adatforrások viselkedésének szabályozására használható.

Új SQL-függvények

A Databricks Runtime 16.0 a következő SQL-függvényeket adja hozzá:

• try_url_decode

  Ez a függvény a url_decode hibatűrő verziója. Ez a függvény akkor ad NULL vissza, ha a bemenet nem érvényes URL-kódolású sztring.

• zeroifnull

  Ha a függvény bemeneti kifejezése zeroifnull() az NULL, akkor a függvény 0 értéket ad vissza. Ellenkező esetben a bemeneti kifejezés értéke lesz visszaadva.

• nullifzero

  Akkor adja NULL vissza, ha a bemenet 0, vagy ha nem 0. Ha a függvény bemeneti kifejezése nullifzero() 0, akkor a függvény ad vissza NULL. Ha a bemeneti kifejezés nem 0, a bemeneti kifejezés értéke lesz visszaadva

Automatikus sémafejlődés engedélyezése adatok Delta-táblába való egyesítésekor

Ez a kiadás támogatja az withSchemaEvolution() osztály tagját DeltaMergeBuilder . A műveletek során withSchemaEvolution() az automatikus sémafejlődés engedélyezésére használhatóMERGE. Például: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Egyéb változások

A SparkR elavult

A Databricks Runtime 16.0-s és újabb verziójában a SparkR a Databricksben elavult, és a spark 4 hamarosan megjelenő kiadásában elavul. Tekintse meg az Apache Spark elavult SparkR-szálát.

A Databricks inkább a Sparklyr használatát javasolja.

A Databricks Runtime 16.0 nem támogatott PVC-vel

A Databricks Runtime 16.0-t a Databricks Private Virtual Cloud (PVC) nem támogatja. A Databricks Runtime 15.4-es vagy újabb verziójának az összes PVC-kiadással együtt kell lennie.

Hibajavítások

Az Automatikus betöltő mostantól üres sémákkal menti az Avro-rekordtípusokat

Ha egy Avro-fájlt az Automatikus betöltő használatával tölt be egy Delta-táblába, record a rendszer hozzáadja az üres sémával rendelkező fájltípusokat a mentett adatoszlophoz. Mivel nem tölthet be üres összetett adattípusokat egy Delta-táblába, ez megold néhány Avro-fájl betöltésével kapcsolatos problémát. A mentett adatokról további információt a Mi a mentett adatoszlop? című témakörben talál.

Kijavítottuk a második eltolást tartalmazó időzónákat tartalmazó időbélyegek írásának hibáit.

Ez a kiadás kijavít egy hibát, amely bizonyos időbélyegeket érint, és az időzónák egy második eltolást tartalmaznak. Ez a hiba miatt a másodpercek nem lesznek megadva, amikor JSON-, XML- vagy CSV-fájlba írnak, ami helytelen időbélyeg-értékeket eredményez.

Az előző viselkedéshez való visszatéréshez használja a következő lehetőséget, amikor az egyik érintett formátumba ír: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • azure-core 1.30.2-től 1.31.0-sig
  • azure-storage-blob 12.19.1-től 12.23.0-ra
  • azure-storage-file-datalake 12.14.0-tól 12.17.0-ra
  • fekete 23.3.0 és 24.4.2 között
  • villogó 1,4 és 1,7,0 között
  • boto3 1.34.39 és 1.34.69 között
  • botocore 1.34.39 és 1.34.69 között
  • minősítés 2023.7.22-től 2024.6.2-től
  • cffi 1.15.1 és 1.16.0 között
  • kattintson a 8.0.4-től a 8.1.7-hez
  • comm 0.1.2-től 0.2.1-től
  • contourpy 1.0.5-től 1.2.0-ra
  • titkosítás a 41.0.3-tól a 42.0.5-ösig
  • Cython 0.29.32-től 3.0.11-ig
  • databricks-sdk 0.20.0 és 0.30.0 között
  • dbus-python 1.2.18 és 1.3.2 között
  • filelock 3.13.4 és 3.15.4 között
  • fonttools 4.25.0-tól 4.51.0-ra
  • GitPython 3.1.43-tól 3.1.37-ig
  • google-api-core 2.18.0-tól 2.20.0-ra
  • google-hitelesítés 2.31.0-tól 2.35.0-ig
  • google-cloud-storage 2.17.0 és 2.18.2 között
  • google-crc32c 1.5.0 és 1.6.0 között
  • google-resumable-media 2.7.1-2.7.2
  • googleapis-common-protos 1.63.2-től 1.65.0-ra
  • httplib2 0.20.2 és 0.20.4 között
  • idna 3,4 és 3,7 között
  • ipykernel 6.25.1 és 6.28.0 között
  • ipython 8.15.0-tól 8.25.0-ig
  • jedi 0.18.1-től 0.19.1-től
  • jmespath 0.10.0 és 1.0.1 között
  • joblib 1.2.0 és 1.4.2 között
  • jupyter_client 7.4.9-től 8.6.0-ra
  • jupyter_core 5.3.0-ról 5.7.2-re
  • launchpadlib from 1.10.16 to 1.11.0
  • lazr.restfulclient 0.14.4-től 0.14.6-osig
  • matplotlib 3.7.2 és 3.8.4 között
  • mlflow-skinny 2.11.4-től 2.15.1-esig
  • more-itertools 8.10.0-tól 10.3.0-ra
  • mypy-extensions from 0.4.3 to 1.0.0
  • nest-asyncio 1.5.6 és 1.6.0 között
  • numpy 1.23.5 és 1.26.4 között
  • oauthlib 3.2.0-tól 3.2.2-ig
  • csomagolás 23,2 és 24,1 között
  • patsy 0.5.3-tól 0.5.6-osig
  • pip 23.2.1 és 24.2 között
  • ábrázolás 5.9.0 és 5.22.0 között
  • prompt-toolkit from 3.0.36 to 3.0.43
  • pyarrow 14.0.1 és 15.0.2 között
  • pydantic 1.10.6–2.8.2
  • PyGObject 3.42.1 és 3.48.2 között
  • PyJWT 2.3.0 és 2.7.0 között
  • pyodbc 4.0.38-tól 5.0.1-ig
  • python-dateutil 2.8.2 és 2.9.0.post0 között
  • python-lsp-jsonrpc 1.1.1-től 1.1.2-től
  • pytz 2022.7-től 2024.1-től
  • PyYAML 6.0 és 6.0.1 között
  • pyzmq 23.2.0 és 25.1.2 között
  • 2.31.0 és 2.32.2 közötti kérelmek
  • scikit-learn 1.3.0-1.4.2
  • scipy from 1.11.1 to 1.13.1
  • tengeri 0.12.2-től 0.13.2-ig
  • setuptools 68.0.0-tól 74.0.0-ra
  • smmap 5.0.1-től 5.0.0-ra
  • sqlparse 0.5.0 és 0.5.1 között
  • 0.14.0 és 0.14.2 közötti állapotok
  • tornádó 6.3.2 és 6.4.1 között
  • 5.7.1–5.14.3.
  • typing_extensions 4.10.0-tól 4.11.0-ra
  • ujson 5.4.0-tól 5.10.0-ra
  • virtualenv 20.24.2 és 20.26.2 között
  • 0.38.4 és 0.43.0 közötti
  • zipp 3.11.0-ról 3.17.0-ra
• Frissített R-kódtárak:
  • nyíl a 14.0.0.2-től a 16.1.0-sig
  • backports from 1.4.1 to 1.5.0
  • alap: 4.3.2–4.4.0
  • bitops 1,0-7-1,0-8
  • rendszerindítás 1.3-28-ról 1.3-30-ra
  • brio 1.1.4 és 1.1.5 között
  • seprű 1.0.5-től 1.0.6-osig
  • bslib 0.6.1-től 0.8.0-ra
  • gyorsítótár 1.0.8-tól 1.1.0-sig
  • hívó a 3.7.3-tól a 3.7.6-osig
  • cli 3.6.2 és 3.6.3 között
  • óra 0.7.0 és 0.7.1 között
  • fürt 2.1.4-től 2.1.6-osig
  • 0,2-19 és 0,2-20 közötti kódtoolok
  • színtér 2.1-0 és 2.1-1 között
  • fordító a 4.3.2-től a 4.4.0-sig
  • 1.5.2-től 1.5.3-ra
  • curl 5.2.0-ról 5.2.1-re
  • data.table 1.15.0 és 1.15.4 között
  • adatkészletek a 4.3.2-től a 4.4.0-sig
  • DBI 1.2.1-től 1.2.3-ra
  • dbplyr 2.4.0 és 2.5.0 között
  • kivonatolás a 0.6.34-től a 0.6.36-osig
  • 0.4.3-tól 0.4.4-hez
  • kiértékelés 0,23-ról 0.24.0-ra
  • farver 2.1.1 és 2.1.2 között
  • gyorstérkép 1.1.1-től 1.2.0-sig
  • idegen 0,8-85-től 0,8-86-ra
  • fs 1.6.3–1.6.4
  • 1.33.1-től 1.34.0-ra
  • future.apply from 1.11.1 to 1.11.2
  • gert 2.0.1-től 2.1.0-ra
  • ggplot2 3.4.4 és 3.5.1 között
  • gh 1.4.0 és 1.4.1 között
  • globals from 0.16.2 to 0.16.3
  • 4.3.2 és 4.4.0 közötti grafikus elemek
  • grDevices 4.3.2-től 4.4.0-ra
  • rács 4.3.2-től 4.4.0-ra
  • gt 0.10.1-től 0.11.0-ra
  • 0.3.4-től 0.3.5-ösig
  • hardhat 1.3.1-től 1.4.0-ra
  • highr 0,10 és 0,11 között
  • htmltoolok 0.5.7-től 0.5.8.1-ig
  • httpuv 1.6.14-től 1.6.15-ösig
  • httr2 1.0.0 és 1.0.2 között
  • ipred 0,9-14-0,9-15
  • KernSmooth 2.23-21-2.23-22
  • knitr 1,45-től 1,48-ig
  • rács 0,21-8-tól 0,22-5-re
  • láva 1.7.3-tól 1.8.0-ra
  • markdown 1.12-től 1.13-ra
  • TÖMEG 7,3-60-7,3-60,0,1
  • Mátrix 1,5-4,1-1,6-5 között
  • metódusok a 4.3.2-től a 4.4.0-sig
  • mgcv 1,8-42-1,9-1
  • mlflow 2.10.0 és 2.14.1 között
  • munsell 0.5.0 és 0.5.1 között
  • nlme a 3.1-163-tól a 3.1-165-ösig
  • 2.1.1-ről 2.2.0-ra nyit
  • párhuzamos 4.3.2 és 4.4.0 között
  • párhuzamosan az 1.36.0-tól az 1.38.0-sig
  • pkgbuild 1.4.3-tól 1.4.4-re
  • pkgdown 2.0.7-től 2.1.0-ra
  • pkgload 1.3.4-től 1.4.0-ra
  • processx 3.8.3–3.8.4
  • prodlim 2023.08.28-tól 2024.06.25-ig
  • ígéretek 1.2.1-től 1.3.0-ig
  • ps 1.7.6 és 1.7.7 között
  • ragg 1.2.7 és 1.3.2 között
  • Rcpp 1.0.12-től 1.0.13-ra
  • RcppEigen 0.3.3.9.4 és 0.3.4.0.0 között
  • reactR 0.5.0 és 0.6.0 között
  • receptek 1.0.9-től 1.1.0-ra
  • 2.4.2.1-től 2.5.0-ra
  • reprex 2.1.0-ról 2.1.1-re
  • rlang 1.1.3-tól 1.1.4-ig
  • rmarkdown 2.25-től 2.27-ig
  • roxygen2 7.3.1-től 7.3.2-ig
  • rpart 4.1.21-től 4.1.23-ig
  • RSQLite 2.3.5 és 2.3.7 között
  • rstudioapi 0.15.0-tól 0.16.0-ra
  • rvest 1.0.3 és 1.0.4 között
  • sass 0.4.8-tól 0.4.9-esig
  • alakzat 1.4.6-tól 1.4.6.1-től
  • fényes 1.8.0 és 1.9.1 között
  • sparklyr 1.8.4-től 1.8.6-osig
  • térbeli 7,3-15-7,3-17
  • splines from 4.3.2 to 4.4.0
  • 4.3.2 és 4.4.0 közötti statisztikák
  • statisztikái4 a 4.3.2-től a 4.4.0-sig
  • stringi 1.8.3 és 1.8.4 között
  • túlélés 3,5-5 és 3,6-4 között
  • swagger 3.33.1-től 5.17.14.1-től
  • systemfonts 1.0.5–1.1.0
  • tcltk 4.3.2-től 4.4.0-ra
  • testthat 3.2.1 és 3.2.1.1 között
  • szövegformázás 0.3.7-től 0.4.0-ra
  • tidyselect from 1.2.0 to 1.2.1
  • tinytex 0,49 és 0,52 között
  • 4.3.2 és 4.4.0 közötti eszközök
  • usethis 2.2.2-től 3.0.0-ig
  • utils from 4.3.2 to 4.4.0
  • uuid 1.2-0-1.2-1
  • V8 4.4.1 és 4.4.2 között
  • 3.0.0 és 3.0.1 közötti elválasztó
  • xfun 0,41-től 0,46-osig
  • xopen 1.0.0 és 1.0.1 között
  • yaml 2.3.8–2.3.10
• Frissített Java-kódtárak:
  • com.amazonaws.aws-java-sdk-autoscaling from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-cloudhsm 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-cloudsearch 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-cloudtrail 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-codedeploy 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-config 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-core 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-directconnect 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-directory 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-dynamodb 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-ec2 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-ecs 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-efs 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-elasticache 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-emr 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-glacier 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-glue 1.12.610-ről 1.12.638-ra
  • com.amazonaws.aws-java-sdk-iam 1.12.610-től 1.12.638-ig
  • com.amazonaws.aws-java-sdk-importexport 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-kinesis 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-kms 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-lambda 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-logs 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-machinelearning 1.12.610-ről 1.12.638-ra
  • com.amazonaws.aws-java-sdk-opsworks 1.12.610–1.12.638
  • com.amazonaws.aws-java-sdk-rds 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-redshift 1.12.610-ről 1.12.638-ra
  • com.amazonaws.aws-java-sdk-route53 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-s3 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-ses 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-simpledb 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-sns 1.12.610-ről 1.12.638-ra
  • com.amazonaws.aws-java-sdk-sqs 1.12.610 és 1.12.638 között
  • com.amazonaws.aws-java-sdk-ssm 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-storagegateway 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-sts 1.12.610-től 1.12.638-ra
  • com.amazonaws.aws-java-sdk-support 1.12.610-1.12.638
  • com.amazonaws.aws-java-sdk-workspaces 1.12.610–1.12.638
  • com.amazonaws.jmespath-java 1.12.610-től 1.12.638-ra
  • com.google.protobuf.protobuf-java 2.6.1 és 3.25.1 között
  • io.airlift.aircompressor 0,25 és 0,27 között
  • io.delta.delta-sharing-client_2.12 1.1.3 és 1.2.0 között
  • io.netty.netty-all 4.1.96.Final-4.1.108.Final
  • io.netty.netty-puffer 4.1.96.Final-ról 4.1.108.Final-ra
  • io.netty.netty-codec 4.1.96.Final-4.1.108.Final
  • io.netty.netty-codec-http-tól 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-codec-http2 4.1.96.Final-4.1.108.Final
  • io.netty.netty-codec-socks 4.1.96.Final-4.1.108.Final
  • io.netty.netty-common 4.1.96.Final-4.1.108.Final
  • io.netty.netty-handler 4.1.96.Final és 4.1.108.Final
  • io.netty.netty-handler-proxy 4.1.96.Final-4.1.108.Final
  • io.netty.netty-resolver 4.1.96.Final–4.1.108.Final
  • io.netty.netty-transport 4.1.96.Final-4.1.108.Final
  • io.netty.netty-transport-classes-epoll 4.1.96.Final-4.1.108.Final
  • io.netty.netty-transport-classes-kqueue 4.1.96.Final-4.1.108.Final
  • io.netty.netty-transport-native-epoll 4.1.96.Final-linux-x86_64 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 4.1.96.Final-osx-x86_64 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 4.1.96.Final–4.1.108.Final
  • org.apache.ivy.ivy 2.5.1 és 2.5.2 között
  • org.apache.zookeeper.zookeeper 3.6.3-tól 3.9.2-től
  • org.apache.zookeeper.zookeeper-jute 3.6.3-tól 3.9.2-től
  • org.rocksdb.rocksdbjni 8.11.4-től 9.2.1-től
  • org.scalactic.scalactic_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-compatible from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-core_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-diagrams_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-featurespec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-flatspec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-freespec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-funspec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-funsuite_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-matchers-core_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-mustmatchers_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-propspec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-refspec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-shouldmatchers_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest-wordspec_2.12 3.2.15-től 3.2.16-osig
  • org.scalatest.scalatest_2.12 3.2.15-től 3.2.16-osig

Apache Spark

A Databricks Runtime 16.0 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 15.4 LTS-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-49093] [DBRRM-1371] Visszavonás “[SC-172958][SQL] GROUP BY a MapType nes...
• [SPARK-49898] [DBRRM-1282][SC-178410] A SPARK-42204-ből származó eseménynapló-tevékenységmetrikák gyűjtőnaplózási jelzőjének dokumentációja és alapértelmezett beállítása
• [SPARK-49743] [ES-1260022][VISELKEDÉS-157][SC-177475][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
• [SPARK-49816] [SC-177896][SQL] A hivatkozott külső CTE-reláció esetében csak az out-going-ref-count függvényt kell frissíteni
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Az Avro olvasásának támogatása rekurzív sémahivatkozással
• [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
• [SPARK-49771] [SC-177466][PYTHON] A Pandas skaláris iter UDF-hibájának javítása, ha a kimeneti sorok túllépik a bemeneti sorokat
• [SPARK-48866] [SC-170772][SQL] A INVALID_PARAMETER_VALUE hibaüzenetében szereplő érvényes karakterkészletre vonatkozó tippek javítása. KARAKTERKÉSZLET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] A SparkPlan által létrehozott RDD/Broadcast mentése és újrafelhasználása
• [SPARK-49585] [CONNECT] Végrehajtási leképezés cseréje a SessionHolderben műveletazonosító-készletre
• [SPARK-49211] [SC-174257][SQL] A V2-katalógus a beépített adatforrásokat is támogatja
• [SPARK-49684] A munkamenet-visszaállítási zárolás élettartamának minimalizálása
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Strukturált napló-keretrendszer a Java oldalán
• [SPARK-48857] [SC-170661][SQL] Karakterkészletek korlátozása a CSVOptionsban
• [SPARK-49152] [SC-173690][SQL] A V2SessionCatalognak v2Command-t kell használnia
• [SPARK-42846] [SC-176588][SQL] Hibaállapot eltávolítása _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] A SparkPlan által létrehozott RDD/Broadcast mentése és újrafelhasználása
• [SPARK-49630] [SC-177379][SS] Összesimított beállítás hozzáadása a gyűjteménytípusok állapotadat-olvasóval történő feldolgozásához
• [SPARK-49699] [SC-177154][SS] PruneFilters letiltása streamelési számítási feladatokhoz
• [SPARK-48781] [SC-175282][SQL] Katalógus API-k hozzáadása tárolt eljárások betöltéséhez
• [SPARK-49667] [SC-177068][SQL] A StringSearch-et használó kifejezések CS_AI collatorok letiltása
• [SPARK-49737] [SC-177207][SQL] Gyűjtőzés letiltása összetett típusok csoportosított oszlopaiban
• [SPARK-48712] [SC-169794][SQL] Perf Fejlesztés üres értékekkel vagy UTF-8 karakterkészlettel történő kódoláshoz
• [SPARK-49038] [SC-173933][SQL] Az SQLMetricnak jelentenie kell a nyers értéket az akkumulátor frissítési eseményében
• [SPARK-48541] [SC-169066][CORE] Új kilépési kód hozzáadása a TaskReaper által megölt végrehajtókhoz
• [SPARK-48774] [SC-170138][SQL] SparkSession használata az SQLImplicitsben
• [SPARK-49719] [SC-177139][SQL] Egész szám létrehozása UUID és SHUFFLE elfogadása seed
• [SPARK-49713] [SC-177135][PYTHON][CONNECT] Függvény count_min_sketch elfogadása számargumentumokkal
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: Változókkal rendelkező naplók migrálása strukturált naplózási keretrendszerbe
• [SPARK-49738] [SC-177219][SQL] Hibajavítással végződik
• [SPARK-48623] [SC-170822][CORE] Strukturált naplózási migrálások [3. rész]
• [SPARK-49677] [SC-177148][SS] Győződjön meg arról, hogy a changelog-fájlok véglegesítésre vannak írva, és a forceSnapshot jelző is alaphelyzetbe áll
• [SPARK-49684] [SC-177040][CONNECT] Globális zárolások eltávolítása a munkamenet- és végrehajtási kezelőkből
• [SPARK-48302] [SC-168814][PYTHON] Null értékek megőrzése a PyArrow-táblák térképoszlopaiban
• [SPARK-48601] [SC-169025][SQL] Felhasználóbarátabb hibaüzenet küldése a JDBC-beállítás null értékének beállításakor
• [SPARK-48635] [SC-169263][SQL] Osztályok hozzárendelése csatlakozási típushibákhoz és illesztés közbeni hibákhoz
• [SPARK-49673] [SC-177032][CONNECT] CONNECT_GRPC_ARROW_MAX_BATCH_SIZE növelése 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][CONNECT] A sztring-ábrázolás pontosítása timedelta
• [SPARK-49687] [SC-176901][SQL] A rendezés késleltetése a következőben: validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Diagram váltása Scatter mintául szolgáló adatokra
• [SPARK-48472] [SC-169044][SQL] Tükrözött kifejezések engedélyezése csoportosított sztringekkel
• [SPARK-48484] [SC-167484][SQL] Javítás: A V2Write ugyanazt a TaskAttemptId azonosítót használja a különböző tevékenységkísérletekhez
• [SPARK-48341] [SC-166560][CONNECT] A beépülő modulok használhatják a QueryTestet a tesztjeikben
• [SPARK-42252] [SC-168723][CORE] Hozzáadás spark.shuffle.localDisk.file.output.buffer és elavultság spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] A FileStreamSource fájljainak duplázása az Trigger.AvailableNow használatával
• [SPARK-49567] [SC-176241][PYTHON] Használata classic a vanilla PySpark-kódbázis helyett
• [SPARK-48374] [SC-167596][PYTHON] További PyArrow-táblaoszloptípusok támogatása
• [SPARK-48300] [SC-166481][SQL] Codegen-támogatás a következőhöz: from_xml
• [SPARK-49412] [SC-177059][PS] Az összes meződiagram metrikáinak kiszámítása egyetlen feladatban
• [SPARK-49692] [SC-177031][PYTHON][CONNECT] A konstans dátum és dátum idő sztring-ábrázolásának finomítása
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Hibaüzenetek a külső adatforrásba való írás sikertelensége esetén
• [SPARK-48306] [SC-166241][SQL] Az UDT javítása hibaüzenetben
• [SPARK-44924] [SC-166379][SS] Konfiguráció hozzáadása a FileStreamSource gyorsítótárazott fájljaihoz
• [SPARK-48176] [SC-165644][SQL] FIELD_ALREADY_EXISTS hibafeltétel nevének módosítása
• [SPARK-49691] [SC-176988][PYTHON][CONNECT] A függvénynek substring el kell fogadnia az oszlopneveket
• [SPARK-49502] [SC-176077][CORE] Az NPE elkerülése a SparkEnv.get.shuffleManager.unregisterShuffle alkalmazásban
• [SPARK-49244] [SC-176703][SQL] Az elemző/értelmező további kivételekre vonatkozó fejlesztései
• [SPARK-48355] [SC-176684][SQL] CASE utasítás támogatása
• [SPARK-49355] [SC-175121][SQL] levenshtein ellenőriznie kell, hogy az collation összes paramétertípus értéke megegyezik-e
• [SPARK-49640] [SC-176953][PS] Tározó mintavételezésének alkalmazása SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Támogatás a következőben spark.test.master : SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] A buildek párhuzamosságának korlátozása Sphinx alapértelmezés szerint 4-re
• [SPARK-49396] "[SC-176030][SQL] Nullability check for CaseWhen expression" visszaállítása
• [SPARK-48419] [SC-167443][SQL] Összecsukható propagálás cserélje le az összecsukható oszlopot...
• [SPARK-49556] [SC-176757][SQL] Sql-cső szintaxisának hozzáadása az SELECT operátorhoz
• [SPARK-49438] [SC-175237][SQL] A > FromAvroToAvro kifejezés szép nevének javítása
• [SPARK-49659] [SC-1229924][SQL] Adjunk hozzá egy felhasználóbarát hibaüzenetet a skaláris al-lekérdezésekhez a VALUES záradékban
• [SPARK-49646] [SC-176778][SQL] Kijavíthatja az egyesítő/halmazműveletek részquery-dekorrelációját, ha a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyekre a collectedChildOuterReferences nem terjed ki
• [SPARK-49354] [SC-175034][SQL] split_part ellenőriznie kell, hogy az collation összes paramétertípus értéke megegyezik-e
• [SPARK-49478] [SC-175914][CONNECT] Null metrikák kezelése a ConnectProgressExecutionListenerben
• [SPARK-48358] [SC-176374][SQL] REPEAT utasítás támogatása
• [SPARK-49183] [SC-173680][SQL] A V2SessionCatalog.createTable-nak tiszteletben kell tartania PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] A TVF collations() bemutatása & a SHOW COLLATIONS parancs eltávolítása
• [SPARK-49261] [SC-176589][SQL] Az összesítő kifejezésekben lévő literálok nem helyettesíthetik a csoportosítási kifejezéseket
• [SPARK-49099] [SC-173229][SQL] A CatalogManager.setCurrentNamespace-nek tiszteletben kell tartania az egyéni munkamenet-katalógust
• [SPARK-49594] [SC-176569][SS] Annak ellenőrzése, hogy a StateSchemaV3 fájl írásához hozzáadták-e vagy eltávolították-e a columnFamilies oszlopot
• [SPARK-49578] [SC-176385][SQL] Távolítsa el az ANSI konfigurációs javaslatát CAST_INVALID_INPUT és CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Nevek hozzárendelése streamelési kimeneti módhoz kapcsolódó hibaosztályokhoz
• [SPARK-49155] [SC-176506][SQL][SS] A megfelelőbb paramétertípus használata a konstrukt GenericArrayData
• [SPARK-49519] [SC-176388][SQL] A tábla és a kapcsolat egyesítése a FileScanBuilder létrehozásakor
• [SPARK-49591] [SC-176587][SQL] Logikai típus oszlop hozzáadása a variant readme-hez
• [SPARK-49596] [SC-176423][SQL] A teljesítmény javítása FormatString
• [SPARK-49525] [SC-176044][SS][CONNECT] Kisebb naplófejlesztés a kiszolgálóoldali streamelési lekérdezés figyelőjénekbus-figyelője számára
• [SPARK-49583] [SC-176272][SQL] A hiba alfeltételének SECONDS_FRACTION meghatározása érvénytelen másodperc tört mintához
• [SPARK-49536] [SC-176242] A Python streamelési adatforrásrekord-előkezelésével kapcsolatos hiba kezelése
• [SPARK-49443] [SC-176273][SQL][PYTHON] To_variant_object kifejezés implementálása, és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
• [SPARK-49544] [SASP-3990][SC-176557][CONNECT] A durva zárolás cseréje a SparkConnectExecutionManagerben a ConcurrentMap-re
• [SPARK-49548] [SASP-3990][SC-176556][CONNECT] A durva zárolás cseréje a SparkConnectSessionManagerben a ConcurrentMap-ra
• [SPARK-49551] [SC-176218][SS] A RocksDB-napló fejlesztése a replayChangeloghoz
• [SPARK-49595] [SC-176396][CONNECT][SQL] Javítás DataFrame.unpivot/melt a Spark Connect Scala-ügyfélben
• [SPARK-49006] [SC-176162] Purging implementálása OperatorStateMetadataV2 és StateSchemaV3 fájlokhoz
• [SPARK-49600] [SC-176426][PYTHON] A -related logic eltávolítása Python 3.6 and oldera try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] TTL implementálása ValueState-hez a transformWithStateInPandas API-ban
• [SPARK-49191] [SC-176243][SS] Az transformWithState leképezési állapotváltozók olvasásának támogatása állapotadat-olvasóval
• [SPARK-49593] [SC-176371][SS] RocksDB-kivétel dobása a hívóra a DB bezárásakor, ha hiba jelenik meg
• [SPARK-49334] [SC-174803][SQL] str_to_map ellenőriznie kell, hogy az collation összes paramétertípus értéke megegyezik-e
• [SPARK-42204] [SC-176126][CORE] Lehetőség hozzáadása a TaskMetrics belső akkumulátorainak redundáns naplózásának letiltásához az eseménynaplókban
• [SPARK-49575] [SC-176256][SS] Csak akkor adja hozzá a naplózást a zárolási kiadáshoz, ha a beszerzettThreadInfo nem null értékű
• [SPARK-49539] [SC-176250][SS] Belső oszlopcsaládok kezdőazonosítóinak frissítése egy másikra
• [SPARK-49205] [SC-173853][SQL] A KeyGroupedPartitioningnek örökölnie kell a HashPartitioningLiket
• [SPARK-49396] [SC-176030][SQL] CaseWhen-kifejezés null értékűségének módosítása
• [SPARK-49476] [SC-175700][SQL] A base64 függvény null értékűségének javítása
• [SPARK-47262] [SC-174829][SQL] Nevek hozzárendelése a parquet-konverziók hibafeltételeihez
• [SPARK-47247] [SC-158349][SQL] Használjon kisebb célméretet a partíciók robbanásszerű illesztésekkel való összekapcsolásakor
• [SPARK-49501] [SC-176166][SQL] A tábla helyének dupla menekülésének javítása
• [SPARK-49083] [SC-173214][CONNECT] A JSON-sémák natív használatának engedélyezése from_xml és from_json
• [SPARK-49043] [SC-174673][SQL] Az értelmezett codepath-csoport kijavítása csoportosított sztringeket tartalmazó térképen
• [SPARK-48986] [SC-172265][CONNECT][SQL] Oszlopcsomópont köztes ábrázolása
• [SPARK-49326] [SC-176016][SS] A Foreach fogadó felhasználói függvényének hibaosztályba sorolása
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Bevezetés LEAVE és ITERATE utasítások
• [SPARK-49523] [SC-175949][CONNECT] A kapcsolódási kiszolgáló maximális várakozási idejének növelése a teszteléshez
• [SPARK-49000] [VISELKEDÉS-105][ES-1194747][SQL] Javítsa ki a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (1) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával – DBR 16.x-es verzió
• [SPARK-49311] [SC-175038][SQL] Lehetővé teszi, hogy a nagy "intervallum második" értékek tizedesjelre legyenek öntöttek
• [SPARK-49200] [SC-173699][SQL] Null típusú, nem codegen rendezési kivétel kijavítása
• [SPARK-49467] [SC-176051][SS] Támogatás hozzáadása az állapotadat-olvasóhoz és a listaállapothoz
• [SPARK-47307] [SC-170891][SQL] Konfiguráció hozzáadása opcionálisan adattömb alap64-sztringekhez
• [SPARK-49391] [SC-176032][PS] Box plot select outliers by distance from fences
• [SPARK-49445] [SC-175845][Felhasználói felület] Támogatási elemleírás megjelenítése a felhasználói felület folyamatjelző sávjában
• [SPARK-49451] [SC-175702] Duplikált kulcsok engedélyezése parse_json.
• [SPARK-49275] [SC-175701][SQL] Az xpath kifejezés visszatérési típusának nullértékének javítása
• [SPARK-49021] [SC-175578][SS] Az transformWithState értékállapot-változók olvasásának támogatása az állapotadat-olvasóval
• [SPARK-49474] [VISELKEDÉS-143][SC-169253][SC-175933][SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
• [SPARK-49408] [SC-175932][SQL] Az IndexedSeq használata a ProjectingInternalRow-ban
• [SPARK-49509] [SC-175853][CORE] Használat Platform.allocateDirectBuffer helyett ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] A keretdoboz rajzának megfelelő megjelenítése a szórólapok/kiugró értékek megjelenítéséhez
• [SPARK-49002] [SC-172846][SQL] A WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY érvénytelen helyeinek következetes kezelése biztosítása
• [SPARK-49480] [SC-175699][CORE] NullPointerException hiba kijavítása SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] A pandas udf érvénytelen visszatérési típusának javítása hibaüzenet
• [SPARK-48693] [SC-169492][SQL] A meghívás és a StaticInvoke toString-jének egyszerűsítése és egységesítése
• [SPARK-49441] [SC-175716][ML] StringIndexer tömbök rendezése végrehajtókban
• [SPARK-49347] [SC-175004][R] Elavult SparkR
• [SPARK-49357] [SC-175227][CONNECT][PYTHON] Mélyen beágyazott protobuf üzenet függőlegesen csonkolása
• [SPARK-41982] [SC-120604][SQL] A típussztring partícióit nem szabad numerikus típusokként kezelni
• [SPARK-48776] [SC-170452][VISELKEDÉS-72] JSON, xml és csv időbélyeg-formázásának javítása
• [SPARK-49223] [SC-174800][ML] A StringIndexer.countByValue egyszerűsítése beépített függvényekkel
• [SPARK-49016] Visszaállítás "[SC-174663][SQL] A nyers CSV-fájlokból származó lekérdezések viselkedésének visszaállítása nem engedélyezett, ha csak sérült rekordoszlopot tartalmaz, és a név hozzárendelése a következőhöz _LEGACY_ERROR_TEMP_1285: "
• [SPARK-49041] [SC-172392][PYTHON][CONNECT] Megfelelő hiba felmerülése dropDuplicates , ha helytelent subset ad meg
• [SPARK-49050] [SC-175235] DeleteIfExists operátor engedélyezése virtuális oszlopcsaládokkal rendelkező TWS-ben
• [SPARK-49216] [SC-173919][CORE]Javítás, hogy ne naplózza az üzenetkörnyezetet explicit módon létrehozott LogEntry használatával, amikor a strukturált naplózási konferencia ki van kapcsolva
• [SPARK-49252] [SC-175596][CORE] MakeTaskSetExcludeList and HeathTracker independent
• [SPARK-49352] [SC-174971][SQL] Kerülje az azonos kifejezés redundáns tömbátalakítását
• [SPARK-42307] [SC-173863][SQL] A hiba nevének hozzárendelése _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][CORE] Redact Spark Command kimenet a modulban launcher
• [SPARK-48913] [SC-173934][SQL] Az IndentingXMLStreamWriter implementálása
• [SPARK-49306] [SC-175363][PYTHON][SQL] SQL-függvény-aliasok létrehozása a "zeroifnull" és a "nullifzero" függvényhez
• [SPARK-48344] [SQL] SQL-szkriptek végrehajtása (beleértve a Spark Connectet)
• [SPARK-49402] [SC-175122][PYTHON] Binder-integráció javítása a PySpark dokumentációjában
• [SPARK-49017] [SC-174664][SQL] A beszúrási utasítás sikertelen, ha több paramétert használ
• [SPARK-49318] [SC-174733][SQL] Alacsony prioritású hiba előzetes beállítása az LCA-n az ellenőrzési elemzés végéig a hibaélmény javítása érdekében
• [SPARK-49016] [SC-174663][SQL] Állítsa vissza azt a viselkedést, amely szerint a nyers CSV-fájlok lekérdezései nem engedélyezettek, ha csak sérült rekordoszlopot tartalmaz, és nevet rendel hozzá _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] A be- és be- és beírási accuracy típusra vonatkozó percentile_approx tipp javításaapprox_percentile
• [SPARK-49131] [SC-174666][SS] A TransformWithState-nek megfelelően kell beállítania az implicit csoportosítási kulcsokat még lusta iterátorokkal is
• [SPARK-49301] [SC-174795][SS] A Python-feldolgozónak átadott adattömbnyilat
• [SPARK-49039] [SC-174651][Felhasználói felület] A végrehajtói metrikák a Szakaszok lapra való betöltésekor a jelölőnégyzet alaphelyzetbe állítása
• [SPARK-48428] [SC-169806][SQL]: Az IllegalStateException javítása a NestedColumnAliasingben
• [SPARK-49353] [SC-174830][SQL] Kódolással UTF-32 /dekódolással kapcsolatos dokumentumok frissítése
• [SPARK-48613] [SC-170966][SQL] SPJ: Az egyik oldal automatikus átrendezésének támogatása + kevesebb illesztőkulcs, mint a partíciókulcsok
• [SPARK-47473] [SC-160450][VISELKEDÉS-127][SQL] A postgres INFINITY időbélyegeinek konvertálásával kapcsolatos helyességi probléma kijavítása
• [SPARK-49142] [SC-173658][CONNECT][PYTHON] A proto sztring teljesítményköltségre való visszaállításának nyomon követése
• [SPARK-49300] [SC-175008][CORE] Kijavíthatja a Hadoop delegálási jogkivonatának kiszivárgását, ha a tokenRenewalInterval nincs beállítva.
• [SPARK-49367] [SC-175012][PS] Több oszlop KDE-számításának párhuzamosítása (ábrázolt háttérrendszer)
• [SPARK-49365] [SC-175011][PS] A gyűjtő aggregációjának egyszerűsítése a hisztdiagramban
• [SPARK-49372] [SC-175003][SS] A későbbi használat elkerülése érdekében győződjön meg arról, hogy a latestSnapshot értéke nincs a közelben
• [SPARK-49341] [SC-174785] Eltávolítás connector/docker a következő javára: Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] A Pandas API támogatása json_normalize a Sparkban
• [SPARK-49306] [SC-174794][SQL] Új "zeroifnull" és "nullifzero" SQL-függvények létrehozása
• [SPARK-48796] [SC-174668][SS] Oszlopcsalád-azonosító betöltése a RocksDBCheckpointMetadata for VCF-ből újraindításkor
• [SPARK-49342] [SC-174899][SQL] A TO_AVRO SQL-függvény "jsonFormatSchema" argumentumának megadása nem kötelező
• [SPARK-48628] [SC-174695][CORE] Tevékenységcsúcs hozzáadása halommemória-metrikákhoz
• [SPARK-47407] [SC-159379][VISELKEDÉS-126][SQL] A java.sql.Types.NULL-megfeleltetés támogatása NullType értékre
• [SPARK-48628] [SC-173407][CORE] Tevékenységcsúcs hozzáadása halommemória-metrikákhoz
• [SPARK-49166] [SC-173987][SQL] Támogatás OFFSET a korrelált részlekérdezésben
• [SPARK-49269] [SC-174676][SQL] Az AstBuilder VALUES() listájának gyors kiértékelése
• [SPARK-49281] [SC-174782][SQL] Optimze parquet bináris getBytes és getBytesUnsafe a másolási költségek elkerülése érdekében
• [SPARK-49113] [SC-174734] Ne érvényesítse a fordítási hibákat – csendben nyelje el a kivételt
• [SPARK-49098] [SC-173253][SQL] Írási beállítások hozzáadása INSERT
• [SPARK-48638] [SC-174694][KÖVETÉS][CONNECT] A ExecutionInfo dokumentációjának javítása
• [SPARK-49250] [ES-1222826][SQL] A Beágyazott FeloldatlanWindowExpression hibajelzésének javítása a CheckAnalysisben
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark base implementáció és ValueState-támogatás
• [SPARK-48966] [SC-174329][SQL] A hibaüzenet javítása érvénytelen, megoldatlan oszlophivatkozással az UDTF-hívásban
• [SPARK-46590] [SC-154115][SQL] A coalesce javítása váratlan partícióhibákkal meghiúsult
• [SPARK-49235] [SC-174159][SQL] ResolveInlineTables szabály újrabontása, hogy ne lépje át az egész fát
• [SPARK-49060] [SC-173107][CONNECT] Mima-szabályok törlése az SQL-Connect bináris kompatibilitási ellenőrzéséhez
• [SPARK-48762] [SC-172525][SQL] A ClusterBy DataFrameWriter API bemutatása Pythonhoz
• [SPARK-49207] [SC-173852][SQL] Egy-a-többhöz esetleképezés javítása a SplitPart és a StringSplitSQL-ben
• [SPARK-49204] [SC-173850][SQL] Helyettesítő párok kezelésének javítása a StringInstr és a StringLocate alkalmazásban
• [SPARK-36680] [SC-170640][SQL] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát
• [SPARK-49204] [SC-173849][SQL] Helyettesítő párok kezelésének javítása a SubstringIndexben
• [SPARK-49204] [SC-173848][SQL] Helyettesítő párok kezelése a StringTrimben
• [SPARK-48967] [SC-173993]A SparkConfigOwnershipSuite-teszt javítása a OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Helyettesítő párok kezelésének javítása a StringReplace-ben
• [SPARK-48967] [SC-173993][SQL][16.x] A "INSERT INTO ... VALUES" Nyilatkozatok
• [SPARK-49099] Revert “[SC-173229][SQL] CatalogManager.setCurrent…
• [SPARK-48347] [SC-173812][SQL] A WHILE utasítás támogatása
• [SPARK-49128] [SC-173344][CORE] Egyéni előzmények kiszolgálói felhasználói felületének támogatása
• [SPARK-49146] [SC-173825][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
• [SPARK-45787] [SC-172197][SQL] A Catalog.listColumns támogatása oszlopok fürtözésekor
• [SPARK-49099] [SC-173229][SQL] A CatalogManager.setCurrentNamespace-nek tiszteletben kell tartania az egyéni munkamenet-katalógust
• [SPARK-49138] [SC-173483][SQL] Több kifejezés CollationTypeCasts elemének javítása
• [SPARK-49163] [SC-173666][SQL] A hibás parquet partícióadatokon alapuló tábla létrehozásakor a felhasználó által észlelt hibát kell visszaadni
• [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Ábrázolás újrailledése hist a Spark SQL-vel
• [SPARK-49188] [SC-173682][SQL] Belső hiba concat_ws sztringtömbök tömbjén
• [SPARK-49137] [SC-173677][SQL] Ha a logikai feltétel if statement érvénytelen, kivételt kell kivenni
• [SPARK-49193] [SC-173672][SQL] A RowSetUtils.toColumnBasedSet teljesítményének javítása
• [SPARK-49078] [SC-173078][SQL] Oszlopszintaxis megjelenítése a v2-táblában
• [SPARK-49141] [SC-173388][SQL] A variant megjelölése hive inkompatibilis adattípusként
• [SPARK-49059] [Cseresznye-Pick][15.x][SC-172528][CONNECT] Ugrás SessionHolder.forTesting(...) a tesztcsomagra
• [SPARK-49111] [SC-173661][SQL] Áthelyezés aProjectAndFilterrel a DataSourceV2Strategy társobjektumára
• [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Ábrázolás újrailledése kde a Spark SQL-vel
• [SPARK-49178] [SC-173673][SQL] A Teljesítmény optimalizálása Row#getSeq a Spark 3.5 És a Scala 2.12 használata esetén
• [SPARK-49093] [SC-172958][SQL] GROUP BY a MapType komplex típusba ágyazva
• [SPARK-49142] [SC-173469][CONNECT][PYTHON] Alacsonyabb Spark Connect-ügyfélnapló-szint hibakereséshez
• [SPARK-48761] [SC-172048][SQL] A ClusterBy DataFrameWriter API bemutatása a Scalához
• [SPARK-48346] [SC-173083][SQL] IF ELSE utasítások támogatása SQL-szkriptekben
• [SPARK-48338] [SC-173112][SQL] Az elemző/értelmező által kidobott kivételek javítása
• [SPARK-48658] [SC-169474][SQL] A kódolási/dekódolási függvények nem használható karaktereket tartalmazó mojibake helyett kódolási hibákat jelentenek
• [SPARK-49071] [SC-172954][SQL] ArraySortLike tulajdonság eltávolítása
• [SPARK-49107] A "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS támogatja a Rutintípust".
• [SPARK-49070] [SC-172907][SS][SQL] A TransformWithStateExec.initialState helytelenül van újraírva érvénytelen lekérdezési terv létrehozásához
• [SPARK-49114] [SC-173217] Az alkategorizálás nem tudja betölteni az állapottároló hibáit
• [SPARK-49107] "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS támogatja a Rutintípust"
• [SPARK-49048] [SC-173223][SS] Támogatás hozzáadása a releváns operátor metaadatainak olvasásához adott kötegazonosítónál
• [SPARK-49094] [SC-173049][SQL] Az ignoreCorruptFiles nem működik a hive orc impl with mergeSchema off
• [SPARK-49108] [SC-173102][PÉLDA] REST API-példa hozzáadása submit_pi.sh
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS támogatja a Rutintípust
• [SPARK-48997] [SC-172484][SS] Egyéni eltávolítások implementálása a karbantartási szálkészlet szálhibáihoz
• [SPARK-49063] [SC-173094][SQL] Javítás a ScalarSubqueries használatával
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Intervallumtípusok támogatásának hozzáadása a Variant Specben
• [SPARK-49074] [VISELKEDÉS-110][SC-172815][SQL] A variáns javítása a df.cache()
• [SPARK-49003] [SC-172613][SQL] Kijavítottuk az értelmezett kódútvonal-kivonatolást, hogy a rendezés tudatos legyen
• [SPARK-48740] [SC-172430][SQL] A hiányzó ablak specifikációs hibájának korai észlelése
• [SPARK-48999] [SC-172245][SS] PythonStreamingDataSourceSimpleSuite felosztása
• [SPARK-49031] [SC-172602] Az érvényesítés implementálása a TransformWithStateExec operátorhoz az OperatorStateMetadataV2 használatával
• [SPARK-49053] [SC-172494][PYTHON][ML] Modellmentési/betöltési segédfüggvények elfogadása Spark-munkamenetben
• [SPARK-49032] [Backport][15.x][SS] Sémaútvonal hozzáadása metaadattábla-bejegyzésben, a várt verzió ellenőrzése és operátori metaadatokkal kapcsolatos teszt hozzáadása a v2 operátori metaadat-formátumhoz
• [SPARK-49034] [SC-172306][CORE] Kiszolgálóoldali sparkProperties csere támogatása a REST Submission API-ban
• [SPARK-48931] [SC-171895][SS] A Cloud Store List API költségeinek csökkentése az állapottár karbantartási feladatához
• [SPARK-48849] [SC-172068][SS]OperatorStateMetadataV2 létrehozása a TransformWithStateExec operátorhoz
• [SPARK-49013] [SC-172322] Kulcs módosítása a rendezésben Térkép- és tömbtípusok leképezése a scalában
• [SPARK-48414] [SC-171884][PYTHON] A Python kompatibilitástörő változásának javítása fromJson
• [SPARK-48910] [SC-171001][SQL] A HashSet/HashMap használatával elkerülheti a lineáris kereséseket a PreprocessTableCreation alkalmazásban
• [SPARK-49007] [SC-172204][CORE] Fejlesztés MasterPage az egyéni cím támogatásához
• [SPARK-49009] [SC-172263][SQL][PYTHON] Oszlop API-k és függvények elfogadása enumerálásokkal
• [SPARK-49033] [SC-172303][CORE] Kiszolgálóoldali environmentVariables csere támogatása a REST Submission API-ban
• [SPARK-48363] [SC-166470][SQL] Redundáns kódok törlése a következő helyen: from_xml
• [SPARK-46743] [SC-170867][SQL][VISELKEDÉS-84] Count bug after ScalarSubqery is folded, ha üres relációja van
• [SPARK-49040] [SC-172351][SQL] Dokumentum javítása sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Metaalgoritmusok mentési/betöltési modellje a SparkSession használatával
• [SPARK-48959] [SC-171708][SQL] Kibővítés NoSuchNamespaceExceptionNoSuchDatabaseException a kivételkezelés visszaállításához
• [SPARK-48996] [SC-172130][SQL][PYTHON] A csupasz literálok engedélyezése oszlophoz ésoszlophoz
• [SPARK-48990] [SC-171936] #101759 nyomon követése – tesztjavítás
• [SPARK-48338] [SC-171912][SQL] Változódeklarációk ellenőrzése
• [SPARK-48990] [SC-171936][SQL] Egyesített változóhoz kapcsolódó SQL-szintaxis kulcsszavak
• [SPARK-48988] [SC-171915][ML] DefaultParamsReader/Writer Metaadatok kezelése Spark-munkamenettel
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Használat SparkSession.implicits helyett SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] A CatalogV2Util.applyClusterByChanges javítása
• [SPARK-48928] [SC-171956] Naplóriasztás a .unpersist() helyileg ellenőrzőponttal beállított RDD-k hívásához
• [SPARK-48760] [SC-170139][SQL] Bevezetés ALTER TABLE ... CLUSTER BY SQL-szintaxis a fürtöző oszlopok módosításához
• [SPARK-48844] "[SC-170669][SQL] A INVALID_EMPTY_LOCATION használata UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY helyett, ha az elérési út üres"
• [SPARK-48833] [SC-171914][SQL][VARIANT] Támogatási változat a következőben: InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Szükségtelen ScalaReflectionLock definíció eltávolítása a protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Kerülje a SparkSession.getActiveSession használatát a Spark ML-olvasóban/íróban
• [SPARK-48844] [SC-170669][SQL] INVALID_EMPTY_LOCATION használata UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY helyett, ha az elérési út üres
• [SPARK-48714] [SC-170136] Sikertelen df.mergeInto-tesztek javítása a PySparkban és az UC-ban
• [SPARK-48957] [SC-171797][SS] Alosztályozott hibaosztály visszaadása a hdfs és a rocksdb szolgáltató állapottárolói terhelésén
• [SPARK-48891] [Backport][15x][SC-171677][SS] A StateSchemaCompatibilityChecker újrabontása az összes állapotsémaformátum egységesítéséhez
• [SPARK-48972] [SC-171795][PYTHON] A függvények literális sztringkezelésének egyesítése
• [SPARK-48388] [SC-171337][SQL] Az SQL-szkriptek SET utasítási viselkedésének javítása
• [SPARK-48743] [SC-170552][SQL][SS] A MergingSessionIteratornak jobban kell kezelnie, ha a getStruct null értéket ad vissza
• [SPARK-48623] [15.x][SC-171322][CORE] FileAppender-naplók migrálása strukturált naplózásba
• [SPARK-36680] [DBRRM-1123] "[SC-170640][SQL] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát"
• [SPARK-48841] [SC-170868][VISELKEDÉS-83][SQL] Belefoglalás collationName a következőbe:sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] Az RDD olvasási/írási API-hívásának cseréje Dataframe olvasási/írási API-ra
• [SPARK-48938] [SC-171577][PYTHON] Hibaüzenetek javítása a Python UDTF-ek regisztrálásakor
• [SPARK-48350] [SC-171040][SQL] Az SQL-szkriptek egyéni kivételeinek bemutatása
• [SPARK-48907] [SC-171158][SQL] Az érték explicitTypes javítása a következőben: COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] Regex-függvények egyszerűsítése lit
• [SPARK-48944] [SC-171576][CONNECT] A JSON formátumú sémakezelés egységesítése a Connect Serverben
• [SPARK-48836] [SC-171569] SQL-séma integrálása állapotsémával/metaadatokkal
• [SPARK-48946] [SC-171504][SQL] NPE a redact metódusban, ha a munkamenet null értékű
• [SPARK-48921] [SC-171412][SQL] A ScalaUDF-kódolókat a mergeInto esetében fel kell oldani
• [SPARK-45155] [SC-171048][CONNECT] API Docs hozzáadása Spark Connect JVM-hez/Scala-ügyfélhez
• [SPARK-48900] [SC-171319] Mező hozzáadása reason és cancelJobGroupcancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Try_url_decode függvény hozzáadása
• [SPARK-48851] [SC-170767][SQL] A következő érték SCHEMA_NOT_FOUNDnamespace módosítása: catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Az UDAF toColumn API támogatása a Spark Connectben
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Támogatási StructType-séma létrehozása from_xml
• [SPARK-48930] [SC-171304][CORE] Redact awsAccessKeyId by including accesskey pattern
• [SPARK-48909] [SC-171080][ML][MLLIB] SparkContext-alapú SparkSession használata metaadatok írásakor
• [SPARK-48883] [SC-171133][ML][R] Az RDD olvasási/írási API-hívásának cseréje Dataframe olvasási/írási API-ra
• [SPARK-48924] [SC-171313][PS] Pandas-szerű make_interval segédfüggvény hozzáadása
• [SPARK-48884] [SC-171051][PYTHON] A nem használt segédfüggvény eltávolítása PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Az egyesítő több parancsok lelkes végrehajtása együtt
• [SPARK-48896] [SC-171079][ML][MLLIB] A metaadatok írásakor kerülje az újraparticionálást
• [SPARK-48892] [SC-171127][ML] Soronkénti param beolvasásának elkerülése Tokenizer
• [SPARK-48927] [SC-171227][CORE] A gyorsítótárazott RDD-k számának megjelenítése StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Verzióadatok hozzáadása a 2. verziójú változásnaplóhoz a könnyebb fejlődés érdekében
• [SPARK-48903] [SC-171136][SS] A RocksDB utolsó pillanatkép-verziójának helyes beállítása távoli terhelés esetén
• [SPARK-48742] [SC-170538][SS] Virtual Column Family for RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Hozza létre a StateSchemaV3 fájlformátumot, és írja ki ezt a TransformWithStateExec operátor számára
• [SPARK-48794] [SC-170882][CONNECT][15.x] df.mergeInto támogatás a Spark Connecthez (Scala és Python)
• [SPARK-48714] [SC-170136][PYTHON] Implementálás DataFrame.mergeInto a PySparkban
• [SPARK-48772] [SC-170642][SS][SQL] Állapotadatforrás változáscsatorna-olvasó üzemmódja
• [SPARK-48666] [SC-170887][SQL] Ne nyomja le a szűrőt, ha PythonUDF-eket tartalmaz
• [SPARK-48845] [SC-170889][SQL] ÁltalánosUDF fogási kivételek a gyermekektől
• [SPARK-48880] [SC-170974][CORE] Kerülje a NullPointerException elvetését, ha az illesztőprogram beépülő modulja nem inicializálható
• [SPARK-48888] [Backport][15x][SC-170973][SS] Pillanatkép-létrehozás eltávolítása a changelog ops méret alapján
• [SPARK-48871] [SC-170876] INVALID_NON_DETERMINISTIC_EXPRESSIONS érvényesítése javítása a következőben:
• [SPARK-48883] [SC-170894][ML][R] Az RDD olvasási/írási API-hívásának cseréje Dataframe olvasási/írási API-ra
• [SPARK-36680] [SC-170640][SQL] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát
• [SPARK-48804] [SC-170558][SQL] ClassIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configrations
• [SPARK-46738] [SC-170791][PYTHON] Dokumentumtesztek egy csoportjának újraküldése
• [SPARK-48858] [SC-170756][PYTHON] setDaemon Elavult metódushívás Thread eltávolítása log_communication.py
• [SPARK-48639] [SC-169801][CONNECT][PYTHON] Forrás hozzáadása a RelationCommonhoz
• [SPARK-48863] [SC-170770][ES-1133940][SQL] A ClassCastException kijavítása a JSON-fájl "spark.sql.json.enablePartialResults" engedélyezésével történő elemzésekor
• [SPARK-48343] [SC-170450][SQL] Az SQL Scripting-értelmező bemutatása
• [SPARK-48529] [SC-170755][SQL] Címkék bemutatása az SQL Scriptingben
• [SPARK-45292] "[SC-151609][SQL][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből"
• [SPARK-48037] [SC-165330][CORE][3.5] A SortShuffleWriter javítása nem tartalmaz az írással kapcsolatos metrikákat, ami potenciálisan pontatlan adatokat eredményez
• [SPARK-48720] [SC-170551][SQL] A parancs ALTER TABLE ... UNSET TBLPROPERTIES ... igazítása az 1. és a 2. verzióban
• [SPARK-48485] [SC-167825][CONNECT][SS] Megszakításcímke és megszakítás támogatásaAll in streaming lekérdezések
• [SPARK-45292] [SC-151609][SQL][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből
• [SPARK-48668] [SC-169815][SQL] Alter NAMESPACE támogatása ... UNSET PROPERTIES in v2
• [SPARK-47914] [SC-165313][SQL] Ne jelenítse meg a felosztási paramétert a tartományban
• [SPARK-48807] [SC-170643][SQL] Bináris támogatás a CSV-adatforráshoz
• [SPARK-48220] [SC-167592][PYTHON][15.X] PyArrow-tábla átadásának engedélyezéseDataFrame() létrehozásához
• [SPARK-48545] [SC-169543][SQL] To_avro és from_avro SQL-függvények létrehozása a DataFrame-ekvivalenseknek megfelelően
• [SPARK-47577] [SC-168875][SPARK-47579] A naplókulcs félrevezető használatának javítása TASK_ID

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)