Databricks Runtime 14.3 LTS

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 14.3 LTS-ről nyújtanak információkat.

A Databricks 2024 februárjában adta ki ezt a verziót.

Új funkciók és fejlesztések

• Munkaterület fájlrendszerének támogatása a PySpark-ban User-Defined függvények (UDF-ek) standard hozzáférési módú klasztereken (korábban megosztott hozzáférési mód)
• A foton nélküli törlési vektoroptimalizálások MERGE támogatása
• Spark-katalógus API-k mostantól teljes mértékben támogatottak standard hozzáférési módban
• Általánosan elérhető a Delta UniForm
• Új SQL-függvény EXECUTE IMMEDIATE
• A Delta-táblák adatkihagyási statisztikáinak újrakomponálása
• Állapotinformációk lekérdezése állapotalapú streamelési lekérdezésekhez
• A Microsoft Entra ID használata a Kafka-hitelesítéshez standard fürtök esetén
• Fájlok és partíciók metszésének támogatása a lekérdezési teljesítmény javítása érdekében
• Ideiglenes változók deklarálása SQL-munkamenetben
• Thriftserver-frissítések a nem használt funkciók eltávolításához
• Truststore- és keystore-fájlok használata Unity Catalog-kötetekben
• Natív XML-fájlformátum támogatása (nyilvános előzetes verzió)
• A Cloudflare R2 storage támogatása (nyilvános előzetes verzió)
• a Spark és a dbutils a munkaterületfájlokhoz való hozzáférését támogatja a standard hozzáférésű Unity Catalog-fürtökön
• Init-szkriptek és fürttárak támogatása standard hozzáférésű Unity Catalog-fürtökön

Munkaterület fájlrendszerének támogatása a PySpark User-Defined Functionsben (UDF-ekben) standard hozzáférési módú fürtökön (korábban megosztott hozzáférési mód)

A standard fürtökön lévő PySpark UDF-ek mostantól importálhatják a Python-modulokat Git-mappákból, munkaterületfájlokbólvagy UC-kötetekből.

A Modulok Git-mappákban vagy munkaterületfájlokban való használatával kapcsolatos további információkért lásd : Python- és R-modulok használata.

A foton nélküli törlési vektoroptimalizálások MERGE támogatása

A fotonra már nincs szükség a MERGE törlési vektorok optimalizálása érdekében végzett műveletekhez. Lásd: Mik azok a törlési vektorok?.

A Spark-katalógus API-k már teljes mértékben támogatottak standard hozzáférési módban

Mostantól a spark.catalog API összes függvényét használhatja a Pythonban és a Scalában a standard hozzáférési móddal konfigurált számítási feladatokon.

Általánosan elérhető a Delta UniForm

Az UniForm mostantól általánosan elérhető, és a IcebergCompatV2 tábla funkciót használja. Mostantól engedélyezheti vagy frissítheti az UniFormot a meglévő táblákon. Lásd: Delta-táblák olvasása Iceberg-ügyfelekkel.

Új SQL-függvény EXECUTE IMMEDIATE

Mostantól a EXECUTE IMMEDIATE szintaxissal támogathatja a paraméteres lekérdezéseket az SQL-ben. Lásd: EXECUTE IMMEDIATE.

A Delta-táblák adatkihagyási statisztikáinak újrakomponálása

Már újraszámolhatja a Delta-naplóban tárolt statisztikákat, miután módosította az adatkihagyáshoz használt oszlopokat. Lásd: Deltastatisztikai oszlopok megadása.

Állapotinformációk lekérdezése állapotalapú streamelési lekérdezésekhez

Mostantól lekérdezheti a strukturált streamelési állapot adatait és metaadatait. Lásd: Strukturált streamelési állapotinformációk olvasása.

A Microsoft Entra ID használata a Kafka-hitelesítéshez standard fürtökön

Mostantól az Event Hubs szolgáltatásokat az OAuth használatával hitelesítheti, a Standard hozzáférési móddal konfigurált számítási erőforrásokon a Microsoft Entra ID-n keresztül. Lásd: Szolgáltatásnév-képviselő hitelesítés a Microsoft Entra-azonosítóval és az Azure Event Hubs-szal.

Fájl- és partíciómetszés támogatása hozzáadva a lekérdezési teljesítmény javítása érdekében.

Az JOIN feltételek nulltűrő egyenlőségére támaszkodó lekérdezések felgyorsítása érdekében mostantól támogatjuk DynamicFilePruning és DynamicPartitionPruning a JOIN-ekben lévő EqualNullSafe operátor számára.

Ideiglenes változók deklarálása SQL-munkamenetben

Ez a kiadás lehetővé teszi az ideiglenes változók deklarálását egy munkamenetben, amely beállítható, majd a lekérdezéseken belülről hivatkozható. Lásd: Változók.

Thriftserver-frissítések a nem használt funkciók eltávolításához

A Thriftserver-kód frissült az elavult funkciók kódjának eltávolításához. A módosítások miatt a következő konfigurációk már nem támogatottak:

• A hive.aux.jars.path tulajdonság használatával konfigurált Hive kiegészítő JAR-ek már nem támogatják a hive-thriftserver kapcsolódásokat.
• A Hive globális init-fájl (.hiverc), amelynek helye a hive.server2.global.init.file.location tulajdonság vagy a HIVE_CONF_DIR környezeti változó használatával van konfigurálva, a kapcsolatok esetében hive-thriftserver már nem támogatott.

Truststore- és keystore-fájlok használata Unity Catalog-kötetekben

Mostantól a Unity-katalógus köteteiben lévő truststore- és keystore-fájlok használatával hitelesítheti magát a Confluent sémaregisztrációs adatbázisában az avro- vagy protokollpufferadatokhoz. Tekintse meg az avro- vagy protokollpufferek dokumentációját.

Natív XML-fájlformátum támogatása (nyilvános előzetes verzió)

A natív XML-fájlformátum támogatása mostantól nyilvános előzetes verzióban érhető el. Az XML-fájlformátum támogatása lehetővé teszi az XML-adatok kötegelt feldolgozáshoz vagy streameléshez való betöltését, lekérdezését és elemzését. Képes automatikusan sémákat és adattípusokat kikövetkeztetni és fejleszteni, támogatja az OLYAN SQL-kifejezéseket, mint például from_xmlaz XML-dokumentumok létrehozása. Nem igényel külső jar fájlokat, és zökkenőmentesen működik az Auto Loaderrel, read_files-val, COPY INTO-gyel és DLT-vel. Lásd: XML-fájlok olvasása és írása.

A Cloudflare R2 storage támogatása (nyilvános előzetes verzió)

Mostantól a Cloudflare R2-t használhatja felhőbeli tárolóként a Unity Katalógusban regisztrált adatokhoz. A Cloudflare R2 elsősorban Delta Sharing használati esetekre szolgál, amelyekben el szeretné kerülni a felhőszolgáltatók által felszámított adatforgalmi díjakat, amikor az adatok régiók között mozognak. Az R2 Storage az AWS S3, az Azure Data Lake Storage Gen2 és a Google Cloud Storage által támogatott összes Databricks-adatot és AI-eszközt támogatja. Lásd: Cloudflare R2-replikák használata vagy tároló áttelepítése R2-be , és tároló hitelesítő adatainak létrehozása a Cloudflare R2-hez való csatlakozáshoz.

A Spark és a dbutils munkaterületi fájlokhoz való hozzáférés támogatja a standard hozzáférésű Unity Catalog-fürtöket.

A Spark és dbutils a munkaterület fájljaihoz való olvasási és írási hozzáférés mostantól támogatott a Unity Catalog-fürtökön standard hozzáférési módban. Lásd: Munkaterületfájlok kezelése.

Init-szkriptek és fürt könyvtárak támogatása standard hozzáférésű Unity Catalog-fürtök esetén

Általánosan elérhető a fürt hatókörű init-szkriptek és Python- és JAR-kódtárak telepítése Unity-katalógusfürtökön standard hozzáférési módban, beleértve a fürtszabályzatokhasználatával történő telepítést is. A Databricks azt javasolja, hogy telepítsen init szkripteket és kódtárakat a Unity Catalog-kötetekből.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • fastjsonschema 2.19.0 és 2.19.1 között
  • filelock 3.12.4 és 3.13.1 között
  • googleapis-common-protos 1.61.0 és 1.62.0 között
  • csomagolás 22.0–23.2
• Frissített R-kódtárak:
  • idegen 0,8–82 és 0,8–85 között
  • nlme 3.1-162-ről 3.1-163-ra
  • rpart 4.1.19-től 4.1.21-ig
• Frissített Java-kódtárak:
  • com.databricks.databricks-sdk-java 0.7.0 és 0.13.0 között
  • org.apache.orc.orc-core 1.9.1-shaded-protobuf-ról 1.9.2-shaded-protobuf-ra
  • org.apache.orc.orc-mapreduce 1.9.1-shaded-protobuf verzióról 1.9.2-shaded-protobuf verzióra
  • org.apache.orc.orc-shims 1.9.1-ről 1.9.2-re
  • org.scala-lang.modules.scala-collection-compat_2.12 verziója 2.9.0-tól 2.11.0-ra

Apache Spark

A Databricks Runtime 14.3 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.2 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-46541] [SC-153546][sql][CONNECT] A nem egyértelmű oszlophivatkozás javítása önálló illesztés esetén
• [SPARK-45433] „[SC-145163][sql] A CSV/JSON-séma következtetésének javításának visszavonása...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Tegye lehetővé, hogy az AddArtifact újrapróbálható legyen
• [SPARK-46660] [SC-153391][connect] A ReattachExecute kérések frissítik a munkamenetkezelő életben maradását.
• [SPARK-46670] [SC-153273][python][SQL] A DataSourceManager saját klónozási képessé tétele statikus és futtatókörnyezeti Python-adatforrások elkülönítésével
• [SPARK-46720] [SC-153410][sql][PYTHON] A Python-adatforrás újrabontása más beépített DSv2-adatforrásokkal való összhangban
• [SPARK-46684] [SC-153275][python][CONNECT] A CoGroup.applyInPandas/Arrow javítása az argumentumok megfelelő átadásához
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Hiba dobása több XML-adatforrásnál
• [SPARK-46382] [SC-151881][sql]XML: Az ignoreSurroundingSpaces alapértelmezése igazra állítva
• [SPARK-46382] [SC-153178][sql] XML: Dokumentáció frissítése ignoreSurroundingSpaces
• [SPARK-45292] "[SC-151609][sql][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből"
• [SPARK-45292] [SC-151609][sql][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből
• [SPARK-46311] [SC-150137][core] Naplózza az illesztőprogramok végső állapotát Master.removeDriver
• [SPARK-46413] [SC-151052][python] A Arrow Python UDF returnType-jának ellenőrzése
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Az Avro-olvasó javítása nulla hosszúságú blokkok kezeléséhez
• [SPARK-46537] [SC-151286][sql] Az NPE és az állítások konvertálása, valamint a parancsok belső hibákká alakítása
• [SPARK-46179] [SC-151678][sql] CrossDbmsQueryTestSuites hozzáadása, amely más DBMS-eket futtat arany fájlokon más DBMS-ekkel, a Postgrestől kezdve
• [SPARK-44001] [SC-151413][protobuf] Opcionális lehetőség biztosítása a jól ismert protobuf burkolótípusok kicsomagolására
• [SPARK-40876] [SC-151786][sql] A nagyobb precizitású decimális típusok bővítése a Parquet-olvasókban
• [SPARK-46605] [SC-151769][connect] lit/typedLit függvény létrehozása a csatlakozás modul támogatási s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] a literálok ellenőrzése nem részletezheti a null mezőket
• [SPARK-37039] [SC-153094][ps] A hiányzó érték megfelelő működéséhez Series.astype javítása
• [SPARK-46312] [SC-150163][core] lower_camel_case használata store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: XML-elem nevének ellenőrzése íráskor
• [SPARK-46627] [SC-152981][ss][UI] Idővonal elemleírásának javítása streamelési felhasználói felületen
• [SPARK-46248] [SC-151774][sql] XML: IgnoreCorruptFiles és ignoreMissingFiles beállítások támogatása
• [SPARK-46386] [SC-150766][python] A megfigyelés állításainak javítása (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Kommentár frissítése az isZero esetében az AccumulatorV2-ben.
• [SPARK-46601] [SC-151785] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
• [SPARK-46568] [SC-151685][python] A Python adatforrás-beállításainak kis- és nagybetűkre érzéketlen szótárként való használata
• [SPARK-46611] [SC-151783][core] A ThreadLocal eltávolítása a SimpleDateFormat DateTimeFormatter-re cserélésével
• [SPARK-46604] [SC-151768][sql] A Literal.apply támogatásának létrehozása s.c.immuable.ArraySeq számára
• [SPARK-46324] [SC-150223][sql][PYTHON] A pyspark.sql.functions.user és session_user kimeneti nevének javítása
• [SPARK-46621] [SC-151794][python] Megoldás a null érték kezelésére a Kivétel.getMessage használatakor a Py4J által rögzített kivétel esetén
• [SPARK-46598] [SC-151767][sql] Az OrcColumnarBatchReadernek tiszteletben kell tartania a memória módot, amikor oszlopvektorokat hoz létre a hiányzó oszlophoz
• [SPARK-46613] [SC-151778][sql][PYTHON] A teljes kivétel naplózása, amikor a Python-adatforrások keresése sikertelen
• [SPARK-46559] [SC-151364][mllib] Csomagolja be a export a csomag nevére háttértitkokkal
• [SPARK-46522] [SC-151784][python] A Python-adatforrások regisztrációját letilthatja névütközésekkel
• [SPARK-45580] [SC-149956][sql] Olyan eset kezelése, amelyben egy beágyazott allekérdezés létcsatlakozássá válik
• [SPARK-46609] [SC-151714][sql] Az exponenciális robbanás elkerülése a PartitioningPreservingUnaryExecNode-ban
• [SPARK-46535] [SC-151288][sql] Kijavítottuk az NPE-t a bővített oszlop colstats nélküli leírásakor
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: A TypeCoercion.findTightestCommonType használata kompatibilitás-ellenőrzéshez
• [SPARK-40876] [SC-151129][sql] A Parquet-olvasókban a típus-előléptetések bővítése
• [SPARK-46179] [SC-151069][sql] Kód lekérése újrafelhasználható függvényekbe az SQLQueryTestSuite-ben
• [SPARK-46586] [SC-151679][sql] Támogassa a s.c.immutable.ArraySeq mint customCollectionCls a MapObjects-ban
• [SPARK-46585] [SC-151622][core] A metricPeaks közvetlenül, mint immutable.ArraySeq, a mutable.ArraySeq.toSeq használata helyett Executor.
• [SPARK-46488] [SC-151173][sql] A trimAll hívás kihagyása időbélyeg-elemzés során
• [SPARK-46231] [SC-149724][python] Migrálja az összes fennmaradó NotImplementedError & TypeError a PySpark hibakeretébe
• [SPARK-46348] [SC-150281][core] Támogatás spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Napló Spark HA helyreállítási időtartam
• [SPARK-46358] [SC-150307][connect] Egyszerűsítse a feltételellenőrzést a ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Cserélje le az aktuális időt/dátumot a beágyazott táblakifejezések kiértékelése előtt.
• [SPARK-46563] [SC-151441][sql] A simpleString megtekintése nem követi a conf spark.sql.debug.maxToStringFields fájlt
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] A veremmélység csökkentése lecseréléssel (string|array).size with (string|array).length
• [SPARK-46539] [SC-151469][sql] SELECT * A KIVÉTEL (a szerkezet összes mezője) helyességi hibát eredményez
• [SPARK-46565] [SC-151414][python] Hibaosztályok és hibaüzenetek pontosítása Python-adatforrásokhoz
• [SPARK-46576] [SC-151614][sql] A nem támogatott adatforrás-mentési mód hibaüzeneteinek javítása
• [SPARK-46540] [SC-151355][python] Tisztelje az oszlopneveket, amikor a Python adatforrás olvasási függvénye sorobjektumoknak nevezett kimenetet ad ki
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite kiszivárogtatja a hive SessionState-ját
• [SPARK-44556] [SC-151562][sql] Használja újra a OrcTail, amikor engedélyezve van a vektorizált olvasó
• [SPARK-46587] [SC-151618][sql] XML: XSD nagy egész szám konvertálásának javítása
• [SPARK-46382] [SC-151297][sql] XML: Elemek közötti értékek rögzítése
• [SPARK-46567] [SC-151447][core] Távolítsa el a ThreadLocal-t a ReadAheadInputStream esetében
• [SPARK-45917] [SC-151269][python][SQL] A Python-adatforrás automatikus regisztrálása indításkor
• [SPARK-28386] [SC-151014][sql] Nem lehet feloldani a GROUP BY és HAVING paraméterekkel rendelkező ORDER BY oszlopokat.
• [SPARK-46524] [SC-151446][sql] Az érvénytelen mentési mód hibaüzeneteinek javítása
• [SPARK-46294] [SC-150672][sql] Az init és nulla érték szemantikájának törlése
• [SPARK-46301] [SC-150100][core] Támogatás spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Távolítsa el a c>=0 ellenőrzését a ExternalCatalogUtils#needsEscaping-ból, mert mindig igaz.
• [SPARK-46553] [SC-151360][ps] FutureWarning objektumtípusú interpolate esetén
• [SPARK-45914] [SC-151312][python] Támogatás az API véglegesítéshez és megszakításhoz a Python adatforrások írásánál
• [SPARK-46543] [SC-151350][python][CONNECT] A PySparkValueError json_tuple dobása üres mezőkhöz
• [SPARK-46520] [SC-151227][python] Python-adatforrás felülírási módjának támogatása íráskor
• [SPARK-46502] [SC-151235][sql] Támogatási időbélyeg-típusok a UnwrapCastInBinaryComparison alkalmazásban
• [SPARK-46532] [SC-151279][connect] Üzenetparaméterek átadása a ErrorInfo metaadataiban
• [SPARK-46397] Fordítsa vissza az “[SC-151311][python][CONNECT] Függvény sha2PySparkValueError érvénytelen numBits”
• [SPARK-46170] [SC-149472][sql] Támogatás a SparkSessionExtensions számára az adaptív lekérdezés utáni stratégiai szabályok beépítéséhez.
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable nem töltheti be a táblát
• [SPARK-46397] [SC-151311][python][CONNECT] A függvénynek sha2 érvénytelen numBits esetén PySparkValueError kell emelnie
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables nem okoz kivételt, ha a tábla vagy nézet nem található
• [SPARK-46272] [SC-151012][sql] CTAS támogatása DSv2-források használatával
• [SPARK-46480] [SC-151127][core][SQL] NPE javítása a táblagyorsítótár-feladat megkísérlésekor
• [SPARK-46100] [SC-149051][core][PYTHON] A veremmélység csökkentése a (string|array).size cseréjével a (string|array).length-re
• [SPARK-45795] [SC-150764][sql] A DS V2 támogatja a leküldéses módot
• [SPARK-46485] [SC-151133][sql] V1Write nem adhat hozzá rendezést, ha nincs szükség rá
• [SPARK-46468] [SC-151121] [SQL] A COUNT hiba kezelése EXISTS típusú allekérdezéseknél összesítéssel, csoportosítási kulcsok nélkül
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL-támogatás
• [SPARK-46498] [SC-151199][core] shuffleServiceEnabled eltávolítása a o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Alapértelmezés szerint állítsa be az újrabázis-konfigurációkat a CORRECTED módba
• [SPARK-45525] [SC-151120][sql][PYTHON] Python-adatforrások DSv2 használatával történő írásának támogatása
• [SPARK-46505] [SC-151187][connect] A bájtok küszöbértékének konfigurálhatóvá tétele ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Távolítsa el az örökölt datetime sql-konfigurációkat
• [SPARK-46443] [SC-151123][sql] A decimális pontosságot és a skálázást a H2 dialektusnak kell eldöntenie.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Javítás: Művelet időtartamának veremdiagramja a strukturált streamelési oldalon
• [SPARK-46207] [SC-151068][sql] A MergeInto támogatása a DataFrameWriterV2-ben
• [SPARK-46452] [SC-151018][sql] Új API hozzáadása a DataWriterben rekordok iterátorának megírásához
• [SPARK-46273] [SC-150313][sql] DSv2-forrásokkal INSERT INTO/OVERWRITE támogatása
• [SPARK-46344] [SC-150267][core] Megfelelően figyelmeztet, ha egy illesztőprogram sikeresen létezik, de a főkiszolgáló leválasztva van
• [SPARK-46284] [SC-149944][python][CONNECT] session_user függvény hozzáadása a Pythonhoz
• [SPARK-46043] [SC-149786][sql] Tábla létrehozása DSv2-forrásokkal
• [SPARK-46323] [SC-150191][python] A pyspark.sql.functions.now kimeneti nevének javítása
• [SPARK-46465] [SC-151059][python][CONNECT] Column.isNaN hozzáadása a PySparkban
• [SPARK-46456] [SC-151050][core] spark.ui.jettyStopTimeout hozzáadása a Jetty-kiszolgáló leállási időtúllépésének beállításához a SparkContext leállásának feloldásához
• [SPARK-43427] [SC-150356][protobuf] spark protobuf: az aláíratlan egész szám típusok feljebb konvertálásának engedélyezése
• [SPARK-46399] [SC-151013][14.x][Core] Kilépési állapot hozzáadása az Application End eseményhez a Spark-figyelő használatához
• [SPARK-46423] [SC-150752][python][SQL] A Python Adatforrás-példány létrehozása a DataSource.lookupDataSourceV2 webhelyen
• [SPARK-46424] [SC-150765][python][SQL] Python-metrikák támogatása a Python-adatforrásban
• [SPARK-46330] [SC-151015] Spark felhasználói felületi blokkok betöltése hosszú ideig, amikor a HybridStore engedélyezve van
• [SPARK-46378] [SC-150397][sql] Az Összesítés projektté konvertálása után is eltávolítja a rendezést
• [SPARK-45506] [SC-146959][connect] Ivy URI-támogatás hozzáadása a SparkConnect addArtifact funkcióhoz
• [SPARK-45814] [SC-147871][connect][SQL] Az ArrowConverters.createEmptyArrowBatch záró call és a close() függvény meghívása a memória szivárgás elkerülése érdekében.
• [SPARK-46427] [SC-150759][python][SQL] A Python-adatforrás leírásának feldíszítése az átláthatóbb magyarázat érdekében.
• [SPARK-45597] [SC-150730][python][SQL] Tábla létrehozásának támogatása Python-adatforrás használatával az SQL-ben (DSv2 exec)
• [SPARK-46402] [SC-150700][python] GetMessageParameters és getQueryContext támogatás hozzáadása
• [SPARK-46453] [SC-150897][connect] Kivételt dob internalError()SessionHolder-ban
• [SPARK-45758] [SC-147454][sql] A Hadoop-tömörítési kodekek leképezésének bemutatása
• [SPARK-46213] [PYTHON] Bevezetés PySparkImportError a hiba-keretrendszerbe
• [SPARK-46230] [SC-149960][python] A RetriesExceeded migrálása a PySpark hibába
• [SPARK-45035] [SC-145887][sql] Az ignoreCorruptFiles/ignoreMissingFiles és a többsoros CSV/JSON hibajelentése
• [SPARK-46289] [SC-150846][sql] Az UDT-k sorrendbe állításának támogatása értelmezett módban
• [SPARK-46229] [SC-150798][python][CONNECT] Az applyInArrow hozzáadása a groupBy és cogroup funkciókhoz a Spark Connectben
• [SPARK-46420] [SC-150847][sql] A SparkSQLCLIDriver nem használt átvitelének eltávolítása
• [SPARK-46226] [PYTHON] Az összes fennmaradó elem migrálása a PySpark hiba keretrendszerébe
• [SPARK-45796] [SC-150613][sql] Support MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Add függvény hozzáadása az applyInArrow-hoz a groupBy és cogroup használatával
• [SPARK-46069] [SC-149672][sql] Támogatás az időbélyeg típus átalakítására dátum típusúvá
• [SPARK-46406] [SC-150770][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] IllegalStateException konvertálása internalError-ra a munkamenet iterátorokban
• [SPARK-45807] [SC-150751][sql] A ViewCatalog API továbbfejlesztése
• [SPARK-46009] [SC-149771][sql][CONNECT] Egyesítse a PercentileCont és a PercentileDisc elemzési szabályát a FunctionCall függvénybe
• [SPARK-46403] [SC-150756][sql] Parquet bináris kódolása getBytesUnsafe metódussal
• [SPARK-46389] [SC-150779][core] Manuálisan zárja be a RocksDB/LevelDB példányt, ha a checkVersion kivételt vált ki
• [SPARK-46360] [SC-150376][python] A hibaüzenetek hibakeresésének javítása új getMessage API-val
• [SPARK-46233] [SC-149766][python] Migrálja az összes fennmaradó AttributeError a PySpark hibakeretébe
• [SPARK-46394] [SC-150599][sql] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igazra van állítva
• [SPARK-45964] [SC-148484][sql] Az XML- és JSON-csomagban lévő privát SQL-tartozék eltávolítása a katalizátorcsomag alatt
• [SPARK-45856] [SC-148691] ArtifactManager áthelyezése a Spark Connectből a SparkSessionbe (sql/core)
• [SPARK-46409] [SC-150714][connect] Spark-connect-scala-client launch script javítása
• [SPARK-46416] [SC-150699][core] @tailrec hozzáadása HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] A karakterkészletek korlátozása encode()
• [SPARK-46253] [SC-150416][python] Python-adatforrások beolvasásának tervezése a MapInArrow használatával
• [SPARK-46339] [SC-150266][ss] A kötegszám nevét tartalmazó címtárat nem szabad metaadatnaplóként kezelni
• [SPARK-46353] [SC-150396][core] Refactor a RegisterWorker egységteszt lefedettségének javítása érdekében
• [SPARK-45826] [SC-149061][sql] Adjon hozzá egy SQL-konfigurációt a DataFrame lekérdezési környezet veremkövetéseihez
• [SPARK-45649] [SC-150300][sql] Az OffsetWindowFunctionFrame előkészítő keretrendszerének egységesítése
• [SPARK-46346] [SC-150282][core] A főkiszolgáló javítása a feldolgozó UNKNOWN-ról ALIVERegisterWorker msg-n való frissítéséhez
• [SPARK-46388] [SC-150496][sql] A HiveAnalysis nem veszi észre a query.resolved mintavédőt
• [SPARK-46401] [SC-150609][core] A !isEmpty() használata a RoaringBitmap-on getCardinality() > 0 helyett RemoteBlockPushResolver-ben
• [SPARK-46393] [SC-150603][sql] Kivételek osztályozása a JDBC táblakatalógusában
• [SPARK-45798] [SC-150513][connect] Követés: serverSessionId hozzáadása a SessionHolderInfo-hoz
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: TimestampNTZType támogatás hozzáadása
• [SPARK-46075] [SC-150393][connect] Újítások a SparkConnectSessionManager-ben
• [SPARK-46357] [SC-150596] A setConf helytelen dokumentációjának cseréje conf.setre
• [SPARK-46202] [SC-150420][connect] Új ArtifactManager API-k közzététele egyéni célkönyvtárak támogatásához
• [SPARK-45824] [SC-147648][sql] A hibaosztály alkalmazása a ParseException-re
• [SPARK-45845] [SC-148163][ss][UI] A kitelepített állapotsorok számának hozzáadása a streamelési felhasználói felülethez
• [SPARK-46316] [SC-150181][core] buf-lint-action engedélyezése core modulon
• [SPARK-45816] [SC-147656][sql] Return NULL, amikor túlcsordulás történik az időbélyegből egész számra történő öntés során
• [SPARK-46333] [SC-150263][sql] Cserélje le IllegalStateExceptionSparkException.internalError a katalizátorban
• [SPARK-45762] [SC-148486][core] A felhasználói jarokban definiált shuffle-kezelők támogatása az indítási sorrend módosításával
• [SPARK-46239] [SC-149752][core] Jetty adatainak elrejtése
• [SPARK-45886] [SC-148089][sql] A teljes veremkövetést jelenítse meg a DataFrame-környezet callSite-ben.
• [SPARK-46290] [SC-150059][python] A SaveMode módosítása logikai jelzőre a DataSourceWriter esetében
• [SPARK-45899] [SC-148097][connect] Állítsa be az errorClass értékét az errorInfoToThrowable-ban
• [SPARK-45841] [SC-147657][sql] A verem nyomkövetésének felfedése DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] A REST Submission API killall támogatásának támogatása
• [SPARK-46234] [SC-149711][python] A PySpark hibakeretének PySparkKeyError bemutatása
• [SPARK-45606] [SC-147655][sql] Kiadási korlátozások többrétegű futtatókörnyezet-szűrőn
• [SPARK-45725] [SC-147006][sql] Távolítsa el a nem alapértelmezett IN subquery futtatókörnyezet szűrőt
• [SPARK-45694] [SC-147314][spark-45695][SQL] Az elavult API használatának megtisztítása a View.force és ScalaNumberProxy.signum szempontjából.
• [SPARK-45805] [SC-147488][sql] Általánosabb withOrigin
• [SPARK-46292] [SC-150086][core][UI] A MasterPage-ben dolgozók összegzésének megjelenítése
• [SPARK-45685] [SC-146881][core][SQL] LazyList használata Stream helyett
• [SPARK-45888] [SC-149945][ss] Hibaosztály-keretrendszer alkalmazása state (metadata) adatforrásra
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed meg kell tartani a szótár/leképezés sorrendjét.
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] SeqOps.view és ArrayOps.view átalakítások törlése
• [SPARK-46029] [SC-149255][sql] Az egyszeres idézőjel menekítése, valamint a _ és % kezelése a DS V2 lekérdezés-továbbításhoz
• [SPARK-46275] [SC-150189] Protobuf: Null értéket ad vissza megengedő módban, ha a deszerializálás sikertelen.
• [SPARK-46320] [SC-150187][core] Támogatás spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Ne nyomja le a túlcsorduló Parquet sorcsoportszűrőket
• [SPARK-46300] [SC-150097][python][CONNECT] Az oszlopban lévő kisebb viselkedések egyeztetése teljes tesztelési lefedettséggel
• [SPARK-46298] [SC-150092][python][CONNECT] A Catalog.createExternalTable elavultsági figyelmeztetése, tesztesete és hibája
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Törölje a StringContext/StringOps/RightProjection/LeftProjection/Either és a BufferedIterator/CanBuildFrom/Traversable típushasználatával kapcsolatos elavult API-használatot
• [SPARK-33393] [SC-148407][sql] Támogatás SHOW TABLE EXTENDED v2-ben
• [SPARK-45737] [SC-147011][sql] Távolítsa el a szükségtelen .toArray[InternalRow] a(z) SparkPlan#executeTake-ból/-ből
• [SPARK-46249] [SC-149797][ss] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálási sorrendet
• [SPARK-46274] [SC-150043] [SQL] A tartomány operátor computeStats() javítása a hosszú érvényesség ellenőrzéséhez konvertálás előtt
• [SPARK-46040] [SC-149767][sql][Python] Az UDTF API frissítése, hogy az "elemezze" particionáló/rendezési oszlopokat az általános kifejezések támogatására.
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty minden adattípussal működnie kell
• [SPARK-45678] [SC-146825][core] Cover BufferReleasingInputStream.available/reset under tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Törölje a IterableOnceExtensionMethodskapcsolatos elavult API-használatot.
• [SPARK-43980] [SC-148992][sql] select * except szintaxist vezet be
• [SPARK-46269] [SC-149816][ps] További NumPy kompatibilitási függvénytesztek engedélyezése
• [SPARK-45807] [SC-149851][sql] Adjunk hozzá createOrReplaceView(..) / replaceView(..) a ViewCataloghoz
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] A Scala Array implicit függvényének bevezetése immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Javítsa a PersistenceEngine teljesítményét a KryoSerializer segítségével
• [SPARK-45746] [SC-149359][python] Adott hibaüzeneteket ad vissza, ha az UDTF "analyze" vagy "eval" metódus helytelen értékeket fogad el vagy ad vissza
• [SPARK-46186] [SC-149707][connect] Helytelen állapotváltás javítása, amikor az ExecuteThreadRunner megszakad, mielőtt elindulna
• [SPARK-46262] [SC-149803][ps] A Pandas-on-Spark objektum np.left_shift tesztelésének engedélyezése.
• [SPARK-45093] [SC-149679][connect][PYTHON] Az AddArtifactHandler hibakezelésének és konvertálásának megfelelő támogatása
• [SPARK-46188] [SC-149571][doc][3.5] A Spark-dokumentum által létrehozott táblák CSS-jének javítása
• [SPARK-45940] [SC-149549][python] Adjon hozzá InputPartition-t a DataSourceReader interfészhez
• [SPARK-43393] [SC-148301][sql] Címütemezési kifejezés túlcsordulási hibája.
• [SPARK-46144] [SC-149466][sql] Fail INSERT INTO ... REPLACE utasítás, ha a feltétel részkikérdezéseket tartalmaz
• [SPARK-46118] [SC-149096][sql][SS][connect] SparkSession.sessionState.conf használata SQLContext.conf helyett, és a SQLContext.conf megjelölése elavultként
• [SPARK-45760] [SC-147550][sql] Add With kifejezés hozzáadása az ismétlődő kifejezések elkerülése érdekében.
• [SPARK-43228] [SC-149670][sql] Az illesztési kulcsok megfelelnek a PartitioningCollection parancsnak a CoalesceBucketsInJoin alkalmazásban
• [SPARK-46223] [SC-149691][ps] A SparkPandasNotImplementedError tesztelése a nem használt kód tisztításával
• [SPARK-46119] [SC-149205][sql] Felülbírál toString metódust UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Szűkebb hatókörkivétel használata SQL-processzorhoz
• [SPARK-46191] [SC-149565][core] Javítsa FileSystemPersistenceEngine.persist hibajelzést a meglévő fájl esetében
• [SPARK-46036] [SC-149356][sql] Hibaosztály eltávolítása raise_error függvényből
• [SPARK-46055] [SC-149254][sql] Katalógusadatbázis API-k implementációja újraírása
• [SPARK-46152] [SC-149454][sql] XML: Decimális típus támogatása az XML-séma következtetésében
• [SPARK-45943] [SC-149452][sql] A DetermineTableStats áthelyezése feloldási szabályokba
• [SPARK-45887] [SC-148994][sql] A Encode kodenének és nem codegen implementációjának igazítása
• [SPARK-45022] [SC-147158][sql] Adja meg az adathalmaz API-hibáinak kontextusát
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Cserélje ki a(z) toIteratoriterator-ra IterableOnce érdekében
• [SPARK-46141] [SC-149357][sql] Állítsuk a spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékét CORRECTED-re
• [SPARK-45663] [SC-146617][core][MLLIB] Cserélje le IterableOnceOps#aggregateIterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Literal objektumok ismételt használata a ComputeCurrentTime szabályban
• [SPARK-45803] [SC-147489][core] Távolítsa el a már nem használt RpcAbortException
• [SPARK-46148] [SC-149350][ps] Pyspark.pandas.mlflow.load_model teszt javítása (Python 3.12)
• [SPARK-46110] [SC-149090][python] Hibaosztályok használata katalógusban, conf, connect, observation, pandas modulokban
• [SPARK-45827] [SC-149203][sql] A kodgennel és vektorizált olvasóval kapcsolatos változatjavítások le vannak tiltva
• [SPARK-46080] "[SC-149012][python] A Cloudpickle frissítése 3.0.0-ra"
• [SPARK-45460] [SC-144852][sql] Cserélje le scala.collection.convert.ImplicitConversionsscala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Távolítsa el a feloldatlannamespace speciális felbontását bizonyos parancsok esetén
• [SPARK-45600] [SC-148976][python] Python-adatforrás-regisztrációs munkamenet szintjének beállítása
• [SPARK-46074] [SC-149063][connect][SCALA] Az UDF-hiba hibaüzenetének nem megfelelő részletei
• [SPARK-46114] [SC-149076][python] PySparkIndexError hozzáadása hiba keretrendszerhez
• [SPARK-46120] [SC-149083][connect][PYTHON] A segédfüggvény eltávolítása DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Python-adatforrás elérési útkezelésének frissítése
• [SPARK-46062] [14.x][sc-148991][SQL] Szinkronizálja az isStreaming jelzőt a CTE-definíció és a hivatkozás között
• [SPARK-45698] [SC-146736][core][SQL][ss] A Buffer-hez kapcsolódó elavult API-használat törlése
• [SPARK-46064] [SC-148984][sql][SS] Helyezze át az EliminateEventTimeWatermark-ot az elemzőbe, és módosítsa úgy, hogy csak a megoldott gyermek elemre legyen hatással.
• [SPARK-45922] [SC-149038][connect][CLIENT] Kisebb újrabontások (több szabályzat követése)
• [SPARK-45851] [SC-148419][connect][SCALA] Több szabályzat támogatása a Scala-ügyfélben
• [SPARK-45974] [SC-149062][sql] Adjon hozzá scan.filterAttributes nem-üres ellenőrzést a RowLevelOperationRuntimeGroupFiltering-hez.
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets a Scala Spark Connect-ügyfélben
• [SPARK-45136] [SC-146607][connect] A ClosureCleaner továbbfejlesztése Ammonite támogatással
• [SPARK-46084] [SC-149020][ps] A kategorikus típus adattípusának átalakítási műveleteinek átdolgozása.
• [SPARK-46083] [SC-149018][python] A SparkNoSuchElementException mint kanonikus hiba API létrehozása
• [SPARK-46048] [SC-148982][python][CONNECT] DataFrame.groupingSets támogatása a Python Spark Connectben
• [SPARK-46080] [SC-149012][python] A Cloudpickle frissítése 3.0.0-ra
• [SPARK-46082] [SC-149015][python][CONNECT] A Pandas Functions API protobuf sztring-ábrázolásának javítása a Spark Connecttel
• [SPARK-46065] [SC-148985][ps] Átalakítás (DataFrame|Series).factorize(), hogy create_maphasználja.
• [SPARK-46070] [SC-148993][sql] Regex-minta fordítása a SparkDateTimeUtils.getZoneId-ben a gyorshurkon kívül
• [SPARK-46063] [SC-148981][python][CONNECT] Az argumentumtípusokkal kapcsolatos hibaüzenetek javítása a "cute", "rollup", "groupby" és "pivot" funkciókban.
• [SPARK-44442] [SC-144120][mesos] Mesos-támogatás eltávolítása
• [SPARK-45555] [SC-147620][python] Hibakereső objektumot tartalmaz sikertelen állítás esetén
• [SPARK-46048] [SC-148871][python][SQL] A DataFrame.groupingSets támogatása a PySparkban
• [SPARK-45768] [SC-147304][sql][PYTHON] Állítsa be a hibakezelőt futtatókörnyezet-konfigurációvá a Python SQL-ben történő végrehajtásához
• [SPARK-45996] [SC-148586][python][CONNECT] A Spark Connect megfelelő függőségi követelményüzeneteinek megjelenítése
• [SPARK-45681] [SC-146893][ui] Az UIUtils.errorMessageCell js-verziójának klónozása a felhasználói felületen történő konzisztens hibamegjelenítés érdekében
• [SPARK-45767] [SC-147225][core] TimeStampedHashMap és a hozzá tartozó UT törlése
• [SPARK-45696] [SC-148864][core] Javítva: a Promise traitben lévő tryCompleteWith metódus elavultnak minősített
• [SPARK-45503] [SC-146338][ss] Konfiguráció hozzáadása a RocksDB-tömörítés beállításához
• [SPARK-45338] [SC-143934][core][SQL] Cserélje le scala.collection.JavaConvertersscala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] a ArrayIndexOutOfBoundsException kijavítása a conv()-ban
• [SPARK-45912] [SC-144982][sc-148467][SQL] Az XSDToSchema API fejlesztése: Váltás a HDFS API-ra a felhőalapú tárolás akadálymentességéhez
• [SPARK-45819] [SC-147570][core] Támogatás a REST Submission API clear esetében
• [SPARK-45552] [14.x][sc-146874][PS] Rugalmas paraméterek bevezetése assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Adjon interfészt más streamelési forrásoknak _metadata oszlopok hozzáadásához
• [SPARK-45929] [SC-148692][sql] Támogatás a groupingSets művelethez a dataframe API-ban
• [SPARK-46012] [SC-148693][core] Az EventLogFileReader nem olvassa be a működés közbeni naplókat, ha hiányzik az alkalmazás állapotfájlja
• [SPARK-45965] [SC-148575][sql] DSv2 particionálási kifejezések áthelyezése a functions.partitioning szolgáltatásba
• [SPARK-45971] [SC-148541][core][SQL] Helyesbítse a SparkCollectionUtils csomag nevét org.apache.spark.util-ra
• [SPARK-45688] [SC-147356][spark-45693][CORE] Tisztítsa fel az elavult API használatát a MapOps & Hibajavítás method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Távolítsa el a treatEmptyValuesAsNulls, és használja nullValue beállítást xml helyett
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] A Python 3.11+ list GenericAlias kezelésére használható típushiba javítása
• [SPARK-45999] [SC-148595][ps] Dedikált PandasProduct használata cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] pyspark.ml.torch.tests.test_distributor javítása a Python 3.11-ben
• [SPARK-45994] [SC-148581][python] description-file módosítása description_file
• [SPARK-45575] [SC-146713][sql] A df read API időutazási lehetőségeinek támogatása
• [SPARK-45747] [SC-148404][ss] Az előtagkulcs adatainak használata az állapot metaadataiban a munkamenetablak-összesítés olvasási állapotának kezeléséhez
• [SPARK-45898] [SC-148213][sql] A katalógustábla API-k újraírása megoldatlan logikai terv használatára
• [SPARK-45828] [SC-147663][sql] Elavult metódus eltávolítása a dsl-ben
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Frissítse a protobuf 4.25.1-re a Python 3.11 támogatásához
• [SPARK-45911] [SC-148226][core] A TLS1.3 legyen az alapértelmezett RPC SSL
• [SPARK-45955] [SC-148429][ui] A Flamegraph és a szálképdump részletek összecsukható támogatása rendszeren belül
• [SPARK-45936] [SC-148392][ps] Optimalizálja Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] A partíciós metaadatok lekérésére vonatkozó MetaException egyeztetési szabály helyesbítése
• [SPARK-45655] [SC-148085][sql][SS] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben
• [SPARK-45946] [SC-148448][ss] Az elavult FileUtils-írás használatának javítása alapértelmezett karakterkészlet átadásához a RocksDBSuite-ban
• [SPARK-45511] [SC-148285][ss] Állapotadat-forrás – Olvasó
• [SPARK-45918] [SC-148293][ps] Optimalizálja MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] A megfigyelt metrikák visszaadása parancsokból
• [SPARK-45867] [SC-147916][core] Támogatás spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Segédfüggvény hozzáadása parser
• [SPARK-45930] [SC-148399][sql] Nem determinisztikus UDF-ek támogatása a MapInPandas/MapInArrow alkalmazásban
• [SPARK-45810] [SC-148356][python] Python UDTF API létrehozása a bemeneti tábla sorainak használatának leállításához
• [SPARK-45731] [SC-147929][sql] A partícióstatisztikák frissítése ANALYZE TABLE paranccsal
• [SPARK-45868] [SC-148355][connect] Győződjön meg arról, hogy spark.table ugyanazt az elemzőt használja a vanília sparkkal
• [SPARK-45882] [SC-148161][sql] A BroadcastHashJoinExec particionálásának figyelembe kell venni a CoalescedHashPartitioninget.
• [SPARK-45710] [SC-147428][sql] Nevek hozzárendelése _LEGACY_ERROR_TEMP_21 hibakódhoz[59 60 61 62]
• [SPARK-45915] [SC-148306][sql] A decimal(x, 0)-t úgy kezeljük, mint az IntegralType-t PromoteStrings
• [SPARK-45786] [SC-147552][sql] A pontatlan decimális szorzási és osztási eredmények javítása
• [SPARK-45871] [SC-148084][connect] A connect modulok .toBuffer kapcsolatos optimalizálási gyűjteményátalakítása
• [SPARK-45822] [SC-147546][connect] A SparkConnectSessionManager megkereshet egy leállított SparkContextet
• [SPARK-45913] [SC-148289][python] A belső attribútumok titkossá tétele PySpark-hibákból.
• [SPARK-45827] [SC-148201][sql] Variant-adattípus hozzáadása a Sparkban.
• [SPARK-44886] [SC-147876][sql] A CREATE/REPLACE TABLECLUSTER BY záradékának bevezetése
• [SPARK-45756] [SC-147959][core] Támogatás spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Kiszolgálóoldali munkamenet-azonosító érvényesítése
• [SPARK-45896] [SC-148091][sql] ValidateExternalType létrehozása a megfelelő várt típussal
• [SPARK-45902] [SC-148123][sql] Távolítsa el a nem használt függvényeket resolvePartitionColumns a DataSource
• [SPARK-45909] [SC-148137][sql] Távolítsa el a NumericType cast műveletet, ha biztonságosan fel lehet skálázni IsNotNull
• [SPARK-42821] [SC-147715][sql] A splitFiles metódusok nem használt paramétereinek eltávolítása
• [SPARK-45875] [SC-148088][core] MissingStageTableRowData eltávolítása core modulból
• [SPARK-45783] [SC-148120][python][CONNECT] Javítsa a hibaüzeneteket, ha a Spark Connect mód engedélyezve van, de a távoli URL-cím nincs beállítva
• [SPARK-45804] [SC-147529][ui] Spark.ui.threadDump.flamegraphEnabled konfiguráció hozzáadása a lánggráf be- és kikapcsolásához
• [SPARK-45664] [SC-146878][sql] Az ORC-tömörítési kodekek leképezésének bemutatása
• [SPARK-45481] [SC-146715][sql] A parquet tömörítési kodekek leképezésének bemutatása
• [SPARK-45752] [SC-148005][sql] Egyszerűsítse a kódot a nem hivatkozott CTE-kapcsolatok ellenőrzéséhez
• [SPARK-44752] [SC-146262][sql] XML: Spark Docs frissítése
• [SPARK-45752] [SC-147869][sql] A nem hivatkozott CTE-t a CheckAnalysis0-nek kell ellenőriznie
• [SPARK-45842] [SC-147853][sql] Refaktorálja a Katalógus Függvény API-kat az elemző használatához
• [SPARK-45639] [SC-147676][sql][PYTHON] Python-adatforrások betöltése a DataFrameReaderben
• [SPARK-45592] [SC-146977][sql] Az AQE és az InMemoryTableScanExec helyességi problémája
• [SPARK-45794] [SC-147646][ss] Az állapot metaadatforrásának bemutatása a streamelési állapot metaadatainak lekérdezéséhez
• [SPARK-45739] [SC-147059][python] Az IOException-t az EOFExceptionnel együtt fogja el a hibakezelő számára
• [SPARK-45677] [SC-146700] Jobb hibanaplózás a Observation API-hoz
• [SPARK-45544] [SC-146873][core] Ssl-támogatás integrálása a TransportContextbe
• [SPARK-45654] [SC-147152][python] Python-adatforrás írási API hozzáadása
• [SPARK-45771] [SC-147270][core] Alapértelmezés szerint engedélyezi a spark.eventLog.rolling.enabled
• [SPARK-45713] [SC-146986][python] Python-adatforrások regisztrálásának támogatása
• [SPARK-45656] [SC-146488][sql] A különböző adathalmazokon azonos nevű elnevezett megfigyelések megfigyelésének javítása
• [SPARK-45808] [SC-147571][connect][PYTHON] Jobb hibakezelés SQL-kivételek esetén
• [SPARK-45774] [SC-147353][core][UI] Támogatás spark.master.ui.historyServerUrlApplicationPage
• [SPARK-45776] [SC-147327][core] Távolítsa el a védelmi null ellenőrzést, amelyet a SPARK-39553-ban adtak hozzá MapOutputTrackerMaster#unregisterShuffle számára.
• [SPARK-45780] [SC-147410][connect] Propagálja az összes Spark Connect ügyfélszálhoz tartozó helyi változót az InheritableThread-ben
• [SPARK-45785] [SC-147419][core] Támogatás spark.deploy.appNumberModulo az alkalmazás számának elforgatásához
• [SPARK-45793] [SC-147456][core] A beépített tömörítési kodekek javítása
• [SPARK-45757] [SC-147282][ml] Kerülje az NNZ újraszámítását a Binarizerben
• [SPARK-45209] [SC-146490][core][UI] Flame Graph-támogatás végrehajtói szálképoldalhoz
• [SPARK-45777] [SC-147319][core] Támogatás spark.test.appId-ben LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] A null-ellenőrzés átszervezése rövidítésekkel
• [SPARK-45711] [SC-146854][sql] Új leképező bevezetése az Avro-tömörítési kodekekhez
• [SPARK-45523] [SC-146077][python] Hasznos hibaüzenetet ad vissza, ha az UDTF a None értéket adja vissza a nem null értékű oszlopokhoz
• [SPARK-45614] [SC-146729][sql] Neveket hozzárendelni a _LEGACY_ERROR_TEMP_215[6,7,8] hibához
• [SPARK-45755] [SC-147164][sql] A Dataset.isEmpty() javítása globális korlát alkalmazásával 1
• [SPARK-45569] [SC-145915][sql] Rendeljen nevet a hibának _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Javítás Spark History ServerDuration oszlop helyes rendezéséhez
• [SPARK-45754] [SC-147169][core] Támogatási spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Egyszerűsítse le a DataFrameStatFunctions.countMinSketch-t a CountMinSketchAgg-mal
• [SPARK-45753] [SC-147167][core] Támogatás spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] A MasterPage úgy lesz fejlesztve, hogy a Resource oszlop csak akkor jelenjen meg, ha létezik.
• [SPARK-45112] [SC-143259][sql] UnresolvedFunction-alapú felbontás használata AZ SQL Dataset függvényekben

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Karbantartási frissítések

Lásd a Databricks Runtime 14.3 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R könyvtárak a Posit Package Manager CRAN-pillanatképéből lettek telepítve 2023.07.13-án : https://packagemanager.posit.co/cran/2023-07-13/.

Telepített Java és Scala könyvtárak (Scala 2.12 klászer verzió)