Databricks Runtime 14.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0-s verziójával működő Databricks Runtime 14.2-ről nyújtanak információkat.

A Databricks 2023 novemberében adta ki ezt a verziót.

Új funkciók és fejlesztések

• CACHE SELECT a rendszer most figyelmen kívül hagyja
• Továbbfejlesztett gyorsítótárazási viselkedés
• Kijavítottuk a sérült fájlkezelést a DML-parancsokban
• Sémaregisztrációs adatbázis támogatása a megosztott fürtök protobuf- és Avro-függvényeihez
• foreachBatch és StreamingListener támogatás
• A sorszintű egyidejűség általánosan elérhető és alapértelmezés szerint be van kapcsolva
• Változásmegosztás: A címzettek kötegelt, CDF- és streamelési lekérdezéseket hajthatnak végre törlési vektorokkal rendelkező megosztott táblákon (nyilvános előzetes verzió)
• Sekély klón a Unity Catalog külső tábláihoz (nyilvános előzetes verzió)
• Új lemez gyorsítótárazási hozzárendelési algoritmusa
• from_avro a sémaregisztrációs adatbázis-összekötővel támogatja a sémafejlődést
• Gyorsabb többszálas statisztikai adatgyűjtés
• Leküldéses szűrők a DeltaSource-ban Delta-fájlokon
• Scala skaláris, felhasználó által definiált függvények támogatása megosztott fürtökön (nyilvános előzetes verzió)

CACHE SELECT a rendszer most figyelmen kívül hagyja

Az SQL-parancs CACHE SELECT mostantól figyelmen kívül lesz hagyva egy továbbfejlesztett gyorsítótárazási algoritmus mellett. Lásd: Teljesítmény optimalizálása gyorsítótárazással az Azure Databricksben.

Továbbfejlesztett gyorsítótárazási viselkedés

A Spark-ütemező DiskCache-elhelyezése gyorsabb partíció-hozzárendeléssel, a fürt automatikus skálázása során jobb kiegyensúlyozással és konzisztensebb lekérdezés-végrehajtással rendelkezik.

Kijavítottuk a sérült fájlkezelést a DML-parancsokban

A DML parancsok DELETE, UPDATEés MERGE INTO a továbbiakban nem tartják tiszteletben az olvasási beállításokat ignoreCorruptFiles és ignoreMissingFiles. Ha olvashatatlan fájlba ütközik egy táblában, ezek a parancsok akkor is sikertelenek lesznek, ha ezek a beállítások meg vannak adva.

Sémaregisztrációs adatbázis támogatása a megosztott fürtök protobuf- és Avro-függvényeihez

Mostantól használhatja a from_avro, to_avro, from_protobufés to_protobuf Python függvényt a sémaregisztrációs adatbázissal megosztott fürtökben.

foreachBatch és StreamingListener támogatás

Mostantól megosztott fürtökben is használhatja a strukturált streamelést és foreachBatch() az StreamingListener API-kat. Lásd: A foreachBatch használata tetszőleges adatgyűjtőkbe való íráshoz és strukturált streamelési lekérdezések monitorozásához az Azure Databricksen.

A sorszintű egyidejűség általánosan elérhető és alapértelmezés szerint be van kapcsolva

A sorszintű egyidejűség a sorszintű módosítások észlelésével csökkenti az egyidejű írási műveletek közötti ütközéseket. A sorszintű egyidejűség csak particionálás nélküli táblákon támogatott, beleértve a folyékony fürtözésű táblákat is. A sorszintű egyidejűség alapértelmezés szerint engedélyezve van a deltatáblákon, és engedélyezve van a törlési vektorok. Lásd: Írási ütközések sorszintű egyidejűséggel.

Változásmegosztás: A címzettek kötegelt, CDF- és streamelési lekérdezéseket hajthatnak végre törlési vektorokkal rendelkező megosztott táblákon (nyilvános előzetes verzió)

A deltamegosztás címzettjei mostantól kötegelt, CDF- és streamelési lekérdezéseket hajthatnak végre törlési vektorokat használó megosztott táblákon. A Databricks Runtime 14.1-ben csak kötegelt lekérdezéseket hajthatnak végre. Lásd: Táblák hozzáadása törlési vektorokkal vagy oszlopleképezéssel egy megosztáshoz, a táblák olvasása engedélyezett törlési vektorokkal vagy oszlopleképezéssel, valamint az olvasási táblák törlési vektorokkal vagy oszlopleképezéssel.

Sekély klón a Unity Catalog külső tábláihoz (nyilvános előzetes verzió)

Most már használhatja a sekély klónt a Unity Catalog külső tábláival. Lásd: Shallow clone for Unity Catalog tables.

Új lemez gyorsítótárazási hozzárendelési algoritmusa

A Spark-ütemező mostantól egy új lemez-gyorsítótárazási algoritmust használ. Az algoritmus javítja a lemezhasználatot és a partíció-hozzárendelést a csomópontok között, és gyorsabb hozzárendelést eredményez mind kezdetben, mind a fürt skálázási eseményei után. A Stickier cache-hozzárendelés javítja a futtatások konzisztenciáját, és csökkenti az újraegyensúlyozási műveletek során áthelyezett adatokat.

from_avro a sémaregisztrációs adatbázis-összekötővel támogatja a sémafejlődést

Mostantól engedélyezheti, hogy a folyamatok újrainduljanak a kifejlett rekordok észlelésekor. Korábban, ha a séma fejlődése az from_avro összekötővel történt, az új oszlopok visszatérnek null. Lásd a streamelt Avro-adatok olvasását és írását.

Gyorsabb többszálas statisztikai adatgyűjtés

A statisztikai adatgyűjtés kis fürtökön akár 10-szer gyorsabb, ha CONVERT TO DELTA-t futtatunk, vagy Iceberg és Parquet táblákból klónozunk. Lásd: Konvertálás Delta Lake - és Clone Parquet- és Iceberg-táblákká.

Leküldéses szűrők a DeltaSource-ban Delta-fájlokon

A jobb kihasználtság érdekében a Delta-táblák streamelési lekérdezéseinek partíciószűrői le lesznek küldve a Delta-ba a sebességkorlátozás előtt.

Scala skaláris, felhasználó által definiált függvények támogatása megosztott fürtökön (nyilvános előzetes verzió)

Mostantól használhatja a Scala skaláris, felhasználó által definiált függvényeit a unitykatalógus-kompatibilis, megosztott hozzáférési móddal konfigurált fürtökön. Lásd: Felhasználó által definiált skaláris függvények – Scala.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • fastjsonschema 2.18.0 és 2.19.0 között
  • filelock 3.12.3-tól 3.12.4-hez
  • googleapis-common-protos 1.60.0 és 1.61.0 között
• Frissített R-kódtárak:
• Frissített Java-kódtárak:

Apache Spark

A Databricks Runtime 14.2 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.1-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-45592] [DBRRM-624] "[SC-146977][SQL] AQE-beli helyességi probléma az InMemoryTableScanExec használatával"
• [SPARK-45524] [DBRRM-625] "[SC-146319][PYTHON][SQL] Kezdeti támogatás f...
• [SPARK-45433] [DBRRM-621] "[SC-145163][SQL] A CSV/JSON séma következtetésének javítása...
• [SPARK-45592] [SC-146977][SQL] Az AQE helyességi problémája az InMemoryTableScanExec használatával
• [SPARK-45354] "[SC-143991][SQL] Függvények feloldása alulról felfelé"
• [SPARK-45680] [CSAK TESZT][SASP-2347][CONNECT] Tesztek javítása
• [SPARK-45680] [CONNECT] Kiadási munkamenet
• [SPARK-43380] [SC-146726][ES-897115][SQL] Lassulás javítása az Avro olvasásában
• [SPARK-45649] [SC-146742][SQL] A felkészülési keretrendszer egységesítése OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] StructType létrehozása Json-ból
• [SPARK-45620] [SC-146225][PYTHON] A Python UDTF-hez kapcsolódó felhasználói API-k javítása a camelCase használatához
• [SPARK-45727] [SC-146978][SS] A nem használt térkép eltávolítása a vízjel propagálási szimulációjában
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] A katalógus metódusai elkerülik a pandas konvertálását
• [SPARK-45574] [SC-146106][SQL] Hozzáadás :: szintaxis rövidítésként az öntéshez
• [SPARK-45670] [SC-146725][CORE][3.5] A SparkSubmit nem támogatja --total-executor-cores a K8-on való üzembe helyezést
• [SPARK-45661] [SC-146594][SQL][PYTHON] Add toNullable in StructType, MapType and ArrayType
• [SPARK-45524] [SC-146319][PYTHON][SQL] Python-adatforrás olvasási API kezdeti támogatása
• [SPARK-45542] [SC-145892][CORE] Csere erre setSafeMode(HdfsConstants.SafeModeAction, boolean) : setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: Üres bemeneti partíciók kezelése dinamikus szűrés után
• [SPARK-45454] [SC-144846][SQL] A tábla alapértelmezett tulajdonosának beállítása current_user
• [SPARK-45554] [SC-146875][PYTHON] Rugalmas paraméter bevezetése assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] DataFrame-azonosító használata a CollectMetrics szemantikai ellenőrzéséhez
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] A JVM-függő attribútumok hibaüzenetének javítása a Spark Connecten.
• [SPARK-45646] [SC-146276][SQL] A Hive 2.0 előtti keménykódolási idő változóinak eltávolítása
• [SPARK-43380] [SC-146726][ES-897115][SQL] Lassulás javítása az Avro olvasásában
• [SPARK-45545] [SC-146484][CORE] SSLOptions továbbítása bárhol, ahol létrehozunk egy SparkTransportConfot
• [SPARK-45641] [SC-146260][Felhasználói felület] Az alkalmazás kezdési idejének megjelenítése az AllJobsPage-ben
• [SPARK-40154] [SC-146491][Python][Docs] A Dataframe.cache-dokumentáció tárolási szintjének javítása
• [SPARK-45626] [SC-146259][SQL] _LEGACY_ERROR_TEMP_1055 átalakítása REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] A count aggregátumokkal rendelkező beágyazott korrelált skaláris al lekérdezések helyességi javítása
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] A megfigyelt metrikák alkalmazása a Megfigyelési objektumra
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][AL] Scaladoc-fejlesztés a StreamingForeachBatchHelperhez
• [SPARK-45616] [SC-146120][CORE] Kerülje a ParVectort, amely nem propagálja a ThreadLocals-t vagy a SparkSession-t
• [SPARK-45604] [SC-146105][SQL] LogicalType-ellenőrzés hozzáadása az INT64-en –> DateTime-átalakítás parquet vektoros olvasón
• [SPARK-44649] [SC-145891][SQL] A futtatókörnyezet szűrője támogatja az egyenértékű létrehozási oldalkifejezések átadását
• [SPARK-41674] [SC-128408][SQL] A futásidejű szűrőnek a többszintű shuffle join oldalt kell támogatnia szűrőlétrehozási oldalként
• [SPARK-45547] [SC-146228][ML] Vektorok ellenőrzése beépített függvénnyel
• [SPARK-45558] [SC-145890][SS] Metaadatfájl bemutatása állapotalapú streamelési operátorhoz
• [SPARK-45618] [SC-146252][CORE] BaseErrorHandler eltávolítása
• [SPARK-45638] [SC-146251][SQL][Avro] A decimális konverzió tesztelési lefedettségének javítása
• [SPARK-44837] [SC-146020][SQL] ALTER TABLE ALTER PARTITION oszlop hibaüzenetének módosítása
• [SPARK-45561] [SC-146264][SQL] A TINYINT megfelelő konverzióinak hozzáadása a MySQLDialectben
• [SPARK-45632] [SC-146255][SQL] Az AQE engedélyezésekor a táblagyorsítótárnak kerülnie kell a szükségtelen ColumnarToRow-t
• [SPARK-45569] [SC-145932][SQL] Név hozzárendelése a hiba _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][CONNECT] SBT-teszt hermetikussá tétele.
• [SPARK-45452] [SC-144836][SQL] Fejlesztés InMemoryFileIndex az API használatához FileSystem.listFiles
• [SPARK-44735] [SC-146186][SQL] Figyelmeztető msg hozzáadása, ha azonos nevű oszlopokat szúr be olyan sorok szerint, amelyek nem egyeznek meg
• [SPARK-45351] [SC-144791][CORE] Alapértelmezett érték módosítása spark.shuffle.service.db.backend ROCKSDB értékre
• [SPARK-45553] [SC-145906][PS] Elítél assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] DeterministicLevel használata DeveloperApi-ként
• [SPARK-45549] [SC-145895][CORE] Használaton kívüli eltávolítása a következőben:numExistingExecutorsCoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][CONNECT] SqlState belefoglalása a SparkThrowable proto üzenetbe
• [SPARK-45595] [SC-146037] sqlstate-t tesz elérhetővé hibaüzenetben
• [SPARK-45628] [SC-146123][ML] Fejlesztés vector_to_array a következőhöz: .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][NYOMON KÖVETÉS] A dekorreláció kikapcsolása az AQE InSubquery-teszt illesztési feltételeiben
• [SPARK-45576] [SC-145883][CORE] Felesleges hibakeresési naplók eltávolítása a ReloadingX509TrustManagerSuite alkalmazásban
• [SPARK-45485] [SC-145719][CONNECT] Felhasználói ügynök fejlesztései: SPARK_CONNECT_USER_AGENT változó használata és környezetspecifikus attribútumok belefoglalása
• [SPARK-45508] [SC-145513][CORE] "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" hozzáadása, hogy a platform hozzáférhessen a Cleanerhez a Java 9+ rendszeren
• [SPARK-45595] "[SC-146037] Az SQLSTATE megjelenítése hibaüzenetben" visszaállítása
• [SPARK-45595] [SC-146037] AZ SQLSTATE megjelenítése hibaüzenetben
• [SPARK-45112] "[SC-143259][SQL] A nem oldottfunction ba...
• [SPARK-45257] [SC-143411][CORE] Engedélyezés spark.eventLog.compress alapértelmezés szerint
• [SPARK-45586] [SC-145899][SQL] A nagy kifejezésfákkal rendelkező csomagok fordítási késésének csökkentése
• [SPARK-45517] [SC-145691][CONNECT][14.x] További kivételkonstruktorok kibontása a hibakeret paramétereinek támogatásához
• [SPARK-45581] [SC-145896] Tegye kötelezővé az SQLSTATE-t.
• [SPARK-45427] [SC-145590][CORE] RPC SSL-beállítások hozzáadása az SSLOptionshoz és a SparkTransportConfhoz
• [SPARK-45261] [SC-143357][CORE] Javítás EventLogFileWriters kodekként való kezeléshez none
• [SPARK-45582] [SC-145897][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: A "rowTag" kötelező beállítássá tétele
• [SPARK-45392] [SC-144362][CORE][SQL][SS] Csere erre Class.newInstance() : Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] CsV/JSON-sémakövetkeztetés javítása, ha az időbélyegek nem felelnek meg a megadott időbélyegformának
• [SPARK-45458] [SC-145011][SQL] IllegalArgumentException konvertálása SparkIllegalArgumentException értékre bitwiseExpressions formátumban
• [SPARK-45564] [SC-145735][SQL] Egyszerűsítse le a "DataFrameStatFunctions.bloomFilter" kifejezést a "BloomFilterAggregate" kifejezéssel
• [SPARK-45566] [SC-145777][PS] Pandas-szerű tesztelési eszközök támogatása a Pandas API-hoz a Sparkon
• [SPARK-45498] [SC-145509][CORE] Következő lépés: A tevékenység befejezésének figyelmen kívül hagyása a régi...
• [SPARK-45483] [SC-145152][CONNECT] A connect.functions függvénycsoportjainak javítása
• [SPARK-45577] [SC-145781][PYTHON] A UserDefinedPythonTableFunctionAnalyzeRunner javítása az elnevezett argumentumokból származó összecsukott értékek átadásához
• [SPARK-45009] [SC-138223][NYOMON KÖVETÉS] A dekorreláció kikapcsolása az AetherSQLQuerySuite illesztési feltételeiben
• [SPARK-45415] [SC-145344] A "fallocate" szelektív letiltásának engedélyezése a RocksDB statestore-ban
• [SPARK-45500] [SC-145134][CORE][WEBUI] A rendellenesen befejezett illesztőprogramok számának megjelenítése a MasterPage-ben
• [SPARK-44120] [SC-144349][PYTHON] A Python 3.12 támogatása
• [SPARK-45439] [SC-145589][SQL][Felhasználói felület] A LiveStageMetrics.accumIdsToMetricType memóriahasználatának csökkentése
• [SPARK-45565] [SC-145717][Felhasználói felület] Szükségtelen JSON.stringify és JSON.parse hurok a feladatlistához a szakasz részleteiben
• [SPARK-45567] [SC-145718][CONNECT] Redundáns eltávolítása org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] UnresolvedFunction-alapú felbontás használata az SQL Dataset-függvényekben
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Idempotens kérés add_artifact
• [SPARK-44913] [SC-144326][SQL] A DS V2 támogatja a V2 UDF leküldését, amely mágikus módszerrel rendelkezik
• [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions hiba
• [SPARK-45491] [SC-145622] Hiányzó SQLSTATES 2/2 hozzáadása
• [SPARK-45009] [SC-145620][SC-138223][SQL] Predikátum-al lekérdezések dekorrelálása illesztés feltételben
• [SPARK-45377] [SC-144377][CORE] InputStream kezelése a NettyLoggerben
• [SPARK-45248] [SC-143759][CORE]A Spark felhasználói felület kiszolgálójának időtúllépésének beállítása
• [SPARK-44594] [SC-145611][SS] Redundáns metódusparaméter eltávolítása a Kafka-összekötőben
• [SPARK-45539] [SC-145621][SS] Adjon hozzá egy feltételt és naplót, amely jelzi, hogy a vízjel definíciója szükséges a hozzáfűző módban történő streamelési összesítési lekérdezésekhez
• [SPARK-44262] [SC-145639][SQL] JdbcDialect hozzáadása és dropTable hozzáadása getInsertStatement
• [SPARK-45516] [SC-145480][CONNECT] QueryContext belefoglalása a SparkThrowable proto üzenetbe
• [SPARK-45310] [SC-145127][CORE] A jelentés shuffle blokkállapotának tiszteletben kell tartania az shuffle szolgáltatást a leszerelési migrálás során
• [SPARK-45521] [SC-145487][ML] Kerülje az nnz újraszámítását a következőben: VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Current_database() oszlop aliasának módosítása current_schema()
• [SPARK-45116] [SC-145142][SQL] Megjegyzés hozzáadása a JdbcDialect paramjához createTable
• [SPARK-45495] [SC-145529][core] A k8s-fürt támogatási szakaszszintű tevékenységerőforrás-profilja, ha a dinamikus lefoglalás le van tiltva
• [SPARK-45487] [SC-145559] SQLSTATES- és temp-hibák javítása
• [SPARK-45505] [SC-145550][PYTHON] Újrabontás az AnalyzeInPythonnal, hogy újrahasználható legyen
• [SPARK-45132] [SC-145425][SQL] IDENTIFIER javítása függvényhíváshoz
• [SPARK-45213] [SC-145020][SQL] Név hozzárendelése a hiba _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][CONNECT] A nyíleredmények sanity check konzisztenciája
• [SPARK-45163] [SC-143386][SQL] Egyesíteni UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION > kijavítani néhány problémát
• [SPARK-45421] [SC-144814][SQL] Catch AnalysisException over InlineCTE
• [SPARK-43664] [SC-145404][CONNECT][PS] Kivételt emel ki a ps.sql Spark Connecten található Pandas-on-Spark objektummal kapcsolatban.
• [SPARK-45402] [SC-145371][SQL][PYTHON] Adjon hozzá UDTF API-t az "eval" és a "terminate" metódusokhoz a korábbi "elemzési" eredmények felhasználásához
• [SPARK-36112] [SC-67885] [SQL] A korrelált EXISTS és IN al lekérdezések támogatása a DecorrelateInnerQuery keretrendszer használatával
• [SPARK-45383] [SC-144929][SQL] Nem létező táblával végzett időutazásra vonatkozó hibaüzenet javítása
• [SPARK-43254] [SC-143318][SQL] Név hozzárendelése a hiba _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][CONNECT] Opcionális ExecuteHolder hozzáadása a SparkConnectPlannerhez
• [SPARK-45451] [SC-145144][SQL] Az adathalmaz-gyorsítótár alapértelmezett tárolási szintjének konfigurálhatóvá tétele
• [SPARK-45192] [SC-143194][Felhasználói felület] A graphviz edge lejárt lineInterpolate paraméterének javítása
• [SPARK-45467] [SC-145146][CORE] Csere erre Proxy.getProxyClass() : Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][CONNECT] Tömbösszeszerelő funkcióátalakító hozzáadása
• [SPARK-44855] [SC-145226][CONNECT] Kis finomhangolások az ExecuteGrpcResponseSender és az ExecuteResponseObserver csatlakoztatásához
• [SPARK-45398] [SC-144796][SQL] A kifejezés hozzáfűzése ESCAPEsql()Like
• [SPARK-45494] [SC-145129][CORE][PYTHON] Util-függvények bevezetése a PythonWorkerUtils bájttömbjeinek olvasásához/írásához
• [SPARK-45464] [SC-145125][CORE] Hálózatifonal-elosztási build javítása
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Mapper bemutatása a StorageLevelhez
• [SPARK-45450] [SC-145009][PYTHON] Import javítása a PEP8 szerint: pyspark.pandas és pyspark (core)
• [SPARK-45475] [SC-145018][SQL] A DataFrame.foreachPartition-t használja RDD.foreachPartition helyett a JdbcUtilsben
• [SPARK-45271] [SC-143778][SQL] _LEGACY_ERROR_TEMP_1113 egyesítése TABLE_OPERATION > a QueryCompilationErrors nem használt metódusának törlése
• [SPARK-45449] [SC-145013][SQL] Gyorsítótár érvénytelenítésével kapcsolatos probléma a JDBC-táblával
• [SPARK-45473] [SC-145017][SQL] A RoundBase helytelen hibaüzenetének javítása
• [SPARK-43299] [SC-145022][SS][CONNECT] StreamingQueryException konvertálása a Scala-ügyfélben
• [SPARK-45474] [SC-145014][CORE][WEBUI] Felső szintű szűrés támogatása a MasterPage JSON API-ban
• [SPARK-45205] [SC-145012][SQL] CommandResultExec az iterátor metódusok felülbírálásához, hogy ne aktiváljon több feladatot.
• [SPARK-45472] [SC-145004][SS] A RocksDB State Store-nak nem kell újra ellenőriznie az ellenőrzőpont elérési útját
• [SPARK-45470] [SC-145010][SQL] Kerülje a hive orc tömörítési típusú sztringérték beillesztését
• [SPARK-45448] [SC-144829][PYTHON] Import javítása a PEP8 szerint: pyspark.testing, pyspark.mllib, pyspark.resource és pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] Import javítása a PEP8 szerint: pyspark.errors és pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT] Az alapértelmezett spark.connect.jvmStacktrace.maxSize csökkentése
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] A DataFrame metódusok ugyanazt a munkamenetet ellenőrzik
• [SPARK-45413] [SC-144847][CORE] Figyelmeztetés hozzáadása a drop LevelDB támogatásának előkészítéséhez
• [SPARK-45462] [SC-144848][CORE][WEBUI] Megjelenítés DurationApplicationPage
• [SPARK-44527] [SC-144855][SQL] Cserélje le a ScalarSubqueryt null értékre, ha a maxRows értéke 0
• [SPARK-45401] [SC-144854][PYTHON] Új metódus cleanup hozzáadása az UDTF-felületen
• [SPARK-43704] [SC-144849][CONNECT][PS] Támogatás a következőhöz MultiIndex : to_series()
• [SPARK-45424] [SC-144888][SQL] A TimestampFormatter javítása nem kötelező elemzési eredményeket ad vissza, ha csak az előtag egyezik
• [SPARK-45441] [SC-144833][PYTHON] További util függvények bevezetése a PythonWorkerUtilshez
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] A terv és a munkamenet ellenőrzése DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] RPC SSL-beállítások hozzáadása a TransportConfhoz
• [SPARK-45432] [SC-144818][CORE] Elavult Hadoop-2 LocatedFileStatus konstruktor eltávolítása
• [SPARK-45434] [SC-144819][ML][CONNECT] A LogisticRegression ellenőrzi a betanítási címkéket
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] DataType.fromDDL hozzáadása a PySparkhoz
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] Törlés schema a DataFrame-konstruktorból
• [SPARK-45404] [SC-144799][CORE] Támogatási AWS_ENDPOINT_URL envv változó
• [SPARK-43620] [SC-144792][CONNECT][PS] A Pandas API-k javítása a nem támogatott funkcióktól függ
• [SPARK-45354] [SC-143991][SQL] Függvények feloldása alulról felfelé
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Újrapróbálkozás hozzáadása az artifact API-hoz. A hibakezelés javítása (a [SPARK-45093] nyomon követése).
• [SPARK-45120] [SC-142780][SPARK-45150][Felhasználói felület] Frissítse a d3-at a v3-ról a 7.8.5-ös verzióra, és alkalmazza az API-módosításokat a felhasználói felületen
• [SPARK-44838] [SC-143983][SQL] raise_error fejlesztése
• [SPARK-45312] [SC-143754][SQL][Felhasználói felület] Támogatás váltása a terv svg megjelenítésére/elrejtésére a végrehajtási oldalon
• [SPARK-45378] [SC-144448][CORE] ConvertToNettyForSsl hozzáadása ManagedBufferhez
• [SPARK-44762] [SC-144338][CONNECT][CORE] A SparkConnect.addJobTag és a SparkSession.addTag csatlakoztatása dokumentuma
• [SPARK-45383] A megoldatlan RelationTimeTravel kezelése kecsesen
• [SPARK-45347] [SC-144512][SQL][CONNECT] A SparkThrowable belefoglalása a FetchErrorDetailsResponse-be
• [SPARK-45012] [SC-141512][SQL] A CheckAnalysisnak beágyazott tervet kell használnia az AnalysisExceptionben
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} kivételeket kell emelnie, ha a terv érvénytelen
• [SPARK-45227] [SC-144233][CORE] Finom szálbiztonsági probléma megoldása a CoarseGrainedExecutorBackend használatával
• [SPARK-45266] [SC-144171][PYTHON] A ResolveFunctions elemzőszabály újrabontása az oldalirányú illesztés késleltetéséhez táblaargumentumok használatakor
• [SPARK-45266] Visszaállítás "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used" ([SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used"
• [SPARK-45371] [SC-144389][CONNECT] Árnyékolási problémák megoldása a Spark Connect Scala-ügyfélben
• [SPARK-45057] [SC-144214][CORE] Ne szerezze be az olvasási zárolást, ha a KeepReadLock hamis
• [SPARK-45385] [SC-144357][SQL] Elítél spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] Az SQL-konfiguráció eltávolítása spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON] A ResolveFunctions elemzőszabály újrabontása az oldalirányú illesztés késleltetéséhez táblaargumentumok használatakor
• [SPARK-45362] [SC-144198][PYTHON] PARTITION BY-kifejezéseket vetít ki, mielőtt a Python UDTF "eval" metódusa felhasználná őket
• [SPARK-45346] [SC-143925][SQL] A parquet-séma következtetésének figyelembe kell vennie a kis- és nagybetűk megkülönböztetését jelzőt a séma egyesítésekor
• [SPARK-45341] [SC-143933][CORE] Javítsa ki a címszintet a KVStore.java megjegyzéseiben a Java 17 sikeres futtatásához sbt doc
• [SPARK-45334] [SC-143914][SQL] Félrevezető megjegyzés eltávolítása a parquetSchemaConverterben
• [SPARK-45337] [SC-143932][CORE] Újrabontás AbstractCommandBuilder#getScalaVersion a Scala 2.12 ellenőrzésének eltávolításához
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame-metódusok kihagyják a pandas konvertálását
• [SPARK-43662] [SC-143923][PS][CONNECT] Támogatási merge_asof a Spark Connectben
• [SPARK-44126] [SC-143751][CORE] A célvégrevezető leszerelésekor az shuffle migrálási hibák száma nem növekedhet
• [SPARK-44550] [SC-119768][SQL] Hibajavítások engedélyezése az null IN (empty list) ANSI-ben
• [SPARK-45316] [SC-143783][CORE][SQL] Új paraméterek ignoreCorruptFiles/ignoreMissingFiles hozzáadása a HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][CONNECT][PYTHON] Hibajelentés addArtifacts-lekérdezéshez
• [SPARK-44756] [SC-143787][CORE] A végrehajtó lefagy, ha a RetryingBlockTransferor nem kezdeményez újrapróbálkozást
• [SPARK-45333] [SC-143768][CORE] A spark.eventLog.buffer.kb egységhiba kijavítása
• [SPARK-45317] [SC-143750][SQL][CONNECT] Null fájlnév kezelése a kivételek halmozott nyomkövetésében
• [SPARK-45191] [SC-143407][SQL] Az InMemoryTableScanExec simpleStringWithNodeId oszlopos adatokat ad hozzá
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] Térkép- és tömbparaméterek támogatása a következő szerint: sql()
• [SPARK-45138] [SC-143309][SS] Adjon meg egy új hibaosztályt, és alkalmazza azt, ha az elosztott fájlrendszerbeli ellenőrzőpont-állapot meghiúsul
• [SPARK-45297] [SC-143644][SQL] A SPARK-31827-ben hozzáadott dateformatter kerülő megoldásának eltávolítása
• [SPARK-44345] [SC-143593][CORE] Alacsonyabb unknown shuffle map output naplószint a WARN értékre, ha engedélyezve van a shuffle migrálás
• [SPARK-44463] [SC-143251][SS][CONNECT] Hibakezelés javítása a Connect gőzölésű Python-feldolgozó esetében
• [SPARK-45207] [SC-143603][SQL][CONNECT] Hibanövelés implementálása a Scala-ügyfélhez
• [SPARK-45240] [SC-143602][SQL][CONNECT] Hibanövelés implementálása Python-ügyfélhez
• [SPARK-45216] [SC-143288][SQL] Nem determinisztikus magolt adathalmaz API-k javítása
• [SPARK-45251] [SC-143419][CONNECT] Client_type mező hozzáadása a FetchErrorDetailshez
• [SPARK-45137] [SC-143001][CONNECT] Térkép-/tömbparaméterek támogatása paraméteres környezetben sql()
• [SPARK-45224] [SC-143257][PYTHON] Példák hozzáadása w/ map and array as parameters sql()
• [SPARK-44622] [SC-143205][SQL][CONNECT] FetchErrorDetails RPC implementálása
• [SPARK-45178] [SC-136089] Visszalépés a Trigger.AvailableNow egyetlen kötegének végrehajtásához nem támogatott forrásokkal a burkoló használata helyett
• [SPARK-44823] [14.x][SC-142979][PYTHON] Frissítse a feketét a 23.9.1-re, és javítsa a hibajavítást
• [SPARK-45078] [SC-142954][SQL] Az array_insert ImplicitCastInputTypes nem működik
• [SPARK-44579] [SC-138428][SQL] Megszakítás megszakítása az SQLExecutionban
• [SPARK-45252] [SC-143371][CORE] A sikeres végrehajtáshoz sbt doc meneküljön a megjegyzésekben szereplő szimbólumoknál nagyobb/kisebb szimbólumok elől
• [SPARK-45189] [SC-142973][SQL] A TableIdentifierből történő feloldatlan összefűzésnek tartalmaznia kell a katalógusmezőt
• [SPARK-45229] [SC-143254][CORE][Felhasználói felület] A BEKÜLDÖTT állapotban várakozó illesztőprogramok számának megjelenítése a MasterPage-ben
• [SPARK-43453] Visszaállítás "[SC-143135][PS] A"-hez tartozó namesidő MultiIndex figyelmen kívül hagyása axis=1concat

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Lásd a Databricks Runtime 14.2 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023-02-10-én.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)