Databricks Runtime 16.2

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.2 által működtetett Databricks Runtime 16.2-ről nyújtanak információkat.

A Databricks 2025 februárjában adta ki ezt a verziót.

Viselkedési változások

Az ANALYZE most kihagyja a nem támogatott típusok kolumáit

ANALYZE TABLE már nem jelenik meg hibaüzenet, ha nem támogatott típusok ( például ARRAY vagy MAP) táblán fut. A nem támogatott oszlopok mostantól automatikusan ki lesznek hagyva. Azok a felhasználók, amelyek olyan logikát implementáltak, amely ezeket a hibákat várta, frissíteniük kell a kódjukat.

A Delta Sharingben a táblaelőzmények alapértelmezés szerint engedélyezve lesznek

Az SQL-paranccsal (ALTER SHARE <share> ADD TABLE <table>) létrehozott megosztásoknál az előzménymegosztás (WITH HISTORY) mostantól alapértelmezés szerint engedélyezett. Lásd a(z) ALTER SHARE.

A hitelesítő adatok SQL-utasításai hibaüzenetet adnak vissza, ha a hitelesítő adatok típusa nem egyezik

Ebben a kiadásban, ha a hitelesítőadat-kezelési SQL-utasításban megadott hitelesítő adattípus nem egyezik meg a hitelesítő argumentum típusával, a rendszer hibát ad vissza, és az utasítás nem fut. Ha például az utasítás DROP STORAGE CREDENTIAL 'credential-name', ha credential-name nem tárolási hitelesítő adat, az utasítás hibaüzenettel meghiúsul.

Ez a módosítás segít megelőzni a felhasználói hibákat. Korábban ezek az utasítások sikeresen lefuttak, még akkor is, ha a megadott hitelesítő adattípusnak nem megfelelő hitelesítő adatokat adták át. Például, a következő utasítás sikeresen eltávolítja storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Ez a változás a következő nyilatkozatokat érinti:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT...RA...HITELESÍTŐ ADATOK
• REVOKE...CÍMRE...HITELESÍTŐ ADATOK
• SHOW GRANTS BE... HITELESÍTŐ ADATOK

Új funkciók és fejlesztések

• Egyéni állapotalapú alkalmazások létrehozása transformWithState
• Hitelesítés felhőbeli objektumtárolóba szolgáltatás hitelesítő adataival
• A Unity Katalógus által szabályozott hozzáférés a szolgáltatás hitelesítő adataival rendelkező külső felhőszolgáltatásokhoz mostantól általánosan elérhető
• jegyzetfüzetek munkaterületfájlokként támogatottak
• A timestampdiff & timestampadd használata létrehozott oszlopkifejezésekben
• SQL-folyamat szintaxisának támogatása
• HTTP-kérés készítése a http_request függvény használatával
• Frissítés a DESCRIBE TABLE-re, amely a metaadatokat strukturált JSON formájában adja vissza
• Végi szóköz érzékenység nélküli rendezések
• Iceberg-táblák konvertálása gyűjtőparticionálással nem particionált Delta-táblákká
• Standard hozzáférési mód (korábban megosztott hozzáférési mód) számítása mostantól támogatja a Spark Scala metódusokat foreach, foreachBatchés flatMapGroupsWithState

Egyéni állapotalapú alkalmazások létrehozása transformWithState

Mostantól a transformWithState és a kapcsolódó API-k használatával egyéni állapotalapú alkalmazásokat implementálhat a strukturált streamelési lekérdezések részeként. Lásd: Egyéni állapotalapú alkalmazás létrehozása.

Hitelesítés a felhőbeli objektumtárban szolgáltatás hitelesítő adataival

Mostantól a Databricks szolgáltatás hitelesítő adataival hitelesítheti magát a felhőbeli objektumtárolóban az Automatikus betöltővel. Lásd: Mi az automatikus betöltő fájlértesítési módja?

A Unity katalógus által szabályozott hozzáférés a szolgáltatási hitelesítő adatokkal rendelkező külső felhőszolgáltatásokhoz mostantól általánosan elérhető.

A szolgáltatás hitelesítő adatai egyszerű és biztonságos hitelesítést tesznek lehetővé a felhőbeli bérlő szolgáltatásaival az Azure Databricksből. A Databricks Runtime 16.2-ben a szolgáltatás hitelesítő adatai általánosan elérhetők, és mostantól támogatják a Scala SDK-kat a nyilvános előzetes verzióban támogatott Python SDK mellett. Lásd: Külső felhőszolgáltatásokhoz való hozzáférés kezelése szolgáltatás hitelesítő adatokkal.

A jegyzetfüzetek munkaterületfájlokként támogatottak

A Databricks Runtime 16.2-ben és újabb verziókban a jegyzetfüzetek munkaterületfájlokként támogatottak. Mostantól programozott módon kezelheti a jegyzetfüzeteket bárhonnan, ahol a munkaterület fájlrendszere elérhető, beleértve a jegyzetfüzetek írását, olvasását és törlését, mint bármely más fájlt. További információért tekintse meg a(z) Jegyzetfüzetek munkaterületi fájlként.

A timestampdiff & timestampadd használata generált oszlopkifejezésekben

A Databricks Runtime 16.2-ben és újabb verziókban használhatja a timestampdiff és timestampadd függvényeket a Delta Lake által létrehozott oszlopkifejezésekben. Lásd Delta Lake által létrehozott oszlopokat.

Az SQL-folyamat szintaxisának támogatása

A Databricks Runtime 16.2-ben és az újabb verziókban SQL-folyamatokat hozhat létre. Az SQL-folyamatok egy szabványos lekérdezést( például SELECT c2 FROM T WHERE c1 = 5) építenek be lépésenkénti sorrendbe, ahogyan az a következő példában látható:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Az SQL-folyamatok támogatott szintaxisának megismeréséhez tekintse meg SQL-folyamat szintaxisánakcímű témakört.

Az iparágak közötti kiterjesztés hátteréről lásd SQL-nek problémái vannak. Kijavíthatjuk őket: Pipe szintaxis az SQL-ben (a Google Research által).

HTTP-kérés létrehozása a http_request függvénnyel

A Databricks Runtime 16.2-ben és újabb verziókban http-kapcsolatokat hozhat létre, és rajtuk keresztül HTTP-kéréseket végezhet a http_request függvénnyel.

A DESCRIBE TABLE frissítése strukturált JSON-ként adja vissza a metaadatokat

A Databricks Runtime 16.2-ben és újabb verziókban a DESCRIBE TABLE AS JSON paranccsal JSON-dokumentumként visszaadhatja a tábla metaadatait. A JSON-kimenet strukturáltabb, mint az alapértelmezett, ember által olvasható jelentés, és programozott módon használható a tábla sémájának értelmezéséhez. További információ: DESCRIBE TABLE AS JSON.

Végén álló üreshelyet nem figyelembe vevő rendezések

A Databricks Runtime 16.2 támogatja a végső szóközökre nem érzékeny rendezéseket, kiegészítve a Databricks Runtime 16.1-ben hozzáadott rendezési támogatást. Ezek a kollációk például a 'Hello' és 'Hello ' értékeket egyenlőként kezelik. További információ: RTRIM kolláció.

Iceberg-táblák konvertálása gyűjtőparticionálással nem particionált Delta-táblákká

A CONVERT TO DELTA és CREATE TABLE CLONE utasítások mostantól támogatják az Iceberg-táblák vödör-particionálással való átalakítását particionálatlan Delta-táblákká.

A standard hozzáférési mód (korábban megosztott hozzáférési mód) számítása mostantól támogatja a Spark Scala metódusokat foreach, foreachBatchés flatMapGroupsWithState

A Databricks Runtime 16.2-ben és újabb verziókban a standard hozzáférési módú számítás mostantól támogatja a Scala metódusokat DataStreamWriter.foreachBatch és KeyValueGroupedDataset.flatMapGroupsWithState. A Databricks Runtime 16.1-ben és újabb verziókban a standard hozzáférési módú számítás mostantól támogatja a Scala metódust DataStreamWriter.foreach.

Hibajavítások

Továbbfejlesztett növekményes klónfeldolgozás

Ez a kiadás tartalmaz egy javítást egy peremes esethez, ahol egy növekményes CLONE újramásolhatja a forrástáblából a céltáblába másolt fájlokat. Lásd: Az Azure Databricks táblájának klónozása.

Könyvtárfrissítések

• Frissített Python-kódtárak:
• Frissített R-kódtárak:
• Frissített Java-kódtárak:
  • org.json4s.json4s-ast_2.12 3.7.0-M11-től 4.0.7-ig
  • org.json4s.json4s-core_2.12 3.7.0-M11-től 4.0.7-ig
  • org.json4s.json4s-jackson_2.12 3.7.0-M11-től 4.0.7-ig
  • org.json4s.json4s-scalap_2.12 3.7.0-M11-től 4.0.7-ig

Apache Spark

A Databricks Runtime 16.2 tartalmazza az Apache Spark 3.5.2-t. Ez a kiadás tartalmazza Databricks Runtime 16.1összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-49966] „[SC-179501][sql] Invoke használatának visszavonása JsonToStructsimplementálásához (from_json)”
• [SPARK-50904] [SC-186976][sql] Kijavítottuk a rendezési kifejezés léptető lekérdezésének végrehajtását
• [SPARK-49666] [SQL] Az InSet-kifejezés vágási tesztjeinek engedélyezése
• [SPARK-50669] [SC-184566][es-1327450][SQL] A TimestampAdd kifejezés aláírásának módosítása
• [SPARK-50795] [16.x][sc-186719][SQL] A LinkedHashMap describelong típusaként tárolja az időbélyeget
• [SPARK-50870] [SC-186950][sql] Adja hozzá az időzónát a V2ScanRelationPushDown időbélyegzőbe történő öntésekor
• [SPARK-50735] [SC-186944][connect] Az ExecuteResponseObserver hibája végtelen újracsatlakozási kéréseket eredményez
• [SPARK-50522] [SC-186500][sql] Határozatlan rendezés támogatása
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions Optimizer-szabály definiálása
• [SPARK-50679] [SC-184572][sql] Duplikált gyakori kifejezések a különböző With-ben csak egyszer legyenek kivetítve
• [SPARK-50847] [SC-186916] [SQL] Megakadályozza az ApplyCharTypePadding alkalmazását specifikus In kifejezések esetén
• [SPARK-50714] [SC-186786][sql][SS] A TransformWithState sémafejlődésének engedélyezése Avro-kódolás használatakor
• [SPARK-50795] [SC-186390][sql] Az összes JSON-dátum megjelenítése ISO-8601 formátumban és típusokként dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: A UNIFORM SQL függvény típuskényszerítésének és határellenőrzésének javítása
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog támogatja builtin mágikus értéket
• [SPARK-50831] [SC-186736][sql] Alapértelmezés szerint engedélyezi a levágási kollációt.
• [SPARK-50263] [SC-186793][connect] Cserélje le System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][sql] CreateSQLFunctionCommand implementálása AZ SQL Scalar és a Table Functions számára
• [SPARK-50830] [SC-186718] [SQL] Egymenetes eredményt ad vissza kettős futtatású elemzési eredményként
• [SPARK-50707] [SC-186098][sql] A karakter/varchar típusra történő átalakítás engedélyezése
• [SPARK-49490] [SC-182137][sql] Benchmarks hozzáadása az initCap-hoz
• [SPARK-50529] [SC-184535][sql] A karakter/varchar viselkedésének módosítása a spark.sql.preserveCharVarcharTypeInfo konfigurációban
• [SPARK-49632] [SC-184179][sql] Távolítsa el az ANSI konfigurációra vonatkozó javaslatot a CANNOT_PARSE_TIMESTAMP-ból
• [SPARK-50815] [SC-186487][python][SQL] Kijavítottuk a hibát, amely miatt a null Variants átadása a createDataFrame-ben meghiúsult, és Variant-támogatás hozzáadása a CreateDataFrame-ben a Spark Connectben
• [SPARK-50828] [SC-186493][python][ML][connect] Lecserélendő pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Elemzési hiba alapján elemezett készlet
• [SPARK-50824] [SC-186472][python] Ne importáljon opcionális Python-csomagokat ellenőrzésre
• [SPARK-50755] [SC-185521][sql] Szép tervmegjelenítés az InsertIntoHiveTable-hoz
• [SPARK-50789] [SC-186312][connect] A beírt aggregációk bemeneteit elemezni kell
• [SPARK-50791] [SC-185867][sc-186338][SQL] Az NPE javítása a State Store hibakezelésében
• [SPARK-50801] [SC-186365] [SQL] Javítani kell a PlanLogger.logPlanResolution, hogy csak megoldatlan és megoldott terveket jelenítsen meg
• [SPARK-50749] [SC-185925][sql] A Rendezési hiba javítása a CommutativeExpression.gatherCommutative metódusban
• [SPARK-50783] [SC-186347] A JVM profilozó eredményfájljának nevének és elrendezésének kanonizálása a DFS-en
• [SPARK-50790] [SC-186354][python] Parse json implementálása a pysparkban
• [SPARK-50738] [SC-184856][python] Black frissítése 23.12.1-re
• [SPARK-50764] [SC-185930][python] Az xpathhoz kapcsolódó metódusok docstringjének pontosítása
• [SPARK-50798] [SC-186277][sql] NormalizePlan Javítása
• [SPARK-49883] [SC-183787][ss] Állapot tárhely ellenőrzőpont struktúra V2 integráció a RocksDB és a RocksDBFileManager alkalmazásokkal
• [SPARK-50779] [SC-186062][sql] Funkciójelző hozzáadása objektumszintű rendezéshez
• [SPARK-50778] [SC-186183][python] MetadataColumn hozzáadása a PySpark DataFrame-hez
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Az automatikusan létrehozott kifejezési aliasok javítása csőszintű SQL-operátorokkal
• [SPARK-50541] [16.x][sc-184937] A táblázat leírása JSON-ként
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Tábla aliasainak megőrzése SETután, EXTEND, DROP operátorok
• [SPARK-50769] [SC-185919][sql] A ClassCastException javítása a HisztogramNumeric alkalmazásban
• [SPARK-49025] [SC-174667] Szinkronizáld a Delta kód különbségeit a DBR-rel
• [SPARK-50752] [SC-185547][python][SQL] Konfigurációk bevezetése a Python UDF arrow nélküli hangolásához
• [SPARK-50705] [SC-185944][sql] QueryPlan zárolásmentessé válik
• [SPARK-50690] [16.x][sc-184640][SQL] Az eltérés javítása DESCRIBE TABLE lekérdezés kimeneti oszlopainak idézőjelében
• [SPARK-50746] [SC-184932][sql] Az Either kifejezést cserélje le a VariantPathSegmentre.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder kötegben állítja be a konfigurációkat
• [SPARK-50480] [SC-183359][sql] CharType és VarcharType kiterjesztése StringType-ból
• [SPARK-50675] [SC-184539][sql] Tábla- és nézetszintű rendezések támogatása
• [SPARK-50409] [SC-184516][sql] A SET;, SET -v; és SET key; végén a ; figyelmen kívül hagyására vonatkozó beállítás javítása
• [SPARK-50743] [SC-185528][sql] A CTERelationDef és a CTERelationRef azonosítók normalizálása
• [SPARK-50693] [SC-184684][connect] A TypedScalaUdf bemeneteit elemezni kell
• [SPARK-50744] [SC-184929][sql] Teszteset hozzáadása a nézet/CTE névfeloldási prioritásának tesztelésére
• [SPARK-50710] [SC-184767][connect] Támogatás hozzáadása opcionális ügyfél-újracsatlakozáshoz a munkamenetekhez kiadás után
• [SPARK-50703] [SC-184843][python] Finomítsa a regexp_replace, regexp_substr és regexp_instr docstringjeit
• [SPARK-50716] [SC-184823][core] A JavaUtils.deleteRecursivelyUsingJavaIO metódus szimbolikus hivatkozásainak tisztítási logikájának javítása
• [SPARK-50630] [SC-184443][sql] Kijavítottuk a cső SQL AGGREGATE operátorainak GROUP BY sorszámtámogatását
• [SPARK-50614] [SC-184729][sql] A Parquethez tartozó Variant-aprítási támogatás hozzáadása
• [SPARK-50661] [SASP-4936] A régi ügyfél FEB-hez visszamenőleges kompatibilitást biztosít.
• [SPARK-50676] [SC-184641][sql] Távolítsa el a nem használt private lazy val mapValueContainsNull a ElementAt
• [SPARK-50515] [SC-183813][core] Írásvédett felület hozzáadása SparkConf
• [SPARK-50697] [SC-184702][sql] A tail-recursion engedélyezése, ahol csak lehetséges
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]A "FlatMapGroupsWithState" állapotsémájának javítása a Spark Connect-ben, ha nincs kezdeti állapot
• [SPARK-50701] [SC-184704][python] A diagramkészítéshez a Plotly minimális verziója szükséges
• [SPARK-50702] [SC-184727][python] Finomítja a regexp_count, regexp_extract és regexp_extract_all docstringjeit
• [SPARK-50499] [SC-184177][python] A BasePythonRunner metrikáinak elérhetővé tétele
• [SPARK-50692] [SC-184705][16.x] RPAD pushdown támogatás hozzáadása
• [SPARK-50682] [SC-184579][sql] A belső aliast kanonizálni kell
• [SPARK-50699] [SC-184695][python] Elemzés és DDL-sztring létrehozása egy megadott munkamenettel
• [SPARK-50573] [SC-184568][ss] Állapotséma-azonosító hozzáadása állapotsorokhoz a sémafejlődéshez
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] A Spark Connect Scala foreachBatch implementáció javítása. Dataset[T] támogatására.
• [SPARK-50689] [SC-184591][sql] Determinisztikus rendezés kényszerítése LCA-projektlistákban
• [SPARK-50696] [SC-184667][python] Py4J-hívás optimalizálása DDL-elemzési metódushoz
• [SPARK-49670] [SC-182902][sql] A vágási rendezés engedélyezése az összes átmenő kifejezéshez
• [SPARK-50673] [SC-184565][ml] Kerülje a modell együtthatóinak kétszeri bejárását Word2VecModel konstruktorban
• [SPARK-50687] [SC-184588][python] Optimalizálja a logikai folyamatot a DataFrameQueryContext stack trace-ek lekéréséhez
• [SPARK-50681] [SC-184662][python][CONNECT] Gyorsítótárazza a MapInXXX és az ApplyInXXX elemezett sémáit
• [SPARK-50674] [SC-184589][python] Kijavítottuk a "befejez" metódus meglétének ellenőrzését az UDTF-értékelés során
• [SPARK-50684] [SC-184582][python] A Py4J teljesítményének javítása a DataFrameQueryContextben
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Az állapot metaadatainak új verziójának támogatása a TransformWithStateInPandashoz
• [SPARK-50602] [SC-184439][sql] A transzponálás javítása a megfelelő hibaüzenet megjelenítéséhez érvénytelen indexoszlopok megadásakor
• [SPARK-50650] [SC-184532][sql] A naplózás javítása az egyáteresztő elemzőben
• [SPARK-50665] [SC-184533][sql] LocalRelation helyettesítése a NormalizePlan-ban a ComparableLocalRelation használatával
• [SPARK-50644] [SC-184486][sql] Változatstruktúra olvasása a Parquet-olvasóban.
• [SPARK-49636] [SC-184089][sql] Távolítsa el az ANSI konfigurációs javaslatot INVALID_ARRAY_INDEX és INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] A Union kimenetének átalakítása az egylépéses elemzőben való újrafelhasználáshoz
• [SPARK-50659] [SC-184512][sql] Az unióval kapcsolatos hibák áthelyezése a QueryCompilationErrorsba
• [SPARK-50530] [SC-183419][sql] Hibás implicit sztringtípus környezeti számításának javítása
• [SPARK-50546] [SC-183807][sql] Alquery cast támogatás hozzáadása a rendezési típus kényszerítéséhez
• [SPARK-50405] [SC-182889][sql] Az összetett adattípusok rendezési típusának kényszerítésének helyes kezelése
• [SPARK-50637] [SC-184434][sql] Az egyáteresztő elemző kódstílusának javítása
• [SPARK-50638] [SC-184435][sql] A nézet felbontásának átalakítása külön fájlba, hogy újból felhasználható legyen az egy menetben működő elemzőben
• [SPARK-50615] [SC-184298][sql] A variáns leküldése a vizsgálatba.
• [SPARK-50619] [SC-184210][sql] A VariantGet.cast átalakítása az átalakított argumentumok csomagolásához
• [SPARK-50599] [SC-184058][sql] Hozza létre a DataEncoder tulajdonságot, amely lehetővé teszi az Avro és unsafeRow kódolást
• [SPARK-50076] [SC-183809] Logkulcsok javítása
• [SPARK-50597] [SC-183972][sql] Kötegek újraszervezése az Optimizer.scala és a SparkOptimizer.scala alkalmazásban
• [SPARK-50339] [SC-183063][spark-50360][SS] A változásnapló engedélyezése származási információ tárolásához
• [SPARK-50526] [SC-183811][ss] A tárolókódolási formátum hozzáadása az eltolási naplóhoz, és a nem támogatott állapotalapú operátorok letiltása az avro használatakor
• [SPARK-50540] [SC-183810][python][SS] A StatefulProcessorHandle karakterlánc séma javítása
• [SPARK-50157] [SC-183789][sql] Először a SparkSession által biztosított SQLConf használatával.
• [SPARK-48898] [SC-183793][sql] A nullérvényesség helyes beállítása a Variant sémában
• [SPARK-50559] [SC-183814][sql] Tárolja az Except, az Intersect és az Union kimeneteit lusta változókként
• [SPARK-48416] [SC-183643][sql] Beágyazott korrelált With kifejezés támogatása
• [SPARK-50428] [SC-183566][ss][PYTHON] A TransformWithStateInPandas támogatása kötegelt lekérdezésekben
• [SPARK-50063] [SC-183350][sql][CONNECT] A Variant támogatása a Spark Connect Scala-ügyfélben
• [SPARK-50544] [SC-183569][python][CONNECT] Megvalósítás StructType.toDDL
• [SPARK-50443] [SC-182590][ss] A Guava cache által a RocksDBStateStoreProviderben bevezetett Maven-buildelési hibák javítása
• [SPARK-50491] [SC-183434][sql] Kijavítottuk a hibát, amely miatt az üres BEGIN END-blokkok hibát jeleznek
• [SPARK-50536] [SC-183443][core] A letöltött archív fájlméretek SparkContext és Executor naplózása
• [SPARK-45891] [SC-183439][sql] A bináris változat újraépítése az aprított adatokból.
• [SPARK-49565] [SC-183465][sql] SQL-cső szintaxisának hozzáadása a FROM operátorhoz
• [SPARK-50497] [SC-183338][sql] Hibás lekérdezések megfelelő üzenettel, ha a MultiAlias nem generátorfüggvényt tartalmaz
• [SPARK-50460] [SC-183375][python][CONNECT] A csatlakozás kivételkezelésének általánosítása és egyszerűsítése
• [SPARK-50537] [SC-183452][connect][PYTHON] A tömörítési beállítások felülírásának javítása a df.write.parquet-ben
• [SPARK-50329] [SC-183358][sql] az InSet$toString hibájának javítása
• [SPARK-50524] [SC-183364][sql] Alacsonyabb RowBasedKeyValueBatch.spill hibakeresési szintre figyelmeztető üzenet
• [SPARK-50528] [SC-183385][connect] InvalidCommandInput áthelyezése a közös modulba
• [SPARK-50017] [SC-182438][ss] Avro kódolás támogatása a TransformWithState operátorhoz
• [SPARK-50463] [SC-182833][sql] A ConstantColumnVector javítása oszlopos sorra konvertálással
• [SPARK-50235] [SC-180786][sql] A ColumnVector-erőforrás törlése a ColumnarToRowExec összes sorának feldolgozása után
• [SPARK-50516] [SC-183279][ss][MINOR] A StreamManualClock használatára vonatkozó init állapotteszt javítása
• [SPARK-50478] [SC-183188][sql] StringType-egyeztetés javítása
• [SPARK-50492] [SC-183177][ss] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el van vetve
• [SPARK-49566] [SC-182589][sql] Sql-cső szintaxisának hozzáadása a SET operátorhoz
• [SPARK-50449] [SC-183178][sql] Kijavítottuk az SQL nyelvhelyességét, amely most már engedélyezi a hurkok, a HA és a CASE üres törzseinek használatát
• [SPARK-50251] [SC-180970][python] getSystemProperty hozzáadása a PySparkhez SparkContext
• [SPARK-50421] [SC-183091][core] A végrehajtóhoz kapcsolódó memóriakonfiguráció javítása helytelen volt több erőforrásprofil használatakor
• [SPARK-49461] [SC-179572][ss] Állandó ellenőrzőpont-azonosító a naplók véglegesítéséhez és visszaolvasásához
• [SPARK-50343] [SC-183119][spark-50344][SQL] SQL-cső szintaxisának hozzáadása a DROP és AS operátorokhoz
• [SPARK-50481] [SC-182880][core] A SortShuffleManager.unregisterShuffle továbbfejlesztése az ellenőrzőösszeg fájllogika kihagyásához, ha az ellenőrzőösszeg le van tiltva
• [SPARK-50498] [SC-183090][python] Kerülje a szükségtelen py4j-hívásokat a listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Az öncsatlakozás javítása applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres javítás: xor push-down

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat, és frissítsen (töltse le az ODBC, töltse le a JDBC).

Karbantartási frissítések

Lásd Databricks Runtime 16.2 karbantartási frissítések.

Rendszerkörnyezet

• operációs rendszer: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Posit Package Manager CRAN-pillanatképéből vannak telepítve 2024.08.04-én: https://packagemanager.posit.co/cran/2024-08-04/.

Telepített Java- és Scala-könyvtárak (Scala 2.12-klaszterverzió)