Databricks Runtime 11.3 LTS

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.3 LTS-ről nyújtanak információkat. A Databricks 2022 októberében adta ki ezt a verziót.

Működésbeli változások

[Kompatibilitástörő változás] Az új Python-verzióhoz a Databricks Connect V1 Python-ügyfelek frissítése szükséges

A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 11.3 LTS Python-verziója 3.9.5-ről 3.9.19-esre frissül. Mivel ezek a módosítások hibákhoz vezethetnek az adott PySpark-függvényeket használó ügyfeleknél, a Databricks Connect V1 for Pythont a Databricks Runtime 11.3 LTS-sel használó ügyfeleket Python 3.9.7-s vagy újabb verzióra kell frissíteni.

Új funkciók és fejlesztések

• Python 3.9.19-ről 3.9.21-re frissült
• A strukturált streamelési eseményindító egyszer elavult
• Az automatikus betöltő forrásútvonalának módosítása
• A Databricks Kinesis-összekötő mostantól támogatja a Kinesis-adatfolyamok olvasását EFO módban
• Új H3 térinformatikai függvények és foton-támogatás az összes H3 függvényhez
• A prediktív I/O új funkciói
• A kezdeti partíciók növelése szelektív lekérdezések kereséséhez
• Új AQE-csomagverziók vizualizációja
• Új aszinkron folyamatkövetési és naplótisztítási módok
• A Unity Catalog strukturált streamelése mostantól támogatja display()
• A folyamatesemények most JSON formátumban vannak naplózva
• Tetszőleges állapotalapú feldolgozás strukturált streamelésben Pythonnal
• Dátumkövetkeztetés CSV-fájlokban
• Apache Parquet- és Apache Iceberg-táblák klónozási támogatása (nyilvános előzetes verzió)
• Az SQL használatával séma- és katalógusszintű tárolási helyeket adhat meg a Unity Catalog által felügyelt táblákhoz

A Python 3.9.19-ről 3.9.21-re frissült

A Databricks Runtime 11.3 LTS Python-verziója 3.9.19-ről 3.9.21-es verzióra frissül.

A strukturált streamelési eseményindító egyszer elavult

A Trigger.Once beállítás elavult. A Databricks a használatát Trigger.AvailableNowjavasolja. Lásd: Strukturált streamelési eseményindítók időközeinek konfigurálása.

Az automatikus betöltő forrásútvonalának módosítása

Mostantól anélkül módosíthatja az automatikus betöltő könyvtárbemeneti elérési útját, hogy új ellenőrzőpont-könyvtárat kellene választania. Lásd: Az automatikus betöltő forrásútvonalának módosítása.

A Databricks Kinesis-összekötő mostantól támogatja a Kinesis-adatfolyamok olvasását EFO módban

Mostantól a Databricks Kinesis strukturált streamforrást használhatja a Databricks Runtime 11.3 LTS-ben a Kinesis-adatfolyamokból beolvasott lekérdezések továbbfejlesztett kisugárzó módban való futtatásához. Ez lehetővé teszi a dedikált átviteli sebességet szegmensenként, fogyasztónként és a leküldéses módban történő rekordkézbesítést.

Új H3 térinformatikai függvények és foton-támogatás az összes H3 függvényhez

4 új H3 függvény, h3_maxchild, h3_minchildés h3_pointash3h3_pointash3string. Ezek a függvények az SQL, a Scala és a Python alkalmazásban érhetők el. A Photon mostantól minden H3-kifejezést támogat. Lásd: H3 térinformatikai függvények.

A prediktív I/O új funkciói

A Photon a keretek futtatásához támogatja a tartomány módot a RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon is támogatja a tartomány mód növekvő keretek használatával RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

A kezdeti partíciók növelése szelektív lekérdezések kereséséhez

A vizsgálandó kezdeti partíciók értéke 10-re nőtt a szelektív lekérdezések take/tail/limit esetében a Photon-kompatibilis fürtökben és LIMIT a Databricks SQL-ben. 10 partícióval elkerülheti a több kisebb feladat elindításának és a lassú felskálázásnak a többletterhelését. Ezt konfigurálhatja a használatával spark.sql.limit.selectiveInitialNumPartitionsis.

Új AQE-csomagverziók vizualizációja

Az AQE-csomagverziók bemutatása, amelyek lehetővé teszik a futtatókörnyezeti terv frissítésének megjelenítését az adaptív lekérdezések végrehajtásából (AQE).

Új aszinkron folyamatkövetési és naplótisztítási módok

A strukturált streamelési módokat aszinkron folyamatkövetésnek és aszinkron naplótisztításnak nevezzük. Az aszinkron naplótisztítási mód csökkenti a streamelési lekérdezések késését azáltal, hogy eltávolítja a háttérben a folyamatkövetéshez használt naplókat.

A Unity Catalog strukturált streamelése mostantól támogatja display()

Mostantól használhatja display() a Strukturált streamelést a Unity Katalógusban regisztrált táblák használatához.

A folyamatesemények most JSON formátumban vannak naplózva

Az Azure Databricks most JSON formátumban írja a folyamateseményeket az illesztőnaplóba. Bár minden esemény JSON-elemezhető lesz, előfordulhat, hogy a nagy események nem tartalmazzák az összes mezőt, vagy a mezők csonkolódhatnak. A rendszer minden eseményt egyetlen sorban naplóz az előtaggal Event received: . Az alábbiakban egy példaesemény látható.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Tetszőleges állapotalapú feldolgozás strukturált streamelésben Pythonnal

Bemutatja azt a applyInPandasWithState függvényt, amely tetszőleges állapotalapú feldolgozáshoz használható a PySparkban. Ez egyenértékű a flatMapGroupsWithState Java API függvényével.

Dátumkövetkeztetés CSV-fájlokban

Továbbfejlesztett következtetést vezet be a CSV-fájlok dátumtípus-oszlopaiból. Ha a dátumformátum egy oszlop rekordjaiban konzisztens, ezek az oszlopok a következőként DateTypekövetkeztethetők: . A dátumformátumok különböző oszlopokban is használhatók. Az Azure Databricks automatikusan ki tudja következtetni az egyes oszlopok dátumformátumát. A Databricks Runtime 11.3 LTS előtti CSV-fájlok dátumoszlopai megmaradnak.StringType

Apache Parquet- és Apache Iceberg-táblák klónozási támogatása (nyilvános előzetes verzió)

A klón mostantól használható apache parquet- és Apache Iceberg-táblákat tükröző Delta-táblák létrehozására és növekményes frissítésére. Frissítheti a forrás Parquet-táblát, és növekményesen alkalmazhatja a módosításokat a klónozott Delta-táblára a klónozási paranccsal. Tekintsd meg a Parquet- és Iceberg-táblák fokozatos klónozását a Delta Lake-nál, lásd .

Az SQL használatával séma- és katalógusszintű tárolási helyeket adhat meg a Unity Catalog által felügyelt táblákhoz

Mostantól a MANAGED LOCATION SQL-paranccsal megadhatja a felügyelt táblák felhőbeli tárolási helyét a katalógus és a séma szintjén. Lásd: CREATE CATALOG és CREATE SCHEMA.

Viselkedésbeli változások

Databricks Connect 11.3.2

A Databricks Connect 11.3.2-s ügyfélfrissítése mostantól támogatott. Lásd a Databricks Connect és a Databricks Connect kibocsátási megjegyzéseit.

Frissített Azure Databricks Snowflake-összekötő

Az Azure Databricks Snowflake-összekötő az Apache Sparkhoz készült Snowflake-adatforrás nyílt forráskódú adattárból származó kód legújabb verziójára lett frissítve. Most már teljes mértékben kompatibilis a Databricks Runtime 11.3 LTS-vel, beleértve a predikátum leküldését és a belső lekérdezésterv leküldését, miközben fenntartja a nyílt forráskódú verzió összes funkcióját.

Az S3A Hadoop-gyorsítótára mostantól le van tiltva

Az S3A-hoz készült Hadoop-gyorsítótár (FileSystem Apache Hadoop Main 3.3.4 API) le van tiltva. Ez a más felhőalapú tároló-összekötőkkel való összhangban van. A fájlrendszer gyorsítótárazására támaszkodó számítási feladatok esetében győződjön meg arról, hogy az újonnan létrehozott fájlrendszerek a megfelelő Hadoop-konfigurációkkal vannak ellátva, beleértve a hitelesítőadat-szolgáltatókat is.

A Delta Lake stats-gyűjteményséma most már megfelel a táblaséma definíciójában szereplő oszlopsorrendnek

Ez a módosítás a Delta Lake protokoll azon hibáját oldja meg, amely miatt a DataFrame és a táblaoszlopok sorrendje nem egyezik az oszlopok statisztikáival. Bizonyos esetekben előfordulhat, hogy a korábban nem nyomon követett mezők statisztikáinak gyűjtése miatt romlik az írási teljesítmény. Lásd: A Delta Lake adatkihagyása.

az applyInPandasWithState hibát jelez, ha a lekérdezés az operátor után shuffle

Az operátor applyInPandasWithState hibát jelez, ha a lekérdezés az operátor után található shuffle . Ez akkor fordul elő, ha a felhasználó a művelet után hozzáad shuffle , vagy az optimalizáló vagy a fogadó implicit módon adja hozzá shuffle .

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • eloszlás 0,3,5-ről 0,3,6-ra
• Frissített R-kódtárak:
  • seprű 1.0.0 és 1.0.1 között
  • hívó 3.7.1 és 3.7.2 között
  • dplyr 1.0.9 és 1.0.10 között
  • dtplyr 1.2.1-től 1.2.2-esig
  • forcats 0.5.1 és 0.5.2 között
  • 1.27.0-tól 1.28.0-ra
  • future.apply from 1.9.0 to 1.9.1
  • gert 1.7.0-tól 1.8.0-ra
  • 0.16.0 és 0.16.1 közötti globális
  • 0.3.0-tól 0.3.1-ig
  • 2.5.0 és 2.5.1 között
  • 1.1.1 és 1.1.2 közötti hms
  • httr 1.4.3–1.4.4
  • knitr 1,39-től 1,40-ig
  • modellező 0.1.8 és 0.1.9 között
  • oszlop 1.8.0 és 1.8.1 között
  • progressr 0.10.1-től 0.11.0-ra
  • readxl 1.4.0 és 1.4.1 között
  • reprex 2.0.1 és 2.0.2 között
  • rlang 1.0.4-től 1.0.5-ig
  • rmarkdown 2.14-től 2.16-ig
  • RSQLite 2.2.15-től 2.2.16-osig
  • rstudioapi 0,13 és 0,14 között
  • 2.1.1 és 2.1.2 közötti átirányítások
  • rvest 1.0.2-től 1.0.3-ra
  • skálázás 1.2.0-ról 1.2.1-re
  • sparklyr 1.7.7-től 1.7.8-ra
  • sztring 1.4.0 és 1.4.1 között
  • túlélés 3,2-13-ról 3,4-0-ra
  • tinytex 0,40 és 0,41 között
  • viridisLite 0.4.0 és 0.4.1 között
• Frissített Java-kódtárak:
  • com.fasterxml.jackson.core.jackson-annotations from 2.13.3 to 2.13.4
  • com.fasterxml.jackson.core.jackson-core 2.13.3 és 2.13.4 között
  • com.fasterxml.jackson.core.jackson-databind 2.13.3 és 2.13.4 között
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor from 2.13.3 to 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.3 és 2.13.4 között
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.3 és 2.13.4 között
  • com.fasterxml.jackson.module.jackson-module-paranamer 2.13.3-2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.3 és 2.13.4 között
  • org.apache.hadoop.hadoop-client-api a 3.3.2-databrickstől a 3.3.4-databricksig
  • org.apache.hadoop.hadoop-client-runtime 3.3.2 és 3.3.4 között
  • org.apache.orc.orc-core 1.7.5-től 1.7.6-osig
  • org.apache.orc.orc-mapreduce 1.7.5-től 1.7.6-osig
  • org.apache.orc.orc-shims 1.7.5-től 1.7.6-osig
  • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet 2,34-2,36
  • org.glassfish.jersey.containers.jersey-container-servlet-core 2,34-2,36
  • org.glassfish.jersey.core.jersey-client 2,34-2,36
  • org.glassfish.jersey.core.jersey-common 2,34-2,36
  • org.glassfish.jersey.core.jersey-server 2.34-2.36
  • org.glassfish.jersey.inject.jersey-hk2 2,34-2,36

Apache Spark

A Databricks Runtime 11.3 LTS tartalmazza az Apache Spark 3.3.0-t. Ez a kiadás tartalmazza a Databricks Runtime 11.2 -ben (EoS) található összes Spark-javítást és fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Késleltetés az illesztőprogramnak az ExecutorExitCode fogadásához való engedélyezéséhez
• [SPARK-39955] [WARMFIX][sc-111424][CORE] A LaunchTask folyamat javítása a LaunchTask-üzenetek sikertelen küldése által okozott szakaszhibák elkerülése érdekében
• [SPARK-40474] [SC-106248][cherry-pick] A CSV-séma következtetési viselkedésének javítása a datetime oszlopok esetében, és automatikus észlelés bevezetése a Dátum mezőkhöz
• [SPARK-40535] [SC-111243][sql] Kijavítottuk a hibát, amely miatt az AggregatingAccumulator puffere nem jött létre, ha a bemeneti sorok üresek voltak.
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][PYTHON] Implementálja az applyInPandasWithState-t a PySparkban
• [SPARK-40460] [SC-110832][ss] A streamelési metrikák javítása a _metadata kiválasztásakor
• [SPARK-40324] [SC-109943][sql] Adja meg a ParseException lekérdezési környezetét
• [SPARK-40466] [SC-110899][ss] Javítsa a hibaüzenetet, ha a DSv2 le van tiltva, miközben a DSv1 nem érhető el
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext-nek olcsónak kell lennie a többszöri híváshoz
• [SPARK-40169] [SC-110772][sql] Ne nyomja le a Parquet-szűrőket adatséma nélkül
• [SPARK-40467] [SC-110759][ss] FlatMapGroupsWithState felosztása több tesztcsomagra
• [SPARK-40468] [SC-110813][sql] Az oszlopmetszet javítása CSV-ben, ha _corrupt_record van kiválasztva
• [SPARK-40291] [SC-110085][sql] A „nem szerepel a GROUP BY záradékban” hibaüzenet javítása oszlophoz
• [SPARK-40398] [SC-110762][core][SQL] A Arrays.stream api helyett használjon hurkot
• [SPARK-40433] [SC-110684][ss][PYTHON] Adjunk hozzá 'toJVMRow' a PythonSQLUtils-hez, hogy a pickle-ben tárolt PySpark Row-t átalakítsuk JVM Row-vá.
• [SPARK-40414] [SC-110568][sql][PYTHON] A PythonArrowInput és a PythonArrowOutput általánosabb típusa
• [SPARK-40352] [SC-109945][sql] Függvény aliasainak hozzáadása: len, datepart, dateadd, date_diff és curdate
• [SPARK-40470] [SC-110761][sql] A GetArrayStructFields és a GetMapValue kezelése a "arrays_zip" függvényben
• [SPARK-40387] [SC-110685][sql] A Spark Decimális implementációjának javítása
• [SPARK-40429] [SC-110675][sql] Csak akkor állítsa be a KeyGroupedPartitioninget, ha a hivatkozott oszlop a kimenetben van
• [SPARK-40432] [SC-110716][ss][PYTHON] A GroupStateImpl és a GroupStateTimeout bevezetése a PySparkban
• [SPARK-39915] [SC-110496][sql] Győződjön meg arról, hogy a kimeneti particionálás felhasználó által megadott az AQE-ben
• [SPARK-29260] [SQL] Támogatás ALTER DATABASE SET LOCATION , ha a HMS támogatja
• [SPARK-40185] [SC-110056][sql] Eltávolítja az oszlopjavaslatot, ha a jelöltlista üres
• [SPARK-40362] [SC-110401][sql] A BinaryComparison kanonizáció javítása
• [SPARK-40411] [SC-110381][ss] Refactorálja a FlatMapGroupsWithStateExec-et, hogy legyen egy szülői trait-je
• [SPARK-40293] [SC-110084][sql] A V2-tábla hibaüzenetének érthetőbbé tétele
• [SPARK-38734] [SC-110383][sql] Távolítsa el a hibaosztályt INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Az oszlopnevek javítása a "arrays_zip" függvényben, ha a tömbök beágyazott szerkezetekből vannak hivatkozva
• [SPARK-40276] [SC-109674][core] Csökkentse az RDD.takeOrdered eredményméretét
• [SPARK-40197] [SC-109176][sql] Cserélje le a lekérdezési tervet a MULTI_VALUE_SUBQUERY_ERROR környezetéhez.
• [SPARK-40300] [SC-109942][sql] Migrálás a DATATYPE_MISMATCH hibaosztályba
• [SPARK-40149] [SC-110055][sql] Metaadatoszlopok propagálása a Projecten keresztül
• [SPARK-40280] [SC-110146][sql] Támogatás hozzáadása a Parquet leküldéséhez annotációkkal ellátott int és long esetén
• [SPARK-40220] [SC-110143][sc-109175][SQL] Ne adja ki a hibaüzenet paramétereinek üres térképét
• [SPARK-40295] [SC-110070][sql] V2 függvények engedélyezése literális argumentumokkal az írási eloszlásban/rendezésben
• [SPARK-40156] [SC-109264][sql] url_decode() hibaosztály visszaadása esetén
• [SPARK-39195] [SQL] A Spark OutputCommitCoordinatornak megszakítja a fázist, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
• [SPARK-40260] [SC-109424][sql] Hibaosztályok használata egy pozíció GROUP BY fordítási hibáiban
• [SPARK-40205] [SC-110144][sc-109082][SQL] Adja meg ELEMENT_AT_BY_INDEX_ZERO lekérdezési környezetét
• [SPARK-40112] [SC-109676][sql] A TO_BINARY() függvény javítása
• [SPARK-40209] [SC-109081][sql] Hiba esetén ne módosítsa a decimális intervallumértéket changePrecision()
• [SPARK-40319] [SC-109873][sql] A PARSE_DATETIME_BY_NEW_PARSER ismétlődő lekérdezés-végrehajtási hibametódusának eltávolítása
• [SPARK-40222] [SC-109209][sql] A numerikus try_add/try_divide/try_subtract/try_multiply hibát kell jelezniük gyermekeiktől
• [SPARK-40183] [SC-108907][sql] A NUMERIC_VALUE_OUT_OF_RANGE hibaosztály használata decimális konverzió túlcsordulás esetén
• [SPARK-40180] [SC-109069][sql] Hibaüzenetek formázása spark-sql
• [SPARK-40153] [SC-109165][sql] Az értelmezési függvények és a táblázatértékű függvények egységesítése
• [SPARK-40308] [SC-109880][sql] Nem összecsukható elválasztó argumentumok engedélyezése str_to_map függvényhez
• [SPARK-40219] [SC-110052][sc-109663][SQL] A feloldott nézet logikai tervének a sémát kell tárolnia a redundáns keresés elkerülése érdekében
• [SPARK-40098] [SC-109939][sc-108693][SQL] Hibaüzenetek formázása a Thrift Serverben
• [SPARK-39917] [SC-109038][sql] Különböző hibaosztályok használata numerikus/intervallum-aritmetikai túlcsorduláshoz
• [SPARK-40033] [SC-109875][sql] Beágyazott sémarészletezés támogatása az element_at segítségével
• [SPARK-40194] [SC-109660][sql] A SPLIT függvénynek üres reguláris kifejezésen kell csonkítania a végén lévő üres karakterláncot.
• [SPARK-40228] [SC-109835][sql] Ne egyszerűsítse a multiLiket, ha a gyermek nem olcsó kifejezés
• [SPARK-40039] [SC-109896][sc-109260][SS] A Hadoop Abortable felületén alapuló streamelési ellenőrzőpont-fájlkezelő bemutatása
• [SPARK-40285] [SC-109679][sql] Egyszerűsítse a roundTo[Numeric]-t a Spark Decimal-hez.
• [SPARK-39896] [SC-109658][sql] A UnwrapCastInBinaryComparison függvénynek akkor kell működnie, ha az In/InSet downcast literálja meghiúsult
• [SPARK-40040] [SC-109662][sql] Helyi korlát leküldése mindkét oldalra, ha az illesztés feltétele üres
• [SPARK-40055] [SC-109075][sql] A listCatalogs-nak akkor is vissza kell adnia a spark_catalog-ot, ha a spark_catalog implementáció az alapértelmezettSessionCatalog.
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) nem hozhat létre N partíciókat nem AQE-részként
• [SPARK-40207] [SC-109401][sql] Adja meg az oszlop nevét, ha az adatforrás nem támogatja az adattípust
• [SPARK-40245] [SC-109295][sql] Kijavítottuk a FileScan egyenlőségi ellenőrzését, ha a partíció- vagy adatszűrőoszlopok nem olvashatók
• [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 interfész implementációi
• [SPARK-40211] [SC-109226][core][SQL] Lehetővé teszi a kezdeti partíciók számának testreszabását a take() viselkedésben
• [SPARK-40252] [SC-109379][sql] Cserélje le Stream.collect(Collectors.joining)StringJoiner Api-ra
• [SPARK-40247] [SC-109272][sql] BitSet-egyenlőségi ellenőrzés javítása
• [SPARK-40067] [SQL] A Tábla#név() használata a Scan#name() helyett a tábla nevének feltöltéséhez a SparkUI BatchScan csomópontjában
• [SPARK-39966] [SQL] V2-szűrő használata a SupportsDelete-ben
• [SPARK-39607] [SC-109268][sql][DSV2] A V2-t támogató függvények elosztása és sorrendbe helyezése írásban
• [SPARK-40224] [SC-109271][sql] Az ObjectHashAggregateExec gyorsan felszabadítja a memóriát, amikor visszaáll a rendezésalapú módszerre.
• [SPARK-40013] [SQL] A DS V2-kifejezéseknek alapértelmezettnek kell lennie toString
• [SPARK-40214] [SC-109079][python][SQL] adja hozzá a "get" függvényt
• [SPARK-40192] [SC-109089][sql][ML] Redundáns csoport eltávolítása
• [SPARK-40146] [SC-108694][sql] Egyszerűen a leképezési érték lekérésének kódneve
• [SPARK-40109] [SQL] Új SQL-függvény: get()
• [SPARK-39929] [SQL] A DS V2 támogatja a sztringfüggvények leküldését (nem ANSI)
• [SPARK-39819] [SQL] A DS V2 aggregátum leküldése használható a Top N vagy a Paging használatával (kifejezésekkel való rendezés)
• [SPARK-40213] [SC-109077][sql] Támogatja az ASCII értékátalakítást latin-1 karakter esetén
• [SPARK-39887] [SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
• [SPARK-39764] [SQL] A PhysicalOperation ugyanaz, mint a ScanOperation
• [SPARK-39964] [SQL] A DS V2 leküldéses leküldésének egyesítenie kell a fordítási útvonalat
• [SPARK-39528] [SQL] V2-szűrő használata a SupportsRuntimeFilteringben
• [SPARK-40066] [SQL] ANSI mód: mindig null értéket ad vissza a térképoszlophoz való érvénytelen hozzáféréskor
• [SPARK-39912] [SPARK-39828][sql] CatalogImpl finomítása
• [SPARK-39833] [SC-108736][sql] Tiltsa le a parquet oszlopindexet a DSv1-ben az átfedésben lévő partíciók és adatoszlopok hibajavításához
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS parancsnak minősített függvénynevet kell nyomtatnia, például v1
• [SPARK-39767] [SQL] Távolítsa el a UnresolvedDBObjectName nevet, és adja hozzá a UnresolvedIdentifiert
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Térkép)
• [SPARK-40136] [SQL] Az SQL-lekérdezési környezetek töredékének javítása
• [SPARK-40107] [SC-108689][sql] Üres-2-null átalakítás eltávolítása a FileFormatWriterből
• [SPARK-40121] [PYTHON][sql] A Python UDF-hez használt kivetítés inicializálása
• [SPARK-40128] [SQL] A VectorizedColumnReader felismerése DELTA_LENGTH_BYTE_ARRAY önálló oszlopkódolásként
• [SPARK-40132] [ML] Restore rawPredictionCol to MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] EliminateSorts továbbfejlesztése a sortrendezések eltávolításának támogatására LocalLimit
• [SPARK-39629] [SQL] Támogatás v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Array_sort(oszlop, összehasonlító) túlterhelés hozzáadása DataFrame-műveletekhez
• [SPARK-40117] [PYTHON][sql] Állapot konvertálása Java-ra a DataFrameWriterV2.overwrite-ban
• [SPARK-40105] [SQL] Az újraparticionálás javítása a ReplaceCTERefWithRepartition alkalmazásban
• [SPARK-39503] [SQL] Munkamenet-katalógus nevének hozzáadása az 1. verziójú adatbázistáblához és -függvényhez
• [SPARK-39889] [SQL] Különböző hibaosztályok használata numerikus/intervallum 0-tal osztva
• [SPARK-39741] [SQL] Az URL-kódolás/dekódolás támogatása beépített függvényként, valamint az URL-hez kapcsolódó függvények rendezettsége
• [SPARK-40102] [SQL] SparkException használata IllegalStateException helyett a SparkPlanban
• [SPARK-40014] [SQL] Decimális osztás támogatása ANSI-intervallumokra
• [SPARK-39776] [SQL][kövesse] A PlanStabilitySuite UT frissítése ANSI módban
• [SPARK-39963] [SQL] Egyszerűsít SimplifyCasts.isWiderCast

Karbantartási frissítések

Lásd a Databricks Runtime 11.3 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-09-08-án. A pillanatkép már nem érhető el.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)