Databricks Runtime 11.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.2-ről nyújtanak információkat. A Databricks 2022 szeptemberében adta ki ezt a verziót.

Új funkciók és fejlesztések

• A tábla-hozzáférési vezérlők (tábla ACL-ek) esetében a ALTER TABLE engedélyek módosítása
• dinamikus metszés MERGE INTO
• Továbbfejlesztett ütközésészlelés a Delta-ban dinamikus fájlmetszettel
• Új nyílt forráskódú integrációs kártya a DSE/SQL-kezdőlapokon
• CONVERT TO DELTA partícióészlelés javításai
• A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeit
• Új H3 térinformatikai függvények
• Új Databricks Runtime-függőség
• Saját kulcs használata: Git-hitelesítő adatok titkosítása
• SQL: Új összesítő függvény any_value
• A Databricks Utilities fájlrendszer parancsai több fürttípuson engedélyezettek
• A CREATE jogosultságok mostantól a Unity-katalógus metaadattáraihoz is adhatóak
• Optimalizált írások nem particionált táblákhoz a Photon-kompatibilis fürtökben
• Photon-támogatás további adatforrásokhoz
• SQL: ALTER SHARE mostantól támogatja a START VERSION

Váltás ALTER TABLE engedélyekre a táblahozzáférési vezérlőkben (tábla ACL-ekben)

A felhasználóknak most csak a táblázat sémájának vagy tulajdonságainak módosításához van szükségük MODIFY engedélyekre ALTER TABLE. A tulajdonjog továbbra is szükséges a táblák engedélyeinek megadásához, tulajdonosának és helyének módosításához vagy átnevezéséhez. Ez a módosítás konzisztenssé teszi a tábla ACL-einek engedélyezési modelljét a Unity Katalógussal. Lásd: ALTER TABLE.

Dinamikus metszés MERGE INTO

A Photon-kompatibilis számítás használatakor most dinamikus fájl- és partíciómetszetet használ, MERGE INTO ha szükséges, a teljesítmény javítása érdekében, például ha egy kis forrástáblát egyesít egy nagyobb céltáblával.

Továbbfejlesztett ütközésészlelés a Delta-ban dinamikus fájlmetszettel

A véglegesítések során lehetséges ütközések ellenőrzésekor az ütközésészlelés mostantól figyelembe veszi azokat a fájlokat, amelyeket dinamikus fájlritkítás ritkított meg, de amelyeket statikus szűrők nem ritkítottak volna. Ez a sikertelen tranzakciók számának csökkenését eredményezi.

Új nyílt forráskódú integrációs kártya a DSE/SQL-kezdőlapokon

Az új "Nyílt forráskódú integrációk" kártya bemutatása a DSE/SQL kezdőlapokon, amelyek a nyílt forráskódú integrációs lehetőségeket, például a DLT-t és a dbt core-t jelenítik meg.

CONVERT TO DELTA partícióészlelési fejlesztések

CONVERT TO DELTA automatikusan a Hive metaadattárban vagy a Unity Katalógusban regisztrált Parquet-táblák partíciós sémáját kövesse ki, így nincs szükség a PARTITIONED BY záradék megadására.

CONVERT TO DELTA a metaadattár partícióadatait használja a Parquet-tábla fájljainak felderítéséhez ahelyett, hogy a teljes alapelérési útvonalat listáznák, biztosítva, hogy az elvetett partíciók ne legyenek hozzáadva a Delta-táblához.

Lásd: Konvertálás Delta Lake-vé.

A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeit

A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeinek beállítását. INSERT, UPDATEés DELETE ezekhez az oszlopokhoz tartozó parancsok a kulcsszóval hivatkozhatnak ezekre az értékekre DEFAULT . Például, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET majd INSERT INTO t VALUES (1, DEFAULT) hozzáfűzi a sort (1, 42). Ez a viselkedés CSV, JSON, Orc és Parquet adatforrásokhoz támogatott.

Új H3 térinformatikai függvények

Mostantól 28 új, beépített H3-kifejezés használható térinformatikai feldolgozáshoz a Foton-kompatibilis fürtökben, amelyek sql, Scala és Python nyelven érhetők el. Lásd: H3 térinformatikai függvények.

Új Databricks Runtime-függőség

A Databricks Runtime mostantól a H3 Java-kódtár 3.7.0-s verziójától függ.

Saját kulcs használata: Git-hitelesítő adatok titkosítása

Az Azure Key Vault használatával titkosíthat egy Git személyes hozzáférési jogkivonatot (PAT) vagy más Git-hitelesítő adatokat.

Lásd: Databricks Git-mappák (adattárak) beállítása.

SQL: Új összesítő függvény any_value

Az új any_value aggregátumfüggvény egy sorcsoport bármelyik véletlenszerű értékét adja vissza expr esetén. Lásd a any_value összesítő függvényt.

A Databricks Utilities fájlrendszerparancsai több fürttípuson engedélyezettek.

dbutils.fs parancsok (a csatlakoztatással kapcsolatos parancsok kivételével) mostantól engedélyezve vannak a Unity Cataloggal rendelkező felhasználói elkülönítési fürtökön, valamint az örökölt tábla ACL-fürtökön, amikor a felhasználónak van ANY FILE engedélye.

A CREATE jogosultságok mostantól a Unity-katalógus metaadattáraihoz is adhatóak

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENTés CREATE PROVIDER jogosultságokat mostantól a Unity Catalog metaadattárakban is meg lehet adni.

Optimalizált írások nem particionált táblákhoz a Photon-kompatibilis fürtökben

A Unity Catalog által felügyelt táblák mostantól automatikusan megőrzik a jól hangolt méretű fájlokat a nem particionált táblákból a lekérdezési sebesség javítása és a teljesítmény optimalizálása érdekében.

Photon-támogatás további adatforrásokhoz

A Photon mostantól több adatforrást támogat, például a CSV-t és az Avro-t, és kompatibilis a gyorsítótárazott adatkeretekkel is. Korábban ezeknek az adatforrásoknak a vizsgálata azt jelentette, hogy a teljes lekérdezés nem fotonizálható, függetlenül a lekérdezés operátoraitól vagy kifejezéseitől. Most az adatforrásokat beolvasó lekérdezések fotonizálhatók, így jelentős késést és TCO-fejlesztéseket oldhatnak meg.

Ezt a funkciót a konfiguráció alapértelmezés szerint spark.databricks.photon.photonRowToColumnar.enabled engedélyezi.

Korlátozások:

• A beágyazott típusok sémái ebben a kiadásban nem támogatottak (például tömbök, térképek és szerkezetek).
• Az ORC, RDD, Kinesis, Kafka és EventHub-források ebben a kiadásban nem támogatottak.

SQL: ALTER SHARE mostantól támogatja a START VERZIÓt

A ALTER SHARE parancs mostantól támogatja START VERSION, amely lehetővé teszi a szolgáltatók számára az adatok megosztását egy adott táblaverziótól kezdve. Lásd: ALTER SHARE.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • A distlib 0.3.4-es verziójáról 0.3.5-re való frissítése.
  • filelock 3.7.1-től 3.8.0-ra
  • plotly 5.8.2-ről 5.9.0-ra
  • protobuf 4.21.2 és 4.21.5 között
• Frissített R-kódtárak:
  • seprű 0.8.0 és 1.0.0 között
  • bslib 0.3.1-től 0.4.0-ra
  • hívó 3.7.0 és 3.7.1 között
  • A 6.0-92-es verzióról a 6.0-93-as verzióra
  • dbplyr 2.2.0 és 2.2.1 között
  • devtools 2.4.3-tól 2.4.4-hez
  • 0,15-tól 0,16-ig értékelni
  • farver 2.1.0-ról 2.1.1-re
  • fontawesome 0.2.2-es verziótól 0.3.0-ra
  • jövőbeli frissítés 1.26.1-től 1.27.0-ra
  • általános 0.1.2-től 0.1.3-ra
  • gert 1.6.0-tól 1.7.0-ra
  • globális 0.15.1-től 0.16.0-ra
  • googlesheets4 1.0.0 és 1.0.1 között
  • hardhat 1.1.0-tól 1.2.0-ra
  • htmltoolok a 0.5.2 és 0.5.3 között
  • párhuzamosan az 1.32.0-ról 1.32.1-re
  • oszlop 1.7.0-től 1.8.0-ig
  • pkgload 1.2.4-től 1.3.0-ra
  • processx 3.6.1 és 3.7.0 között
  • Rcpp 1.0.8.3 és 1.0.9 között
  • receptek 0.2.0-tól 1.0.1-től
  • rlang 1.0.2-től 1.0.4-ig
  • roxygen2 7.2.0-tól 7.2.1-ig
  • RSQLite 2.2.14 és 2.2.15 között
  • sass 0.4.1-től 0.4.2-esig
  • fényes 1.7.1 és 1.7.2 között
  • stringi 1.7.6-tól 1.7.8-ra
  • tibble 3.1.7-től 3.1.8-ra
  • tidyverse 1.3.1-ről 1.3.2-re
  • timeDate 3043.102 és 4021.104 között
  • xfun 0,31 és 0,32 között
• Frissített Java-kódtárak:
  • org.apache.orc.orc-core 1.7.4-ről 1.7.5-re
  • org.apache.orc.orc-mapreduce 1.7.4-ről 1.7.5-re
  • org.apache.orc.orc-shims 1.7.4-ről 1.7.5-re

Apache Spark

A Databricks Runtime 11.2 tartalmazza az Apache Spark 3.3.0-t. Ez a kiadás tartalmazza a Databricks Runtime 11.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Szélesebb ANSI-intervallumtípusokat ad vissza a percentilisfüggvényekből
• [SPARK-40054] [SQL] A try_cast() hibakezelési szintaxisának visszaállítása
• [SPARK-39489] [CORE] Az eseménynaplózás JsonProtocol teljesítményének javítása A Json4s helyett Jackson használatával
• [SPARK-39319] [CORE][sql] Lekérdezési környezetek létrehozása SparkThrowable részeként
• [SPARK-40085] [SQL] Az IllegalStateException helyett használjon INTERNAL_ERROR hibaosztályt a hibák jelzéséhez
• [SPARK-40001] [SQL] A NULL értékek írása a JSON alapértelmezett oszlopaiba a 'null' értéket tárolóba írja
• [SPARK-39635] [SQL] Illesztőprogram-metrikák támogatása a DS v2 egyéni metrika API-ban
• [SPARK-39184] [SQL] Az alulméretezett eredménytömb kezelése dátum- és időbélyeg-sorozatokban
• [SPARK-40019] [SQL] Az ArrayType containsNull megjegyzésének átfogalmazása és a félreértési logikák javítása a CollectionOperator kifejezésben containsNull
• [SPARK-39989] [SQL] Oszlopstatisztikák becslésének támogatása összecsukható kifejezés esetén
• [SPARK-39926] [SQL] Nem vektoros parquet-vizsgálatok alapértelmezett oszlopbeli támogatásának hibajavítása
• [SPARK-40052] [SQL] Közvetlen bájtpufferek kezelése a VectorizedDeltaBinaryPackedReaderben
• [SPARK-40044] [SQL] Javítsd a célintervallumtípust a túlcsordulási hibák esetén
• [SPARK-39835] [SQL] Javítás: Az EliminateSorts hibát kijavítja, ahol a globális rendezés a helyi rendezés alatti eltávolításra került.
• [SPARK-40002] [SQL] Ne nyomja le a korlátot az ablakon ntile használatával
• [SPARK-39976] [SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
• [SPARK-39985] [SQL] Implicit DEFAULT oszlopértékek engedélyezése a DataFrame-ből származó beszúrásokban
• [SPARK-39776] [SQL] JOIN részletes karakterláncnak hozzá kell adnia az illesztés típusát
• [SPARK-38901] [SQL] A DS V2 támogatja a leküldéses vegyes függvényeket
• [SPARK-40028] [SQL][követés] Sztringfüggvények példáinak javítása
• [SPARK-39983] [CORE][sql] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
• [SPARK-39812] [SQL] Egyszerűsítse a kódot AggregateExpression , amely a toAggregateExpression
• [SPARK-40028] [SQL] Bináris példák hozzáadása sztringkifejezésekhez
• [SPARK-39981] [SQL] A QueryExecutionErrors.castingCauseOverflowErrorInTableInsert kivétel dobása a Cast folyamatában.
• [SPARK-40007] [PYTHON][sql] "mód" hozzáadása a függvényekhez
• [SPARK-40008] [SQL] Az integrálok ANSI-intervallumokra történő kiosztásának támogatása
• [SPARK-40003] [PYTHON][sql] "medián" hozzáadása függvényekhez
• [SPARK-39952] [SQL] A SaveIntoDataSourceCommandnak újra kell gyorsítótárba helyeznie az eredménykapcsolatot.
• [SPARK-39951] [SQL] Beágyazott mezők parquet V2 oszlopos ellenőrzésének frissítése
• [SPARK-33236] [shuffle] Visszaportálás a DBR 11.x-hez: A push-alapú shuffle szolgáltatás engedélyezése, hogy az állapotot NM szintű adatbázisban tárolja a munkamenet megőrzése érdekében az újraindítás során
• [SPARK-39836] [SQL] Egyszerűsítse le a V2ExpressionBuildert a gyakori módszer kinyerésével.
• [SPARK-39873] [SQL] Eltávolítás OptimizeLimitZero és egyesítés EliminateLimits
• [SPARK-39961] [SQL] DS V2 push-down translate Cast, ha a leadás biztonságos
• [SPARK-39872] [SQL] Váltás a Tömb bemeneti API használatára a BytePackerForLong#unpack8Values-val VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Szükségtelen AliasHelper vagy PredicateHelper néhány szabály eltávolítása
• [SPARK-39900] [SQL] Részleges vagy negált feltétel kezelése a bináris formátumú predikátum leküldésénél
• [SPARK-39904] [SQL] Nevezze át az inferDate opciót prefersDate-re, és tisztázza e beállítás szemantikáját a CSV-adatforrásban.
• [SPARK-39958] [SQL] Figyelmeztető napló hozzáadása, ha nem lehet betölteni az egyéni metrikaobjektumot
• [SPARK-39932] [SQL] A WindowExecnek törölnie kell a végső partíciópuffert
• [SPARK-37194] [SQL] Kerülje el a felesleges rendezést az 1. verzió írásakor, ha az nem dinamikus partíció.
• [SPARK-39902] [SQL] Vizsgálat részleteinek hozzáadása a Spark-terv vizsgálati csomópontjához a SparkUI-ban
• [SPARK-39865] [SQL] Megfelelő hibaüzenetek megjelenítése a táblázat beszúrásának túlcsordulási hibáin
• [SPARK-39940] [SS] Katalógustábla frissítése streamelési lekérdezésen DSv1-fogadóval
• [SPARK-39827] [SQL] Az ARITHMETIC_OVERFLOW hibaosztály használata az egész szám túlcsordulásnál a add_months()-ban/-ben
• [SPARK-39914] [SQL] DS V2-szűrő hozzáadása a V1-szűrőkonvertáláshoz
• [SPARK-39857] [SQL] Manuális DBR 11.x backport; A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátum #43454 predikátumhoz
• [SPARK-39840] [SQL][python] A PythonArrowInput kiemelése szimmetriaként a PythonArrowOutput-hoz képest
• [SPARK-39651] [SQL] Metszük a szűrőfeltételt, ha a 'rand'-dal történő összehasonlítás determinisztikus.
• [SPARK-39877] [PYTHON] Unpivot hozzáadása a PySpark DataFrame API-hoz
• [SPARK-39909] [SQL] A JDBCV2Suite leküldéses adatainak ellenőrzése rendszerezése
• [SPARK-39834] [SQL][ss] Tartalmazza az eredeti statisztikákat és megkötéseket a LogikaiRDD esetében, ha az egy DataFrame-ből származik.
• [SPARK-39849] [SQL] Dataset.as(StructType) üres értékkel tölti ki a hiányzó új oszlopokat
• [SPARK-39860] [SQL] További kifejezéseknek ki kell terjesztenie a Predikátumot
• [SPARK-39823] [SQL][python] Nevezze át Dataset.as Dataset.to ként, és adjon hozzá DataFrame.to a PySparkban
• [SPARK-39918] [SQL][minor] Cserélje le a "nem összehasonlítható" szöveget a hibaüzenetben az "összehasonlíthatatlan" kifejezésre
• [SPARK-39857] [SQL][3.3] A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátumhoz
• [SPARK-39862] [SQL] Manuális backport a PR 43654-hez, a DBR 11.x-re célozva: Az SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS frissítése az engedélyezéshez/megtagadáshoz ALTER TABLE ... ADJUK HOZZÁ a COLUMN parancsokat külön-külön.
• [SPARK-39844] [SQL] Manuális háttérport a PR 43652-hez, amely a DBR 11.x-et célozza
• [SPARK-39899] [SQL] Az üzenetparaméterek továbbításának javítása InvalidUDFClassException
• [SPARK-39890] [SQL] Gondoskodjon róla, hogy a TakeOrderedAndProjectExec örökölje az AliasAwareOutputOrderinget
• [SPARK-39809] [PYTHON] CharType támogatása a PySparkban
• [SPARK-38864] [SQL] Unpivot/melt hozzáadása az adatkészlethez
• [SPARK-39864] [SQL] Lazily register ExecutionListenerBus
• [SPARK-39808] [SQL] Aggregátumfüggvény mód támogatása
• [SPARK-39875] [SQL] A végső osztály metódusának módosítása protected a következőre:privatepackage-visible
• [SPARK-39731] [SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
• [SPARK-39805] [SS] Trigger.Once elavulttá tétele és Trigger.AvailableNow előtérbe helyezése
• [SPARK-39784] [SQL] Literális értékek elhelyezése az adatforrásszűrő jobb oldalán a Katalizátorkifejezés adatforrásszűrőre történő fordítása után
• [SPARK-39672] [SQL][3.1] A projekt eltávolításának javítása a korrelált subquery szűrése előtt
• [SPARK-39552] [SQL] 1. és 2. verzió egységesítése DESCRIBE TABLE
• [SPARK-39810] [SQL] A Catalog.tableExistsnek kezelnie kell a beágyazott névteret
• [SPARK-37287] [SQL] Dinamikus partíció és gyűjtőrendezés lekérése a FileFormatWriterből
• [SPARK-39469] [SQL] CSV-séma következtetésének dátumtípusa
• [SPARK-39148] [SQL] A DS V2 összesítő lekérdezés optimalizációja együttműködhet OFFSET vagy LIMIT
• [SPARK-39818] [SQL] Hiba kijavítása a ARRAY, a STRUCT és a MAP típusok alapértelmezett értékekkel és NULL mező(ek) használatával
• [SPARK-39792] [SQL] DecimalDivideWithOverflowCheck hozzáadása a decimális átlaghoz
• [SPARK-39798] [SQL] Cserélje ki toSeq.toArray a .toArray[Any] a GenericArrayData konstruktorában
• [SPARK-39759] [SQL] ListIndexes implementálása a JDBC-ben (H2 dialektus)
• [SPARK-39385] [SQL] Támogatja a leküldést REGR_AVGX és REGR_AVGY
• [SPARK-39787] [SQL] Hibaosztály használata a to_timestamp függvény elemzési hibájában
• [SPARK-39760] [PYTHON] A Varchar támogatása a PySparkban
• [SPARK-39557] [SQL] Manuális visszaportálás a DBR 11.x-hez: Az ARRAY, STRUCT, MAP típusok támogatása alapértelmezett értékekként
• [SPARK-39758] [SQL][3.3] A regexp függvények NPE-jének javítása érvénytelen mintákon
• [SPARK-39749] [SQL] ANSI SQL mód: Egyszerű sztring-ábrázolás használata tizedes számról sztringre való alakításkor.
• [SPARK-39704] [SQL] CreateIndex &dropIndex &indexExists implementálása a JDBC-ben (H2 dialektus)
• [SPARK-39803] [SQL] Használat LevenshteinDistance helyett StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] A JDBC-adatforrás időbélyegNTZ-típusának támogatása
• [SPARK-39781] [SS] Támogatás hozzáadása max_open_files biztosításához a rocksdb state store szolgáltatóhoz
• [SPARK-39719] [R] DatabaseExists/getDatabase implementálása a SparkR-ben támogatja a 3L névteret
• [SPARK-39751] [SQL] Kivonatösszegző kulcs mintavételi metrikáinak átnevezése
• [SPARK-39772] Az [SQL] névtérnek null értékűnek kell lennie, ha az adatbázis null értékű a régi konstruktorokban
• [SPARK-39625] [SPARK-38904][sql] Adja hozzá a Dataset.as(StructType) lehetőséget
• [SPARK-39384] [SQL] Beépített lineáris regressziós aggregátumfüggvények fordítása JDBC-dialektushoz
• [SPARK-39720] [R] TableExists/getTable implementálása a SparkR 3L-névtérben
• [SPARK-39744] [SQL] A REGEXP_INSTR függvény hozzáadása
• [SPARK-39716] [R] Az aktuálisDatabase/setCurrentDatabase/listCatalogs létrehozása a SparkR-ben támogatja a 3L névteret
• [SPARK-39788] [SQL] Átnevezés catalogName erre:dialectNameJdbcUtils
• [SPARK-39647] [CORE] A végrehajtó regisztrálása az ESS-ben a BlockManager regisztrálása előtt
• [SPARK-39754] [CORE][sql] Távolítsa el a nem használt import vagy szükségtelen {}
• [SPARK-39706] [SQL] Hiányzó oszlop beállítása alapértelmezett értékként állandóként a következő kontextusban: ParquetColumnVector
• [SPARK-39699] [SQL] A CollapseProject intelligensebbé tétele a gyűjteménylétrehozási kifejezésekről
• [SPARK-39737] [SQL] PERCENTILE_CONT és PERCENTILE_DISC támogatnia kell az összesítő szűrőt
• [SPARK-39579] [SQL][python][R] ListFunctions/getFunction/functionExists kompatibilissá tétele 3 szintű névtérrel
• [SPARK-39627] [SQL] A JDBC V2 leküldésének egyesítenie kell a fordítási API-t
• [SPARK-39748] [SQL][ss] Tartalmazza a LogicalRDD forrás logikai tervét, ha a DataFrame-ből származik
• [SPARK-39385] [SQL] Lineáris regressziós aggregátumfüggvények fordítása leküldéshez
• [SPARK-39695] [SQL] A REGEXP_SUBSTR függvény hozzáadása
• [SPARK-39667] [SQL] Adjon hozzá egy másik áthidaló megoldást, ha nincs elegendő memória a tábla létrehozásához és közvetítéséhez
• [SPARK-39666] [ES-337834][sql] Az UnsafeProjection.create használatával tartsa tiszteletben a spark.sql.codegen.factoryMode az ExpressionEncoderben
• [SPARK-39643] [SQL] Subquery-kifejezések tiltása ALAPÉRTELMEZETT értékekben
• [SPARK-38647] [SQL] A SupportsReportOrdering mix hozzáadása a Scan felületéhez (DataSourceV2)
• [SPARK-39497] [SQL] A hiányzó térképkulcs-oszlop elemzési kivételének javítása
• [SPARK-39661] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
• [SPARK-39713] [SQL] ANSI mód: javaslat hozzáadása try_element_at INVALID_ARRAY_INDEX hiba esetén való használatára
• [SPARK-38899] [SQL]A DS V2 támogatja a dátum-idő függvények leküldését
• [SPARK-39638] [SQL] Váltás a ConstantColumnVector partícióoszlopok tárolására a következő helyen: OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Eltávolítása ColumnVectorUtils-ból/-ből
• [SPARK-39231] [SQL] Használja a ConstantColumnVector-t a On/OffHeapColumnVector helyett a partícióoszlopok tárolására a VectorizedParquetRecordReader-ben.
• [SPARK-39547] [SQL] A V2SessionCatalog nem dobja a NoSuchDatabaseException függvényt a loadNamspaceMetadata fájlban
• [SPARK-39447] [SQL] Az AssertionError elkerülése az AdaptiveSparkPlanExec.doExecuteBroadcast alkalmazásban
• [SPARK-39492] [SQL] Átdolgozás MISSING_COLUMN
• [SPARK-39679] [SQL] A TakeOrderedAndProjectExecnek tiszteletben kell tartania a gyermekkimenetek sorrendjét
• [SPARK-39606] [SQL] Gyermekstatisztikák használata a rendelési operátor becsléséhez
• [SPARK-39611] [PYTHON][ps] Helytelen aliasok javítása array_ufunc
• [SPARK-39656] [SQL][3.3] Helytelen névtér kijavítása a DescribeNamespaceExecben
• [SPARK-39675] [SQL] A "spark.sql.codegen.factoryMode" konfigurációjának váltása tesztelési célról belső célra
• [SPARK-39139] [SQL] A DS V2 támogatja a DS V2 UDF eltolását
• [SPARK-39434] [SQL] Futtatókörnyezeti hiba lekérdezési környezetének megadása, ha a tömbindex nem határolt
• [SPARK-39479] [SQL] A DS V2 támogatja a matematikai függvények leküldését (nem ANSI)
• [SPARK-39618] [SQL] A REGEXP_COUNT függvény hozzáadása
• [SPARK-39553] [CORE] A többszálú regisztráció törlésének nem szabad NPE-t okoznia a Scala 2.13 használatakor.
• [SPARK-38755] [PYTHON][3.3] Fájl hozzáadása a hiányzó pandas általános funkcióinak kezeléséhez
• [SPARK-39444] [SQL] OptimizeSubqueries hozzáadása a ki nem zárható szabályok listájához
• [SPARK-39316] [SQL] PromotePrecision és CheckOverflow egyesítése decimális bináris aritmetikai értékké
• [SPARK-39505] [Felhasználói felület] Felhasználói felületen megjelenített menekülési naplótartalom
• [SPARK-39448] [SQL] Hozzáadás ReplaceCTERefWithRepartition a listához nonExcludableRules
• [SPARK-37961] [SQL] A maxRows/maxRowsPerPartition felülbírálása néhány logikai operátor esetében
• [SPARK-35223] Az IssueNavigationLink hozzáadásának visszavonása
• [SPARK-39633] [SQL] A TimeTravel időbélyegének támogatása másodpercben a Dataframe-beállítások használatával
• [SPARK-38796] [SQL] Számformátum-sztringek dokumentációjának frissítése a(z) {try_}to_number függvényekkel
• [SPARK-39650] [SS] Helytelen értékséma javítása a streamelési deduplikációban a visszamenőleges kompatibilitással
• [SPARK-39636] [CORE][ui] Kijavítottunk több hibát a JsonProtocolban, amelyek hatással vannak az off heap StorageLevels-re és a Task/Executor erőforrásigényekre.
• [SPARK-39432] [SQL] Az element_at(*, 0) az ELEMENT_AT_BY_INDEX_ZERO értéket adja vissza
• [SPARK-39349] Központi CheckError módszer hozzáadása a hibák felderítési útvonalának minőségbiztosításához (QA)
• [SPARK-39453] [SQL] A DS V2 támogatja a vegyes nem összesítő függvények továbbítását (nem ANSI)
• [SPARK-38978] [SQL] DS V2 támogatja a továbbítható OFFSET operátort
• [SPARK-39567] [SQL] ANSI-intervallumok támogatása a percentilisfüggvényekben
• [SPARK-39383] [SQL] ALAPÉRTELMEZETT oszlopok támogatása ALTER TABLE ALTER COLUMNS a V2-adatforrásokban
• [SPARK-39396] [SQL] A "49- hibakód – érvénytelen hitelesítő adatok" LDAP-bejelentkezési kivétel kijavítása
• [SPARK-39548] [SQL] A CreateView parancs ablak-záradék lekérdezéssel hibás ablakdefiníciót talált, és nem található probléma
• [SPARK-39575] [AVRO] adjon hozzá egy ByteBuffer#rewind-et a ByteBuffer#get után az Avro-ban...
• [SPARK-39543] A DataFrameWriterV2 opciót át kell adni a tárolási tulajdonságoknak, ha a v1-re esik vissza.
• [SPARK-39564] [SS] Katalógustábla információinak felfedése a logikai terv számára a streamelési lekérdezésben
• [SPARK-39582] [SQL] Javítsa ki a "Since" jelölőt a következőhöz: array_agg
• [SPARK-39388] [SQL] Újrafelhasználás orcSchema az Orc-predikátumok leküldésekor
• [SPARK-39511] [SQL] Helyi limit 1 fokozása a bal oldali részcsatlakozás/antikapcsolat jobb oldalán, ha a csatlakozási feltétel üres
• [SPARK-38614] [SQL] Ne vigye le a határt azon ablakon keresztül, amely a percent_rank-ot használja.
• [SPARK-39551] [SQL] Érvénytelen AQE-terv ellenőrzésének hozzáadása
• [SPARK-39383] [SQL] Az ALAPÉRTELMEZETT oszlopok támogatása ALTER TABLECOLUMNS hozzáadása V2-adatforrásokhoz
• [SPARK-39538] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
• [SPARK-39383] [SQL] Manuális visszaportálás DBR 11.x-re: Átalakítás DEFAULT oszlop támogatáshoz, hogy elhagyja a fő Analyzert.
• [SPARK-39397] [SQL] Enyhítsd az AliasAwareOutputExpression-t, hogy támogassa az aliasokat kifejezésekkel.
• [SPARK-39496] [SQL] Null struktúra kezelése Inline.eval
• [SPARK-39545] [SQL] Felülbírál concat metódust a ExpressionSet Scala 2.13-ban a teljesítmény javítása érdekében
• [SPARK-39340] [SQL] A DS v2 aggregáció leküldésének lehetővé kellene tennie a legfelső szintű oszlopok nevében lévő pontokat
• [SPARK-39488] [SQL] A TempResolvedColumn hibakezelésének egyszerűsítése
• [SPARK-38846] [SQL] Explicit adatleképezés hozzáadása a Teradata numerikus típus és a Spark DecimalType között
• [SPARK-39520] [SQL] Felülbírálja a -- metódust a ExpressionSet Scala 2.13-ban
• [SPARK-39470] [SQL] ANSI-intervallumok átalakításának támogatása tizedes számokra
• [SPARK-39477] [SQL] Távolítsa el a "Lekérdezések száma" adatokat az SQLQueryTestSuite arany fájljaiból
• [SPARK-39419] [SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
• [SPARK-39061] [SQL] A nullérték tulajdonság helyes megadása Inline kimeneti attribútumok számára
• [SPARK-39320] [SQL] Aggregátumfüggvény támogatása MEDIAN
• [SPARK-39261] [CORE] Újsor formázás javítása hibaüzenetekhez
• [SPARK-39355] [SQL] Egyetlen oszlop idézőjelek használatával hozza létre az UnresolvedAttribute-ot
• [SPARK-39351] [SQL] SHOW CREATE TABLE rejtse el a tulajdonságokat
• [SPARK-37623] [SQL] ANSI-összesítő függvény támogatása: regr_intercept
• [SPARK-39374] [SQL] A felhasználó által megadott oszloplista hibaüzenetének javítása
• [SPARK-39255] [SQL][3.3] A hibaüzenetek javítása
• [SPARK-39321] [SQL] A TryCast újrabontása a RuntimeReplaceable használatára
• [SPARK-39406] [PYTHON] NumPy-tömb elfogadása a createDataFrame-ben
• [SPARK-39267] [SQL] Felesleges dsl szimbólum eltávolítása
• [SPARK-39171] [SQL] A Cast kifejezés egyesítése
• [SPARK-28330] [SQL] ANSI SQL támogatása: eredményeltolási záradék a lekérdezési kifejezésben
• [SPARK-39203] [SQL] A tábla helyének átírása abszolút URI-ra az adatbázis URI-ja alapján
• [SPARK-39313] [SQL] toCatalystOrdering sikertelennek kell lennie, ha a V2Expression nem fordítható le
• [SPARK-39301] [SQL][python] A LocalRelation használata és az Arrow kötegméret tiszteletben tartása az Arrow optimalizálással rendelkező createDataFrame-ben
• [SPARK-39400] [SQL] a spark-sql-nek minden esetben el kell távolítania a hive resource dir-t

Karbantartási frissítések

Lásd a Databricks Runtime 11.2 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-08-15-én.

Telepített Java- és Scala-könyvtárak (2.12-es Scala-fürtverzió)