Databricks Runtime 11.2 (EoS)

Följande versionsinformation handlar om Databricks Runtime 11.2, som baseras på Apache Spark 3.3.0. Databricks släppte den här versionen i september 2022.

Nya funktioner och förbättringar

• Ändra till ALTER TABLE behörigheter i tabellåtkomstkontroller (tabell-ACL:er)
• Dynamisk beskärning för MERGE INTO
• Förbättrad konfliktidentifiering i Delta med dynamisk filrensning
• Nytt kort för integrering med öppen källkod i DSE/SQL-startsidor
• CONVERT TO DELTA förbättringar av partitionsidentifiering
• Tabellscheman stöder nu standardvärden för kolumner
• Nya geospatiala H3-funktioner
• Ny beroende av Databricks Runtime
• Ta med din egen nyckel: Kryptering av Git-autentiseringsuppgifter
• SQL: Ny mängdfunktion any_value
• Databricks Utilities-filsystemkommandon tillåts på fler klustertyper
• CREATE-behörigheter kan nu beviljas på metaarkiv för Unity Catalog
• Optimerade skrivningar för opartitionerade tabeller i Photon-aktiverade kluster
• Photon-stöd för fler datakällor
• SQL: ALTER SHARE har nu stöd för START VERSION

Ändra till ALTER TABLE behörigheter i tabellåtkomstkontroller (tabell-ACL:er)

Nu behöver användarna bara MODIFY behörighet för att ändra en tabells schema eller egenskaper med ALTER TABLE. Ägarskap krävs fortfarande för att bevilja behörigheter för en tabell, ändra dess ägare och plats eller byta namn på den. Den här ändringen gör behörighetsmodellen för tabell-ACL:er konsekvent med Unity Catalog. Se ALTER TABLE.

Dynamisk beskärning för MERGE INTO

När du använder Photon-aktiverad beräkning MERGE INTO använder du nu dynamisk fil- och partitionsrensning när det är lämpligt för att förbättra prestanda, till exempel när en liten källtabell sammanfogas till en större måltabell.

Förbättrad konfliktidentifiering i Delta med dynamisk filrensning

När du söker efter potentiella konflikter under incheckningar tar konfliktidentifieringen nu hänsyn till filer som beskärs av dynamisk filrensning, men som inte skulle ha beskärts av statiska filter. Detta resulterar i ett minskat antal misslyckade transaktioner.

Nytt kort för integrering med öppen källkod i DSE/SQL-startsidor

Introduktion till det nya kortet "Integrering av öppen källkod" på DSE/SQL-startsidorna som visar integreringsalternativ med öppen källkod, till exempel DLT och dbt core.

förbättringar av CONVERT TO DELTA partitionsidentifiering

CONVERT TO DELTA härleder automatiskt partitionsschemat för Parquet-tabeller som är registrerade i Hive-metaarkivet eller Unity Catalog, vilket eliminerar behovet av att ange PARTITIONED BY -satsen.

CONVERT TO DELTA använder partitionsinformation från metaarkivet för att identifiera filer för en Parquet-tabell i stället för att visa hela bassökvägen, vilket säkerställer att borttagna partitioner inte läggs till i Delta-tabellen.

Se Konvertera till Delta Lake.

Tabellscheman stöder nu standardvärden för kolumner

Tabellscheman stöder nu inställning av standardvärden för kolumner. INSERT, UPDATE, och DELETE kommandon för dessa kolumner kan referera till dessa värden med nyckelordet DEFAULT . Till exempel kommer CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET följt av INSERT INTO t VALUES (1, DEFAULT) att lägga till raden (1, 42). Det här beteendet stöds för CSV-, JSON-, Orc- och Parquet-datakällor.

Nya geospatiala H3-funktioner

Nu kan du använda 28 nya inbyggda H3-uttryck för geospatial bearbetning i Photon-aktiverade kluster som är tillgängliga i SQL, Scala och Python. Se H3-geospatiala funktioner.

Nytt Databricks Runtime-beroende

Databricks Runtime är nu beroende av H3 Java-biblioteket version 3.7.0.

Ta med din egen nyckel: Kryptering av Git-autentiseringsuppgifter

Du kan använda Azure Key Vault för att kryptera en personlig Åtkomsttoken för Git (PAT) eller andra Git-autentiseringsuppgifter.

Se Konfigurera Databricks Git-mappar (Repos).

SQL: Ny aggregatfunktion any_value

Den nya any_value mängdfunktionen returnerar ett slumpmässigt värde expr för för en grupp rader. Se any_value aggregatfunktion.

Databricks Utilities-filsystemkommandon tillåts på fler klustertyper

dbutils.fs kommandon (förutom monteringsrelaterade kommandon) tillåts nu på användarisoleringskluster med Unity Catalog, samt äldre ACL-kluster för tabeller när användaren har ANY FILE behörighet.

CREATE-behörigheter kan nu beviljas på metaarkiv för Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENToch CREATE PROVIDER-privilegier kan nu beviljas i Unity Catalog-metaarkiv.

Optimerade skrivningar för opartitionerade tabeller i Photon-aktiverade kluster

Hanterade tabeller i Unity Catalog sparar nu automatiskt filer med en väljusterad storlek från opartitionerade tabeller för att förbättra frågehastigheten och optimera prestanda.

Photon-stöd för fler datakällor

Photon stöder nu fler datakällor, inklusive CSV och Avro, och är också kompatibelt med cachelagrade dataramar. Tidigare innebar genomsökning av dessa datakällor att hela frågan inte kunde fotoniseras, oavsett frågans operatorer eller uttryck. Nu kan frågor som söker igenom dessa datakällor fotoniseras, vilket låser upp betydande svarstider och TCO-förbättringar.

Den här funktionen är aktiverad som standard av konfigurationen spark.databricks.photon.photonRowToColumnar.enabled .

Begränsningar:

• Scheman med kapslade typer stöds inte (t.ex. matriser, kartor och structs) i den här versionen.
• ORC-, RDD-, Kinesis-, Kafka- och EventHub-källor stöds inte i den här versionen.

SQL: ALTER SHARE stöder nu START-VERSION

Kommandot ALTER SHARE har nu stöd START VERSIONför , vilket gör det möjligt för leverantörer att dela data från en viss tabellversion. Se ALTER SHARE.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • distlib från 0.3.4 till 0.3.5
  • filelock från 3.7.1 till 3.8.0
  • plotly från 5.8.2 till 5.9.0
  • protobuf från 4.21.2 till 4.21.5
• Uppgraderade R-bibliotek:
  • kvast från 0.8.0 till 1.0.0
  • bslib från 0.3.1 till 0.4.0
  • callr från 3.7.0 till 3.7.1
  • caret från 6.0-92 till 6.0-93
  • dbplyr från 2.2.0 till 2.2.1
  • devtools från 2.4.3 till 2.4.4
  • utvärdera från 0,15 till 0,16
  • Farver från 2.1.0 till 2.1.1
  • fontawesome från 0.2.2 till 0.3.0
  • framtida från 1.26.1 till 1.27.0
  • generiska läkemedel från 0.1.2 till 0.1.3
  • gert från 1.6.0 till 1.7.0
  • globals från 0.15.1 till 0.16.0
  • googlesheets4 från 1.0.0 till 1.0.1
  • hardhat från 1.1.0 till 1.2.0
  • htmltools från 0.5.2 till 0.5.3
  • parallellt från 1.32.0 till 1.32.1
  • pelare från 1.7.0 till 1.8.0
  • pkgload från 1.2.4 till 1.3.0
  • processx från 3.6.1 till 3.7.0
  • Rcpp från 1.0.8.3 till 1.0.9
  • recept från 0.2.0 till 1.0.1
  • rlang från 1.0.2 till 1.0.4
  • roxygen2 från 7.2.0 till 7.2.1
  • RSQLite från 2.2.14 till 2.2.15
  • sass från 0.4.1 till 0.4.2
  • glänsande från 1.7.1 till 1.7.2
  • stringi från 1.7.6 till 1.7.8
  • tibble från 3.1.7 till 3.1.8
  • tidyverse från 1.3.1 till 1.3.2
  • timeDate från 3043.102 till 4021.104
  • xfun från 0,31 till 0,32
• Uppgraderade Java-bibliotek:
  • org.apache.orc.orc-core från 1.7.4 till 1.7.5
  • org.apache.orc.orc-mapreduce från 1.7.4 till 1.7.5
  • org.apache.orc.orc-shims från 1.7.4 till 1.7.5

Apache Spark

Databricks Runtime 11.2 innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Returnera bredare ANSI-intervalltyper från percentilfunktionerna
• [SPARK-40054] [SQL] Återställa syntaxen för felhantering för try_cast()
• [SPARK-39489] [CORE] Förbättra JsonProtocol-prestanda för händelseloggning med hjälp av Jackson i stället för Json4s
• [SPARK-39319] [CORE][sql] Gör frågekontexter som en del av SparkThrowable
• [SPARK-40085] [SQL] Använd INTERNAL_ERROR felklass i stället för IllegalStateException för att indikera buggar
• [SPARK-40001] [SQL] Skapa NULL-skrivningar till JSON DEFAULT-kolumner som skriver "null" till lagring
• [SPARK-39635] [SQL] Stöd för drivrutinsmått i API för anpassade mått för DS v2
• [SPARK-39184] [SQL] Hantera underdimensionerad resultatmatris i datum- och tidsstämpelsekvenser
• [SPARK-40019] [SQL] Refaktorkommentaren för ArrayType innehållerNull och omstrukturerar missförståndslogikerna i collectionOperators uttryck om containsNull
• [SPARK-39989] [SQL] Stöd för uppskattning av kolumnstatistik om det är ett vikbart uttryck
• [SPARK-39926] [SQL] Åtgärda fel i kolumnen STANDARDstöd för icke-vektoriserade Parquet-genomsökningar
• [SPARK-40052] [SQL] Hantera direkt bytebuffertar i VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Åtgärda målintervalltypen i gjutna spillfel
• [SPARK-39835] [SQL] Åtgärda att EliminateSorts tar bort global sortering under den lokala sorteringen
• [SPARK-40002] [SQL] Tryck inte ned gränsen genom fönstret med hjälp av ntile
• [SPARK-39976] [SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
• [SPARK-39985] [SQL] Aktivera implicita standardkolumnvärden i infogningar från DataFrames
• [SPARK-39776] [SQL] JOIN utförlig sträng bör inkludera Join-typ
• [SPARK-38901] [SQL] DS V2 stöder nedtryckning av olika funktioner
• [SPARK-40028] [SQL][uppföljning] Förbättra exempel på strängfunktioner
• [SPARK-39983] [CORE][sql] Cacha inte ospecificerade broadcast-relationer på drivrutinen
• [SPARK-39812] [SQL] Förenkla kod som konstruerar AggregateExpression med toAggregateExpression
• [SPARK-40028] [SQL] Lägga till binära exempel för stränguttryck
• [SPARK-39981] [SQL] Utlösa undantaget QueryExecutionErrors.castingCauseOverflowErrorInTableInsert i Cast
• [SPARK-40007] [PYTHON][sql] Lägg till "läge" i funktioner
• [SPARK-40008] [SQL] Stöd för gjutning av integraler till ANSI-intervall
• [SPARK-40003] [PYTHON][sql] Lägg till "median" i funktioner
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand bör återskapa resultatrelationen
• [SPARK-39951] [SQL] Uppdatera Parquet V2-kolumnkontroll för kapslade fält
• [SPARK-33236] [shuffle] Bakåtportering till DBR 11.x: Aktivera push-baserad shuffle-tjänst för lagring av tillstånd i DATABAS på NM-nivå för arbete som bevarar omstart
• [SPARK-39836] [SQL] Förenkla V2ExpressionBuilder genom att extrahera vanlig metod.
• [SPARK-39873] [SQL] Ta bort OptimizeLimitZero och sammanfoga den till EliminateLimits
• [SPARK-39961] [SQL] DS V2 push-down översätter Cast om casten är säker
• [SPARK-39872] [SQL] Ändra för att använda BytePackerForLong#unpack8Values med API för array-inmatning i VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Ta bort onödiga AliasHelper eller PredicateHelper för vissa regler
• [SPARK-39900] [SQL] Åtgärda partiella eller negerade villkor i predikatpushdown för binära format
• [SPARK-39904] [SQL] Byt namn på inferDate till prefersDate och klargör semantiken för alternativet i CSV-datakällan
• [SPARK-39958] [SQL] Lägg till varningslogg när det inte går att läsa in anpassade måttobjekt
• [SPARK-39932] [SQL] WindowExec bör rensa den slutliga partitionsbufferten
• [SPARK-37194] [SQL] Undvik onödig sortering i v1-skrivning om det inte är en dynamisk partition
• [SPARK-39902] [SQL] Lägg till genomsökningsinformation i spark plans genomsökningsnod i SparkUI
• [SPARK-39865] [SQL] Visa korrekta felmeddelanden om spillfelen i tabellinfogningen
• [SPARK-39940] [SS] Uppdatera katalogtabellen för strömningsfråga med DSv1-utgång.
• [SPARK-39827] [SQL] Använd felklassen ARITHMETIC_OVERFLOW vid int overflow i add_months()
• [SPARK-39914] [SQL] Lägg till DS V2-filter i V1-filterkonvertering
• [SPARK-39857] [SQL] Manuell DBR 11.x-backport; V2ExpressionBuilder använder fel LiteralValue-datatyp för In predicate #43454
• [SPARK-39840] [SQL][python] Extrahera PythonArrowInput som en parallell till PythonArrowOutput
• [SPARK-39651] [SQL] Beskär filtervillkor om jämförelse med rand är deterministiskt
• [SPARK-39877] [PYTHON] Lägga till unpivot till PySpark DataFrame API
• [SPARK-39909] [SQL] Kontrollera organiseringen av push down-information för JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inkludera ursprungsstatistik och begränsningar för LogicalRDD om det kommer från DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) fyller saknade nya kolumner med null-värde
• [SPARK-39860] [SQL] Fler uttryck bör utöka predikatet
• [SPARK-39823] [SQL][python] Byt namn på Dataset.as som Dataset.to och lägg till DataFrame.to i PySpark
• [SPARK-39918] [SQL][minor] Ersätt formuleringen "un-comparable" med "incomparable" i felmeddelandet
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder använder fel LiteralValue-datatyp för I predikat
• [SPARK-39862] [SQL] Manuell backport för PR 43654 för DBR 11.x: Uppdatera SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS för att tillåta/neka ALTER TABLE ... Lägg till COLUMN-kommandona separat.
• [SPARK-39844] [SQL] Manuell backport för PR 43652 för DBR 11.x
• [SPARK-39899] [SQL] Åtgärda överföring av meddelandeparametrar till InvalidUDFClassException
• [SPARK-39890] [SQL] Gör till TakeOrderedAndProjectExec ärver AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Stöd för CharType i PySpark
• [SPARK-38864] [SQL] Lägg till unpivot/melt i datauppsättningen
• [SPARK-39864] [SQL] Registrera ExecutionListenerBus lazily
• [SPARK-39808] [SQL] Stöd för aggregeringsfunktionen LÄGE
• [SPARK-39875] [SQL] Ändra protected metod i slutklassen till private eller package-visible
• [SPARK-39731] [SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
• [SPARK-39805] [SS] Föråldra Trigger.Once och Främja Trigger.AvailableNow
• [SPARK-39784] [SQL] Placera literalvärden till höger om datakällans filter efter översättning av Catalyst Expression till datakällans filter
• [SPARK-39672] [SQL][3.1] Åtgärda borttagning av projekt före filter med korrelerad underfråga
• [SPARK-39552] [SQL] Förena v1 och v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists ska hantera kapslat namnområde
• [SPARK-37287] [SQL] Hämta dynamisk partition och bucketsortering från FileFormatWriter
• [SPARK-39469] [SQL] För CSV-schemainferens, härleda datumtypen
• [SPARK-39148] [SQL] DS V2-aggregeringens nedpressning kan fungera med OFFSET eller LIMIT
• [SPARK-39818] [SQL] Åtgärda bugg i ARRAY, STRUCT, MAP-typer med STANDARDvärden med NULL-fält
• [SPARK-39792] [SQL] Lägg till DecimalDivideWithOverflowCheck för decimalgenomsnitt
• [SPARK-39798] [SQL] Ersätt toSeq.toArray med .toArray[Any] i konstruktorn av GenericArrayData
• [SPARK-39759] [SQL] Implementera listIndexes i JDBC (H2-dialekt)
• [SPARK-39385] [SQL] Stöd för nedtryckning REGR_AVGX och REGR_AVGY
• [SPARK-39787] [SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
• [SPARK-39760] [PYTHON] Stöd för Varchar i PySpark
• [SPARK-39557] [SQL] Manuell backport till DBR 11.x: Stöd för ARRAY, STRUCT, MAP-typer som DEFAULT-värden
• [SPARK-39758] [SQL][3.3] Åtgärda NPE från regex-funktionerna för ogiltiga mönster.
• [SPARK-39749] [SQL] ANSI SQL-läge: Använd oformaterad strängrepresentation vid konvertering av Decimal till sträng
• [SPARK-39704] [SQL] Implementera createIndex &dropIndex & indexExists i JDBC (H2-dialekt)
• [SPARK-39803] [SQL] Använd LevenshteinDistance i stället för StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Stöd för TidsstämpelNTZ-typ i JDBC-datakälla
• [SPARK-39781] [SS] Lägg till stöd för att tillhandahålla max_open_files till rocksdb state store-providern
• [SPARK-39719] [R] Implementera databaseExists/getDatabase i SparkR stöder 3L-namnrymd
• [SPARK-39751] [SQL] Byt namn på måttet för hash-aggregerade nyckelavsökningar
• [SPARK-39772] [SQL]-namnområdet ska vara null när databasen är null i de gamla konstruktorerna
• [SPARK-39625] [SPARK-38904][sql] Lägg till Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilera inbyggda linjära regressionsaggregatfunktioner för JDBC-dialekt
• [SPARK-39720] [R] Implementera tableExists/getTable i SparkR för 3L-namnrymd
• [SPARK-39744] [SQL] REGEXP_INSTR Lägg till funktionen
• [SPARK-39716] [R] Få currentDatabase/setCurrentDatabase/listCatalogs i SparkR att stödja 3L-namespace
• [SPARK-39788] [SQL] Byt catalogName namn till dialectName för JdbcUtils
• [SPARK-39647] [CORE] Registrera kören med ESS innan du registrerar BlockManager
• [SPARK-39754] [CORE][sql] Ta bort oanvända import eller onödiga {}
• [SPARK-39706] [SQL] Ange kolumnen som saknas med defaultValue som konstant i ParquetColumnVector
• [SPARK-39699] [SQL] Gör CollapseProject smartare när det gäller att skapa samlingsuttryck
• [SPARK-39737] [SQL] PERCENTILE_CONT och PERCENTILE_DISC bör ha stöd för aggregeringsfilter
• [SPARK-39579] [SQL][python][R] Gör ListFunctions/getFunction/functionExists kompatibel med 3-lagers namnrymd
• [SPARK-39627] [SQL] JDBC V2-pushdown bör förena kompilerings-API:et
• [SPARK-39748] [SQL][ss] Inkludera den logiska ursprungsplanen för LogicalRDD om den kommer från DataFrame
• [SPARK-39385] [SQL] Översätt linjära regressionsaggregatfunktioner för nedtryckning
• [SPARK-39695] [SQL] REGEXP_SUBSTR Lägg till funktionen
• [SPARK-39667] [SQL] Lägg till en annan lösning när det inte finns tillräckligt med minne för att skapa och sända tabellen
• [SPARK-39666] [ES-337834][sql] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
• [SPARK-39643] [SQL] Förhindra underfrågor i STANDARD-värden
• [SPARK-38647] [SQL] Lägg till SupportsReportOrdering-mix i gränssnittet för genomsökning (DataSourceV2)
• [SPARK-39497] [SQL] Förbättra analysundantaget för saknad nyckelkolumn i kartan.
• [SPARK-39661] [SQL] Undvik att skapa onödig SLF4J-loggning
• [SPARK-39713] [SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
• [SPARK-38899] [SQL]DS V2 stöder nedtryckning av datetime-funktioner
• [SPARK-39638] [SQL] Ändra till att använda ConstantColumnVector för att lagra partitionskolumner i OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Rensa från ColumnVectorUtils
• [SPARK-39231] [SQL] Använd ConstantColumnVector i stället On/OffHeapColumnVector för att lagra partitionskolumner i VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog bör inte utlösa NoSuchDatabaseException i loadNamspaceMetadata
• [SPARK-39447] [SQL] Undvik AssertionError i AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Arbeta om MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec ska respektera barns utdataordning
• [SPARK-39606] [SQL] Använda underordnad statistik för att uppskatta orderoperatorn
• [SPARK-39611] [PYTHON][ps] Åtgärda fel alias i array_ufunc
• [SPARK-39656] [SQL][3.3] Åtgärda fel namnrymd i DescribeNamespaceExec
• [SPARK-39675] [SQL] Växla konfigurationen "spark.sql.codegen.factoryMode" från testsyfte till internt syfte
• [SPARK-39139] [SQL] DS V2 stöder push-nedtryckning av DS V2 UDF
• [SPARK-39434] [SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen
• [SPARK-39479] [SQL] DS V2 stöder optimering av matematiska funktioner (icke-ANSI)
• [SPARK-39618] [SQL] REGEXP_COUNT Lägg till funktionen
• [SPARK-39553] [CORE] Mångtrådig avregistrering av shuffle ska inte orsaka NPE när du använder Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Lägg till fil för att åtgärda saknade generella pandas-funktioner
• [SPARK-39444] [SQL] Lägg till OptimizeSubqueries i listan nonExcludableRules
• [SPARK-39316] [SQL] Sammanfoga PromotePrecision och CheckOverflow till decimal binär aritmetik
• [SPARK-39505] [Användargränssnitt] Escape-logginnehåll renderat i användargränssnittet
• [SPARK-39448] [SQL] Lägg till ReplaceCTERefWithRepartition i nonExcludableRules listan
• [SPARK-37961] [SQL] Åsidosätt maxRows/maxRowsPerPartition för vissa logiska operatorer
• [SPARK-35223] Återställ Lägg till IssueNavigationLink
• [SPARK-39633] [SQL] Stöd för tidsstämpel i sekunder för TimeTravel med hjälp av dataramsalternativ
• [SPARK-38796] [SQL] Uppdatera dokumentationen för numeriska formatsträngar med funktionerna {try_}to_number
• [SPARK-39650] [SS] Åtgärda felaktigt schema för värden vid strömmande deduplicering med bakåtkompatibilitet
• [SPARK-39636] [CORE][ui] Åtgärda flera buggar i JsonProtocol, vilket påverkar heap StorageLevels och Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Returnera ELEMENT_AT_BY_INDEX_ZERO från element_at(*, 0)
• [SPARK-39349] Lägg till en centraliserad CheckError-metod för kvalitetssäkring av felväg
• [SPARK-39453] [SQL] DS V2 har stöd för push-down av diverse icke-aggregerande funktioner (icke-ANSI)
• [SPARK-38978] [SQL] DS V2 stöder operator för att pressa ned OFFSET
• [SPARK-39567] [SQL] Stöd för ANSI-intervall i percentilfunktionerna
• [SPARK-39383] [SQL] Stöder STANDARDkolumner i ALTER TABLE ALTER COLUMNS till V2-datakällor
• [SPARK-39396] [SQL] Åtgärda LDAP-inloggningsfelet "felkod 49 – ogiltiga autentiseringsuppgifter"
• [SPARK-39548] [SQL] CreateView-kommandot med en fönsterklausul stötte på ett fel där en korrekt fönsterdefinition inte hittades
• [SPARK-39575] [AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get i Avr...
• [SPARK-39543] Parametern DataFrameWriterV2 bör överföras till lagringsegenskaper om det sker en återgång till v1.
• [SPARK-39564] [SS] Tillgängliggör informationen om katalogtabellen i den logiska planen för en strömmande fråga
• [SPARK-39582] [SQL] Åtgärda markören "Sedan" för array_agg
• [SPARK-39388] [SQL] Återanvänd orcSchema vid nedtryckning av Orc-predikat
• [SPARK-39511] [SQL] Förbättra nedtryckning av lokal gräns 1 för höger sida av vänster halv-/anti-join om join-villkoret är tomt
• [SPARK-38614] [SQL] Tryck inte ned gränsen genom fönstret som använder percent_rank
• [SPARK-39551] [SQL] Lägg till kontroll av ogiltiga AQE-planer
• [SPARK-39383] [SQL] Stöder STANDARDkolumner i ALTER TABLE LÄGG till COLUMNS till V2-datakällor
• [SPARK-39538] [SQL] Undvik att skapa onödig SLF4J-loggning
• [SPARK-39383] [SQL] Manuell backportering till DBR 11.x: Omstrukturera stöd för DEFAULT-kolumn för att undvika att skicka den primära analysatorn runt
• [SPARK-39397] [SQL] Lätta på AliasAwareOutputExpression för att stödja alias med uttryck
• [SPARK-39496] [SQL] Hantera nullstruktur i Inline.eval
• [SPARK-39545] [SQL] Åsidosätt concat metoden för ExpressionSet i Scala 2.13 för att förbättra prestanda
• [SPARK-39340] [SQL] DS v2 agg pushdown bör tillåta punkter i namnet på kolumner på den översta nivån
• [SPARK-39488] [SQL] Förenkla felhanteringen av TempResolvedColumn
• [SPARK-38846] [SQL] Lägg till explicit datamappning mellan Teradata Numerisk typ och Spark DecimalType
• [SPARK-39520] [SQL] Åsidosättningsmetod -- för ExpressionSet i Scala 2.13
• [SPARK-39470] [SQL] Stöd för gjutning av ANSI-intervall till decimaler
• [SPARK-39477] [SQL] Ta bort information om antalet frågor från de gyllene filerna i SQLQueryTestSuite
• [SPARK-39419] [SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
• [SPARK-39061] [SQL] Ange nullable korrekt för Inline utdataattribut
• [SPARK-39320] [SQL] Stöd för aggregeringsfunktion MEDIAN
• [SPARK-39261] [CORE] Förbättra ny formatering för felmeddelanden
• [SPARK-39355] [SQL] En kolumn använder citattecken för att konstruera UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE ska redigera egenskaper
• [SPARK-37623] [SQL] Stöd för ANSI-mängdfunktion: regr_intercept
• [SPARK-39374] [SQL] Förbättra felmeddelandet för den användardefinierade kolumnlistan
• [SPARK-39255] [SQL][3.3] Förbättra felmeddelanden
• [SPARK-39321] [SQL] Omstrukturera TryCast för att använda RuntimeReplaceable
• [SPARK-39406] [PYTHON] Acceptera NumPy-array för createDataFrame
• [SPARK-39267] [SQL] Rensa bort dsl överflödiga symboler
• [SPARK-39171] [SQL] Förena cast-uttrycket
• [SPARK-28330] [SQL] Stöd för ANSI SQL: resultatförskjutningssats i frågeuttryck
• [SPARK-39203] [SQL] Skriv om tabellplatsen till absolut URI baserat på databas-URI
• [SPARK-39313] [SQL] toCatalystOrdering bör misslyckas om V2Expression inte kan översättas
• [SPARK-39301] [SQL][python] Utnyttja LocalRelation och beakta Arrow-batchstorlek i createDataFrame med Arrow-optimering
• [SPARK-39400] [SQL] Spark SQL ska i samtliga fall ta bort hive-resurskatalogen

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 11.2.

Systemmiljö

• Operativsystem: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-08-15.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)