Databricks Runtime 11.1 (EoS)

Följande viktig information innehåller information om Databricks Runtime 11.1, som drivs av Apache Spark 3.3.0. Databricks släppte den här versionen i juli 2022.

Nya funktioner och förbättringar

• Photon är GA
• Foton: Instanstyper som stöds
• Ändringsdataflöde kan nu automatiskt hantera tidsstämplar som inte överskrider intervallet
• Beskriv och visa SQL-funktioner visar nu Unity-Catalog namn i resultaten (förhandsversion, offentlig)
• Schema slutsatsdragning och utveckling för Parquet-filer i Auto Loader (offentlig förhandsversion)
• Auto Loader stöder nu schema utveckling för Avro (GA)
• Delta Lake-stöd för dynamiska partition skriver över
• Information schema stöd för objekt som skapats i Unity Catalog
• Informationsbegränsningar för Delta Lake tables med Unity Catalog (offentlig förhandsversion)
• Unity Catalog är GA
• Deltadelning är GA

Photon är GA

Foton är nu allmänt tillgängligt, från och med Databricks Runtime 11.1. Foton är en vektoriserad frågemotor som finns inbyggd i Azure Databricks och som skrivits för att vara direkt kompatibel med Apache Spark-API:er så att den fungerar med din befintliga kod. Photon har utvecklats i C++ för att dra nytta av modern maskinvara och använder de senaste teknikerna inom vektoriserad frågebearbetning för att dra nytta av parallellitet på data- och instruktionsnivå i processorer, vilket förbättrar prestandan för verkliga data och program – allt internt på din datasjö.

Photon är en del av en körmiljö med höga prestanda som kör dina befintliga SQL- och DataFrame-API-anrop snabbare och minskar den totala kostnaden per arbetsbelastning. Foton används som standard i Databricks SQL-lager.

Nya funktioner och förbättringar är:

• Ny vektoriserad sorteringsoperator
• Nya vektoriserade window funktioner
• Nya instanstyper och storlekar i alla moln

Begränsningar:

• Scala/Python UDF:er stöds inte av Photon
• RDD stöds inte av Photon
• Strukturerad direktuppspelning stöds inte av Photon

Mer information finns i följande fotonmeddelanden.

Foton: Ny vektoriserad sorteringsoperator

Photon stöder nu en vektoriserad sortering för när en fråga innehåller SORT_BY, CLUSTER_BYeller en window funktion med en ORDER BY.

Begränsningar: Photon stöder inte en global ORDER BY sats. Sortering för window utvärdering kommer att fotoniseras, men global sortering fortsätter att köras i Spark.

Foton: Nya vektoriserade window funktioner

Photon stöder nu vektoriserad window funktionsutvärdering för många bildrutetyper och funktioner. Nya window funktioner är: row_number, rank, dense_rank, lag, lead, percent_rank, ntileoch nth_value. window ramtyper som stöds: aktiv (UNBOUNDED PRECEDING AND CURRENT ROW), obunden (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), växande (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) och krympande (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Begränsningar:

• Photon stöder endast ROWS versioner av alla ramtyper.
• Photon har ännu inte stöd för skjutramstypen (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Foton: Instanstyper som stöds

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Ändringsdataflöde kan nu automatiskt hantera tidsstämplar som inte överskrider intervallet

Ändra dataflöde (CDF) har nu ett nytt läge där du kan ange tidsstämplar eller versioner efter en senaste incheckningsversion utan att utlösa fel. Det här läget är inaktiverat som standard. Du kan aktivera det genom att ställa in konfigurationen spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled på true.

Beskriva och visa SQL-funktioner visar nu Unity-Catalog namn i utdata (offentlig förhandsversion)

Kommandona DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINoch SHOW CREATE TABLE visar nu alltid catalog namn i utdata.

Schema slutsatsdragning och utveckling för Parquet-filer i Auto Loader (offentlig förhandsversion)

Auto Loader stöder nu schema slutsatsdragning och utveckling för Parquet-filer. Precis som JSON-, CSV- och Avro-format kan du nu använda de återställda data column för att hantera oväntade data som kan visas i dina Parquet-filer. Detta inkluderar data som inte kan parsas i den förväntade datatypen, columns som har ett annat hölje eller ytterligare columns som inte ingår i den förväntade schema. Du kan konfigurera Auto Loader för att automatiskt utveckla schema när du lägger till nya columns i den inkommande datan. Se Konfigurera schema inlärning och evolution i Auto Loader.

Auto Loader stöder nu schema evolution för Avro (GA)

Se Konfigurera schema slutsatsdragning och utveckling i Auto Loader.

Delta Lake-stöd för dynamiska partition överskrivningar

Delta Lake aktiverar nu dynamiskt partition överskrivningsläge för att skriva över all befintlig data i varje logisk partition där skrivningen ska skriva in ny data. Se Selektivt skriva över data med Delta Lake.

Information schema stöd för objekt som skapats i Unity Catalog

Information schema tillhandahåller ett SQL-baserat, självbeskrivande API för metadata för olika databasobjekt, inklusive tables och views, begränsningar och routines. I den informationen schema hittar du en set av views som beskriver de objekt som schema:s catalog känner till och som du har behörighet att se. Informationen schema av SYSTEMcatalog returnerar information om objekt i alla catalogs inom metastore. Se Information schema.

Informationsbegränsningar för Delta Lake tables med Unity Catalog (offentlig förhandsversion)

Nu kan du definiera begränsningar för informationsprimärnyckel och främmande nyckel på Delta Lake tables med Unity Catalog. Informationsbegränsningar tillämpas inte. Se CONSTRAINT-satsen.

Unity Catalog är allmänt tillgänglig

Unity Catalog är nu allmänt tillgänglig från och med Databricks Runtime 11.1. Se Vad är Unity Catalog?.

Deltadelning är GA

Deltadelning är nu allmänt tillgängligt från och med Databricks Runtime 11.1.

Databricks till Databricks Delta-delning hanteras fullständigt utan att behöva byta token. Du kan skapa och hantera providers, recipientsoch shares i användargränssnittet eller med SQL- och REST-API:er.

Vissa funktioner omfattar att begränsa mottagaråtkomst, köra frågor mot data med IP-åtkomstlistor och regionbegränsningar och delegera deltadelningshantering till icke-administratörer. Du kan också köra frågor mot ändringar i data eller dela inkrementella versioner med Ändringsdataflöden. Se Vad är deltadelning?.

Funktionalitetsförändringar

Redigering av känsliga egenskaper för DESCRIBE TABLE och VISA TABLE EGENSKAPER

Känsliga egenskaper redigeras i DataFrames och utdata från kommandona DESCRIBE TABLE och SHOW TABLE PROPERTIES .

Jobbkluster är som standard åtkomstläge för en användare med Databricks Runtime 11.1 och senare

För att vara Unity-Catalog kan jobbkluster med Databricks Runtime 11.1 och senare som skapats via jobbgränssnittet eller jobb-API:et som standard för åtkomstläge för en användare. Åtkomstläge för en användare stöder de flesta programmeringsspråk, klusterfunktioner och funktioner för datastyrning. Du kan fortfarande konfigurera läget för delad åtkomst via användargränssnittet eller API:et, men språk eller funktioner kan vara begränsade.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.6.0 till 3.7.1
  • ritat från 5.6.0 till 5.8.2
  • protobuf från 3.20.1 till 4.21.2
• Uppgraderade R-bibliotek:
  • chron från 2.3-56 till 2.3-57
  • DBI från 1.1.2 till 1.1.3
  • dbplyr från 2.1.1 till 2.2.0
  • e1071 från 1,7-9 till 1,7-11
  • från 1.25.0 till 1.26.1
  • globals från 0.14.0 till 0.15.1
  • hardhat från 0.2.0 till 1.1.0
  • ipred från 0,9-12 till 0,9-13
  • openssl från 2.0.0 till 2.0.2
  • parallellt från 1.31.1 till 1.32.0
  • processx från 3.5.3 till 3.6.1
  • progressr från 0.10.0 till 0.10.1
  • proxy från 0.4-26 till 0.4-27
  • ps från 1.7.0 till 1.7.1
  • randomForest från 4,7-1 till 4,7-1,1
  • roxygen2 från 7.1.2 till 7.2.0
  • Rserve från 1,8-10 till 1,8-11
  • RSQLite från 2.2.13 till 2.2.14
  • sparklyr från 1.7.5 till 1.7.7
  • tinytex från 0,38 till 0,40
  • usethis från 2.1.5 till 2.1.6
  • xfun från 0,30 till 0,31
• Uppgraderade Java-bibliotek:
  • io.delta.delta-sharing-spark_2.12 från 0.4.0 till 0.5.0

Apache Spark

Databricks Runtime 11.2 innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-40054] [SQL] Restore syntaxen för felhantering av try_cast()
• [SPARK-39489] [CORE] Förbättra JsonProtocol-prestanda för händelseloggning med hjälp av Jackson i stället för Json4s
• [SPARK-39319] [CORE][SQL] Skapa frågekontexter som en del av SparkThrowable
• [SPARK-40085] [SQL] Använd INTERNAL_ERROR felklass i stället för IllegalStateException för att indikera buggar
• [SPARK-40001] [SQL] Gör NULL-skrivningar till JSON DEFAULT columns skriva "null" till lagring
• [SPARK-39635] [SQL] Stöd för drivrutinsmått i API för anpassade mått för DS v2
• [SPARK-39184] [SQL] Hantera underdimensionerad resultatmatris i datum- och tidsstämpelsekvenser
• [SPARK-40019] [SQL] Refaktorkommentaren för ArrayType innehållerNull och omstrukturerar missförståndslogikerna i collectionOperators uttryck om containsNull
• [SPARK-39989] [SQL] Stöd för uppskattning av column statistik om det är ett vikbart uttryck
• [SPARK-39926] [SQL] Åtgärda bugg i column DEFAULT-stöd för Parquet-genomsökningar utan vektorisering
• [SPARK-40052] [SQL] Hantera direkt bytebuffertar i VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Åtgärda målintervalltypen i gjutna spillfel
• [SPARK-39835] [SQL] Fix EliminateSorts remove globala sortering under den lokala sorteringen
• [SPARK-40002] [SQL] Tryck inte ned limit genom window med hjälp av ntile
• [SPARK-39976] [SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
• [SPARK-39985] [SQL] Aktivera implicit DEFAULT-värde columnvalues vid infogningar från DataFrames
• [SPARK-39776] [SQL] JOIN utförlig sträng bör lägga till Join typ
• [SPARK-38901] [SQL] DS V2 stöder push-nedfelfunktioner
• [SPARK-40028] [SQL][Uppföljning] Förbättra exempel på strängfunktioner
• [SPARK-39983] [CORE][SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
• [SPARK-39812] [SQL] Förenkla kod som konstruerar AggregateExpression med toAggregateExpression
• [SPARK-40028] [SQL] Lägga till binära exempel för stränguttryck
• [SPARK-39981] [SQL] Kasta undantaget QueryExecutionErrors.castingCauseOverflowErrorInTableInsert i Cast
• [SPARK-40007] [PYTHON][SQL] Lägga till "läge" i funktioner
• [SPARK-40008] [SQL] Stöd för gjutning av integraler till ANSI-intervall
• [SPARK-40003] [PYTHON][SQL] Lägga till "median" i funktioner
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand bör återskapa resultatrelationen
• [SPARK-39951] [SQL] Update Parquet V2 kolumnär kontroll för kapslade fält
• [SPARK-39775] [CORE][AVRO] Inaktivera validera standardvärden values vid parsning av Avro-scheman
• [SPARK-33236] [shuffle] Bakåtportering till DBR 11.x: Aktivera push-baserad shuffle-tjänst för lagring av tillstånd i DATABAS på NM-nivå för arbete som bevarar omstart
• [SPARK-39836] [SQL] Förenkla V2ExpressionBuilder genom att extrahera vanlig metod.
• [SPARK-39867] [SQL] Global limit bör inte ärva OrderPreservingUnaryNode
• [SPARK-39873] [SQL] RemoveOptimizeLimitZero och sammanfoga den i EliminateLimits
• [SPARK-39961] [SQL] DS V2 push-down översätter Cast om casten är säker
• [SPARK-39872] [SQL] Ändra till användning BytePackerForLong#unpack8Values med api för matrisindata i VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remove onödiga AliasHelper eller PredicateHelper för vissa regler
• [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
• [SPARK-39900] [SQL] Hantera partiellt eller negerat villkor i binärt formats predikat-pushdown
• [SPARK-39904] [SQL] Byt namn på inferDate till prefersDate and clarify semantics of the option in CSV data source
• [SPARK-39958] [SQL] Lägg till varningslogg när det inte går att läsa in anpassade måttobjekt
• [SPARK-39936] [SQL] Lagra schema som egenskaper för Spark Views
• [SPARK-39932] [SQL] WindowExec bör rensa den slutliga partition bufferten
• [SPARK-37194] [SQL] Undvik onödig sortering i v1-skrivning om den inte är dynamisk partition
• [SPARK-39902] [SQL] Lägg till genomsökningsinformation i spark-plangenomsökningsnoden i SparkUI
• [SPARK-39865] [SQL] Visa korrekta felmeddelanden om spillfelen i tableinsert
• [SPARK-39940] [SS] Refreshcatalogtable på strömmande sökfråga med DSv1-sink
• [SPARK-39827] [SQL] Använd felklassen ARITHMETIC_OVERFLOW vid int overflow i add_months()
• [SPARK-39914] [SQL] Lägg till DS V2-filter i V1-filterkonvertering
• [SPARK-39857] [SQL] Manuell DBR 11.x-backport; V2ExpressionBuilder använder fel LiteralValue-datatyp för In predicate #43454
• [SPARK-39840] [SQL][PYTHON] Factor PythonArrowInput out as a symmetry to PythonArrowOutput
• [SPARK-39651] [SQL] Beskär filtervillkor om jämförelse med rand är deterministiskt
• [SPARK-39877] [PYTHON] Lägg till unpivot i PySpark DataFrame API
• [SPARK-39847] [WARMFIX][SS] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om samtalstråden avbryts
• [SPARK-39909] [SQL] Organisera kontrollen av push-ned information för JDBCV2Suite
• [SPARK-39834] [SQL][SS] Inkludera ursprungsstatistiken och begränsningarna för LogicalRDD om den kommer från DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) fyller saknade nya columns med null-värde
• [SPARK-39860] [SQL] Fler uttryck bör utöka predikatet
• [SPARK-39823] [SQL][PYTHON] Byt namn på Dataset.as som Dataset.to och lägg till DataFrame.to i PySpark
• [SPARK-39918] [SQL][MINOR] Ersätt formuleringen "un-comparable" med "incomparable" i felmeddelandet
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder använder fel LiteralValue-datatyp för I predikat
• [SPARK-39862] [SQL] Manuell backport för PR 43654 för DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS för att tillåta/denyALTER TABLE ... Lägg till COLUMN-kommandon separat.
• [SPARK-39844] [SQL] Manuell backport för PR 43652 för DBR 11.x
• [SPARK-39899] [SQL] Korrigera överföring av meddelande parameters till InvalidUDFClassException
• [SPARK-39890] [SQL] Gör till TakeOrderedAndProjectExec ärver AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Stöd för CharType i PySpark
• [SPARK-38864] [SQL] Lägg till unpivot/melt i Dataset
• [SPARK-39864] [SQL] Registrera ExecutionListenerBus lazily
• [SPARK-39808] [SQL] Stöd för aggregerat funktionsLÄGE
• [SPARK-39839] [SQL] Hantera specialfall för null variabel längd Decimal med icke-noll offsetAndSize i UnsafeRow strukturell integritetskontroll
• [SPARK-39875] [SQL] Ändra protected metod i slutklassen till private eller package-visible
• [SPARK-39731] [SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
• [SPARK-39805] [SS] Deprecate Trigger.Once och Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Placera Literal values till höger om datakällans filter efter översättning av Catalyst Expression till datakällans filter
• [SPARK-39672] [SQL][3.1] Åtgärda borttagning av projekt före filter med korrelerad underfråga
• [SPARK-39552] [SQL] Förena v1 och v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] Åtkomst till _metadata på partitionerade table kan krascha en fråga
• [SPARK-39810] [SQL] Catalog.tableExists ska hantera kapslat namnområde
• [SPARK-37287] [SQL] Hämta dynamisk partition och bucketsortering från FileFormatWriter
• [SPARK-39469] [SQL] Härledning av datumtyp för CSVschema
• [SPARK-39148] [SQL] DS V2-aggregeringsoptimering kan fungera med OFFSET eller LIMIT
• [SPARK-39818] [SQL] Åtgärda fel i ARRAY-, STRUCT-, MAP-typer med DEFAULT values med NULL-fält
• [SPARK-39792] [SQL] Lägg till DecimalDivideWithOverflowCheck för decimalgenomsnitt
• [SPARK-39798] [SQL] Replcace toSeq.toArray med .toArray[Any] konstruktor av GenericArrayData
• [SPARK-39759] [SQL] Implementera listIndex i JDBC (H2-dialekt)
• [SPARK-39385] [SQL] Stöd för nedtryckning REGR_AVGX och REGR_AVGY
• [SPARK-39787] [SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
• [SPARK-39760] [PYTHON] Stöd för Varchar i PySpark
• [SPARK-39557] [SQL] Manuell backport till DBR 11.x: Stöd för ARRAY-, STRUCT-, MAP-typer som STANDARD values
• [SPARK-39758] [SQL][3.3] Åtgärda NPE från regexp-funktionerna på ogiltiga mönster
• [SPARK-39749] [SQL] ANSI SQL-läge: Använd oformaterad strängrepresentation vid gjutning av decimaltecken till sträng
• [SPARK-39704] [SQL] Implementera createIndex &dropIndex & indexExists i JDBC (H2-dialekt)
• [SPARK-39803] [SQL] Använd LevenshteinDistance i stället för StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Stöd för TidsstämpelNTZ-typ i JDBC-datakälla
• [SPARK-39781] [SS] Lägg till stöd för att tillhandahålla max_open_files till rocksdb state store-providern
• [SPARK-39719] [R] Implementera databaseExists/getDatabase i SparkR stöder 3L-namnrymd
• [SPARK-39751] [SQL] Byt namn på måttet för hash-aggregerade nyckelavsökningar
• [SPARK-39772] [SQL]-namnområdet ska vara null när databasen är null i de gamla konstruktorerna
• [SPARK-39625] [SPARK-38904][SQL] Lägg till Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilera inbyggda linjära regressionsaggregatfunktioner för JDBC-dialekt
• [SPARK-39720] [R] Implementera tableExists/getTable i SparkR för 3L-namnrymd
• [SPARK-39744] [SQL] REGEXP_INSTR Lägg till funktionen
• [SPARK-39716] [R] Gör currentDatabase/setCurrentDatabase/listCatalogs i SparkR-stöd för 3L-namnrymd
• [SPARK-39788] [SQL] Byt catalogName namn till dialectName för JdbcUtils
• [SPARK-39647] [CORE] Registrera kören med ESS innan du registrerar BlockManager
• [SPARK-39754] [CORE][SQL] Remove oanvända import eller onödiga {}
• [SPARK-39706] [SQL] Set saknas column med standardvärde som konstant i ParquetColumnVector
• [SPARK-39699] [SQL] Gör CollapseProject smartare när det gäller att skapa samlingsuttryck
• [SPARK-39737] [SQL] PERCENTILE_CONT och PERCENTILE_DISC bör ha stöd för aggregeringsfilter
• [SPARK-39579] [SQL][PYTHON][R] Gör ListFunctions/getFunction/functionExists kompatibel med 3-lagers namnområde
• [SPARK-39627] [SQL] JDBC V2-pushdown bör förena kompilerings-API:et
• [SPARK-39748] [SQL][SS] Inkludera den logiska ursprungsplanen för LogicalRDD om den kommer från DataFrame
• [SPARK-39385] [SQL] Översätt linjära regressionsaggregatfunktioner för pushdown
• [SPARK-39695] [SQL] REGEXP_SUBSTR Lägg till funktionen
• [SPARK-39667] [SQL] Lägg till ytterligare en lösning när det inte finns tillräckligt med minne för att skapa och sända table
• [SPARK-39666] [ES-337834][SQL] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
• [SPARK-39643] [SQL] Förbjud underfrågeuttryck i DEFAULT-värde values
• [SPARK-38647] [SQL] Lägg till SupportsReportOrdering-mix i gränssnittet för genomsökning (DataSourceV2)
• [SPARK-39497] [SQL] Förbättra analysundantaget för saknade mappnycklar column
• [SPARK-39661] [SQL] Undvik att skapa onödig SLF4J-loggning
• [SPARK-39713] [SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
• [SPARK-38899] [SQL]DS V2 stöder funktioner för nedtryckningsdatumtid
• [SPARK-39638] [SQL] Ändra så att ConstantColumnVector används för att lagra partitioncolumns i OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Rensa från ColumnVectorUtils
• [SPARK-39231] [SQL] Använd ConstantColumnVector i stället för On/OffHeapColumnVector för att lagra partitioncolumns i VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog bör inte utlösa NoSuchDatabaseException i loadNamspaceMetadata
• [SPARK-39447] [SQL] Undvik AssertionError i AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Omarbeta MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec bör respektera underordnad utdataordning
• [SPARK-39606] [SQL] Använda underordnad statistik för att uppskatta orderoperatorn
• [SPARK-39611] [PYTHON][PS] Åtgärda fel alias i array_ufunc
• [SPARK-39656] [SQL][3.3] Åtgärda fel namnrymd i DescribeNamespaceExec
• [SPARK-39675] [SQL] Växla konfigurationen "spark.sql.codegen.factoryMode" från testsyfte till internt syfte
• [SPARK-39139] [SQL] DS V2 stöder push-nedtryckning av DS V2 UDF
• [SPARK-39434] [SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen
• [SPARK-39479] [SQL] DS V2 stöder push-nedtryckta matematiska funktioner (icke ANSI)
• [SPARK-39618] [SQL] REGEXP_COUNT Lägg till funktionen
• [SPARK-39553] [CORE] Avregistrera blandning med flera trådar bör inte utlösa NPE när du använder Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Lägg till fil för att hantera saknade allmänna pandas-funktioner
• [SPARK-39444] [SQL] Lägg till OptimizeSubqueries i nonExcludableRules list
• [SPARK-39316] [SQL] Sammanfoga PromotePrecision och CheckOverflow till decimal binär aritmetik
• [SPARK-39505] [Användargränssnitt] Escape-logginnehåll renderat i användargränssnittet
• [SPARK-39448] [SQL] Lägg till ReplaceCTERefWithRepartition i nonExcludableRuleslist
• [SPARK-37961] [SQL] Åsidosätt maxRows/maxRowsPerPartition för vissa logiska operatorer
• [SPARK-35223] Återställ Lägg till IssueNavigationLink
• [SPARK-39633] [SQL] Stöd för tidsstämpel i sekunder för TimeTravel med hjälp av dataramsalternativ
• [SPARK-38796] [SQL] Update dokumentation om nummerformatsträngar med funktionerna {try_}to_number
• [SPARK-39650] [SS] Åtgärda felaktigt värde schema i strömmande deduplicering med bibehållen bakåtkompatibilitet
• [SPARK-39636] [CORE][Användargränssnitt] Åtgärda flera buggar i JsonProtocol, vilket påverkar heap StorageLevels och Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Returnera ELEMENT_AT_BY_INDEX_ZERO från element_at(*, 0)
• [SPARK-39349] Lägga till en centraliserad CheckError-metod för QA för felsökväg
• [SPARK-39453] [SQL] DS V2 har stöd för push-nedrullning av icke-aggregerade funktioner (inte ANSI)
• [SPARK-38978] [SQL] DS V2 stödjer nedtrycknings-OFFSET operator
• [SPARK-39567] [SQL] Stöd för ANSI-intervall i percentilfunktionerna
• [SPARK-39383] [SQL] Stöder standard columns i ALTER TABLE ALTER COLUMNS till V2-datakällor
• [SPARK-39396] [SQL] Åtgärda LDAP-inloggningsfelfelkoden 49 – ogiltig credentials
• [SPARK-39548] [SQL] CreateView-kommandot med en window-satsfråga stötte på fel window definition hittades inte
• [SPARK-39575] [AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get i Avr...
• [SPARK-39543] Alternativet DataFrameWriterV2 ska skickas till lagringsegenskaper om återställning till v1
• [SPARK-39564] [SS] Visa informationen om catalogtable till det logiska schemat i en strömningsfråga
• [SPARK-39582] [SQL] Åtgärda markören "Sedan" för array_agg
• [SPARK-39388] [SQL] Återanvänd när orcSchema du trycker ned Orc-predikat
• [SPARK-39511] [SQL] Förbättra push-nedtryckning lokalt limit 1 för höger sida av vänster semi/anti-join om join villkoret är tomt
• [SPARK-38614] [SQL] Driv inte ner limit genom window som använder percent_rank
• [SPARK-39551] [SQL] Lägg till ogiltig AQE-plankontroll
• [SPARK-39383] [SQL] Stöd för DEFAULT columns i ALTER TABLE LÄGG TILL COLUMNS till V2-datakällor
• [SPARK-39538] [SQL] Undvik att skapa onödig SLF4J-loggning
• [SPARK-39383] [SQL] Manuell backport till DBR 11.x: Refaktorstandard column stöd för att hoppa över att skicka den primära analysatorn runt
• [SPARK-39397] [SQL] Koppla från AliasAwareOutputExpression för att stödja alias med uttryck
• [SPARK-39496] [SQL] Hantera null-struct i Inline.eval
• [SPARK-39545] [SQL] Åsidosätt concat metoden för ExpressionSet i Scala 2.13 för att förbättra prestanda
• [SPARK-39340] [SQL] DS v2 agg pushdown bör tillåta punkter i det översta nivåns namn på columns
• [SPARK-39488] [SQL] Förenkla felhanteringen av TempResolvedColumn
• [SPARK-38846] [SQL] Lägg till explicit datamappning mellan Teradata Numerisk typ och Spark DecimalType
• [SPARK-39520] [SQL] Åsidosättningsmetod -- för ExpressionSet i Scala 2.13
• [SPARK-39470] [SQL] Stöd för gjutning av ANSI-intervall till decimaler
• [SPARK-39477] [SQL] Remove "Antal frågor" från de gyllene filerna i SQLQueryTestSuite
• [SPARK-39419] [SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
• [SPARK-39061] [SQL] Set nullbar korrekt för Inline utdataattribut
• [SPARK-39320] [SQL] Stöd för aggregeringsfunktion MEDIAN
• [SPARK-39261] [CORE] Förbättra ny formatering för felmeddelanden
• [SPARK-39355] [SQL] Enkel column använder citattecken för att konstruera UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE ska redigera egenskaper
• [SPARK-37623] [SQL] Stöd för ANSI-mängdfunktion: regr_intercept
• [SPARK-39374] [SQL] Förbättra felmeddelandet för användare som anges columnlist
• [SPARK-39255] [SQL][3.3] Förbättra felmeddelanden
• [SPARK-39321] [SQL] Omstrukturera TryCast för att använda RuntimeReplaceable
• [SPARK-39406] [PYTHON] Acceptera NumPy-matris i createDataFrame
• [SPARK-39267] [SQL] Rensa dsl onödig symbol
• [SPARK-39171] [SQL] Förena cast-uttrycket
• [SPARK-28330] [SQL] Har stöd för ANSI SQL: resultat offset-sats i frågeuttryck
• [SPARK-39203] [SQL] Skriv om table plats till absolut URI baserat på databas-URI
• [SPARK-39313] [SQL] toCatalystOrdering bör misslyckas om V2Expression inte kan översättas
• [SPARK-39301] [SQL][PYTHON] Utnyttja LocalRelation och respektera pilbatchstorlek i createDataFrame med piloptimering
• [SPARK-39400] [SQL] spark-sql bör remove hive-resursdir i samtliga fall

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 11.1.

Systemmiljö

• Operativsystem: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta lake: 1.2.1

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-08-15.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)