Databricks Runtime 12.2 LTS

Följande viktig information innehåller information om Databricks Runtime 12.2 LTS, som drivs av Apache Spark 3.3.2.

Databricks släppte den här versionen i mars 2023.

Förändringar i beteende

[Icke-bakåtkompatibel ändring] Ny Python-version kräver uppdatering av Databricks Connect V1 Python-klienter

För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19. Eftersom dessa ändringar kan orsaka fel i klienter som använder specifika PySpark-funktioner måste alla klienter som använder Databricks Connect V1 för Python med Databricks Runtime 12.2 LTS uppdateras till Python 3.9.7 eller senare.

Nya funktioner och förbättringar

• Python har uppgraderats från 3.9.19 till 3.9.21
• Delta Lake-schemautveckling har stöd för att ange källkolumner i kopplingsinstruktioner
• Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst
• Nya funktioner för förutsägande I/O
• stöd för implicit lateral kolumnalias
• Ny forEachBatch-funktion
• Standardiserade anslutningsalternativ för frågefederation
• Utökat SQL-funktionsbibliotek för matrishantering
• Ny maskfunktion för att anonymisera strängar
• Vanliga felvillkor returnerar nu SQLSTATEs
• Anropa generatorfunktioner i FROM-satsen
• Stöd för protokollbuffertar är allmänt tillgängligt
• Gå till definition för notebook-variabler och funktioner
• Snabbkorrigering för notebook-filer för automatisk import av bibliotek
• Felkorrigeringar

Python har uppgraderats från 3.9.19 till 3.9.21

Python-versionen i Databricks Runtime 12.2 LTS uppdateras från 3.9.19 till 3.9.21.

Delta Lake-schemautveckling har stöd för att ange källkolumner i sammanslagningsinstruktioner

Nu kan du ange kolumner som bara finns i källtabellen i infoga eller uppdatera åtgärder för kopplingsinstruktioner när schemautveckling är aktiverat. I Databricks Runtime 12.1 och nedan kan endast INSERT * eller UPDATE SET * åtgärder användas för schemautveckling med sammanslagning. Se Automatisk schemautveckling för Delta Lake-sammanslagning.

Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst

Nu kan du använda Structured Streaming för att interagera med Unity Catalog vid beräkning med standardåtkomstläge. Vissa begränsningar gäller. Se Vilka funktioner för strukturerad direktuppspelning stöder Unity Catalog?.

Nya funktioner för förutsägande I/O

Photon-stöd för Foreachbatch mottagaren är nu tillgängligt. Arbetsbelastningar som strömmas från en källa och sammanfogas till deltatabeller eller skrivs till flera mottagare kan nu dra nytta av photonized Foreachbatch-sink.

Stöd för implicit lateral kolumnaliasing

Azure Databricks stöder nu implicit lateral kolumnalias som standard. Du kan nu återanvända ett uttryck som angavs tidigare i samma SELECT lista. Till exempel, givet SELECT 1 AS a, a + 1 AS bakan in a + 1 matchas som den tidigare definierade 1 AS a. Kontrollera Namnmatchning för mer information i matchningsordning. Om du vill inaktivera den här funktionen kan du ange spark.sql.lateralColumnAlias.enableImplicitResolution till false.

Ny forEachBatch-funktion

Foton stöds nu när du använder foreachBatch för att skriva till en datamottagare.

Standardiserade anslutningsalternativ för frågefederation

Nu kan du använda en enhetlig uppsättning alternativ (värd, port, databas, användare, lösenord)för att ansluta till datakällor som stöds i Frågefederation. Port är valfritt och använder standardportnumret för varje datakälla, om det inte anges.

Utökat SQL-funktionsbibliotek för matrishantering

Nu kan du ta bort alla NULL-element från en matris med hjälp av array_compact. Om du vill lägga till element i en matris använder du array_append.

Ny maskfunktion för att anonymisera strängar

Anropa funktionen mask för att anonymisera känsliga strängvärden.

Vanliga felvillkor returnerar nu SQLSTATEs

De flesta feltillstånd som Databricks Runtime nu innehåller dokumenterade SQLSTATE- värden som kan användas för att testa fel på ett sql-standardkompatibelt sätt.

Anropa generatorfunktioner i FROM-satsen

Nu kan du anropa tabellvärdesgeneratorfunktioner, till exempel explode, i den vanliga FROM-klausulen i en fråga. Detta justerar generatorfunktionens anrop med andra inbyggda och användardefinierade tabellfunktioner.

Stöd för protokollbuffertar är allmänt tillgängligt

Du kan använda from_protobuf funktionerna och to_protobuf för att utbyta data mellan binära och struct-typer. Se Läsa och skriva protokollbuffertar.

Gå till definition för notebook-variabler och funktioner

I notebook-filer kan du snabbt gå till definitionen av en variabel, funktion eller koden bakom en %run instruktion genom att högerklicka på variabeln eller funktionsnamnet.

Snabbkorrigering för notebook-filer för automatisk import av bibliotek

Databricks Notebooks erbjuder nu en snabbkorrigeringsfunktion för automatisk import av bibliotek. Om du glömmer att importera ett bibliotek som Pandas hovrar du över den understrukna syntaxvarningen och klickar sedan på Snabbkorrigering. Den här funktionen kräver att Databricks Assistant är aktiverat på din arbetsyta.

Felkorrigeringar

• Förbättrad konsekvens för Delta-incheckningsbeteende för tomma transaktioner relaterade till updatekommandona , deleteoch merge . På WriteSerializable isoleringsnivå skapar kommandon som inte resulterar i några ändringar nu en tom incheckning. På isoleringsnivå Serializable skapar sådana tomma transaktioner nu ingen incheckning.

Funktionalitetsförändringar

Beteendeändringar med den nya laterala kolumnaliasfunktionen

Den nya laterala kolumnaliasfunktionen introducerar beteendeändringar för följande fall under namnmatchning:

• Alias för lateral kolumn har nu företräde framför korrelerade referenser med samma namn. För den här frågan SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)löstes till exempel c1 i den inre c1 AS c2 till den korrelerade referensen t.c1, men ändras nu till lateral kolumnalias 1 AS c1. Frågan returnerar NULLnu .
• Alias för lateral kolumn har nu företräde framför funktionsparametrar med samma namn. För funktionen CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xlöstes till exempel x i funktionstexten till funktionsparametern x, men ändras till lateralt kolumnalias x + 1 i funktionstexten. Frågan SELECT * FROM func(1) returnerar 2, 2nu .
• Om du vill inaktivera aliasfunktionen för laterala kolumner anger du spark.sql.lateralColumnAlias.enableImplicitResolution till false. Mer information finns i Namnmatchning.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.8.2 till 3.9.0
  • joblib från 1.1.0 till 1.1.1
  • platformdirs från 2.6.0 till 2.6.2
  • whatthepatch från 1.0.3 till 1.0.4
• Uppgraderade R-bibliotek:
  • klass från 7.3-20 till 7.3-21
  • codetools från 0.2-18 till 0.2-19
  • MASS från 7,3-58 till 7,3-58,2
  • nlme från 3.1-160 till 3.1-162
  • Rserve från 1.8-11 till 1.8-12
  • SparkR från 3.3.1 till 3.3.2

Beteendeändringar

• Användarna måste nu ha SELECT och MODIFY behörigheter för alla filer när de skapar ett schema med en definierad plats.

Apache Spark

Databricks Runtime 12.2 innehåller Apache Spark 3.3.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 12.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-42416] [SC-123205][sc-122851][SQL] Dateset-åtgärder bör inte lösa den analyserade logiska planen igen
• [SPARK-41848] Återställ "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Åtgärda uppgiften överplanerad med TaskResourceProfile"
• [SPARK-42162] [SC-122711][es-556261] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Åtgärda rekursiv djupinställning för Protobuf-funktioner
• [SPARK-42002] [SC-122476][connect][PYTHON] Implementera DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Byt namn på _catalog_to_pandas till _execute_and_fetch i Catalog
• [SPARK-41490] [SC-121774][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implementera Catalog.cacheTable, isCached och uncache
• [SPARK-42191] [SC-121990][sql] Stöd för UDF 'luhn_check'
• [SPARK-42253] [SC-121976][python] Lägg till test för att identifiera duplicerad felklass
• [SPARK-42268] [SC-122251][connect][PYTHON] Lägg till UserDefinedType i protos
• [SPARK-42231] [SC-121841][sql] Omvandla MISSING_STATIC_PARTITION_COLUMN till internalError
• [SPARK-42136] [SC-122554] Refaktorutdatapartitioneringsberäkning för BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][sql] Integrera _LEGACY_ERROR_TEMP_1003 i FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Migrera TypeError från pyspark/sql/dataframe.py till PySparkTypeError
• [SPARK-35240] Revert "[SC-118242][ss] Use CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1176 (och 1177)
• [SPARK-42232] [SC-122267][sql] Byt namn på felklass: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor
• [SPARK-42306] [SC-122539][sql] Integrera _LEGACY_ERROR_TEMP_1317 i UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Byt namn på felklass: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Ignorera IOException i handleBlockRemovalFailure om SparkContext stoppas
• [SPARK-41295] [SC-122442][spark-41296][SQL] Byt namn på felklasserna
• [SPARK-42320] [SC-122478][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][connect] SparkConnectClient stöder nu retryPolicies
• [SPARK-38728] [SC-116723][sql] Testa felklassen: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Fristående exempel i PySpark
• [SPARK-39347] [SC-122457][ss] Felkorrigering för tidsfönsterberäkning när händelsetiden < 0
• [SPARK-42336] [SC-122458][core] Använd getOrElse() i stället för contains() i ResourceAllocator
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF i Spark Connect
• [SPARK-42217] [SC-122263][sql] Stöder implicit lateralt kolumnalias i frågor med Window
• [SPARK-35240] [SC-118242][ss] Använd CheckpointFileManager för kontrollpunktsfilmanipulering
• [SPARK-42294] [SC-122337][sql] Inkludera kolumnstandardvärden i DESCRIBE-utdata för V2-tabeller
• [SPARK-41979] Återställ "Återställ "[12.x][sc-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser.""
• [SPARK-42286] [SC-122336][sql] Återställning till tidigare kodväg för kodgenerering för komplexa uttryck med CAST
• [SPARK-42275] [SC-122249][connect][PYTHON] Undvik att använda inbyggd lista, dikta vid statisk typning
• [SPARK-41985] [SC-122172][sql] Centralisera fler regler för kolumnmatchning
• [SPARK-42126] [SC-122330][python][CONNECT] Acceptera returtyp i DDL-strängar för Python Scalar UDFs i Spark Connect
• [SPARK-42197] [SC-122328][sc-121514][CONNECT] Återanvänder JVM-initiering och separata konfigurationsgrupper som ska anges i fjärrlokalt läge
• [SPARK-41575] [SC-120118][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Återställ "[SC-122172][sql] Centralisera fler kolumnmatchningsregler"
• [SPARK-42123] [SC-122234][sc-121453][SQL] Inkludera kolumnstandardvärden i DESCRIBE och SHOW CREATE TABLE utdata
• [SPARK-41985] [SC-122172][sql] Centralisera fler regler för kolumnmatchning
• [SPARK-42284] [SC-122233][connect] Kontrollera att anslutningsserversammansättningen har skapats innan du kör klienttester – SBT
• [SPARK-42239] [SC-121790][sql] Integrera MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] DS V2-pushdown stöder stöd för JDBC-dialekter som kompileras SortOrder själva
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics bör ta hand om Python UDAF
• [SPARK-41979] Återställ "[12.x][sc-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser."
• [SPARK-42224] [12.x][sc-121708][CONNECT] Migrera TypeError till felramverket för Spark Connect-funktioner
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migrera Spark Connect-felen till PySpark-felramverket.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Lägg till inbyggda tabellvärdesfunktioner för inbäddad och inbäddad_yttre
• [SPARK-41489] [SC-121713][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introducera PySparkValueError och PySparkTypeError
• [SPARK-42081] [SC-121723][sql] Förbättra valideringen av planändring
• [SPARK-42225] [12.x][sc-121714][CONNECT] Lägg till SparkConnectIllegalArgumentException för att hantera Spark Connect-fel exakt.
• [SPARK-42044] [12.x][sc-121280][SQL] Åtgärda felaktiga felmeddelanden för MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Tillåt kolumnparametern när du skapar DataFrame med serier.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Migrera fel som utlöses av JVM till PySparkException.
• [SPARK-42133] [12.x][sc-121250] Lägg till grundläggande Dataset API-metoder i SparkConnect Scala-klienten
• [SPARK-41979] [12.x][sc-121190][SQL] Lägg till saknade punkter i felmeddelanden inom felklasser.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF i Spark Connect
• [SPARK-42051] [SC-121994][sql] Codegen Support for HiveGenericUDF
• [SPARK-42257] [SC-121948][core] Ta bort oanvänd variabel extern sortering
• [SPARK-41735] [SC-121771][sql] Använd MINIMAL i stället för STANDARD för SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][sql] Förfina NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Förbättra felmeddelandet för PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Migrera SparkCoreErrors till felklasser
• [SPARK-42163] [SC-121839][sql] Korrigera schemarensning för icke-vikbar matrisindex eller kartnyckel
• [SPARK-40711] [SC-119990][sql] Lägg till mått för spillstorlek för fönster
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Gör createDataFrame stöd AtomicType -> StringType tvång
• [SPARK-42202] [SC-121837][connect][Test] Förbättra stopplogik för E2E-testservern
• [SPARK-41167] [SC-117425][sql] Förbättra multiliknande prestanda genom att skapa ett balanserat uttrycksträdspredikat
• [SPARK-41931] [SC-121618][sql] Bättre felmeddelande för ofullständig komplex typdefinition
• [SPARK-36124] [SC-121339][sc-110446][SQL] Stöd för underfrågor med korrelation via UNION
• [SPARK-42090] [SC-121290][3.3] Introducera antal sasl-återförsök i RetryingBlockTransferor
• [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR bör tillhandahålla FAIR-schemaläggare
• [SPARK-41572] [SC-120772][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][sql] Byt namn på & förbättra felmeddelandet för NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Förbättra felmeddelandet för INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] Tilldela SQLSTATE(1/2)
• [SPARK-41415] [SC-121117][3.3] SASL-begärandeförsök
• [SPARK-38591] [SC-121018][sql] Lägg till flatMapSortedGroups och cogroupSorted
• [SPARK-41975] [SC-120767][sql] Förbättra felmeddelandet för INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Lägg till alternativ som saknas för Protobuf-funktioner
• [SPARK-41984] [SC-120769][sql] Byt namn på & förbättra felmeddelandet för RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Åtgärda NPE för felklasser: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Åtgärda felaktigt kolumnnamn i withField's doctest
• [SPARK-41283] [SC-121175][connect][PYTHON] Lägg till array_append till Connect
• [SPARK-41960] [SC-120773][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][sql] Fix getPartitionFiltersAndDataFilters() för att hantera filter utan refererade attribut
• [SPARK-42096] [SC-121012][connect] Viss kodrensning för connect modul
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Fix count(*) and count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL-läge: Round/Bround bör returnera ett fel vid heltalsöverflöd
• [SPARK-42043] [SC-120968][anslutning] Scala-klientresultat med E2E-tester
• [SPARK-41884] [SC-121022][connect] Support naiv tupl som en inbäddad rad
• [SPARK-42112] [SC-121011][sql][SS] Lägg till null-kontroll innan ContinuousWriteRDD#compute funktion stängs dataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Literal bör utlösa TypeError för DataType som inte stöds
• [SPARK-42108] [SC-120898][sql] Gör Analyzer transformera Count(*) till Count(1)
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Stöd för parameteriserad SQL med sql()
• [SPARK-40599] [SC-120930][sql] Justera multiTransform-regeltypen så att alternativ kan vara av vilken typ som helst av Seq
• [SPARK-41574] [SC-120771][sql] Uppdatera _LEGACY_ERROR_TEMP_2009 som INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][sql] Omvandla INCORRECT_END_OFFSET till INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] Byt namn på MedianHeap till PercentileMap och stöd percentil
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Fixa strängrepresentation för Column-klass
• [SPARK-42084] [SC-120775][sql] Undvik att läcka begränsningen endast för kvalificerad åtkomst
• [SPARK-41973] [SC-120765][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][sql] SPJ: Ta bort alternativ i KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][connect][PYTHON] Byt namn på proto-meddelanden för toDF och withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Åtgärda problem med variabelnamn i kapslade lambda-funktioner
• [SPARK-41982] [SC-120604][sql] Partitioner av typen sträng bör inte behandlas som numeriska typer
• [SPARK-40599] [SC-120620][sql] Lägg till multiTransform-metoder i TreeNode för att generera alternativ
• [SPARK-42085] [SC-120556][connect][PYTHON] Gör så att from_arrow_schema har stöd för kapslade typer
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Åtgärda hur undantaget hanteras i felrapportering.
• [SPARK-41586] [12.x][alla tester][SC-120544][python] Introducera pyspark.errors- och felklasser för PySpark.
• [SPARK-41903] [SC-120543][connect][PYTHON] Literal bör ha stöd för 1-dim ndarray
• [SPARK-42021] [SC-120584][connect][PYTHON] Ge createDataFrame stöd array.array
• [SPARK-41896] [SC-120506][sql] Filtrering efter radindex returnerar tomma resultat
• [SPARK-41162] [SC-119742][sql] Fix anti- och semi-join för självkoppling med aggregeringar
• [SPARK-41961] [SC-120501][sql] Stöd för tabellvärdesfunktioner med LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Gruppera kapslade körningar under rotkörningen
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal bör stödja Numpy-datatyper
• [SPARK-42028] [SC-120344][connect][PYTHON] Trunkera tidsstämplar till nanosekunder
• [SPARK-42011] [SC-120534][connect][PYTHON] Implementera DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Använd FieldReference.column i stället för apply i V1 till V2 filterkonvertering
• [SPARK-39217] [SC-120446][sql] Gör att DPP stöder beskärningssidan med Union
• [SPARK-42076] [SC-120551][connect][PYTHON] Konvertering av faktordata arrow -> rows ut till conversion.py
• [SPARK-42074] [SC-120540][sql] Aktivera KryoSerializer i TPCDSQueryBenchmark för att framtvinga SQL-klassregistrering
• [SPARK-42012] [SC-120517][connect][PYTHON] Implementera DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Åtgärda DataFrame.unionByName, lägg till allow_missing_columns
• [SPARK-38651] [SC-120514] [SQL] Addera spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert bör acceptera ExpressionProxy som barn
• [SPARK-41232] [SC-120073][sql][PYTHON] Lägga till funktionen array_append
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader bör stödja en lista över sökvägar
• [SPARK-42071] [SC-120533][core] Registrera scala.math.Ordering$Reverse till KyroSerializer
• [SPARK-41986] [SC-120429][sql] Introducera shuffle på SinglePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Aktivera tester relaterade till den kapslade kolumnen
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader bör ha stöd för StructType-schema
• [SPARK-42031] [SC-120389][core][SQL] Rensa remove metoder som inte behöver åsidosättas
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Gör createDataFrame(rows/lists/tuples/dicts) stöd för kapslade typer
• [SPARK-41437] [SC-117601][sql][ALLA TESTER] Optimera inte indatafrågan två gånger för tillbakaskrivning av v1
• [SPARK-41840] [SC-119719][connect][PYTHON] Lägg till det saknade aliaset groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Aktivera dokumenttest för fönsterfunktioner
• [SPARK-41914] [SC-120094][sql] FileFormatWriter materialiserar AQE-planen innan du kommer åt outputOrdering
• [SPARK-41805] [SC-119992][sql] Återanvända uttryck i WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range för att ta flyttal som argument
• [SPARK-42029] [SC-120336][connect] Lägg till Guava Shading-regler i connect-common för att undvika startfel
• [SPARK-41989] [SC-120334][python] Undvik att bryta loggningskonfigurationen från pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Minska duplicerad kod i ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Åtgärda grupp efter all felrapportering
• [SPARK-41047] [SC-120291][sql] Förbättra dokumentation för avrundning
• [SPARK-41822] [SC-120122][connect] Konfigurera gRPC-anslutning för Scala/JVM-klienten
• [SPARK-41879] [SC-120264][connect][PYTHON] Gör DataFrame.collect stöd för kapslade typer
• [SPARK-41887] [SC-120268][connect][PYTHON] Gör DataFrame.hint acceptera en lista med angiven parameter
• [SPARK-41964] [SC-120210][connect][PYTHON] Lägg till listan över I/O-funktioner som inte stöds
• [SPARK-41595] [SC-120097][sql] Stöd för generatorfunktionen explode/explode_outer i FROM-klausulen
• [SPARK-41957] [SC-120121][connect][PYTHON] Aktivera doctest för DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect doctest-utdata har olika ordning
• [SPARK-41442] [SC-117795][sql][ALLA TESTER] Uppdatera endast SQLMetric-värdet om sammanslagning med giltig metrik
• [SPARK-41944] [SC-120046][connect] Skicka konfigurationer när lokalt fjärrläge är på
• [SPARK-41708] [SC-119838][sql] Hämta v1write-information till WriteFiles
• [SPARK-41780] [SC-120000][sql] Bör kasta INVALID_PARAMETER_VALUE.PATTERN när parametern regexp är ogiltig
• [SPARK-41889] [SC-119975][sql] Koppla rotorsak till invalidPatternError & omstrukturera fel-klasser INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][sql] Gör AvroScanBuilder och JsonScanBuilder fallklasser
• [SPARK-41945] [SC-120010][connect][PYTHON] Python: connect-klienten förlorade kolumndata med pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Agnostiska kodare
• [SPARK-41354] [SC-119995][connect][PYTHON] Implementera RepartitionByExpression
• [SPARK-41581] [SC-119997][sql] Uppdatera _LEGACY_ERROR_TEMP_1230 som INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Lägg till listan som inte stöds för functions
• [SPARK-41933] [SC-119980][connect] Ange lokalt läge som startar servern automatiskt
• [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame" bör respektera användarens DDL-schema
• [SPARK-41936] [SC-119978][connect][PYTHON] Gör withMetadata återanvända withColumns proto
• [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween, Window.rangeBetween parametertypkontroll jämställdhet med pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Lägg till listan som inte stöds för catalog funktioner
• [SPARK-41924] [SC-119946][connect][PYTHON] Gör StructType till stöd för metadata och implementera DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Lägg till funktionslistan som inte stöds för session
• [SPARK-41875] [SC-119969][connect][PYTHON] Lägg till testfall för Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Ingore dokumentet för att förklara anslutningen
• [SPARK-41880] [SC-119959][connect][PYTHON] Gör så att funktionen from_json accepterar icke-literal schema
• [SPARK-41927] [SC-119952][connect][PYTHON] Lägg till listan som inte stöds för GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Lägg till funktion array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] Gör att GroupBy kan acceptera en kolumnlista
• [SPARK-41925] [SC-119905][sql] Aktivera spark.sql.orc.enableNestedColumnVectorizedReader som standard
• [SPARK-41831] [SC-119853][connect][PYTHON] Gör DataFrame.select acceptera kolumnlistan
• [SPARK-41455] [SC-119858][connect][PYTHON] Gör DataFrame.collect ta bort tidszonsinformationen
• [SPARK-41923] [SC-119861][connect][PYTHON] Lägg till DataFrame.writeTo i listan som inte stöds
• [SPARK-41912] [SC-119837][sql] Subquery bör inte verifiera CTE
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Gör createDataFrame stöd för tom dataram
• [SPARK-41905] [SC-119848][connect] Stöd för namn som strängar i delmängder
• [SPARK-41869] [SC-119845][connect] Avvisa enskild sträng i dropDuplicates
• [SPARK-41830] [SC-119840][connect][PYTHON] Gör DataFrame.sample acceptera samma parametrar som PySpark
• [SPARK-41849] [SC-119835][connect] Implementera DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Gör att v2 ScanBuilders' build() returnerar en typad genomsökning
• [SPARK-41825] [SC-119710][connect][PYTHON] Aktivera dokumenttest relaterade till DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Gör createDataFrame hantera None/NaN korrekt
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Se till att DataFrame.collect hanterar None/NaN/Array/Binary korrekt
• [SPARK-39318] [SC-119713][sql] Ta bort tpch-plan-stabilitet WithStats gyllene filer
• [SPARK-41791] [SC-119745] Lägg till nya kolumntyper för filkällans metadata
• [SPARK-41790] [SC-119729][sql] Ange TRANSFORM-läsarens och skrivarens format korrekt
• [SPARK-41829] [SC-119725][connect][PYTHON] Lägg till den saknade ordningsparametern i Sort och sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][connect][PYTHON] Åtgärda dokumenttest för DataFrame.describe
• [SPARK-41871] [SC-119714][connect] DataFrame hint parameter kan vara str, float eller int
• [SPARK-41720] [SC-119076][sql] Byt namn på UnresolvedFunc till UnresolvedFunctionName
• [SPARK-41573] [SC-119567][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][sql] Åtgärda korrekthetsfel relaterade till standardvärden i Orc-läsare
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Återanvänd INVALID_TYPED_LITERAL i stället för _LEGACY_ERROR_TEMP_0022

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.2.

Systemmiljö

• Operativsystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.21
• R: 4.2.2
• Delta lake: 2.2.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-11-11. Ögonblicksbilden är inte längre tillgänglig.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)