Databricks Runtime 12.1 (EoS)

Följande viktig information innehåller information om Databricks Runtime 12.1 som drivs av Apache Spark 3.3.1.

Databricks släppte den här versionen i januari 2023.

Nya funktioner och förbättringar

• Delta Lake table funktioner som stöds för protokollhantering
• Förutsägande I/O för uppdateringar finns i offentlig förhandsversion
• Catalog Explorer är nu tillgängligt för alla personer
• Stöd för flera tillståndskänsliga operatorer i en enda strömningsfråga
• Stöd för protokollbuffertar finns i offentlig förhandsversion
• Stöd för Confluent Schema Registry-autentisering
• Stöd för delning av table-historik med Delta Sharing shares
• Stöd för strömning med Delta Sharing shares
• Table version med tidsstämpel stöds nu för Delta Sharing tables i catalogs
• stöd för NÄR DET INTE MATCHAS AV KÄLLA för MERGE INTO
• optimerad statistiksamling för CONVERT TO DELTA
• Unity Catalog stöd för att avdroppa tables

Delta Lake table funktioner som stöds för protokollhantering

Azure Databricks har introducerat stöd för Delta Lake table-funktioner, som introducerar detaljerade flaggor som anger vilka funktioner som stöds av en viss table. Se Hur hanterar Azure Databricks funktionskompatibilitet med Delta Lake?.

Förutsägande I/O för uppdateringar finns i offentlig förhandsversion

Förutsägande I/O påskyndar nu DELETE-, MERGE- och UPDATE-operationer för Delta tables med aktiverade borttagningsvektorer på Photon-aktiverade beräkningar. Se Vad är förutsägande I/O?.

Catalog Explorer är nu tillgängligt för alla personer

Catalog Explorer är nu tillgängligt för alla Azure Databricks-personer när du använder Databricks Runtime 7.3 LTS och senare.

Stöd för flera tillståndskänsliga operatorer i en enda strömningsfråga

Användare kan nu länka tillståndskänsliga operatorer med tilläggsläge i strömningsfrågan. Alla operatorer stöds inte fullt ut. Tidsintervall för strömström join och flatMapGroupsWithState tillåter inte att andra tillståndskänsliga operatorer kopplas samman.

Stöd för protokollbuffertar finns i offentlig förhandsversion

Du kan använda from_protobuf funktionerna och to_protobuf för att utbyta data mellan binära och struct-typer. Se Läsa och skriva protokollbuffertar.

Stöd för Confluent Schema Registry-autentisering

Azure Databricks-integrering med Confluent Schema Registry stöder nu externa schema registeradresser med autentisering. Den här funktionen är tillgänglig för from_avrofunktionerna , to_avro, from_protobufoch to_protobuf . Se Protobuf eller Avro.

Stöd för att dela table-historik med Delta Sharing shares

Nu kan du dela en table med fullständig historik med Delta Sharing, så att recipients kan utföra frågor om tidigare versioner och göra förfrågningar mot table med hjälp av Spark Structured Streaming. WITH HISTORY rekommenderas i stället för CHANGE DATA FEED, även om det senare fortsätter att stödjas. Se ALTER SHARE och Lägg till tables till en andel.

Stöd för strömning med Delta Sharing shares

Spark Structured Streaming fungerar nu med formatet deltasharing på en Delta Sharing-källa table som delats med WITH HISTORY.

Table version som använder tidsstämpel nu stöds för Delta Sharing tables i catalogs

Du kan nu använda SQL-syntaxen TIMESTAMP AS OF i SELECT-instruktioner för att ange versionen av en Delta Sharing-table som är monterad i en catalog. Tables måste delas med hjälp av WITH HISTORY.

Stöd för "WHEN NOT MATCHED BY SOURCE" för MERGE INTO

Du kan nu lägga till WHEN NOT MATCHED BY SOURCE-satser i MERGE INTO till update eller ta bort rader från den valda table som saknar matchningar i käll-table baserat på kopplingsvillkoret. Den nya satsen är tillgänglig i SQL, Python, Scala och Java. Se MERGE INTO.

Optimerad statistikinsamling för CONVERT TO DELTA

Statistikinsamlingen för åtgärden CONVERT TO DELTA är nu mycket snabbare. Detta minskar antalet arbetsbelastningar som kan användas NO STATISTICS för effektivitet.

Unity Catalog stöd för att avdroppa tables

Den här funktionen släpptes ursprungligen i offentlig förhandsversion. Det är GA från och med 25 oktober 2023.

Du kan nu återställa en borttagen hanterad eller extern table i en befintlig schema inom sju dagar efter borttagningen. Se UNDROP TABLE och SHOW TABLES DROPPED.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.8.0 till 3.8.2
  • platformdirs från 2.5.4 till 2.6.0
  • setuptools från 58.0.4 till 61.2.0
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • io.delta.delta-sharing-spark_2.12 från 0.5.2 till 0.6.2
  • org.apache.hive.hive-storage-api från 2.7.2 till 2.8.1
  • org.apache.parquet.parquet-column från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson från 1.12.3-databricks-0001 till 1.12.3-databricks-0002
  • org.tukaani.xz från 1.8 till 1.9

Apache Spark

Databricks Runtime 12.1 innehåller Apache Spark 3.3.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 12.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-41405] [SC-119769][12.1.0] Återställ "[SC-119411][SQL] Centralisera logiken för column upplösning" och "[SC-117170][SPARK-41338][SQL] Lös yttre referenser och normal columns i samma analysbatch"
• [SPARK-41405] [SC-119411][SQL] Centralisera logiken för column upplösning
• [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand bör set överskrivningsflaggan korrekt
• [SPARK-41659] [SC-119526][ANSLUT][12.X] Aktivera dokumenttest i pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][SQL] Åtgärda ORC-läsares perf-regression på grund av standardvärdefunktionen
• [SPARK-41807] [SC-119399][CORE] Remove icke-existerande felklass: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][SC-119273][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][CONNECT] Härled namn från en list ordlistor i SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][SPARK-41705][ANSLUT][12.X] Flytta Dokumentation och skript för Spark Connect till utvecklings- och Python-dokumentation
• [SPARK-41534] [SC-119456][ANSLUT][SQL][12.x] Konfigurera den första klientmodulen för Spark Connect
• [SPARK-41365] [SC-118498][Användargränssnitt][3.3] Sidan Faser i användargränssnittet kan inte läsas in för proxy i en specifik yarnmiljö
• [SPARK-41481] [SC-118150][CORE][SQL] Återanvänd i INVALID_TYPED_LITERAL stället för _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][SQL] Gå tillbaka till tillståndskänslig uttryckshantering
• [SPARK-41726] [SC-119248][SQL] RemoveOptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][SC-118348][SQL] Stöd för parameteriserade SQL-frågor av sql()
• [SPARK-41066] [SC-119344][ANSLUT][PYTHON] Implementera DataFrame.sampleBy och DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][SC-119012][SQL][ALLA TESTER] Hämta v1-skrivning till WriteFiles
• [SPARK-41565] [SC-118868][SQL] Lägg till felklassen UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][SQL] FUNKTIONEN DECODE returnerar fel resultat när den skickas till NULL
• [SPARK-41554] [SC-119274] korrigerar ändring av decimalskala när skalan minskade med m...
• [SPARK-41065] [SC-119324][ANSLUT][PYTHON] Implementera DataFrame.freqItems och DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] Återaktivera dokumenttester och lägga till saknad column alias till count()
• [SPARK-41069] [SC-119310][ANSLUT][PYTHON] Implementera DataFrame.approxQuantile och DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][CONNECT][PYTHON] Gör funktionen from_json stöder DataType Schema
• [SPARK-41804] [SC-119382][SQL] Välj rätt elementstorlek i InterpretedUnsafeProjection för matrisen med UDT
• [SPARK-41786] [SC-119308][ANSLUT][PYTHON] Deduplicera hjälpfunktioner
• [SPARK-41745] [SC-119378][SPARK-41789][12.X] Gör createDataFrame stöder list för rader
• [SPARK-41344] [SC-119217][SQL] Gör felet tydligare när table inte hittas i SupportsCatalogOptions catalog
• [SPARK-41803] [SC-119380][ANSLUT][PYTHON] Lägg till funktion som saknas log(arg1, arg2)
• [SPARK-41808] [SC-119356][ANSLUT][PYTHON] Skapa stödalternativ för JSON-funktioner
• [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON] Använd __getitem__ för att stötta filter och select
• [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] Låt column op stöder None
• [SPARK-41440] [SC-119279][ANSLUT][PYTHON] Undvik cacheoperatorn för allmänt exempel.
• [SPARK-41785] [SC-119290][ANSLUT][PYTHON] Implementera GroupedData.mean
• [SPARK-41629] [SC-119276][ANSLUT] Stöd för protokolltillägg i relation och uttryck
• [SPARK-41417] [SC-118000][CORE][SQL] Byt _LEGACY_ERROR_TEMP_0019 namn till INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][ANSLUT][12.X] Korrekt felhantering för Spark Connect Server/Klient
• [SPARK-41292] [SC-119357][CONNECT][12.X] Support Window i pyspark.sql.window namnområde
• [SPARK-41493] [SC-119339][ANSLUT][PYTHON] Skapa stödalternativ för csv-funktioner
• [SPARK-39591] [SC-118675][SS] Asynkron förloppsspårning
• [SPARK-41767] [SC-119337][ANSLUT][PYTHON][12.X] Implementera Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][ANSLUT][PYTHON] Implementera DataFrame.stat.corr
• [SPARK-41655] [SC-119323][CONNECT][12.X] Aktivera dokumenttest i pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][ANSLUT] Blanda ClientId i SparkSession-cache
• [SPARK-41354] [SC-119194][ANSLUT] Lägg till RepartitionByExpression i proto
• [SPARK-41784] [SC-119289][CONNECT][PYTHON] Lägg till saknade __rmod__ i Column
• [SPARK-41778] [SC-119262][SQL] Lägga till ett alias "reduce" i ArrayAggregate
• [SPARK-41067] [SC-119171][ANSLUT][PYTHON] Implementera DataFrame.stat.cov
• [SPARK-41764] [SC-119216][ANSLUT][PYTHON] Gör det interna sträng op-namnet konsekvent med FunctionRegistry
• [SPARK-41734] [SC-119160][CONNECT] Lägg till ett överordnat meddelande för Catalog
• [SPARK-41742] [SC-119263] Stöd för df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][ANSLUT][PYTHON] Åtgärda aritmetiska ops: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][SQL] Byt UNSUPPORTED_CORRELATED_REFERENCE namn till CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][ANSLUT][PYTHON] Reparera Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][ANSLUT][PYTHON][12.X] Implementera unwrap_udt funktion
• [SPARK-41333] [SC-119195][SPARK-41737] Implementera GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][ANSLUT][PYTHON] Reparera Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][SQL] Stöder implicit lateral column aliasmatchning på mängd
• [SPARK-41529] [SC-119207][ANSLUT][12.X] Implementera SparkSession.stop
• [SPARK-41729] [SC-119205][CORE][SQL][12.X] Byt _LEGACY_ERROR_TEMP_0011 namn till UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][ANSLUT][12.X] Deduplicera utskrift och repr_html på LogicalPlan
• [SPARK-41740] [SC-119169][ANSLUT][PYTHON] Implementera Column.name
• [SPARK-41733] [SC-119163][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln ResolveWindowTime
• [SPARK-41732] [SC-119157][SQL][SS] Tillämpa trädmönsterbaserad beskärning för regeln SessionWindowing
• [SPARK-41498] [SC-119018] Sprida metadata via Union
• [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] Implementera column-accessorn
• [SPARK-41736] [SC-119161][ANSLUT][PYTHON] pyspark_types_to_proto_types bör ha stöd för ArrayType
• [SPARK-41473] [SC-119092][ANSLUT][PYTHON] Implementera format_number funktion
• [SPARK-41707] [SC-119141][CONNECT][12.X] Implementera Catalog API i Spark Connect
• [SPARK-41710] [SC-119062][ANSLUT][PYTHON] Implementera Column.between
• [SPARK-41235] [SC-119088][SQL][PYTHON]Funktion med hög ordning: array_compact implementering
• [SPARK-41518] [SC-118453][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][ANSLUT][PYTHON] Implementera sequence funktion
• [SPARK-41703] [SC-119060][ANSLUT][PYTHON] Kombinera NullType och typed_null i Literal
• [SPARK-41722] [SC-119090][CONNECT][PYTHON] Implementera tre saknade tidsfunktioner window
• [SPARK-41503] [SC-119043][CONNECT][PYTHON] Implementera Partition Transformationsfunktioner
• [SPARK-41413] [SC-118968][SQL] Undvik att shuffla i Storage-Partitioned Join när partition nycklar inte matchar, men join uttryck är kompatibla
• [SPARK-41700] [SC-119046][CONNECT][PYTHON] RemoveFunctionBuilder
• [SPARK-41706] [SC-119094][ANSLUT][PYTHON] pyspark_types_to_proto_types bör ha stöd för MapType
• [SPARK-41702] [SC-119049][CONNECT][PYTHON] Lägg till ogiltiga column ops
• [SPARK-41660] [SC-118866][SQL] Sprid endast metadata columns om de används
• [SPARK-41637] [SC-119003][SQL] ORDER BY ALL
• [SPARK-41513] [SC-118945][SQL] Implementera en ackumulator för att samla in mått för antal rader per mappare
• [SPARK-41647] [SC-119064][ANSLUT][12.X] Deduplicera dokumentsträngar i pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][CONNECT][PYTHON] Gör column op-stöd decimal
• [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693] Implementera rollup, cube och pivot
• [SPARK-41635] [SC-118944][SQL] GROUP BY ALL
• [SPARK-41645] [SC-119057][ANSLUT][12.X] Deduplicera dokumentsträngar i pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][ANSLUT][PYTHON] Flytta uttryck till expressions.py
• [SPARK-41687] [SC-118949][ANSLUT] Deduplicera dokumentsträngar i pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][CONNECT] Deduplicera docstringarna i pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][ANSLUT] Factor GroupedData ut till group.py
• [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][ANSLUT][PYTHON][12.X] Implementera Window funktioner
• [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] Gör stöd för operationer Columndatetime
• [SPARK-41672] [SC-118929][ANSLUT][PYTHON] Aktivera inaktuella funktioner
• [SPARK-41673] [SC-118932][ANSLUT][PYTHON] Implementera Column.astype
• [SPARK-41364] [SC-118865][ANSLUT][PYTHON] Implementera broadcast funktion
• [SPARK-41648] [SC-118914][ANSLUT][12.X] Deduplicera dokumentsträngar i pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][ANSLUT][12.X] Deduplicera dokumentsträngar i pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][CONNECT][12.X] Deduplicera dokumentationssträngar i pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][ANSLUT][PYTHON][12.X] Implementera resten av Lambda-funktionerna
• [SPARK-41441] [SC-118557][SQL] Stöd Generate utan nödvändiga barnutdata för att hantera yttre referenser
• [SPARK-41669] [SC-118923][SQL] Tidig beskärning i canCollapseExpressions
• [SPARK-41639] [SC-118927][SQL][PROTOBUF] : Remove ScalaReflectionLock från SchemaConverters
• [SPARK-41464] [SC-118861][ANSLUT][PYTHON] Implementera DataFrame.to
• [SPARK-41434] [SC-118857][ANSLUT][PYTHON] Inledande LambdaFunction implementering
• [SPARK-41539] [SC-118802][SQL] Mappa om statistik och begränsningar mot utdata i logisk plan för LogicalRDD
• [SPARK-41396] [SC-118786][SQL][PROTOBUF] OneOf-fältstöd och rekursionskontroller
• [SPARK-41528] [SC-118769][ANSLUT][12.X] Slå samman namnrymden för Spark Connect och PySpark API
• [SPARK-41568] [SC-118715][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][ANSLUT][PYTHON] Implementera DataFrame.randomSplit
• [SPARK-41583] [SC-118718][SC-118642][ANSLUT][PROTOBUF] Lägg till Spark Connect och protobuf i setup.py med att ange beroenden
• [SPARK-27561] [SC-101081][12.x][SQL] Stöder implicit lateral column aliasmatchning i Project
• [SPARK-41535] [SC-118645][SQL] Set null korrekt för kalenderintervallfält i InterpretedUnsafeProjection och InterpretedMutableProjection
• [SPARK-40687] [SC-118439][SQL] Stöd för datamaskering av den inbyggda funktionen "mask"
• [SPARK-41520] [SC-118440][SQL] Dela AND_OR TreePattern för att separera AND och OR TreePatterns
• [SPARK-41349] [SC-118668][ANSLUT][PYTHON] Implementera DataFrame.hint
• [SPARK-41546] [SC-118541][ANSLUT][PYTHON] pyspark_types_to_proto_types bör ha stöd för StructType.
• [SPARK-41334] [SC-118549][ANSLUT][PYTHON] Flytta SortOrder proto från relationer till uttryck
• [SPARK-41387] [SC-118450][SS] Assert current end offset from Kafka data source for Trigger.AvailableNow
• [SPARK-41508] [SC-118445][CORE][SQL] Byt namn på _LEGACY_ERROR_TEMP_1180 till UNEXPECTED_INPUT_TYPE och remove_LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][CONNECT][PYTHON] Implementera Column. {when, otherwise} och Funktion when med UnresolvedFunction
• [SPARK-41541] [SC-118460][SQL] Åtgärda anrop till fel underordnad metod i SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][ANSLUT][PYTHON] Implementera DataFrame.subtract
• [SPARK-41248] [SC-118436][SC-118303][SQL] Lägg till "spark.sql.json.enablePartialResults" för att aktivera/inaktivera partiella JSON-resultat
• [SPARK-41437] Revert "[SC-117601][SQL] optimize inte indataklangen två gånger för tillbakaskrivning av v1"
• [SPARK-41472] [SC-118352][ANSLUT][PYTHON] Implementera resten av sträng-/binärfunktioner
• [SPARK-41526] [SC-118355][ANSLUT][PYTHON] Implementera Column.isin
• [SPARK-32170] [SC-118384] [CORE] Förbättra spekulationen genom scenaktivitetsmåtten.
• [SPARK-41524] [SC-118399][SS] Differentiera SQLConf och extraAlternativ i StateStoreConf för dess användning i RocksDBConf
• [SPARK-41465] [SC-118381][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][SQL] Stöd för LongToUnsafeRowMap ignorerarDuplicatedKey
• [SPARK-41409] [SC-118302][CORE][SQL] Byt _LEGACY_ERROR_TEMP_1043 namn till WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][ANSLUT][PYTHON] Implementera DataFrame.colRegex
• [SPARK-41437] [SC-117601][SQL] optimize inte indatafrågan två gånger för tillbakaskrivning av v1
• [SPARK-41314] [SC-117172][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][ANSLUT][PYTHON] Refaktor LiteralExpression för att stödja DataType
• [SPARK-41448] [SC-118046] Skapa konsekventa MR-jobb-ID:er i FileBatchWriter och FileFormatWriter
• [SPARK-41456] [SC-117970][SQL] Förbättra prestanda för try_cast
• [SPARK-41495] [SC-118125][ANSLUT][PYTHON] Implementera collection funktioner: P~Z
• [SPARK-41478] [SC-118167][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][SQL] Refaktorfelmeddelande för NUM_COLUMNS_MISMATCH att göra det mer allmänt
• [SPARK-41404] [SC-118016][SQL] ColumnVectorUtils#toBatch Omstrukturera för att göra ColumnarBatchSuite#testRandomRows testet mer primitivt dataType
• [SPARK-41468] [SC-118044][SQL] Åtgärda PlanExpression-hantering i EquivalentExpressions
• [SPARK-40775] [SC-118045][SQL] Åtgärda duplicerade beskrivningsposter för V2-filgenomsökningar
• [SPARK-41492] [SC-118042][ANSLUT][PYTHON] Implementera MISC-funktioner
• [SPARK-41459] [SC-118005][SQL] utdata för åtgärdsloggen för snabbservern är tomma
• [SPARK-41395] [SC-117899][SQL] InterpretedMutableProjection bör använda setDecimal till att set noll values för decimaler i en osäker rad
• [SPARK-41376] [SC-117840][CORE][3.3] Korrigera Netty preferDirectBufs-kontrolllogik vid körningsstart
• [SPARK-41484] [SC-118159][SC-118036][ANSLUT][PYTHON][12.x] Implementera collection funktioner: E~M
• [SPARK-41389] [SC-117426][CORE][SQL] Återanvänd i WRONG_NUM_ARGS stället för _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][SQL] Datum- och tidsstämpeltypen kan upp castas till TimestampNTZ
• [SPARK-41435] [SC-117810][SQL] Ändra för att anropa invalidFunctionArgumentsError när curdate()expressions inte är tom
• [SPARK-41187] [SC-118030][CORE] LiveExecutor MemoryLeak i AppStatusListener när ExecutorLost inträffar
• [SPARK-41360] [SC-118083][CORE] Undvik Omregistrering av BlockManager om utföraren har förlorats
• [SPARK-41378] [SC-117686][SQL] Stöd Column Stats in DS v2
• [SPARK-41402] [SC-117910][SQL][ANSLUT][12.X] Åsidosätt prettyName för StringDecode
• [SPARK-41414] [SC-118041][ANSLUT][PYTHON][12.x] Implementera datum-/tidsstämpelfunktioner
• [SPARK-41329] [SC-117975][ANSLUT] Lösa cirkulära importer i Spark Connect
• [SPARK-41477] [SC-118025][ANSLUT][PYTHON] Korrekt härleda datatypen för literal heltals heltal
• [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x] Gör createDataFrame stöd för schema och fler typer av indatauppsättningar
• [SPARK-41475] [SC-117997][ANSLUT] Åtgärda lint-scala-kommandofel och skrivfel
• [SPARK-38277] [SC-117799][SS] Rensa skrivbatch efter RocksDB-tillståndsarkivets incheckning
• [SPARK-41375] [SC-117801][SS] Undvik tom senaste KafkaSourceOffset
• [SPARK-41412] [SC-118015][ANSLUT] Implementera Column.cast
• [SPARK-41439] [SC-117893][ANSLUT][PYTHON] Implementera DataFrame.melt och DataFrame.unpivot
• [SPARK-41399] [SC-118007][SC-117474][CONNECT] Omstrukturera column relaterade test för test_connect_column
• [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] Column bör stödja != operator
• [SPARK-40697] [SC-117806][SC-112787][SQL] Lägga till teckenutfyllnad på lässidan för att täcka externa datafiler
• [SPARK-41349] [SC-117594][ANSLUT][12.X] Implementera DataFrame.hint
• [SPARK-41338] [SC-117170][SQL] Lös yttre referenser och vanliga columns i samma analytiska batch.
• [SPARK-41436] [SC-117805][ANSLUT][PYTHON] Implementera collection funktioner: A~C
• [SPARK-41445] [SC-117802][ANSLUT] Implementera DataFrameReader.parquet
• [SPARK-41452] [SC-117865][SQL] to_char ska returnera null när formatet är null
• [SPARK-41444] [SC-117796][ANSLUT] Support read.json()
• [SPARK-41398] [SC-117508][SQL] Lätta på begränsningarna för Storage-Partitioned Join när partition nycklar efter körningsfiltreringen inte matchar
• [SPARK-41228] [SC-117169][SQL] Byt namn på och förbättra felmeddelandet för COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][ANSLUT][PYTHON] Implementera count_distinct och sum_distinct funktioner
• [SPARK-41433] [SC-117596][ANSLUT] Gör Max Arrow BatchSize konfigurerbar
• [SPARK-41397] [SC-117590][ANSLUT][PYTHON] Implementera en del av sträng-/binärfunktioner
• [SPARK-41382] [SC-117588][ANSLUT][PYTHON] Implementera product funktion
• [SPARK-41403] [SC-117595][ANSLUT][PYTHON] Implementera DataFrame.describe
• [SPARK-41366] [SC-117580][ANSLUT] DF.groupby.agg() ska vara kompatibelt
• [SPARK-41369] [SC-117584][ANSLUT] Lägg till anslutning som är gemensam för servrarnas skuggade jar-fil
• [SPARK-41411] [SC-117562][SS] Multi-Stateful Operator watermark stöd för felkorrigering
• [SPARK-41176] [SC-116630][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][ANSLUT][PYTHON][12.X] Implementera aggregeringsfunktioner
• [SPARK-41363] [SC-117470][ANSLUT][PYTHON][12.X] Implementera normala funktioner
• [SPARK-41305] [SC-117411][ANSLUT] Förbättra dokumentationen för Command proto
• [SPARK-41372] [SC-117427][ANSLUT][PYTHON] Implementera DataFrame TempView
• [SPARK-41379] [SC-117420][SS][PYTHON] Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark
• [SPARK-41373] [SC-117405][SQL][FEL] Byt namn på CAST_WITH_FUN_SUGGESTION till CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][SQL] Refaktormetod ColumnVectorUtils#populate som ska användas PhysicalDataType i stället för DataType
• [SPARK-41355] [SC-117423][SQL] Problem med table problem med verifiering av namn
• [SPARK-41390] [SC-117429][SQL] Update skriptet som används för att generateregister funktion i UDFRegistration
• [SPARK-41206] [SC-117233][SC-116381][SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_1233 till COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][ANSLUT][PYTHON][12.X] Implementera matematiska funktioner
• [SPARK-40970] [SC-117308][CONNECT][PYTHON] Support List[Column] för Joinpå argument
• [SPARK-41345] [SC-117178][ANSLUT] Lägg till tips för att ansluta Proto
• [SPARK-41226] [SC-117194][SQL][12.x] Omstrukturera Spark-typer genom att introducera fysiska typer
• [SPARK-41317] [SC-116902][ANSLUT][PYTHON][12.X] Lägga till grundläggande stöd för DataFrameWriter
• [SPARK-41347] [SC-117173][ANSLUT] Lägg till Cast to Expression proto
• [SPARK-41323] [SC-117128][SQL] Support current_schema
• [SPARK-41339] [SC-117171][SQL] Stäng och återskapa RocksDB-skrivbatch i stället för att bara rensa
• [SPARK-41227] [SC-117165][CONNECT][PYTHON] Implementera DataFrame mellan join
• [SPARK-41346] [SC-117176][ANSLUT][PYTHON] Implementera asc och desc funktioner
• [SPARK-41343] [SC-117166][ANSLUT] Flytta FunctionName-parsning till serversidan
• [SPARK-41321] [SC-117163][ANSLUT] Stödmålfält för UnresolvedStar
• [SPARK-41237] [SC-117167][SQL] Återanvänd felklassen UNSUPPORTED_DATATYPE för _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][SQL] Återanvänd i INVALID_SCHEMA.NON_STRING_LITERAL stället för _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] Optimize konstruktoranvändning av StructType
• [SPARK-41335] [SC-117135][CONNECT][PYTHON] Stöder IsNull och IsNotNull i Column
• [SPARK-41332] [SC-117131][ANSLUT][PYTHON] Åtgärda nullOrdering i SortOrder
• [SPARK-41325] [SC-117132][ANSLUT][12.X] Åtgärda saknade avg() för GroupBy på DF
• [SPARK-41327] [SC-117137][CORE] Åtgärda SparkStatusTracker.getExecutorInfos genom att växla på/avHeapStorageMemory-information
• [SPARK-41315] [SC-117129][ANSLUT][PYTHON] Implementera DataFrame.replace och DataFrame.na.replace
• [SPARK-41328] [SC-117125][CONNECT][PYTHON] Lägg till logiskt api och sträng-API i Column
• [SPARK-41331] [SC-117127][ANSLUT][PYTHON] Lägg till orderBy och drop_duplicates
• [SPARK-40987] [SC-117124][CORE] BlockManager#removeBlockInternal ska se till att låset är upplåst på ett smidigt sätt
• [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] Omstrukturera "Column" för API-kompatibilitet
• [SPARK-41312] [SC-116881][ANSLUT][PYTHON][12.X] Implementera DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][SQL] Lägg till felklassen INVALID_FORMAT
• [SPARK-41272] [SC-116742][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][SQL] Återanvänd i INVALID_SCHEMA stället för _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][PYTHON][SS][12.X] Omvandla NumPy-objekt till Python grundläggande typer i GroupState update
• [SPARK-41174] [SC-116609][CORE][SQL] Sprida en felklass till användare för ogiltigt formatto_binary()
• [SPARK-41264] [SC-116971][ANSLUT][PYTHON] Gör literalstöd för fler datatyper
• [SPARK-41326] [SC-116972] [ANSLUT] Korrigering av deduplicering saknar indata
• [SPARK-41316] [SC-116900][SQL] Aktivera tail-rekursion där det är möjligt
• [SPARK-41297] [SC-116931] [ANSLUT] [PYTHON] Stöd för stränguttryck i filter.
• [SPARK-41256] [SC-116932][SC-116883][ANSLUT] Implementera DataFrame.withColumn(er)
• [SPARK-41182] [SC-116632][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][SQL] Migrera kartalternativsfelen till felklasser
• [SPARK-40940] [SC-115993][12.x] Remove Multi-stateful operator checkers för streaming-analyser.
• [SPARK-41310] [SC-116885][ANSLUT][PYTHON] Implementera DataFrame.toDF
• [SPARK-41179] [SC-116631][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti update inte numOutputRows när codegen är inaktiverad
• [SPARK-41148] [SC-116878][ANSLUT][PYTHON] Implementera DataFrame.dropna och DataFrame.na.drop
• [SPARK-41217] [SC-116380][SQL] Lägg till felklassen FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][ANSLUT][PYTHON] Förbättra DataFrame.count()
• [SPARK-41301] [SC-116786] [ANSLUT] Homogenisera beteende för SparkSession.range()
• [SPARK-41306] [SC-116860][ANSLUT] Förbättra connect expression proto-dokumentationen
• [SPARK-41280] [SC-116733][ANSLUT] Implementera DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Ta bort schema tolkas som Schema
• [SPARK-41255] [SC-116730][SC-116695] [ANSLUT] Byt namn på RemoteSparkSession
• [SPARK-41250] [SC-116788][SC-116633][ANSLUT][PYTHON] DataFrame. toPandas bör inte returnera valfri pandas-dataram
• [SPARK-41291] [SC-116738][ANSLUT][PYTHON] DataFrame.explain ska skriva ut och returnera Ingen
• [SPARK-41278] [SC-116732][ANSLUT] Rensa oanvända QualifiedAttribute i Expression.proto
• [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Remove redundant samlingskonvertering baserat på Scala 2.13-kodbas
• [SPARK-41261] [SC-116718][PYTHON][SS] Åtgärda problem för applyInPandasWithState när columns av grupperingsnycklarna inte har placerats i ordning från den tidigaste
• [SPARK-40872] [SC-116717][3.3] Återställning till ursprungligt shuffle-block när ett push-sammanfogat shuffle-segment är nollstorlek
• [SPARK-41114] [SC-116628][ANSLUT] Stöd för lokala data för LocalRelation
• [SPARK-41216] [SC-116678][ANSLUT][PYTHON] Implementera DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][ANSLUT][PYTHON] Stöd för fler inbyggda datatyper
• [SPARK-41230] [SC-116674][CONNECT][PYTHON] Removestr från aggregerad uttryckstyp
• [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][ANSLUT] Optimerad pilbaserad insamlingsimplementering för att strömma från server till klient
• [SPARK-41222] [SC-116625][ANSLUT][PYTHON] Förena typdefinitionerna
• [SPARK-41225] [SC-116623] [ANSLUT] [PYTHON] Inaktivera funktioner som inte stöds.
• [SPARK-41201] [SC-116526][ANSLUT][PYTHON] Implementera DataFrame.SelectExpr i Python-klienten
• [SPARK-41203] [SC-116258] [ANSLUT] Stöd för Dataframe.tansform i Python-klienten.
• [SPARK-41213] [SC-116375][ANSLUT][PYTHON] Implementera DataFrame.__repr__ och DataFrame.dtypes
• [SPARK-41169] [SC-116378][ANSLUT][PYTHON] Implementera DataFrame.drop
• [SPARK-41172] [SC-116245][SQL] Migrera det tvetydiga referensfelet till en felklass
• [SPARK-41122] [SC-116141][CONNECT] Explain API kan stödja olika lägen
• [SPARK-41209] [SC-116584][SC-116376][PYTHON] Förbättra PySpark-typinferens i _merge_type metod
• [SPARK-41196] [SC-116555][SC-116179] [ANSLUT] Homogenisera protobuf-versionen på Spark Connect-servern för att använda samma huvudversion.
• [SPARK-35531] [SC-116409][SQL] Update hive table statistik utan onödig konvertering
• [SPARK-41154] [SC-116289][SQL] Felaktig relationscachelagring för frågor med tidsresespecifikation
• [SPARK-41212] [SC-116554][SC-116389][ANSLUT][PYTHON] Implementera DataFrame.isEmpty
• [SPARK-41135] [SC-116400][SQL] Byt UNSUPPORTED_EMPTY_LOCATION namn till INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][SQL] Lägga till ett tilläggs-API för att planera normalisering för cachelagring
• [SPARK-41054] [SC-116447][Användargränssnitt][CORE] Stöd för RocksDB som KVStore i live-användargränssnittet
• [SPARK-38550] [SC-115223]Återställ "[SQL][CORE] Använd ett diskbaserat arkiv för att spara mer felsökningsinformation för live-användargränssnittet"
• [SPARK-41173] [SC-116185][SQL] Flytta require() ut från konstruktorerna för stränguttryck
• [SPARK-41188] [SC-116242][CORE][ML] Set executorEnv OMP_NUM_THREADS vara spark.task.cpus som standard för Spark Executor JVM-processer
• [SPARK-41130] [SC-116155][SQL] Byt OUT_OF_DECIMAL_TYPE_RANGE namn till NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][SQL] Minska samlingskonverteringen när du skapar AttributeMap
• [SPARK-41139] [SC-115983][SQL] Förbättra felklassen: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][PROTOBUF] Kräv skuggning för Java-klass-jar, förbättra felhanteringen
• [SPARK-40999] [SC-116168] Tipsspridning till underfrågor
• [SPARK-41017] [SC-116054][SQL] Stöd column beskärning med flera nondeterministiska filter
• [SPARK-40834] [SC-114773][SQL] Använda SparkListenerSQLExecutionEnd för att spåra slutlig SQL-status i användargränssnittet
• [SPARK-41118] [SC-116027][SQL] to_number/try_to_number ska returneras null när formatet är null
• [SPARK-39799] [SC-115984][SQL] DataSourceV2: Visa catalog gränssnitt
• [SPARK-40665] [SC-116210][SC-112300][ANSLUT] Undvik att bädda in Spark Connect i apache Spark-binärversionen
• [SPARK-41048] [SC-116043][SQL] Förbättra utdatapartitionering och -ordning med AQE-cache
• [SPARK-41198] [SC-116256][SS] Åtgärda metrikvärden i strömmande frågeställning having CTE- och DSv1-strömningskälla
• [SPARK-41199] [SC-116244][SS] Åtgärda problem med mått när DSv1-strömmande källa och DSv2-strömningskälla används tillsammans
• [SPARK-40957] [SC-116261][SC-114706] Lägg till i minnescachen i HDFSMetadataLog
• [SPARK-40940] Revert "[SC-115993] Remove Multi-stateful operator checkers för strömmande frågeställningar."
• [SPARK-41090] [SC-116040][SQL] Generera undantag för db_name.view_name när du skapar temporär vy av Dataset API
• [SPARK-41133] [SC-116085][SQL] Integrera UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION i NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][SC-111442][ANSLUT] Koddumpning 9 incheckningar
• [SPARK-40448] [SC-114447][SC-111314][ANSLUT] Spark Connect-bygge som drivrutins-plugin-program med skuggade beroenden
• [SPARK-41096] [SC-115812][SQL] Stöd för läsning FIXED_LEN_BYTE_ARRAY typ
• [SPARK-41140] [SC-115879][SQL] Byt namn på felklassen _LEGACY_ERROR_TEMP_2440 till INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][SQL] Matchningsfel mellan FileSourceScanExec och Orc och ParquetFileFormat vid skapande av columnar-utdata
• [SPARK-41155] [SC-115991][SQL] Lägg till felmeddelande i SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Remove Multi-stateful operator checkers för strömmande frågor.
• [SPARK-41098] [SC-115790][SQL] Byt GROUP_BY_POS_REFERS_AGG_EXPR namn till GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][SQL] Migrera typkontrollfel för talformatering till felklasser
• [SPARK-41059] [SC-115658][SQL] Byt _LEGACY_ERROR_TEMP_2420 namn till NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][SQL] Konvertera DATATYPE_MISMATCH. UNSPECIFIED_FRAME till INTERNAL_ERROR
• [SPARK-40973] [SC-115132][SQL] Byt _LEGACY_ERROR_TEMP_0055 namn till UNCLOSED_BRACKETED_COMMENT

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.1.

Systemmiljö

• Operativsystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta lake: 2.2.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-11-11.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)