Databricks Runtime 11.3 LTS

Följande viktig information innehåller information om Databricks Runtime 11.3 LTS, som drivs av Apache Spark 3.3.0. Databricks släppte den här versionen i oktober 2022.

Förändringar i beteende

[Icke-bakåtkompatibel ändring] Ny Python-version kräver uppdatering av Databricks Connect V1 Python-klienter

För att tillämpa nödvändiga säkerhetskorrigeringar uppdateras Python-versionen i Databricks Runtime 11.3 LTS från 3.9.5 till 3.9.19. Eftersom dessa ändringar kan orsaka fel i klienter som använder specifika PySpark-funktioner måste alla klienter som använder Databricks Connect V1 för Python med Databricks Runtime 11.3 LTS uppdateras till Python 3.9.7 eller senare.

Nya funktioner och förbättringar

• Python har uppgraderats från 3.9.19 till 3.9.21
• Strukturerad direktuppspelningsutlösare när den är inaktuell
• Ändra källsökväg för automatisk inläsning
• Databricks Kinesis-anslutningsprogrammet stöder nu läsning från Kinesis-dataströmmar i EFO-läge
• Nya geospatiala H3-funktioner och stöd för foton har lagts till för alla H3-funktioner
• Nya funktioner för förutsägande I/O
• Öka inledande partitioner för att söka efter selektiva frågor
• Visualisering av nya AQE-planversioner
• Nya lägen för asynkron förloppsspårning och loggrensning
• Strukturerad direktuppspelning i Unity Catalog har nu stöd för display()
• Pipelinehändelser loggas nu i JSON-format
• Godtycklig tillståndskänslig bearbetning i strukturerad direktuppspelning med Python
• Datuminferens i CSV-filer
• Klonstöd för Apache Parquet- och Apache Iceberg-tabeller (offentlig förhandsversion)
• Använd SQL för att ange lagringsplatser på schema- och katalognivå för hanterade Unity Catalog-tabeller

Python har uppgraderats från 3.9.19 till 3.9.21

Python-versionen i Databricks Runtime 11.3 LTS uppdateras från 3.9.19 till 3.9.21.

Strukturerad direktuppspelningsutlösare när den är inaktuell

Inställningen Trigger.Once är inaktuell. Databricks rekommenderar att du använder Trigger.AvailableNow. Se Konfigurera utlösarintervall för strukturerad direktuppspelning.

Ändra källsökväg för automatisk inläsning

Du kan nu ändra sökvägen för katalogindata för Automatisk inläsning som konfigurerats med kataloglistningsläge utan att behöva välja en ny kontrollpunktskatalog. Se Ändra källsökväg för Automatisk inläsning.

Databricks Kinesis-anslutningsprogrammet stöder nu läsning från Kinesis-dataströmmar i EFO-läge

Nu kan du använda databricks Kinesis strukturerade strömningskälla i Databricks Runtime 11.3 LTS för att köra frågor som läser från Kinesis Dataströmmar i förbättrat utbläst läge. Detta möjliggör dedikerat dataflöde per shard, per konsument och postleverans i push-läge.

Nya geospatiala H3-funktioner och stöd för foton har lagts till för alla H3-funktioner

Introduktion till 4 nya H3-funktioner, h3_maxchild, h3_minchild, h3_pointash3och h3_pointash3string. Dessa funktioner är tillgängliga i SQL, Scala och Python. Alla H3-uttryck stöds nu i Photon. Se geospatiala H3-funktioner.

Nya funktioner för förutsägande I/O

Photon stöder intervallläge för att köra ramar med hjälp av RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon har också stöd för intervallläge för att odla ramar med hjälp av RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Öka inledande partitioner för att söka efter selektiva frågor

Värdet för inledande partitioner som ska genomsökas har ökats till 10 för selektiva frågor med take/tail/limit i Photon-aktiverade kluster och LIMIT i Databricks SQL. Med 10 partitioner kan du undvika att starta flera små jobb och en långsam uppskalning. Du kan också konfigurera detta via spark.sql.limit.selectiveInitialNumPartitions.

Visualisering av nya AQE-planversioner

Introduktion till AQE-planversioner som gör att du kan visualisera dina uppdateringar av körningsplanen från adaptiv frågekörning (AQE).

Nya lägen för asynkron förloppsspårning och loggrensning

Introduktion till strukturerade strömningslägen som kallas asynkron förloppsspårning och asynkron loggrensning. Asynkront loggrensningsläge sänker svarstiden för strömmande frågor genom att ta bort loggar som används för förloppsspårning i bakgrunden.

Strukturerad direktuppspelning i Unity Catalog har nu stöd för display()

Nu kan du använda display() när du använder Structured Streaming för att arbeta med tabeller som är registrerade i Unity Catalog.

Pipelinehändelser loggas nu i JSON-format

Azure Databricks skriver nu pipelinehändelser till drivrutinsloggen i JSON-format. Varje händelse är JSON-parsningsbar, men stora händelser kanske inte innehåller alla fält eller så kan fälten trunkeras. Varje händelse loggas på en enda rad med prefixet Event received: . Följande är en exempelhändelse.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Godtycklig tillståndskänslig bearbetning i strukturerad direktuppspelning med Python

Introduktion till funktionen applyInPandasWithState som kan användas för att utföra godtycklig tillståndskänslig bearbetning i PySpark. Detta motsvarar flatMapGroupsWithState funktionen i Java-API:et.

Datuminferens i CSV-filer

Introduktion till förbättrad slutsatsdragning av datumtypskolumner i CSV-filer. När datumformatet är konsekvent mellan posterna för en kolumn kan dessa kolumner härledas som DateType. Du kan också ha en kombination av datumformat i olika kolumner. Azure Databricks kan automatiskt härleda datumformatet för varje kolumn. Datumkolumner i CSV-filer före Databricks Runtime 11.3 LTS lämnas som StringType.

Klonstöd för Apache Parquet- och Apache Iceberg-tabeller (offentlig förhandsversion)

Klon kan nu användas för att skapa och stegvis uppdatera Delta-tabeller som speglar Apache Parquet- och Apache Iceberg-tabeller. Du kan uppdatera parquet-källtabellen och stegvis tillämpa ändringarna på deras klonade Delta-tabell med klonkommandot. Se Stegvis klona parquet- och isbergstabeller till Delta Lake.

Använd SQL för att ange lagringsplatser på schema- och katalognivå för hanterade Unity Catalog-tabeller

Du kan nu använda MANAGED LOCATION SQL-kommandot för att ange en molnlagringsplats för hanterade tabeller på katalog- och schemanivå. Se CREATE CATALOG och CREATE SCHEMA.

Funktionalitetsförändringar

Databricks Connect 11.3.2

Databricks Connect-klientuppdatering 11.3.2 stöds nu. Se Viktig information om Databricks Connect och Databricks Connect.

Azure Databricks Snowflake-anslutningsprogrammet har uppdaterats

Azure Databricks Snowflake-anslutningsappen har uppdaterats till den senaste versionen av koden från lagringsplatsen med öppen källkod, Snowflake Data Source för Apache Spark. Det är nu helt kompatibelt med Databricks Runtime 11.3 LTS, inklusive predikat-pushdown och intern frågeplans-pushdown samtidigt som alla funktioner i versionen med öppen källkod bibehålls.

Hadoop-cachen för S3A är nu inaktiverad

Hadoop-cachen (FileSystem Apache Hadoop Main 3.3.4 API) för S3A är nu inaktiverad. Detta är för att anpassa till andra molnlagringsanslutningar. För arbetsbelastningar som förlitar sig på cachelagring av filsystem kontrollerar du att de nyligen skapade filsystemen levereras med rätt Hadoop-konfigurationer, inklusive leverantörer av autentiseringsuppgifter.

Delta Lake Stats-samlingsschema matchar nu kolumnordningen i tabellschemadefinitionen

Den här ändringen åtgärdar en bugg i Delta Lake-protokollet där statistik inte samlades in för kolumner på grund av ett matchningsfel i DataFrame- och tabellkolumnordningen. I vissa fall kan det uppstå försämring av skrivprestanda på grund av statistikinsamling på tidigare ospårade fält. Se Hoppa över data för Delta Lake.

applyInPandasWithState utlöser ett fel om frågan har en shuffle efter operatorn

Operatorn applyInPandasWithState utlöser ett fel om frågan har shuffle efter operatorn. Detta inträffar när användaren lägger till shuffle efter åtgärden, eller om optimeraren eller mottagaren lägger till shuffle implicit.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • distlib från 0.3.5 till 0.3.6
• Uppgraderade R-bibliotek:
  • kvast från 1.0.0 till 1.0.1
  • uppringare från 3.7.1 till 3.7.2
  • dplyr från 1.0.9 till 1.0.10
  • dtplyr från 1.2.1 till 1.2.2
  • forcats från 0.5.1 till 0.5.2
  • från 1.27.0 till 1.28.0
  • future.apply från 1.9.0 till 1.9.1
  • gert från 1.7.0 till 1.8.0
  • globals från 0.16.0 till 0.16.1
  • gtable från 0.3.0 till 0.3.1
  • haven från 2.5.0 till 2.5.1
  • hms från 1.1.1 till 1.1.2
  • httr från 1.4.3 till 1.4.4
  • stickning från 1,39 till 1,40
  • modell från 0.1.8 till 0.1.9
  • pelare från 1.8.0 till 1.8.1
  • progressr från 0.10.1 till 0.11.0
  • readxl från 1.4.0 till 1.4.1
  • reprex från 2.0.1 till 2.0.2
  • rlang från 1.0.4 till 1.0.5
  • rmarkdown från 2.14 till 2.16
  • RSQLite från 2.2.15 till 2.2.16
  • rstudioapi från 0,13 till 0,14
  • rversioner från 2.1.1 till 2.1.2
  • rvest från 1.0.2 till 1.0.3
  • skalar från 1.2.0 till 1.2.1
  • sparklyr från 1.7.7 till 1.7.8
  • stringr från 1.4.0 till 1.4.1
  • överlevnad från 3,2-13 till 3,4-0
  • tinytex från 0,40 till 0,41
  • viridisLite från 0.4.0 till 0.4.1
• Uppgraderade Java-bibliotek:
  • com.fasterxml.jackson.core.jackson-anteckningar från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.core.jackson-core från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.core.jackson-databind från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer från 2.13.3 till 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.13.3 till 2.13.4
  • org.apache.hadoop.hadoop-client-api från 3.3.2-databricks till 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime från 3.3.2 till 3.3.4
  • org.apache.orc.orc-core från 1.7.5 till 1.7.6
  • org.apache.orc.orc-mapreduce från 1.7.5 till 1.7.6
  • org.apache.orc.orc-shims från 1.7.5 till 1.7.6
  • org.apache.parquet.parquet-column från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson från 1.12.0-databricks-0004 till 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet från 2.34 till 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core från 2.34 till 2.36
  • org.glassfish.jersey.core.jersey-client från 2.34 till 2.36
  • org.glassfish.jersey.core.jersey-common från 2.34 till 2.36
  • org.glassfish.jersey.core.jersey-server från 2.34 till 2.36
  • org.glassfish.jersey.inject.jersey-hk2 från 2.34 till 2.36

Apache Spark

Databricks Runtime 11.3 LTS innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Delay onDisconnected för att drivrutinen ska kunna ta emot ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Förbättra LaunchTask-processen för att undvika scenfel som orsakas av att LaunchTask-meddelanden inte skickas
• [SPARK-40474] [SC-106248][cherry-pick] Korrekt CSV-schemainferensbeteende för datum-tidskolumner och introducera automatisk identifiering av datumfält
• [SPARK-40535] [SC-111243][sql] Åtgärda felet kommer bufferten för AggregatingAccumulator inte att skapas om indataraderna är tomma
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][ss][PYTHON] Implementera applyInPandasWithState i PySpark
• [SPARK-40460] [SC-110832][ss] Åtgärda strömningsmått när du väljer _metadata
• [SPARK-40324] [SC-109943][sql] Ange en frågekontext för ParseException
• [SPARK-40466] [SC-110899][ss] Förbättra felmeddelandet när DSv2 är inaktiverat medan DSv1 inte är tillgängligt
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext bör vara billigt att anropa upprepade gånger
• [SPARK-40169] [SC-110772][sql] Tryck inte ned Parquet-filter utan referens till dataschema
• [SPARK-40467] [SC-110759][ss] Dela FlatMapGroupsWithState ned till flera testsviter
• [SPARK-40468] [SC-110813][sql] Åtgärda kolumnrensning i CSV när _corrupt_record har valts
• [SPARK-40291] [SC-110085][sql] Förbättra meddelandet för fel där kolumnen inte finns i GROUP BY-satsen
• [SPARK-40398] [SC-110762][core][SQL] Använd Loop i stället för Arrays.stream API
• [SPARK-40433] [SC-110684][ss][PYTHON] Lägg till iJVMRow i PythonSQLUtils för att konvertera inlagd PySpark-rad till JVM-rad
• [SPARK-40414] [SC-110568][sql][PYTHON] Mer allmän typ på PythonArrowInput och PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Lägg till funktionsalias: len, datepart, dateadd, date_diff och curdate
• [SPARK-40470] [SC-110761][sql] Hantera GetArrayStructFields och GetMapValue i funktionen "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Förbättra implementeringen av Spark Decimal
• [SPARK-40429] [SC-110675][sql] Ange endast KeyGroupedPartitioning när den refererade kolumnen finns i utdata
• [SPARK-40432] [SC-110716][ss][PYTHON] Introducerar GroupStateImpl och GroupStateTimeout i PySpark
• [SPARK-39915] [SC-110496][sql] Kontrollera att utdatapartitioneringen är användardefinerad i AQE
• [SPARK-29260] [SQL] Stöd ALTER DATABASE SET LOCATION om HMS stöder
• [SPARK-40185] [SC-110056][sql] Ta bort kolumnförslag när kandidatlistan är tom
• [SPARK-40362] [SC-110401][sql] Fix BinaryComparison canonicalization
• [SPARK-40411] [SC-110381][ss] Refactor FlatMapGroupsWithStateExec för att ha ett överordnat drag
• [SPARK-40293] [SC-110084][sql] Gör V2-tabellfelmeddelandet mer meningsfullt
• [SPARK-38734] [SC-110383][sql] Ta bort felklassen INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Åtgärda kolumnnamn i funktionen "arrays_zip" när matriser refereras från kapslade structs
• [SPARK-40276] [SC-109674][core] Minska resultatstorleken för RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Ersätt frågeplan med kontext för MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrera till felklassen DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Sprida metadatakolumner via Project
• [SPARK-40280] [SC-110146][sql] Lägg till stöd för parquet push down för kommenterad int och long
• [SPARK-40220] [SC-110143][sc-109175][SQL] Mata inte ut den tomma kartan över felmeddelandeparametrar
• [SPARK-40295] [SC-110070][sql] Tillåt v2-funktioner med literalargument i skrivfördelning/sekvensering
• [SPARK-40156] [SC-109264][sql] url_decode() om en felklass returneras
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator bör avbryta fasen när den incheckade filen inte överensstämmer med uppgiftsstatus
• [SPARK-40260] [SC-109424][sql] Använd felklasser i kompileringsfel för en position av GROUP BY
• [SPARK-40205] [SC-110144][sc-109082][SQL] Ange en frågekontext för ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Förbättra funktionen TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Ändra inte intervallvärdet för Decimal i changePrecision() vid fel
• [SPARK-40319] [SC-109873][sql] Ta bort duplicerad felmetod för frågekörning för PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Numerisk try_add/try_divide/try_subtract/try_multiply bör utlösa fel från sina underordnade
• [SPARK-40183] [SC-108907][sql] Använd felklass NUMERIC_VALUE_OUT_OF_RANGE för spill i decimalkonvertering
• [SPARK-40180] [SC-109069][sql] Formatera felmeddelanden efter spark-sql
• [SPARK-40153] [SC-109165][sql] Förena lösningsfunktioner och tabellvärderade funktioner
• [SPARK-40308] [SC-109880][sql] Tillåt icke-sammanfällbara avgränsarargument till funktionen str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Logisk plan för löst vy bör innehålla schemat för att undvika redundant sökning
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formatera felmeddelanden i Thrift Server
• [SPARK-39917] [SC-109038][sql] Använd olika felklasser för numeriskt/intervallaritmiskt spill
• [SPARK-40033] [SC-109875][sql] Stöd för kapslad schemarensning via element_at
• [SPARK-40194] [SC-109660][sql] SPLIT-funktionen för en tom regex ska trunkera en avslutande tom sträng.
• [SPARK-40228] [SC-109835][sql] Förenkla inte multiLike om barn inte är ett billigt uttryck
• [SPARK-40039] [SC-109896][sc-109260][SS] Introduktion till en streamingkontrollfilhanterare baserad på Hadoops Abortable-gränssnitt
• [SPARK-40285] [SC-109679][sql] Förenkla roundTo[Numeric] för Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison bör fungera när literalen i In/InSet downcast misslyckades
• [SPARK-40040] [SC-109662][sql] Tryck lokalt gräns på båda sidor om sammanslagningsvillkor är tomt
• [SPARK-40055] [SC-109075][sql] listCatalogs bör också returnera spark_catalog även när spark_catalog implementering är standardSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) kanske inte skapar N-partitioner utan AQE-del
• [SPARK-40207] [SC-109401][sql] Ange kolumnnamnet när datatypen inte stöds av datakällan
• [SPARK-40245] [SC-109295][sql] Åtgärda FileScan-jämförelsekontroll när partitions- eller datafilterkolumner inte läses
• [SPARK-40113] [SC-109405][sql] Implementeringar av DataSourceV2-gränssnitt för Reactor ParquetScanBuilder
• [SPARK-40211] [SC-109226][core][SQL] Tillåt anpassning av inledande partitionsnummer i take() beteende
• [SPARK-40252] [SC-109379][sql] Ersätt Stream.collect(Collectors.joining) med StringJoiner API
• [SPARK-40247] [SC-109272][sql] Åtgärda kontrollen för BitSet-jämförelse
• [SPARK-40067] [SQL] Använd Table#name() i stället för Scan#name() för att fylla i tabellnamnet i BatchScan-noden i SparkUI
• [SPARK-39966] [SQL] Använda V2-filter i SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Distribution och beställning stöder V2-funktionen skriftligen
• [SPARK-40224] [SC-109271][sql] Gör ObjectHashAggregateExec frigöra minne omedelbart när det återgår till sorteringsbaserad
• [SPARK-40013] [SQL] DS V2-uttryck bör ha standardvärdet toString
• [SPARK-40214] [SC-109079][python][SQL] lägg till "get" i funktioner
• [SPARK-40192] [SC-109089][sql][ML] Ta bort redundant groupby
• [SPARK-40146] [SC-108694][sql] Helt enkelt kodgenen för att hämta kartvärde
• [SPARK-40109] [SQL] Ny SQL-funktion: get()
• [SPARK-39929] [SQL] DS V2 har stöd för nedtryckningssträngsfunktioner (ej ANSI)
• [SPARK-39819] [SQL] DS V2-aggregerad push-nedtryckning kan fungera med top N eller växling (sortera med uttryck)
• [SPARK-40213] [SC-109077][sql] Stöder ASCII-värdekonvertering för latinska-1 tecken
• [SPARK-39887] [SQL] RemoveRedundantAliases bör behålla alias som gör utdata för projektionsnoder unika
• [SPARK-39764] [SQL] Gör PhysicalOperation till samma som ScanOperation
• [SPARK-39964] [SQL] DS V2-pushdown bör förena översättningssökvägen
• [SPARK-39528] [SQL] Använda V2-filter i SupportsRuntimeFiltering
• [SPARK-40066] [SQL] ANSI-läge: returnera alltid null vid ogiltig åtkomst till mappningskolumnen
• [SPARK-39912] [SPARK-39828][sql] Förfina CatalogImpl
• [SPARK-39833] [SC-108736][sql] Inaktivera Parquet-kolumnindex i DSv1 för att åtgärda ett korrekthetsproblem vid överlappande partitions- och datakolumner
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS kommandot bör skriva ut kvalificerat funktionsnamn som v1
• [SPARK-39767] [SQL] Ta bort UnresolvedDBObjectName och lägg till UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] funktion: SparkSession.config(Karta)
• [SPARK-40136] [SQL] Åtgärda fragmentet med SQL-frågekontexter
• [SPARK-40107] [SC-108689][sql] Extrahera empty2null-konvertering från FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Initiera projektion som används för Python UDF
• [SPARK-40128] [SQL] Gör så att VectorizedColumnReader identifierar DELTA_LENGTH_BYTE_ARRAY som en fristående kolumnkodning
• [SPARK-40132] [ML] Återställ rawPredictionCol till MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Förbättra EliminateSorts för att stödja borttagning av sorter via LocalLimit
• [SPARK-39629] [SQL] Support v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Lägg till överbelastning av array_sort(kolumn, jämförare) i DataFrame-åtgärder
• [SPARK-40117] [PYTHON][sql] Konvertera villkor till java i DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Förbättra ompartitionen i ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Lägg till sessionskatalognamn för v1-databastabell och -funktion
• [SPARK-39889] [SQL] Använd olika felklasser för numeriskt/intervall dividerat med 0
• [SPARK-39741] [SQL] Stöd för URL-koda/avkoda som inbyggd funktion och städa upp URL-relaterade funktioner
• [SPARK-40102] [SQL] Använda SparkException i stället för IllegalStateException i SparkPlan
• [SPARK-40014] [SQL] Stöd för decimaler till ANSI-intervall
• [SPARK-39776] [SQL][följ] Uppdatera UT av PlanStabilitySuite i ANSI-läge
• [SPARK-39963] [SQL] Förenkla SimplifyCasts.isWiderCast

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 11.3.

Systemmiljö

• Operativsystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-09-08. Ögonblicksbilden är inte längre tillgänglig.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)