Databricks Runtime 15.4 LTS

Följande viktig information innehåller information om Databricks Runtime 15.4 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i augusti 2024.

Förändringar i beteende

• Om du använder en VARIANT som indata- eller utdatatyp med en Python UDF, UDAF eller UDTF genereras ett undantag
• Ändra till standardschemabindningsläget för vyer
• Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck
• Tillåt inte syntax för odokumenterad kolumndefinition i vyer
• Konsekvent felhantering för Base64-avkodning i Spark och Photon
• Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass
• pyodbc uppdateras från 4.0.38 till 4.0.39

Om du använder en VARIANT som indata- eller utdatatyp med en Python UDF, UDAF eller UDTF genereras ett undantag

[Icke-bakåtkompatibel ändring] I Databricks Runtime 15.3 och senare anropar du en Python-användardefinierad funktion (UDF), användardefinierad aggregeringsfunktion (UDAF) eller användardefinierad tabellfunktion (UDTF) som använder en VARIANT typ som argument eller returvärde genererar ett undantag. Den här ändringen görs för att förhindra problem som kan uppstå på grund av ett ogiltigt värde som returneras av någon av dessa funktioner. Mer information om typen finns i VARIANT Använda VARIANT för att lagra halvstrukturerade data.

Ändra till standardschemabindningsläget för vyer

Vyerna anpassas nu till schemaändringar i den underliggande frågan med hjälp av schemakompensation med vanliga regler för gjutning. Det här är en ändring från det tidigare standardläget BINDING , vilket gav upphov till fel när en säker gjutning inte kunde utföras när vyn refererades till.

Se CREATE VIEW och -anrop för funktionen.

Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck

Med den här versionen tillåts inte längre användning av ! som synonym för NOT utanför booleska uttryck. Till exempel instruktioner som följande: CREATE ... IF ! EXISTS, IS ! NULL, en ! NULL kolumn- eller fältegenskap ! IN och ! BETWEEN måste ersättas med: CREATE ... IF NOT EXISTS, IS NOT NULL, en NOT NULL kolumn- eller fältegenskap NOT IN och NOT BETWEEN.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och gör din SQL mer portabel.

Den booleska prefixoperatorn! (till exempel !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

Tillåt inte syntax för odokumenterad kolumndefinition i vyer

Databricks stöder CREATE VIEW med namngivna kolumner och kolumnkommenterar. Tidigare har specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT tillåtits. Med den här versionen kan du inte längre använda den här syntaxen.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och stöder framtida förbättringar.

Konsekvent felhantering för Base64-avkodning i Spark och Photon

Den här versionen ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Spark-hanteringen av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland inte generera parsningsfel, medan Spark tolkade körningen korrekt upphöjd IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass

För att ge mer användbara felmeddelanden i Databricks Runtime 15.3 och senare returnerar en ALTER TABLE ADD CONSTRAINT instruktion som innehåller en CHECK begränsning som refererar till ett ogiltigt kolumnnamn UNRESOLVED_COLUMN. WITH_SUGGESTION felklass. Tidigare returnerades en INTERNAL_ERROR .

pyodbc uppdateras från 4.0.38 till 4.0.39

Pyodbc-paketet uppdateras från version 4.0.38 till version 4.0.39. Den här ändringen krävs eftersom en bugg hittades i version 4.0.38 och den versionen har tagits bort från PyPI.

Nya funktioner och förbättringar

• UTF-8-valideringsfunktioner
• Api:er för typade datauppsättningar med Scala-UDF:er
• Aktivera UniForm Iceberg med hjälp av ALTER TABLE
• funktionen try_url_decode
• Om du vill kan du tillåta att optimeraren förlitar sig på ogenomträngliga begränsningar för sekundärnyckel
• Parallelliserade jobbkörningar för selektiva överskrivningar
• Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar
• Förbättrad frågesvarstid för COPY INTO kommandot
• Stöd för att ta bort tabellfunktionen för kontrollbegränsningar
• Beräkning av en användare stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)
• Utökat stöd för Java- och Scala-bibliotek
• Utökat stöd för Scala Dataset-åtgärder
• Scala är GA på delad beräkning i Unity Catalog
• Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter (offentlig förhandsversion)

UTF-8-valideringsfunktioner

Den här versionen introducerar följande funktioner för validering av UTF-8-strängar:

• is_valid_utf8 verifierat om en sträng är en giltig UTF-8-sträng.
• make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med ersättningstecken
• validate_utf8 genererar ett fel om indata inte är en giltig UTF-8-sträng.
• try_validate_utf8 returnerar NULL om indata inte är en giltig UTF-8-sträng.

Api:er för typade datauppsättningar med Scala-UDF:er

Den här versionen innehåller stöd för skrivskyddade API:er för datauppsättningar med scala-användardefinierade funktioner (exklusive användardefinierade aggregeringsfunktioner) på Unity Catalog-aktiverad beräkning med läget för delad åtkomst. Se API:er för typade datauppsättningar.

Aktivera UniForm Iceberg med hjälp av ALTER TABLE

Nu kan du aktivera UniForm Iceberg på befintliga tabeller utan att skriva om datafiler. Se Aktivera iceberg-läsningar på en befintlig tabell.

funktionen try_url_decode

Den här versionen introducerar funktionen try_url_decode , som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.

Om du vill kan du tillåta att optimeraren förlitar sig på ogenomträngliga begränsningar för sekundärnyckel

För att förbättra frågeprestandan kan du nu ange nyckelordet RELY för FOREIGN KEY begränsningar när du skapar eller ändrar en tabell.

Parallelliserade jobbkörningar för selektiva överskrivningar

Selektiva överskrivningar med nu replaceWhere kör jobb som tar bort data och infogar nya data parallellt, vilket förbättrar frågeprestanda och klusteranvändning.

Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar

Selektiva överskrivningar med hjälp av replaceWhere tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för infogade data. Dessa åtgärder använder en dold _change_type kolumn som finns i de underliggande Parquet-datafilerna för att registrera ändringar utan skrivförstärkning.

Förbättrad frågesvarstid för COPY INTO kommandot

Den här versionen innehåller en ändring som förbättrar frågesvarstiden för COPY INTO kommandot. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.

Stöd för att ta bort tabellfunktionen för kontrollbegränsningar

Nu kan du släppa checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Inaktivera kontrollbegränsningar.

Beräkning av en användare stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)

När en arbetsyta är aktiverad för serverlös beräkning lägger Databricks Runtime 15.4 LTS till stöd för detaljerad åtkomstkontroll för beräkning av en användare. När en fråga kommer åt något av följande objekt skickar en användares beräkningsresurs på Databricks Runtime 15.4 LTS frågan till den serverlösa beräkningen för att köra datafiltrering:

• Vyer som definierats över tabeller där användaren inte har behörighet.SELECT
• Dynamiska vyer.
• Tabeller med radfilter eller kolumnmasker tillämpade.
• Materialiserade vyer och strömmande tabeller.

Dessa frågor stöds inte vid beräkning av en användare som kör Databricks Runtime 15.3 och nedan.

Mer information finns i Detaljerad åtkomstkontroll för beräkning av enskilda användare.

Utökat stöd för Java- och Scala-bibliotek

Från och med Databricks Runtime 15.4 LTS är alla Java- och Scala-bibliotek som paketeras med Databricks Runtime tillgängliga i alla beräkningsåtkomstlägen när du använder Unity Catalog. Mer information om språkstöd för Unity Catalog-aktiverad beräkning finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Utökat stöd för Scala Dataset-åtgärder

Med den här versionen stöder Unity Catalog-aktiverade beräkningsresurser som använder läget för delad åtkomst följande Scala-åtgärderDataset: map, mapPartitions, foreachPartition, flatMapreduce och filter.

Scala är GA på delad beräkning i Unity Catalog

Med den här versionen är Scala allmänt tillgängligt i enhetskatalogaktiverad beräkning med delad åtkomst, inklusive stöd för skalära användardefinierade funktioner (UDF: er). Strukturerad direktuppspelning, Hive UDF:er och användardefinierade Hive-aggregeringsfunktioner stöds inte. En fullständig lista över begränsningar finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter (offentlig förhandsversion)

Tjänstautentiseringsuppgifter möjliggör enkel och säker autentisering med molnklientens tjänster med hjälp av Azure-hanterade identiteter (MI) och Unity Catalog. Se Hantera åtkomst till externa molntjänster med autentiseringsuppgifter för tjänsten.

Felkorrigeringar

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • azure-core från 1.30.1 till 1.30.2
  • google-auth från 2.29.0 till 2.31.0
  • google-cloud-storage från 2.16.0 till 2.17.0
  • google-resumable-media från 2.7.0 till 2.7.1
  • googleapis-common-protos från 1.63.0 till 1.63.2
  • mlflow-skinny från 2.11.3 till 2.11.4
  • proto-plus från 1.23.0 till 1.24.0
  • s3transfer från 0.10.1 till 0.10.2
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • com.databricks.databricks-sdk-java från 0.17.1 till 0.27.0
  • com.ibm.icu.icu4j från 72.1 till 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.3 (EoS)och följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Tillåt gruppering av uttryck i skalär underfrågor, om de är bundna till yttre rader
• [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Inaktivera variantindata/utdata till python-skalära UDF:er, UDF:er, UDAF:er under frågekompilering
• [SPARK-48441] [SC-170980][SQL][WARMFIX] Åtgärda StringTrim-beteende för icke-UTF8_BINARY sortering
• [SPARK-48440] [SC-170895][SQL][WARMFIX] Åtgärda StringTranslate-beteende för icke-UTF8_BINARY sortering
• [SPARK-48872] [SC-170866][PYTHON] Minska kostnaderna för _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
• [SPARK-48852] [SC-170837][ANSLUT] Åtgärda strängtrimningsfunktionen i connect
• [SPARK-48791] [SC-170658][CORE] Åtgärda perf-regression som orsakas av ackumulatorernas registreringskostnader med hjälp av CopyOnWriteArrayList
• [SPARK-48118] [SQL] Stöd SPARK_SQL_LEGACY_CREATE_HIVE_TABLE för env-variabel
• [SPARK-48241] [SC-165811][SQL] CSV-parsningsfel med kolumner av typen char/varchar
• [SPARK-48168] [SC-166900][SQL] Stöd för att lägga till bitvis skiftande operatorer
• [SPARK-48148] [SC-165630][CORE] JSON-objekt bör inte ändras när de läse som STRING
• [SPARK-46625] [SC-170561] CTE med identifierarsatsen som referens
• [SPARK-48771] [SC-170546][SQL] Snabba upp LogicalPlanIntegrity.validateExprIdUniqueness för stora frågeplaner
• [SPARK-48831] [BEHAVE-76][SC-170554][ANSLUT] Gör standardkolumnnamnet cast kompatibelt med Spark Classic
• [SPARK-48623] [SC-170544][CORE] Strukturerade loggningsmigreringar [del 2]
• [SPARK-48296] [SC-166138][SQL] Codegen-stöd för to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter för anslutning på flera nivåer bör kontrollera den underordnade kopplingstypen
• [SPARK-48686] [SC-170365][SQL] Förbättra prestanda för ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] Introduktion spark.profile.render för SparkSession-baserad profilering
• [SPARK-48048] [SC-169099] Återställ "[SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala"
• [SPARK-47910] [SC-168929][CORE] stäng strömmen när DiskBlockObjectWriter stängerResurser för att undvika minnesläckage
• [SPARK-48816] [SC-170547][SQL] Förkortning för intervallkonverterare i UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Lägg till alternativet snapshotStartBatchId och snapshotPartitionId till tillståndsdatakällan
• [SPARK-48280] [SC-170293][SQL] Förbättra sorteringstestytan med hjälp av uttrycksvandring
• [SPARK-48837] [SC-170540][ML] I CountVectorizer läser du bara binär parameter en gång per transformering, inte en gång per rad
• [SPARK-48803] [SC-170541][SQL] Generera internt fel i Orc(De)serialiserare för att justera mot ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] Filtrera bort IPython-relaterade ramar från användarstacken
• [SPARK-48818] [SC-170414][PYTHON] Förenkla percentile funktioner
• [SPARK-48479] [SC-169079][SQL] Stöd för att skapa skalär- och tabell-SQL-UDF:er i parser
• [SPARK-48697] [SC-170122][LC-4703][SQL] Lägga till sorteringsmedvetna strängfilter
• [SPARK-48800] [SC-170409][ANSLUT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Rätt sedan versionen för det inbyggda func-aliaset random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
• [SPARK-48638] [SC-169575][ANSLUT] Lägga till ExecutionInfo-stöd för DataFrame
• [SPARK-48064] [SC-164697][SQL] Uppdatera felmeddelanden för rutinrelaterade felklasser
• [SPARK-48810] [ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
• [SPARK-48650] [15.x][PYTHON] Visa rätt anropswebbplats från IPython Notebook
• [SPARK-48271] [SC-166076][SQL] Omvandla matchningsfel i RowEncoder till UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Åtgärda matchningsfel för varchar-typmatchning för DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Åtgärda regression för INSERT med en partiell kolumnlista i en tabell med char/varchar
• [SPARK-48767] [SC-170330][SQL] Åtgärda vissa felmeddelanden när variant typdata är ogiltiga
• [SPARK-48719] [SC-170339][SQL] Åtgärda beräkningsfelet RegrSlope för & RegrIntercept när den första parametern är null
• [SPARK-48815] [SC-170334][ANSLUT] Uppdatera miljön när anslutningssessionen stoppas
• [SPARK-48646] [SC-169020][PYTHON] Förfina API-docstring och typtips för Python-datakälla
• [SPARK-48806] [SC-170310][SQL] Skicka verkligt undantag när url_decode misslyckas
• [SPARK-47777] [SC-168818] åtgärda python-strömmande datakällans anslutningstest
• [SPARK-48732] [SC-169793][SQL] Rensa inaktuell API-användning relaterad till JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Åtgärda cachetabell med sorterad kolumn
• [SPARK-48623] [SC-169034][CORE] Strukturerad loggningsmigrering
• [SPARK-48655] [SC-169542][SQL] SPJ: Lägga till tester för shuffle-överhoppning för aggregerade frågor
• [SPARK-48586] [SC-169808][SS] Ta bort låsförvärv i doMaintenance() genom att göra en djup kopia av filmappningar i RocksDBFileManager i load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Omstrukturera versionshantering för operatormetadata, läsa/skriva och anropare
• [SPARK-48808] [SC-170309][SQL] Åtgärda NPE när du ansluter thriftserver via Hive 1.2.1 och resultatschemat är tomt
• [SPARK-48715] [SC-170291][SQL] Integrera UTF8String-validering i implementeringar av sorteringsmedvetna strängfunktioner
• [SPARK-48747] [SC-170120][SQL] Lägga till iterator för kodpunkt i UTF8String
• [SPARK-48748] [SC-170115][SQL] CachenumChars i UTF8String
• [SPARK-48744] [SC-169817][Kärna] Loggposten ska bara konstrueras en gång
• [SPARK-46122] [SC-164313][SQL] Ange spark.sql.legacy.createHiveTableByDefault till false som standard
• [SPARK-48765] [SC-170119][DISTRIBUERA] Förbättra standardvärdeutvärderingen för SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Lägg till migreringsdokument för CREATE TABLE AS SELECT beteendeförändring sedan Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][ANSLUT] Sprida cachelagrat schema i dataramsåtgärder
• [SPARK-48766] [SC-170126][PYTHON] Dokumentera beteendeskillnaden extraction mellan element_at och try_element_at
• [SPARK-48768] [SC-170124][PYTHON][ANSLUT] Ska inte cachelagrad explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Ändra till att läsa operatormetadata en gång på drivrutinen för att kontrollera om vi kan hitta information om numColsPrefixKey som används för sessionsfönster-agg-frågor
• [SPARK-48656] [SC-169529][CORE] Gör en längdkontroll och kasta COLLECTION_SIZE_LIMIT_EXCEEDED fel i CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
• [SPARK-48472] [SC-169044][SQL] Aktivera reflekterande uttryck med sorterade strängar
• [SPARK-48699] [SC-169597][SQL] Förfina sorterings-API
• [SPARK-48682] [SC-169812][SQL][BEHAVE-58] Använda ICU i InitCap-uttryck för UTF8_BINARY strängar
• [SPARK-48282] [SC-169813][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Aktivera sorteringsstöd för modeuttrycket
• [SPARK-48320] [SPARK-48490] Synkronisera de senaste Logging-funktionerna och testfallen från OSS Spark
• [SPARK-48629] [SC-169479] Migrera residualkoden till ett strukturerat loggningsramverk
• [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Använda ICU i lägre/övre uttryck för UTF8_BINARY strängar
• [SPARK-48573] [15.x][SC-169582][SQL] Uppgradera ICU-version
• [SPARK-48687] [Backport][15.x][SS] Lägg till ändring för att utföra tillståndsschemavalidering och uppdatering av drivrutinen för tillståndskänsliga frågor
• [SPARK-47579] [15.x][SC-167310][CORE][PART4] Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48008] [SC-167363][1/2] Stöd för UDAF:er i Spark Connect
• [SPARK-48578] [SC-169505][SQL] lägg till UTF8-strängvalideringsrelaterade funktioner
• [SPARK-48670] [SC-169598][SQL] Ge förslag som en del av felmeddelandet när ogiltigt sorteringsnamn anges
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Strukturerat loggramverk på Java-sidan
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Migrera logWarn med variabler till ett strukturerat loggningsramverk
• [SPARK-48706] [SC-169589][PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
• [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Gör alltid utfyllnad av tecken i predikat
• [SPARK-48662] [SC-169533][SQL] Åtgärda StructsToXml-uttryck med sortering
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates och dropDuplicatesWIthinWatermark bör acceptera variabellängd args
• [SPARK-48678] [SC-169463][CORE] Prestandaoptimeringar för SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Byt namn på UTF8_BINARY_LCASE till UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: Åtgärda nullatribut i UDF-avkodaren
• [SPARK-47579] [SC-165297][CORE][PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk (nytt)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal inte använda de inaktuella metoderna
• [SPARK-48431] [SC-167290][LC-4066][SQL] Vidarebefordra inte predikat för sorterade kolumner till filläsare
• [SPARK-47579] Återställ "[SC-165297][CORE][PART1] Migrera logInfo med variabler till strukturerat loggningsramverk"
• [SPARK-47585] [SC-164306][SQL] SQL Core: Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48466] [SC-169042][SQL] Skapa en dedikerad nod för EmptyRelation i AQE
• [SPARK-47579] [SC-165297][CORE][PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48410] [SC-168320][SQL] Åtgärda InitCap-uttryck för UTF8_BINARY_LCASE och ICU-sortering
• [SPARK-48318] [SC-167709][SQL] Aktivera stöd för hashkoppling för alla sorteringar (komplexa typer)
• [SPARK-48435] [SC-168128][SQL] UNICODE-sortering bör inte stödja binär likhet
• [SPARK-48555] [SC-169041][SQL][PYTHON][ANSLUT] Stöd för att använda Kolumner som parametrar för flera funktioner i pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Lägga till en hjälpfunktion för att förenkla Column.py
• [SPARK-48574] [SC-169043][SQL] Åtgärda stöd för StructTypes med sortering
• [SPARK-48305] [SC-166390][SQL] Lägga till sorteringsstöd för CurrentLike-uttryck
• [SPARK-48342] [SC-168941][SQL] Introduktion av SQL Scripting Parser
• [SPARK-48649] [SC-169024][SQL] Lägg till konfigurationerna "ignoreInvalidPartitionPaths" och "spark.sql.files.ignoreInvalidPartitionPaths" för att tillåta att ogiltiga partitionssökvägar ignoreras
• [SPARK-48000] [SC-167194][SQL] Aktivera stöd för hashkoppling för alla sorteringar (StringType)
• [SPARK-48459] [SC-168947][ANSLUT][PYTHON] Implementera DataFrameQueryContext i Spark Connect
• [SPARK-48602] [SC-168692][SQL] Få csv-generatorn att ha stöd för olika utdataformat med spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Ändra strängjämförelse för UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][SQL]-refaktor: använd extra idMap i stället för OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][ANSLUT] Undvik att statiskt initiera trådpoolen i ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Introducerar en universell BinaryFormatter för att göra binära utdata konsekventa
• [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError orsakad av dödande uppgift vid spill
• [SPARK-48572] [SC-168844][SQL] Korrigera uttrycken DateSub, DateAdd, WindowTime, TimeWindow och SessionWindow
• [SPARK-48600] [SC-168841][SQL] Åtgärda implicit gjutning av FrameLessOffsetWindowFunction-uttryck
• [SPARK-48644] [SC-168933][SQL] Gör en längdkontroll och kasta COLLECTION_SIZE_LIMIT_EXCEEDED fel i Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Undvik lagringsförstärkning vid åtkomst till en undervariant
• [SPARK-48647] [SC-168936][PYTHON][ANSLUT] Förfina felmeddelandet för YearMonthIntervalType i df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE bör behålla icke-infogade relationer i den ursprungliga WithCTE-noden
• [SPARK-48596] [SC-168581][SQL] Förbättring av perf för beräkning av hexsträng under lång tid
• [SPARK-48621] [SC-168726][SQL] Åtgärda som förenkling i Optimizer för sorterade strängar
• [SPARK-47148] [SC-164179][SQL] Undvik att materialisera AQE ExchangeQueryStageExec vid annulleringen
• [SPARK-48584] [SC-168579][SQL] Förbättring av perf för unescapePathName
• [SPARK-48281] [SC-167260][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Ogiltig ersättning av UTF-8 byte-sekvens
• [SPARK-48595] [SC-168580][CORE] Rensa inaktuell API-användning relaterad till commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: cache rowOrdering och structType för InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] Lägg till WriteFilesExecBase-drag för v1-skrivning
• [SPARK-48551] [SC-168438][SQL] Förbättring av prestanda för escapePathName
• [SPARK-48565] [SC-168437][Användargränssnitt] Åtgärda tråddumpningsvisning i användargränssnittet
• [SPARK-48364] [SC-166782][SQL] Lägg till AbstractMapType-typgjutning och korrigera RaiseError-parameterkarta för att arbeta med sorterade strängar
• [SPARK-48421] [SC-168689][SQL] SPJ: Lägg till dokumentation
• [SPARK-48604] [SC-168698][SQL] Ersätt inaktuellt new ArrowType.Decimal(precision, scale) metodanrop
• [SPARK-46947] [SC-157561][CORE] Fördröj minneshanterarens initiering tills plugin-programmet driver läses in
• [SPARK-48411] [SC-168576][SS][PYTHON] Lägg till E2E-test för DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Spåra fel vid verifiering av tillståndsrad med hjälp av explicit felklass
• [SPARK-48221] [SC-167143][SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Lägga till sorteringsstöd för Levenshtein-uttryck
• [SPARK-48593] [SC-168719][PYTHON][ANSLUT] Åtgärda strängrepresentationen av lambda-funktionen
• [SPARK-48622] [SC-168710][SQL] hämta SQLConf en gång när du löser kolumnnamn
• [SPARK-48594] [SC-168685][PYTHON][ANSLUT] Byt parent namn på fältet till child i ColumnAlias
• [SPARK-48403] [SC-168319][SQL] Åtgärda lägre och övre uttryck för UTF8_BINARY_LCASE och ICU-sortering
• [SPARK-48162] [SC-166062][SQL] Lägga till sorteringsstöd för MISC-uttryck
• [SPARK-48518] [SC-167718][CORE] Gör så att LZF-komprimering kan köras parallellt
• [SPARK-48474] [SC-167447][CORE] Åtgärda klassnamnet för loggen i SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: Stöd för transfromuttryck för enkelsidig blandning
• [SPARK-48552] [SC-168212][SQL] CSV-schemainferens med flera rader bör också utlösa FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] Gör StreamingQueryListener.spark settable
• [SPARK-48569] [SC-168321][SS][ANSLUT] Hantera kantfall i query.name
• [SPARK-47260] [SC-167323][SQL] Tilldela namn till felklass _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][ANSLUT] Sprida cachelagrat schema i uppsättningsåtgärder
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation för anslutning bör kontrollera om förblir underordnad är bara BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][CORE] Kortnamn för komprimeringskod är skiftlägesokänsliga förutom händelseloggning
• [SPARK-48447] [SC-167607][SS] Kontrollera tillståndslagerproviderklassen innan du anropar konstruktorn
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff och DateTimeUtils.timestampAdd bör inte utlösa INTERNAL_ERROR undantag
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Lägg till felklass för tillståndsschemakompatibilitet och mindre refaktorisering
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN med sökordning
• [SPARK-48561] [SC-168250][PS][ANSLUT] Kasta PandasNotImplementedError för ritningsfunktioner som inte stöds
• [SPARK-48465] [SC-167531][SQL] Undvik icke-op tom relationsspridning
• [SPARK-48553] [SC-168166][PYTHON][ANSLUT] Cachelagrade fler egenskaper
• [SPARK-48540] [SC-168069][CORE] Undvik inställningar för inläsning av ivy-utdata till stdout
• [SPARK-48535] [SC-168057][SS] Uppdatera konfigurationsdokument för att ange risken för problem med dataförlust/skada om hoppa över null-värden för konfiguration av stream-stream-kopplingar är aktiverat
• [SPARK-48536] [SC-168059][PYTHON][ANSLUT] Cacheanvändar angivet schema i applyInPandas och applyInArrow
• [SPARK-47873] [SC-163473][SQL] Skriva sorterade strängar till Hive-metaarkivet med hjälp av den vanliga strängtypen
• [SPARK-48461] [SC-167442][SQL] Ersätt NullPointerExceptions med felklassen i AssertNotNull-uttrycket
• [SPARK-47833] [SC-163191][SQL][CORE] Supply caller stackstrace för checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][SQL] Port HIVE-12270: Lägg till DBTokenStore-stöd till HS2-delegeringstoken
• [SPARK-47578] [SC-167497][R] Migrera RPackageUtils med variabler till ett strukturerat loggningsramverk
• [SPARK-47875] [SC-162935][CORE] Avlägsna spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Ange spark.hadoop.fs.s3a.connection.establish.timeout till 30-talet om det saknas
• [SPARK-47972] [SC-167692][SQL] Begränsa CAST-uttryck för sortering
• [SPARK-48430] [SC-167489][SQL] Åtgärda extrahering av kartvärde när kartan innehåller sorterade strängar
• [SPARK-47318] [SC-162712][CORE][3.5] Lägger till HKDF-avrundning till AuthEngine-nyckelhärledning för att följa standardmetoderna för KEX
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
• [SPARK-48508] [SC-167695][ANSLUT][PYTHON] Cacheanvändaranvändar angivet schema i DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Åtgärda bugg i Windows där start av flera Spark-instanser inom samma sekund orsakar ett fel
• [SPARK-45891] [SC-167608]Återställ " Beskriv fragmenteringsschemat för Variant"
• [SPARK-48391] [SC-167554][CORE]Använda addAll i stället för att lägga till funktion i frånAccumulatorInfos-metoden för TaskMetrics-klass
• [SPARK-48496] [SC-167600][CORE] Använda statiska regex Pattern-instanser i JavaUtils.timeStringAs och JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] åtgärda NPE-felmeddelande för null delmiter csv
• [SPARK-48489] [SC-167598][SQL] Skapa ett bättre användaranslutet fel vid läsning av ogiltigt schema från textdatakälla
• [SPARK-48471] [SC-167324][CORE] Förbättra dokumentationen och användningsguiden för historikservern
• [SPARK-45891] [SC-167597] Beskriva fragmenteringsschema för variant
• [SPARK-47333] [SC-159043][SQL] Använd checkInputDataTypes för att kontrollera parametertyperna för funktionen to_xml
• [SPARK-47387] [SC-159310][SQL] Ta bort några felklasser som inte används
• [SPARK-48265] [ES-1131440][SQL] Härleda gruppgränsbatch för fönster ska utföra konstant vikning
• [SPARK-47716] [SC-167444][SQL] Undvik konflikt med visningsnamn i SQLQueryTestSuite semantisk sorteringstestfall
• [SPARK-48159] [SC-167141][SQL] Utöka stöd för sorterade strängar i datetime-uttryck
• [SPARK-48462] [SC-167271][SQL][Tester] Använd withSQLConf i tester: Refactor HiveQuerySuite och HiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] Läs även in spark-defaults.conf när det tillhandahålls --properties-file
• [SPARK-48468] [SC-167417] Lägg till LogicalQueryStage-gränssnittet i katalysator
• [SPARK-47578] [SC-164988][CORE] Manuell backport för Spark PR #46309: Migrera logWarning med variabler till strukturerat loggningsramverk
• [SPARK-48415] [SC-167321]Återställ "[PYTHON] Refaktortypnamn för att stödja parametriserade datatyper"
• [SPARK-46544] [SC-151361][SQL] Stöd för v2 DESCRIBE TABLE EXTENDED med tabellstatistik
• [SPARK-48325] [SC-166963][CORE] Ange alltid meddelanden i ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Lägg till sorteringsstöd för ICU-språk och sorteringsspecificerare
• [SPARK-47221] [SC-157870][SQL] Använder signaturer från CsvParser till AbstractParser
• [SPARK-47246] [SC-158138][SQL] Ersätt InternalRow.fromSeq med new GenericInternalRow för att spara en samlingskonvertering
• [SPARK-47597] [SC-163932][STREAMING] Manuell backport för Spark PR #46192: Direktuppspelning: Migrera logInfo med variabler till strukturerat loggningsramverk
• [SPARK-48415] [SC-167130][PYTHON] Omstrukturera för TypeName att stödja parametriserade datatyper
• [SPARK-48434] [SC-167132][PYTHON][ANSLUT] Använd printSchema det cachelagrade schemat
• [SPARK-48432] [ES-1097114][SQL] Undvik att ta bort heltal i UnivocityParser
• [SPARK-47463] [SC-162840][SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
• [SPARK-47781] [SC-162293][SQL] Hantera decimaler med negativ skalning för JDBC-datakällor
• [SPARK-48394] [SC-166966][CORE] Rensa mapIdToMapIndex vid avregistrering av mapoutput
• [SPARK-47072] [SC-156933][SQL] Åtgärda intervallformat som stöds i felmeddelanden
• [SPARK-47001] [SC-162487][SQL] Pushdown-verifiering i optimizer
• [SPARK-48335] [SC-166387][PYTHON][ANSLUT] Gör _parse_datatype_string kompatibel med Spark Connect
• [SPARK-48329] [SC-166518][SQL] Aktivera spark.sql.sources.v2.bucketing.pushPartValues.enabled som standard
• [SPARK-48412] [SC-166898][PYTHON] Refaktordatatyp json parse
• [SPARK-48215] [SC-166781][SQL] Utöka stöd för sorterade strängar i date_format uttryck
• [SPARK-45009] [SC-166873][SQL][FÖLJ UPP] Lägg till felklass och tester för dekorrelation av predikatunderfrågor i kopplingsvillkor som refererar till både kopplingsunderordnad
• [SPARK-47960] [SC-165295][SS][15.x] Tillåt länkning av andra tillståndskänsliga operatorer efter transformWithState-operatorn.
• [SPARK-48340] [SC-166468][PYTHON] SupportTidsstämpelNTZ-slutsatsningsschema missar prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] Lägga till sorteringsstöd för CSV-uttryck
• [SPARK-48158] [SC-165652][SQL] Lägga till sorteringsstöd för XML-uttryck
• [SPARK-48160] [SC-166064][SQL] Lägga till sorteringsstöd för XPATH-uttryck
• [SPARK-48229] [SC-165901][SQL] Lägga till sorteringsstöd för inputFile-uttryck
• [SPARK-48367] [SC-166487][ANSLUT] Åtgärda lint-scala för scalafmt för att identifiera filer som ska formateras korrekt
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Omstrukturera strukturen för DataFrame-felkontext
• [SPARK-48370] [SC-166787][ANSLUT] Kontrollpunkt och localCheckpoint i Scala Spark Connect-klienten
• [SPARK-48247] [SC-166028][PYTHON] Använd alla värden i en diktering när du härleder MapType-schema
• [SPARK-48395] [SC-166794][PYTHON] Korrigering StructType.treeString för parametriserade typer
• [SPARK-48393] [SC-166784][PYTHON] Flytta en grupp konstanter till pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementera StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][ANSLUT] Kontrollpunkt och localCheckpoint i Spark Connect

Se Underhållsuppdateringar för Databricks Runtime 15.4 LTS.

Systemmiljö

• Operativsystem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta lake: 3.2.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)