Databricks Runtime 16.1

Följande versionsanteckningar innehåller information om Databricks Runtime 16.1, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i december 2024.

Beteendeändringar

Icke-bakåtkompatibel ändring: Photon-reguljära uttryck hanteras nu konsekvent med Apache Spark

I Databricks Runtime 15.4 och senare uppdateras hantering av reguljära uttryck i Photon för att matcha beteendet för hantering av reguljära Apache Spark-uttryck. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split() och regexp_extract(), vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas för reguljära uttryck som Spark anser ogiltiga.

På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{'), som innehåller en omatchad klammerparentes och som tidigare accepterades av Photon, fungerar inte nu. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{').

Photon- och Sparks beteende skilde sig också åt för viss regelbunden uttrycksmatchning av icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.

Den VARIANT datatypen kan inte längre användas med åtgärder som kräver jämförelser

I Databricks Runtime 16.1 och senare kan du inte använda följande satser eller operatorer i frågor som innehåller en VARIANT datatyp:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Dessutom kan du inte använda dessa DataFrame-funktioner:

• df.dropDuplicates()
• df.repartition()

Dessa åtgärder utför jämförelser och jämförelser som använder datatypen VARIANT ger odefinierade resultat och stöds inte i Databricks. Om du använder varianttypen i dina Azure Databricks-arbetsbelastningar eller -tabeller rekommenderar Databricks följande ändringar:

• Uppdatera frågor eller uttryck för att uttryckligen omvandla VARIANT värden till icke-VARIANT datatyper.
• Om du har fält som måste användas med någon av ovanstående åtgärder extraherar du dessa fält från VARIANT datatypen och lagrar dem med hjälp av icke-VARIANT datatyper.

Mer information finns i Frågevariantdata.

Nya funktioner och förbättringar

• Stöd för sorteringsordningar i Apache Spark är i offentlig förhandsvisning
• Stöd för sortering i Delta Lake finns i offentlig förhandsversion
• LITE läget för vakuum finns i offentlig förhandsversion
• Stöd för parameterisering av USE CATALOG with IDENTIFIER-satsen
• COMMENT ON COLUMN stöd för tabeller och vyer
• Nya SQL-funktioner
• Namngivna parameteranrop för fler funktioner
• Parametern SYNC METADATA till kommandot REPAIR TABLE stöds med Hive-metaarkivet
• Förbättrad dataintegritet för komprimerade Apache Arrow-batchar
• Stöd har lagts till för Scala-metoder i Unity Catalogs delade åtkomstläge för beräkning
• Inbyggd Teradata JDBC-drivrutin
• StreamingQueryListener-stöd för Scala
• inbyggd Oracle JDBC-drivrutin
• Mer detaljerade fel för Delta-tabeller åtkomna via sökvägar

Stöd för sortering i Apache Spark finns i offentlig förhandsversion

Nu kan du tilldela språkkänsliga, skiftlägesokänsliga och åtkomstkänsliga sorteringar till STRING kolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se sortering.

Stöd för sortering i Delta Lake finns i offentlig förhandsversion

Du kan nu definiera sortering för kolumner när du skapar eller ändrar en Delta-tabell. Se sorteringsstöd för Delta Lake.

LITE läge för vakuum finns i offentlig förhandsversion

Nu kan du använda VACUUM table_name LITE för att utföra en vakuumåtgärd med lägre vikt som utnyttjar metadata i Delta-transaktionsloggen. Se Fullt kontra lite-läge och VACUUM.

Stöd för parameterisering av USE CATALOG with IDENTIFIER-satsen

I Databricks Runtime 16.1 och senare stöds IDENTIFIER-villkoret för USE CATALOG-yttrandet. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.

COMMENT ON COLUMN stöd för tabeller och vyer

I Databricks Runtime 16.1 och senare har COMMENT ON-instruktionen stöd för att ändra kommentarer för vy- och tabellkolumner.

Nya SQL-funktioner

I Databricks Runtime 16.1 och senare är följande nya inbyggda SQL-funktioner tillgängliga:

• dagnamn (expr) returnerar den engelska förkortningen med tre bokstäver för veckodagen för det angivna datumet.
• uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt distribuerade värden inom det angivna intervallet med tal.
• randstr(längd) returnerar en slumpmässig sträng med length alfanumeriska tecken.

Namngivna parameteranrop för fler funktioner

I Databricks Runtime 16.1 och senare stöder följande funktioner namngivna parameteranrop:

• variant_explode
• variant_explode_outer
• infogade
• inline_outer
• posexplode
• posexplode_outer

Parametern SYNC METADATA till kommandot REPAIR TABLE stöds med Hive-metaarkivet

I Databricks Runtime 16.1 och senare kan du använda parametern SYNC METADATA med kommandot REPAIR TABLE för att uppdatera metadata för en hanterad Hive-metaarkivtabell. Se REPAIR TABLE.

Förbättrad dataintegritet för komprimerade Apache Arrow-batchar

I Databricks Runtime 16.1 och senare, för att ytterligare skydda mot skadade data, innehåller varje LZ4 komprimerad pilbatch nu LZ4 innehåll och blockkontrollsummor. Se beskrivning av LZ4-ramformat .

Stöd har lagts till för Scala-metoder för beräkning av delat åtkomstläge i Unity Catalog

I Databricks Runtime 16.1 och senare, i Unity Catalogs delade åtkomstlägesberäkning, läggs stöd till för följande Scala-metoder: Dataset.flatMapGroups(), Dataset.mapGroups()och DataStreamWriter.foreach().

Inbyggd Teradata JDBC-drivrutin

I Databricks Runtime 16.1 och senare är Teradata JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.

StreamingQueryListener-stöd för Scala

Nu kan du använda StreamingQueryListener i Scala vid beräkning som konfigurerats med läget för delad åtkomst.

Inbyggd Oracle JDBC-drivrutin

I Databricks Runtime 16.1 och senare är Oracle JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManagermåste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.

Mer detaljerade fel för Delta-tabeller som nås med sökvägar

En ny felmeddelandeupplevelse för Delta-tabeller som används med hjälp av sökvägar är nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget DELTA_MISSING_DELTA_TABLE är nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.

Andra ändringar

Namnändringar har gjorts för felkoderna i cloudFiles-källan för strukturerad strömning

Den här versionen innehåller en ändring för att byta namn på följande felkoder:

• _LEGACY_ERROR_TEMP_DBR_0143 har bytt namn till CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 har bytt namn till CF_INCORRECT_BATCH_USAGE .

Felkorrigeringar

Kapslade typer accepterar nu null-begränsningar korrekt

Den här versionen åtgärdar en bugg som påverkar vissa Delta-genererade kolumner av kapslade typer, till exempel STRUCT. Dessa kolumner avvisar ibland felaktigt uttryck baserat på NULL eller NOT NULL begränsningar för kapslade fält. Detta har åtgärdats.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • ipyflow-core från 0.0.198 till 0.0.201
  • pyccolo från 0.0.52 till 0.0.65
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • io.delta.delta-sharing-client_2.12 från 1.2.1 till 1.2.2
  • org.lz4.lz4-java från 1.8.0 till 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.2-linux-x86_64 till 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 16.0, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-50482] [SC-182879][CORE] Föråldrad no-op spark.shuffle.spill konfiguration
• [SPARK-50032] [SC-182706][SQL][16.x] Tillåt användning av fullständigt kvalificerade sorteringsnamn
• [SPARK-50467] [SC-182823][PYTHON] Lägg till __all__ för inbyggda funktioner
• [SPARK-48898] [SC-182828][SQL] Fix Variant shredding bug
• [SPARK-50441] [SC-182668][SQL] Åtgärda att parametriserade identifierare inte fungerar när du refererar till CTE:er
• [SPARK-50446] [SC-182639][PYTHON] Samtidig nivå i Piloptimerad Python UDF
• [SPARK-50430] [SC-182536][CORE] Använd standarden Properties.clone i stället för manuell kloning
• [SPARK-50471] [SC-182790][PYTHON] Stöd för Arrow-baserad Python Data Source Writer
• [SPARK-50466] [SC-182791][PYTHON] Förfina dokumentationssträngen för strängfunktioner – del 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrering av API för ny timer och API för initialt tillstånd med Timer
• [SPARK-50437] [SC-182586][SS] Minska kostnaderna för att skapa deserialiserare i TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Lägg till stöd för kedjning o...
• [SPARK-49294] [SC-182730][UI] Lägg till breddattribut för kryssrutan shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Undvik statisk Python-datakällsökning när du använder inbyggda datakällor eller Java-datakällor
• [SPARK-48356] [SC-182603][SQL] Stöd för FOR-instruktion
• [SPARK-50333] [SC-182136][SQL] Kodgenereringsstöd för CsvToStructs (genom att anropa & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Metrik för åtaganden till StagedTable-instanser
• [SPARK-50081] [SC-182344][SQL] Codegen-stöd för XPath*(genom att anropa & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refaktorisera AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Codegen-stöd för SchemaOfCsv(genom att anropa & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] åtgärda misslyckande efter sammanslagning vid feltestning
• [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
• [SPARK-49873] [SC-178577][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Stöd spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Lägg till funktionen DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Lade till anpassade tillståndsmått för TransformWithStateInPandas
• [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Lägg till DataFrame-API:er för tabellvärdesfunktioner
• [SPARK-49470] [SC-175736][UI] Uppdatera dataTables-formatmallar och javascript från 1.13.5 till 1.13.11
• [SPARK-50235] Återställ "[SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec"
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] Se till att createDataFrame TRIGGA Config RPC högst en gång
• [SPARK-50387] [SC-182441][SS] Uppdateringsvillkor för timerns giltighetstid och relevant test
• [SPARK-50287] [SC-182400][SQL] Sammanslagningsalternativ för tabell och relation när du skapar WriteBuilder i FileTable
• [SPARK-50066] [SC-181484][SQL] Codegenerering stöd för SchemaOfXml (genom att anropa & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
• [SPARK-50318] [SC-181641][SQL] Lägg till IntervalUtils.makeYearMonthInterval för att deduplicera kod mellan tolkad och codegen
• [SPARK-50312] [SC-181646][SQL] Parameteröverföringsfel för SparkThriftServer createServer när kerberos är sant
• [SPARK-50246] [SC-181468][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Från json/xml bör inte ändra kollationeringar i det angivna schemat
• [SPARK-50250] [SC-181466][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
• [SPARK-50235] [SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrera _LEGACY_ERROR_TEMP_2113 i UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integrera _LEGACY_ERROR_TEMP_0028 i UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Codegen Support for StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Lägg till TryMakeInterval-alternativ
• [SPARK-50397] [SC-182367][CORE] Ta bort inaktuella --ip och -i argument från Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Lägg till variantstöd i PySpark UDFs/UDTFs/UDAFs och Python UC UDF:er
• [SPARK-50079] [SC-179830][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXEMPEL] Lägg till submit-sql.sh REST API-exempel
• [SPARK-49966] [SC-179501][SQL] Använd Invoke för att implementera JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Se till att sekundära indexstorlekar är lika med primära indexstorlekar för TransformWithState tillståndskänsliga variabler med TTL
• [SPARK-50301] [SC-182241][SS][16.x] Få TransformWithState-mått att återspegla deras intuitiva betydelser
• [SPARK-50175] [SC-182140][SQL] Ändra sorteringsprioriseringsberäkning
• [SPARK-50148] [SC-180292][SQL] Gör StaticInvoke kompatibel med metoden som deklarerar undantag för utkast
• [SPARK-50280] [SC-181214][PYTHON] Refaktorera resultatsortering och tom platsfyllning i compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Ta bort direkt beroende av Numpy från Histogram
• [SPARK-50382] [SC-182368][CONNECT] Lägg till dokumentation för allmän information om programutveckling med/utöka Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Undvik att använda en klassegenskaper i trådpoolen för Python Connect-klienten
• [SPARK-49566] [SC-182239][SQL] Lägg till SQL-rörsyntax för EXTEND-operatorn
• [SPARK-50036] [SC-179533][CORE][PYTHON] Inkludera SPARK_LOG_SCHEMA i samband med REPL-gränssnittet
• [SPARK-49859] [SC-178259][CONNECT] Ersätt multiprocessing.ThreadPool med ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] Gör lpad och rpad acceptera argument av kolumntyp
• [SPARK-50379] [SC-182142][SQL] Åtgärda hanteringen av DayTimeIntervalType i WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Codegen Support for SchemaOfJson (by Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Använd ExitCode 0 för --help bruk i Spark-skript
• [SPARK-50377] [SC-182238][SQL] Tillåt att utvärdera vikbar RuntimeReplaceable
• [SPARK-50241] [SC-181444][SQL] Ersätt NullIntolerant Mixin med Expression.nullIntolerant-metoden
• [SPARK-50084] [SC-179672][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrera _LEGACY_ERROR_TEMP_0039 i UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Lägg till ett anpassat mätvärde för att spåra resursanvändning för initialt processläge i transformWithState
• [SPARK-50029] [SC-179531][SQL] Gör StaticInvoke kompatibel med metoden som returnerar Any
• [SPARK-49990] [SC-179497][SQL] Förbättra prestanda för randStr
• [SPARK-50048] [SC-179528][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Förvandla _LEGACY_ERROR_TEMP_2104 till INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Trimsorteringsstöd för strängfunktioner
• [SPARK-48549] [SC-176472][SQL][PYTHON] Förbättra SQL-funktionen sentences
• [SPARK-50022] [SC-179503][CORE][UI] Åtgärda MasterPage för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat
• [SPARK-50087] [SC-182152] Robust hantering av booleska uttryck i CASE WHEN för MsSqlServer och framtida anslutningsappar
• [SPARK-49991] [SC-179481][SQL] Gör HadoopMapReduceCommitProtocol respekt "mapreduce.output.basename" för att generera filnamn
• [SPARK-50038] [SC-179521][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Åtgärda ApplicationPage för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat
• [SPARK-49911] [SC-179111][SQL] Åtgärda semantiken för binär likhet
• [SPARK-50025] [SC-179496][SQL] Integrera _LEGACY_ERROR_TEMP_1253 i EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Åtgärda felet vid optimeringen när indata läggs till i tillståndsarkivet i stream-stream-anslutning
• [SPARK-50004] [SC-179499][SQL] Integrera _LEGACY_ERROR_TEMP_3327 i FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator bör respektera kontraktet i ConstantFolding
• [SPARK-50340] [SC-181859][SQL] Packa upp UDT i INSERT indatafråga
• [SPARK-50237] [SC-181660][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Åtgärda problem med att kolumnordningen för utdata ändrades efter AQE-optimering
• [SPARK-49773] [SC-178369][SQL] Oupplöst Javaundantag från make_timestamp() med fel tidszon
• [SPARK-49977] [SC-179265][SQL] Använd stackbaserad iterativ beräkning för att undvika att skapa många Scala List-objekt för djuputtrycksträd
• [SPARK-50153] [SC-181591][SQL] Lägg till name i RuleExecutor för att göra utskrifter av QueryExecutionMetrics:s loggar tydligare
• [SPARK-50320] [SC-181668][CORE] Gör --remote ett officiellt alternativ genom att ta bort experimental varning
• [SPARK-49909] [SC-179492]Återställ "[SQL] Åtgärda det vackra namnet på vissa uttryck"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Lägg till ledtrådar i sorterings- och fönsternoderna
• [SPARK-50364] [SC-182003][SQL] Implementera serialisering för LocalDateTime-typ i Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Stöd deleteIfExists för TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Stöd för IDENTIFIER-uttryck i SETCATALOG-kommandon
• [SPARK-50315] [SC-181886][SQL] Stöd för anpassade mått för V1Fallback-skrivningar
• [SPARK-42838] [SC-181509][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] Förbered SQL-skript för tillägg av Execution Framework
• [SPARK-49345] [SC-174786][CONNECT] Kontrollera att du använder den aktuella Spark-sessionen som körs
• [SPARK-49925] [SC-178882][SQL] Lägg till tester för ordning efter med sorterade strängar
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Förbättra felmeddelanden och importer i PySpark-plotting
• [SPARK-49368] [SC-174999][CONNECT] Undvik att komma åt protobuf lite-klasser direkt
• [SPARK-50056] [SC-181378][SQL] Codegen Support for ParseUrl (by Invoke & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Stöder initial tillståndshantering för TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Åtgärda begränsningen av måttberäkning med DSv1-strömmande källor
• [SPARK-49874] [SC-178303][SQL] Ta bort trim- och ltrim-sorteringsspecificerare.
• [SPARK-49513] [SC-180339][SS] Lägg till stöd för timer i transformWithStateInPandas API
• [SPARK-49119] [SC-175607][SQL] Åtgärda inkonsekvensen i syntaxen show columns mellan v1 och v2
• [SPARK-49206] [SC-173704][CORE][UI] Lägg till Environment Variables tabell i Master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Lägg till implicit cast för åtkomst till sorterad karta med literal
• [SPARK-50049] [SC-181659][SQL] Stödjer anpassade drivrutinsmått för att skriva till v2-tabell
• [SPARK-50171] [SC-180295][PYTHON] Gör numpy valfritt för KDE-ritning
• [SPARK-49962] [SC-179320][SQL] Förenkla AbstractStringTypes-klasshierarkin
• [SPARK-50226] [SC-181483][SQL] Korrekt MakeDTInterval och MakeYMInterval för att fånga Java-undantag
• [SPARK-48775] [SC-170801][SQL][STS] Ersätt SQLContext med SparkSession i STS
• [SPARK-49015] [SC-175688][CORE] Connect Server bör respektera spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Utvinna funktionslösning för att återanvändas i enkelpass-analysatorn
• [SPARK-49995] [SC-180762][SQL] Lägg till stöd för namngivna argument i fler TVF:er
• [SPARK-49268] [SC-174903][CORE] Registrera I/O-undantag i historiktjänsten för SHS
• [SPARK-48123] [SC-164989][Core] Ange ett konstant tabellschema för att fråga efter strukturerade loggar
• [SPARK-49217] [SC-174904][CORE] Stöd för separat konfiguration av buffertstorlek i UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Extrahera aliasupplösning för att återanvändas i enkelpassanalysatorn
• [SPARK-50322] [SC-181665][SQL] Åtgärda parameterstyrd identifierare i en delfråga
• [SPARK-48400] [SC-175283][CORE] Höj upp PrometheusServlet till DeveloperApi
• [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Stödjer Python 3.13 i Spark Connect
• [SPARK-50152] [SC-181264][SS] Support handleInitialState med tillståndsdatakällläsare
• [SPARK-50260] [SC-181271][CONNECT] Omstrukturera och optimera Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrera logInfo med variabler till strukturerat loggningsramverk
• [SPARK-49312] [SC-174672][PYTHON] Förbättra felmeddelandet för assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Åtgärda det snygga namnet på FromProtobuf & ToProtobuf-uttrycket
• [SPARK-50092] [ES-1258521] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
• [SPARK-49913] [SC-181565][SQL] Lägg till kontroll av unika etikettnamn i kapslade etiketterade omfång
• [SPARK-49563] [SC-181465][SQL] Lägg till SQL-rörsyntax för operatorn WINDOW
• [SPARK-49661] [SC-179021][SQL] Implementera trimsorteringsordningshashing och jämförelse.
• [SPARK-38912] [SC-181543][PYTHON] Ta bort kommentaren som rör classmethod och egenskapen
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Förbättra RocksDB SST-filhantering och lösa problemet med att läsa in samma version med en befintlig ögonblicksbild
• [SPARK-49002] Återställ "[SC-172846][SQL] Hanterar konsekvent ogiltiga platser i WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][SQL] Implementera sorteringsnyckelstöd för trimsortering
• [SPARK-50262] [SC-181193][SQL] Förbjud specifikation av komplexa typer vid ändring av sortering
• [SPARK-48898] [SC-181435][SQL] Lägg till funktioner för variantstrimling
• [SPARK-48273] [SC-181381]Återställ "[SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Support spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Support spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Ersättningarna för IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 ska vara intoleranta mot null-värden
• [SPARK-50247] [SC-180962][CORE] Definiera BLOCK_MANAGER_REREGISTRATION_FAILED som ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Förenkla TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Som gör att TransformWithState-operatorn kan använda Avro-kodning
• [SPARK-50267] [SC-181180][ML] Förbättra TargetEncoder.fit med DataFrame-API:er
• [SPARK-37178] [SC-180939][ML] Lägg till målkodning i ml.feature
• [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Få lit(ndarray) med np.int8 att respektera numpy-datatypen
• [SPARK-50256] [SC-181048][SQL] Lägg till enkel validering för att kontrollera om en logisk plan blir olöst efter varje optimerarregel
• [SPARK-50196] [SC-180932][CONNECT] Åtgärda Python-felkontexten för att använda en korrekt kontext
• [SPARK-50274] [SC-181181][CORE] Skydda mot användning efter stängning i DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Stöd för valfri "kolumn"-parameter i rut-, kde- och histogramdiagram
• [SPARK-50273] [SC-181178][SS] Förbättra loggning för RocksDB-lås för att hämta/släppa ärenden
• [SPARK-50033] [SC-180720][SC-180659][SQL] Lägg till en ledtråd till logiskt Aggregate() Node
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Åtgärda extra frigivning av acquireLock i RocksDB på grund av slutförandelyssnaren
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join bör inte hämta kontrollpunkts-ID om det inte stöds.
• [SPARK-50255] [SC-180964][PYTHON] Undvik onödig gjutning i compute_hist
• [SPARK-50228] [SC-180780][SQL] Flytta RewriteCollationJoin-regeln till FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Justera "precision" så att den ingår i kwargs för lådritningar
• [SPARK-49637] [SC-180160][SQL] Ändrat felmeddelande för INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][PYTHON] Hämta aktiv session från dataramar
• [SPARK-50195] [SC-180654][CORE] Åtgärda StandaloneRestServer för att sprida spark.app.name till SparkSubmit korrekt
• [SPARK-50229] [SC-180773] Minska minnesanvändningen på drivrutinen för breda scheman genom att minska livslängden för AttributReferensobjekt som skapas under logisk planering
• [SPARK-50231] [SC-180815][PYTHON] Låt funktionen instr acceptera kolumnen substring
• [SPARK-49854] [SC-179812][16.x][SQL] Klona artefakthanteraren under kloning av session
• [SPARK-50219] [SC-180694][SQL] Refaktorisera ApplyCharTypePadding så att hjälpmetoder kan användas i enpasslösare
• [SPARK-50077] [SC-179827][SQL] Introducera ett nytt mönsterobjekt för LogicalRelation för att undvika standardmönstret för fullständiga params
• [SPARK-50128] [Backport][16x][SC-180677][SS] Lägg till tillståndskänsliga API:er för processorhandtag med implicita kodare i Scala
• [SPARK-50061] [SC-179961][SQL] Aktivera analystabell för sorterade kolumner
• [SPARK-49993] [SC-180084][SQL] Förbättra felmeddelanden för summa och medelvärde
• [SPARK-49638] [SC-179665][SQL] Ta bort ANSI-konfigurationsförslaget i INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Bryt ut HiveTableRelation läsvägsupplösning
• [SPARK-50193] [SC-180651][SS] Åtgärda undantagshantering för validering av tidslägen
• [SPARK-50179] [SC-180342][CORE] Gör egenskapen spark.app.name valfri i REST API
• [SPARK-50068] [SC-180300][SQL] Omstrukturera TypeCoercion och AnsiTypeCoercion för att separera transformeringar för enskilda noder
• [SPARK-49411] [SC-179483][SS] Kommunicera kontrollpunkts-ID för tillståndslager mellan drivrutins- och tillståndskänsliga operatorer
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET bör bevara dataordningen
• [SPARK-49506] [SC-180165][SQL] Optimera ArrayBinarySearch för vikbar matris
• [SPARK-50097] [SC-179908][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Lägg till try_make_timestamp(_ltz och _ntz) och relaterade tester
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Stöd för histogramritningar
• [SPARK-50015] [SC-179964][SQL] Tilldela lämpligt felvillkor för _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Flytta scala- och java-filer till standardmapparna
• [SPARK-49980] [SC-180353][CORE][SQL] Åtgärda potentiella filströmsläckor som orsakas av avbrott i avbrutna processer
• [SPARK-49010] [SC-172304][SQL][XML] Lägg till enhetstester för skiftlägeskänslighet vid XML-schemas inferens
• [SPARK-49562] [SC-180211][SQL] Lägg till SQL-rörsyntax för aggregering
• [SPARK-49663] [SC-180239][SQL] Aktivera RTRIM-förslag i sorteringsuttryck
• [SPARK-48965] [SC-175926][SQL] Använd rätt schema i Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Förbättra Python Datasource Reader med direkt Arrow Batch-stöd för bättre prestanda
• [SPARK-49734] [SC-180226][PYTHON] Lägg till seed argument för funktion shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Utdela UnresolvedCatalogRelation resolution
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Stöd för kde/densitetsritningar
• [SPARK-49805] [SC-180218][SQL][ML] Ta bort privata[xxx] funktioner från function.scala
• [SPARK-49808] [SC-179490][SQL] Åtgärda ett dödläge i underförfrågan på grund av lata värden
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Stöd för låddiagram
• [SPARK-50008] [SC-179290][PS][CONNECT] Undvik onödiga åtgärder i attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Omstrukturera intern funktionsanrop
• [SPARK-49683] [SC-178341][SQL] Block trim kollation
• [SPARK-49939] [SC-178941][SQL] Kodgenereringsstöd för json_object_keys (genom Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Lägg till uttrycket TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Codegen Support för json_array_length (av Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Använd stabil ordning på EventTimeWatermark-noden för att beräkna vattenstämpeln
• [SPARK-49540] [SC-180145][PS] Förena användningen av distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Inaktiverad konvertering mellan olika sorterade typer i TypeCoercion och AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Använd separat register för interna funktioner för kolumn-API:et
• [SPARK-49811] [SC-177888][SQL]Byt namn på StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Tillämpa ArrayBinarySearch för histogram
• [SPARK-49203] [SC-175734][SQL] Lägg till uttryck för java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Åtgärda felrapportering av allvarliga fel som oavsiktliga undantag i SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Sortering som använder ICU bör ha versionen av det använda ICU-biblioteket
• [SPARK-49985] [SC-179644][SQL] Ta bort stöd för intervalltyper i Variant
• [SPARK-49103] [SC-173066][CORE] Stöd spark.master.rest.filters
• [SPARK-50090] [SC-179819] Omstrukturera ResolveBinaryArithmetic till separat transformering med en nod
• [SPARK-49902] [SC-179650][SQL] Fånga underliggande körningsfel i RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Flytta spark.history.ui.maxApplications konfigurationsdefinition till History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Bättre felmeddelande när du använder minnesprofilerare i redigeringsprogram utan radnummer
• [SPARK-50062] [SC-179835][SQL] Stödsortering efter InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Lägg till stöd för explicit handleExpiredTimer-funktionsdel av den tillståndskänsliga processorn
• [SPARK-49982] [SC-179814][SQL] Åtgärda negativ cachelagring i InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Breddning av typhöjningar i AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refaktor UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Lägg till stöd för ändringsflödesläsning för kart- och listtyper som används i tillståndsprocessorer.
• [SPARK-49846] [SC-179506][SS] Lägg till numUpdatedStateRows och numRemovedStateRows-mått för användning med transformWithState-operatorn
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Gör så att lit accepterar str och bool typer av numpy ndarray
• [SPARK-49821] [SC-179527][SS][PYTHON] Implementera MapState- och TTL-stöd för TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Lägg till SQL-rörsyntax för LIMIT/OFFSET och ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Åtgärda canPlanAsBroadcastHashJoin för att respektera shuffle join-tips
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Göra lit att fungera med tom numpy ndarray
• [SPARK-50018] [SC-179488][SQL] Gör AbstractStringType serieklar
• [SPARK-50016] [SC-179491][SQL] Förbättra explicit sorteringsfel
• [SPARK-50010] [SC-179487][SQL] Utöka implicit fel vid kollationsmissanpassning
• [SPARK-48749] [SC-170116][SQL] Förenkla UnaryPositive och eliminera dess Katalysatorregler med RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Lägg till storageLevel till Dataset localCheckpoint API
• [SPARK-50058] [SC-179538][SQL] Faktorisera ut plannormaliseringsfunktioner för att senare använda dessa i enkel-pass Analyzer-tester
• [SPARK-50052] [SC-179535][PYTHON][16.X] Gör så att NumpyArrayConverter stöder tomma str ndarray
• [SPARK-47261] [SC-173665][SQL] Tilldela bättre namn för fel _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 och _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Markera KryoRegistrator med DeveloperApi-gränssnittet
• [SPARK-48949] [SC-173070][SQL] SPJ: Körningspartitionsfiltrering
• [SPARK-50044] [SC-179523][PYTHON] Förfina docstring av flera matematiska funktioner
• [SPARK-48757] [SC-170113][CORE] Gör IndexShuffleBlockResolver att ha explicita konstruktorer
• [SPARK-50037] [SQL] RefaktorattributSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Lägg till stöd för att köra procedurer i kataloger
• [SPARK-49057] [SC-173081][SQL] Blockera inte AQE-loopen när du skickar frågesteg
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Lägg till SQL-syntax för identitetskolumn
• [SPARK-48773] [SC-170773] Dokumentera konfigurationen "spark.default.parallelism" genom konfigurationsbyggarramverket
• [SPARK-48735] [SC-169810][SQL] Prestandaförbättring för BIN-funktionen
• [SPARK-48900] [SC-172433] Lägg till fältet reason för alla interna anrop för uppsägning av jobb/fas
• [SPARK-48488] [SC-167605][CORE] Åtgärda metoder log[info|warning|error] i SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Ta bort tre onödiga typregistreringar från KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] Python API för strängverifieringsfunktioner
• [SPARK-49979] [SC-179264][SQL] Åtgärda AQE-hängningsproblem när du samlar in data två gånger på en misslyckad plan
• [SPARK-48729] [SC-169795][SQL] Lägg till ett UserDefinedFunction-gränssnitt för att representera en SQL-funktion
• [SPARK-49997] [SC-179279][SQL] Integrera _LEGACY_ERROR_TEMP_2165 i MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Skapa storleksbaserad partition vid kafka-läsning
• [SPARK-48129] [SC-165006][PYTHON] Ange ett konstant tabellschema i PySpark för att fråga efter strukturerade loggar
• [SPARK-49951] [SC-179259][SQL] Tilldela rätt felvillkor för LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integrera _LEGACY_ERROR_TEMP_1252 i EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Bli av med globala lås från Spark Connect Service
• [SPARK-49957] [SC-179202][SQL] Scala API för strängverifieringsfunktioner
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener bör inte påverkas av spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Slå samman _LEGACY_ERROR_TEMP_2042 till ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Fix ColumnarArray.copy() för att läsa null-värden från rätt offset
• [SPARK-49956] Återställ "[SC-179070] Inaktiverade sorteringar med collect_set uttryck"
• [SPARK-49987] [SC-179180][SQL] Åtgärda felmeddelandet när seedExpression inte kan vikas i randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Lägg till parametern "precision" i Pandas på Spark-boxdiagram
• [SPARK-49970] [SC-179167][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Kasta lämpligt undantag för typkonflikt mellan ColumnType och datatyp i vissa rader
• [SPARK-49956] [SC-179070] Inaktiverade sorteringar med uttrycket collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Flytta resolveRelations(...) från Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Tilldela namn till felvillkor för intervallfel
• [SPARK-47430] [SC-173679][SQL] Omarbeta grupp efter karttyp för att åtgärda bindningsreferensfel
• [SPARK-49067] [SC-172616][SQL] Flytta utf-8-literal till interna metoder i UrlCodec-klassen
• [SPARK-49955] [SC-178989][SQL] null-värde betyder inte skadad fil vid parsning av JSON-sträng RDD
• [SPARK-49393] [SC-175212][SQL] Misslyckas som standard i inaktuella API:er för katalog-plugin-program
• [SPARK-49952] [SC-178985][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Begränsa teckenuppsättningar i JsonOptions
• [SPARK-49892] [SC-178975][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Tilldela namn till felklasserna _LEGACY_ERROR_TEMP_105[3-4] och _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Hantera nollor och ettor i ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][CORE] Använd skrivskyddad åtkomst till konfigurationsfilen i SparkContext när det är lämpligt
• [SPARK-49666] [SC-177891][SQL] Lägg till funktionsflagga för trimcollationsfunktionen
• [SPARK-48885] [SC-171050][SQL] Göra så att vissa underklasser av RuntimeReplaceable skriver över replacement till lazy val
• [SPARK-49932] [SC-178931][CORE] Använd tryWithResource frigjorda JsonUtils#toJsonString resurser för att undvika minnesläckor
• [SPARK-49949] [SC-178978][PS] Undvik onödig analys i attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Behåll containsNull efter ersättning av ArrayCompact
• [SPARK-49121] [SC-174787][SQL] Stöd from_protobuf och to_protobuf för SQL-funktioner
• [SPARK-47496] [SC-160529][SQL] Java SPI-stöd för dynamisk JDBC-dialektregistrering
• [SPARK-49359] [SC-174895][SQL] Tillåt att StagedTableCatalog-implementeringar återgår till icke-atomisk skrivning
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Förbättra felmeddelandet vid efterföljande kommatecken i SELECT-sats
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Document Mapping Spark SQL Data Types from Microsoft SQL Server och lägg till tester
• [SPARK-46037] [SC-175495][SQL] Korrigering av korrekthet för shuffled hash join build left without codegen
• [SPARK-47813] [SC-162615][SQL] Ersätt getArrayDimension med updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Fel vid utvärdering av partitionstransformationsundantag
• [SPARK-47172] [SC-169537][CORE] Lägg till stöd för AES-GCM för RPC-kryptering
• [SPARK-47666] [SC-161476][SQL] Åtgärda NPE vid läsning av mysql-bitmatris som LongType
• [SPARK-48947] [SC-174239][SQL] Använd lägre teckenuppsättningsnamn för att minska cachen som saknas i Charset.forName
• [SPARK-49909] [SC-178552][SQL] Åtgärda det vackra namnet på vissa uttryck
• [SPARK-47647] [SC-161377][SQL] Gör MySQL-datakällan kunna läsa bit(n>1) som BinaryType som Postgres
• [SPARK-46622] [SC-153004][CORE] Åsidosätt toString metod för o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Gör parameternamngivningen för PySparkException konsekvent med JVM
• [SPARK-49889] [SC-178474][PYTHON] Lägg till argument trim för funktionertrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] Korrigera feldatatypmappning på MySQL Connector/J
• [SPARK-47628] [SC-161257][SQL] Åtgärda problem med Postgres-bitmatrisen "Det går inte att casta till booleskt värde"
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Korrigera ändringskommentar för char/varchar-kolumner
• [SPARK-49549] [SC-178764][SQL] Tilldela ett namn till felvillkoren _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][SQL] Gör DelegatingCatalogExtension mer utökningsbar
• [SPARK-49559] [SC-178551][SQL] Lägg till SQL pipe-syntax för uppsättningsåtgärder
• [SPARK-49906] [SC-178536][SQL] Introducera och använda CONFLICTING_DIRECTORY_STRUCTURES fel för PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Ändra funktionssignaturen för classifyException: lägg till isRuntime-argument
• [SPARK-47501] [SC-160532][SQL] Lägg till convertDateToDate likt den befintliga convertTimestampToTimestamp för JdbcDialect
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType bör returnera underordnad vid fel
• [SPARK-47462] [SC-160460][SQL] Justera mappningar för andra osignerade numeriska typer med TINYINT i MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT som orsakas av SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Förbättra felet för parametrar i frågan om CACHE TABLE och CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Tilldela namn till äldre villkor _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Åtgärda meddelandet när ascendingOrder är DataTypeMismatch i SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Ta bort redundanta blank space efter show i Scala och Connect klienter
• [SPARK-47258] [SC-175032][SQL] Tilldela namn till felklasser _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Lägg till SQL-rörsyntax för operatorn JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Åtgärda eventuellt trasig fråga när ett fönster tillhandahålls till funktionen window/session_window
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Hantera SQL-tidsstämplar för Postgres och MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Stöd för cirkeldiagram
• [SPARK-49824] [SC-178251][SS][CONNECT] Förbättra loggningen i SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Förfina strängrepresentationen av kolumnfältsåtgärder
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Stödområdesritningar
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Stöd för punktdiagram
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementera TTL-stöd för ListState i TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Flytta TransportCipherUtil till en separat fil för att eliminera Java-kompileringsvarningar
• [SPARK-49866] [SC-178353][SQL] Förbättra felmeddelandet för beskriv tabell med partitionskolumner
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][PYTHON] Uppdatera samplingsmetoden för exempelbaserade diagram
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Stöd för vågräta och lodräta stapeldiagram
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Stöd för linjediagram med Plotly-backend
• [SPARK-49444] [SC-177692][ES-1203248][SQL] Modifierad UnivocityParser så att den kastar körningsexceptioner orsakade av ArrayIndexOutOfBounds med mer användarinriktade meddelanden.
• [SPARK-49870] [SC-178262][PYTHON] Lägg till Python 3.13-stöd i Spark Classic
• [SPARK-49560] [SC-178121][SQL] Lägg till SQL-rörsyntax för operatorn TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Förbättra meddelandet om BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Gör NamedParametersSupport-fel mer generiska för att hantera funktioner och procedurer
• [SPARK-49358] [SC-178158][SQL] Lägesuttryck för karttyper med sorterade strängar
• [SPARK-47341] [SC-178157][SQL] Åtgärda felaktig dokumentation om RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Stöd för LOOP-instruktion
• [SPARK-49845] [SC-178059][CORE] Gör appArgs och environmentVariables valfria i REST API
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable bör ange om den ska skrivas
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala
• [SPARK-48700] [SC-177978][SQL] Lägesuttryck för komplexa typer (alla sorteringar)
• [SPARK-48196] [SC-177899][SQL] Förvandla QueryExecution lazy val plans till LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Ändra loggnivå för felsökning i BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Lägg till SQL-rörsyntax för operatorerna PIVOT och UNPIVOT
• [SPARK-49823] [SC-177885][SS] Undvik tömning under avstängning i rocksdb close path
• [SPARK-49820] [SC-177855] [PYTHON] Ändra raise IOError till raise OSError
• [SPARK-49653] [SC-177266][SQL] Enkel koppling för korrelerade skalära underfrågor
• [SPARK-49552] [SC-177477][PYTHON] Lägg till Stöd för DataFrame API för nya SQL-funktioner "randstr" och "uniform"
• [SPARK-48303] [16.x][SC-166251][CORE] Omorganisera LogKeys
• [SPARK-49656] [16x][Backport][SS] Lägg till stöd för tillståndsvariabler med samlingstyper för tillståndsvärden och alternativ för att läsa ändringsflöde
• [SPARK-48112] [SC-165129][CONNECT] Exponera session i SparkConnectPlanner för plugin-program
• [SPARK-48126] [16.x][SC-165309][Core] Gör spark.log.structuredLogging.enabled fungerande
• [SPARK-49505] [SC-176873][SQL] Skapa nya SQL-funktioner "randstr" och "uniform" för att generera slumpmässiga strängar eller tal inom intervall
• [SPARK-49463] [SC-177474] Stöd ListState för TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Enhetliga MDC-nyckel mdc.taskName och task_name
• [SPARK-49557] [SC-177227][SQL] Lägg till SQL-rörsyntax för operatorn WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Flytta MockObserver från Spark Connect Server-testmappen till serverns huvudmapp
• [SPARK-49745] [SC-177501][SS] Lägg till ändring för att läsa registrerade timers via tillståndsdatakällläsare
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Ta bort ColumnFamilyOptions och lägg till konfigurationer direkt i dbOptions i RocksDB

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Se underhållsuppdateringar för Databricks Runtime 16.1.

Systemmiljö

• operativsystem: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshoten den 4 augusti 2024.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)