Databricks Runtime 15.4 LTS

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 15.4 LTS, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in augustus 2024.

Gedragswijzigingen

• VARIANT Een als invoer- of uitvoertype gebruiken met een Python UDF, UDAF of UDTF genereert een uitzondering
• wijzigen in de standaardmodus voor schemabindingen voor weergaven
• Gebruik van de niet-gedocumenteerde ! syntaxis niet in plaats van NOT booleaanse expressies
• Verbied niet-gedocumenteerde kolomdefinitiesyntaxis in weergaven
• Consistente foutafhandeling voor Base64-decodering in Spark en Photon
• Het toevoegen van een CHECK beperking voor een ongeldige kolom retourneert nu de UNRESOLVED_COLUMN. WITH_SUGGESTION foutklasse
• pyodbc wordt geüpdatet van 4.0.38 naar 4.0.39

VARIANT Een als invoer- of uitvoertype gebruiken met een Python UDF, UDAF of UDTF genereert een uitzondering

[wijziging die fouten veroorzaakt] In Databricks Runtime 15.3 en hoger roept u een door de gebruiker gedefinieerde Python-functie (UDF), door de gebruiker gedefinieerde statistische functie (UDAF) of door de gebruiker gedefinieerde tabelfunctie (UDTF) aan die gebruikmaakt van een VARIANT type als argument of retourwaarde een uitzondering genereert. Deze wijziging wordt aangebracht om problemen te voorkomen die kunnen optreden vanwege een ongeldige waarde die door een van deze functies wordt geretourneerd. Zie VARIANT op te slaan voor meer informatie over het type.

Wijzig de standaard schémabindingmodus voor weergaven

Weergaven worden nu aangepast aan schemawijzigingen in de onderliggende query met behulp van schemacompensatie met reguliere cast-regels. Dit is een wijziging ten opzichte van BINDING de vorige standaardmodus, die fouten heeft veroorzaakt wanneer een veilige cast niet kon worden uitgevoerd bij het verwijzen naar de weergave.

Zie CREATE VIEW en cast-functie.

Gebruik van de niet-gedocumenteerde ! syntaxis niet in plaats van NOT booleaanse expressies

Met deze release is het gebruik van ! als synoniem voor NOT buiten booleaanse expressies niet meer toegestaan. Bijvoorbeeld verklaringen zoals het volgende: CREATE ... IF ! EXISTS, IS ! NULL, een ! NULL kolom- of veldeigenschap, ! IN en ! TUSSEN, moeten worden vervangen door: CREATE ... IF NOT EXISTS, IS NOT NULL, een NOT NULL kolom- of veldeigenschap, NOT IN en NOT BETWEEN.

Deze wijziging zorgt voor consistentie, is afgestemd op de SQL-standaard en maakt uw SQL draagbaarder.

De booleaanse voorvoegseloperator! (bijvoorbeeld !is_mgr of !(true AND false)) wordt niet beïnvloed door deze wijziging.

Ongedocumenteerde kolomdefinitie-syntaxis is niet toegestaan in weergaven

Databricks ondersteunt CREATE VIEW met benoemde kolommen en kolomopmerkingen. Voorheen is de specificatie van kolomtypen, NOT NULL beperkingen of DEFAULT toegestaan. Met deze release kunt u deze syntaxis niet meer gebruiken.

Deze wijziging zorgt voor consistentie, is afgestemd op de SQL-standaard en biedt ondersteuning voor toekomstige verbeteringen.

Consistente foutafhandeling voor Base64-decodering in Spark en Photon

In deze release wordt gewijzigd hoe Photon base64-decoderingsfouten verwerkt zodat deze overeenkomen met de Spark-verwerking van deze fouten. Vóór deze wijzigingen kon het pad voor het genereren van Photon- en Spark-code soms geen parseringsonderingen veroorzaken, terwijl de uitvoering door Spark correct werd geïnterpreteerd IllegalArgumentException of ConversionInvalidInputError. Deze update zorgt ervoor dat Photon consistent dezelfde uitzonderingen genereert als Spark tijdens base64-decoderingsfouten, wat voorspelbare en betrouwbare foutafhandeling biedt.

Het toevoegen van een CHECK-beperking aan een ongeldige kolom resulteert nu in de foutklasse UNRESOLVED_COLUMN.WITH_SUGGESTION.

Om nuttigere foutmeldingen te geven, retourneert in Databricks Runtime 15.3 en hoger een ALTER TABLE ADD CONSTRAINT-instructie met een CHECK-beperking die verwijst naar een ongeldige kolomnaam de UNRESOLVED_COLUMN.WITH_SUGGESTION foutklasse. Eerder werd er een INTERNAL_ERROR geretourneerd.

pyodbc wordt bijgewerkt van 4.0.38 naar 4.0.39

Het pyodbc-pakket wordt bijgewerkt van versie 4.0.38 naar versie 4.0.39. Deze wijziging is vereist omdat er een fout is gevonden in versie 4.0.38 en die versie is verwijderd uit PyPI.

Nieuwe functies en verbeteringen

• UTF-8-validatiefuncties
• Getypte gegevensset-API's met Scala UDF's
• UniForm Iceberg inschakelen met behulp van ALTER TABLE
• try_url_decode, functie
• Optioneel toestaan dat de optimizer afhankelijk is van niet-afgedwongen beperkingen voor refererende sleutels
• Parallelle taakuitvoeringen voor selectief overschrijven
• Verbeterde prestaties voor wijzigingsgegevensfeed met selectieve overschrijven
• Verbeterde querylatentie voor de COPY INTO opdracht
• Ondersteuning voor het laten vallen van de functie voor tabelbeperkingen
• Rekenkracht van één gebruiker ondersteunt gedetailleerd toegangsbeheer, gerealiseerde weergaven en streamingtabellen (openbare preview)
• Uitgebreide ondersteuning voor Java- en Scala-bibliotheken
• Uitgebreide ondersteuning voor Scala-gegevenssetbewerkingen
• Scala is algemeen beschikbaar op Unity Catalog gedeelde compute-
• Unity Catalog-beheerde toegang tot externe cloudservices met behulp van servicereferenties (Openbare Preview)

UTF-8-validatiefuncties

In deze release worden de volgende functies geïntroduceerd voor het valideren van UTF-8-tekenreeksen:

• is_valid_utf8 gecontroleerd of een tekenreeks een geldige UTF-8-tekenreeks is.
• make_valid_utf8 converteert een mogelijk ongeldige UTF-8-tekenreeks naar een geldige UTF-8-tekenreeks met vervangingstekens
• validate_utf8 genereert een fout als de invoer geen geldige UTF-8-tekenreeks is.
• try_validate_utf8 retourneert NULL als de invoer geen geldige UTF-8-tekenreeks is.

Getypte gegevensset-API's met Scala UDF's

Deze release bevat extra ondersteuning voor getypte Dataset-API's met door gebruikers gedefinieerde Scala-functies (met uitzondering van door gebruikers gedefinieerde aggregeerfuncties) op Unity Catalog-ingeschakelde computer in gedeelde toegangsmodus. Zie Getypte gegevensset-API's.

UniForm Iceberg inschakelen met ALTER TABLE

U kunt UniForm Iceberg nu inschakelen voor bestaande tabellen zonder gegevensbestanden opnieuw te schrijven. Zie Iceberg-lezen inschakelen voor een bestaande tabel.

try_url_decode, functie

In deze release wordt de try_url_decode-functie geïntroduceerd, waarmee een tekenreeks met URL-codering wordt gedecodeerd. Als de tekenreeks niet de juiste indeling heeft, retourneert NULL de functie in plaats van een fout op te geven.

Optioneel toestaan dat de optimizer afhankelijk is van niet-afgedwongen beperkingen voor refererende sleutels

Als u de queryprestaties wilt verbeteren, kunt u nu het RELY trefwoord opgeven voor FOREIGN KEY beperkingen wanneer u CREATE of ALTER een tabel.

Parallelle taakuitvoeringen voor selectief overschrijven

Selectief overschrijven met behulp van replaceWhere nu taken uitvoeren waarmee gegevens worden verwijderd en nieuwe gegevens parallel worden ingevoegd, waardoor de queryprestaties en het clustergebruik worden verbeterd.

Verbeterde prestaties voor wijzigingsgegevensfeed met selectieve overschrijven

Selectieve overschrijvingen met behulp van replaceWhere in tabellen met gegevenswijzigingsfeed schrijven niet langer afzonderlijke wijzigingsbestanden voor ingevoegde gegevens. Deze bewerkingen maken gebruik van een verborgen _change_type kolom die aanwezig is in de onderliggende Parquet-gegevensbestanden om wijzigingen vast te leggen zonder schrijfversterking.

Verbeterde querylatentie voor de COPY INTO opdracht

Deze release bevat een wijziging die de querylatentie voor de COPY INTO opdracht verbetert. Deze verbetering wordt geïmplementeerd door het laden van de status door de RocksDB-statusopslag asynchroon te maken. Met deze wijziging ziet u een verbetering in de begintijden voor query's met grote statussen, zoals query's met een groot aantal al opgenomen bestanden.

Ondersteuning voor het verwijderen van de functie voor controles op tabelbeperkingen

U kunt nu de checkConstraints tabelfunctie uit een Delta-tabel verwijderen met behulp van ALTER TABLE table_name DROP FEATURE checkConstraints. Zie Controlebeperkingen uitschakelen.

Compute van één gebruiker biedt ondersteuning voor gedetailleerd toegangsbeheer, gerealiseerde weergaven en streamingtabellen (openbare preview)

Wanneer een werkruimte is ingeschakeld voor serverloze berekeningen, voegt Databricks Runtime 15.4 LTS ondersteuning toe voor fijnmazig toegangsbeheer voor rekenkracht van één gebruiker. Wanneer een query toegang heeft tot een van de volgende objecten, geeft de rekenresource voor één gebruiker in Databricks Runtime 15.4 LTS de query door aan de serverloze berekening om gegevensfiltering uit te voeren:

• Weergaven die zijn gedefinieerd in tabellen waarvoor de gebruiker niet over de bevoegdheid SELECT beschikt.
• Dynamische weergaven.
• Tabellen waarop rijfilters of kolommaskers zijn toegepast.
• Gematerialiseerde weergaven en streamingtabellen.

Deze query's worden niet ondersteund op rekenkracht van één gebruiker waarop Databricks Runtime 15.3 en lager wordt uitgevoerd.

Zie Fijnmazig toegangsbeheer voor rekenkracht van één gebruiker voor meer informatie.

Uitgebreide ondersteuning voor Java- en Scala-bibliotheken

Vanaf Databricks Runtime 15.4 LTS zijn alle Java- en Scala-bibliotheken die zijn gebundeld met Databricks Runtime beschikbaar in alle rekentoegangsmodi wanneer u Unity Catalog gebruikt. Zie Beperkingen voor de toegangsmodus van compute voor Unity Catalogvoor meer informatie over taalondersteuning op Unity Catalog-compatibele compute.

Uitgebreide ondersteuning voor Scala-gegevenssetbewerkingen

Met deze release ondersteunen Unity Catalog-rekenresources die gebruikmaken van de modus voor gedeelde toegang de volgende Scala-Dataset-bewerkingen: map, mapPartitions, foreachPartition, flatMap, reduce en filter.

Scala is algemeen beschikbaar op gedeelde rekenkracht van Unity Catalog

Met deze release is Scala algemeen beschikbaar in de gedeelde toegangsmodus van Unity Catalog-geactiveerde rekenkracht, inclusief ondersteuning voor gebruikersgedefinieerde scalaire functies (UDF's). Gestructureerde streaming, Hive UDF's en door de gebruiker gedefinieerde Statistische Functies van Hive worden niet ondersteund. Zie Beperkingen voor de compute-toegangsmodus voor Unity Catalogvoor een volledige lijst met beperkingen.

Door Unity Catalog beheerde toegang tot externe cloudservices met behulp van servicereferenties (openbare preview)

Servicereferenties maken eenvoudige en veilige verificatie mogelijk met de services van uw cloudtenant met behulp van door Azure beheerde identiteiten (MI) en Unity Catalog. Zie Toegang tot externe cloudservices beheren met behulp van servicereferenties.

Bugfixes

Bibliotheekupgrades

• Bijgewerkte Python-bibliotheken:
  • azure-core van 1.30.1 tot 1.30.2
  • google-auth van 2.29.0 tot 2.31.0
  • google-cloud-storage van 2.16.0 tot 2.17.0
  • google-hervatbare media van 2.7.0 tot 2.7.1
  • googleapis-common-protos van 1.63.0 tot 1.63.2
  • mlflow-skinny van 2.11.3 tot 2.11.4
  • proto-plus van 1.23.0 tot 1.24.0
  • s3transfer van 0.10.1 tot 0.10.2
• Bijgewerkte R-bibliotheken:
• Bijgewerkte Java-bibliotheken:
  • com.databricks.databricks-sdk-java van 0.17.1 tot 0.27.0
  • com.ibm.icu.icu4j van 72.1 tot 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider van 1.6.1-linux-x86_64 tot 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 15.3 (EoS), en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Groeperen op expressies in scalaire subquery's toestaan als ze afhankelijk zijn van buitenste rijen
• [SPARK-48834] [GEDRAG-79][SC-170972][SQL] Variantinvoer/uitvoer uitschakelen naar scalaire UDF's, UDDF's, UDAF's tijdens het compileren van query's
• [SPARK-48441] [SC-170980][SQL][WARMFIX] StringTrim-gedrag corrigeren voor niet-UTF8_BINARY sorteringen
• [SPARK-48440] [SC-170895][SQL][WARMFIX] TekenreeksTranslate-gedrag corrigeren voor niet-UTF8_BINARY sorteringen
• [SPARK-48872] [SC-170866][PYTHON] Verminder de overhead van _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][VERBINDING MAKEN] Bel niet _proto_to_string wanneer INFO-niveau niet is ingeschakeld
• [SPARK-48852] [SC-170837][VERBINDING MAKEN] Functie voor het knippen van tekenreeksen in verbinding herstellen
• [SPARK-48791] [SC-170658][CORE] Prestatieregressie oplossen die wordt veroorzaakt door de registratie-overhead van accumulators met behulp van CopyOnWriteArrayList
• [SPARK-48118] [SQL] Ondersteuning voor SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env-variabele
• [SPARK-48241] [SC-165811][SQL] CSV-parseringsfout met kolommen met teken-/varchar-type
• [SPARK-48168] [SC-166900][SQL] Ondersteuning voor bitwise shifting-operators toevoegen
• [SPARK-48148] [SC-165630][CORE] JSON-objecten mogen niet worden gewijzigd wanneer ze als TEKENREEKS worden gelezen
• [SPARK-46625] [SC-170561] CTE met identificatiecomponent als referentie
• [SPARK-48771] [SC-170546][SQL] Sneller uitvoeren LogicalPlanIntegrity.validateExprIdUniqueness voor grote queryplannen
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Standaardkolomnaam van cast compatibel maken met Spark Classic
• [SPARK-48623] [SC-170544][CORE] Migraties voor gestructureerde logboekregistratie [deel 2]
• [SPARK-48296] [SC-166138][SQL] Ondersteuning voor codegen voor to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter voor meerlagige joins moet het child jointype controleren
• [SPARK-48686] [SC-170365][SQL] Prestaties van ParserUtils.unescapeSQLString verbeteren
• [SPARK-48798] [SC-170588][PYTHON] Introduceren spark.profile.render voor profilering op basis van SparkSession
• [SPARK-48048] [SC-169099] [SC-164846][CONNECT][SS] Ondersteuning voor listener aan clientzijde toegevoegd voor Scala
• [SPARK-47910] [SC-168929][CORE] sluit de stream wanneer DiskBlockObjectWriterResources sluit om geheugenlekken te voorkomen
• [SPARK-48816] [SC-170547][SQL] Afkorting voor intervalconversieprogramma's in UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] Optie snapshotStartBatchId en snapshotPartitionId toevoegen aan de statusgegevensbron
• [SPARK-48280] [SC-170293][SQL] Het oppervlakoppervlak voor sorteringstests verbeteren met behulp van expressies lopen
• [SPARK-48837] [SC-170540][ML] In CountVectorizer, alleen lezen binaire parameter eenmaal per transformatie, niet één keer per rij
• [SPARK-48803] [SC-170541][SQL] Interne fout genereren in Orc(De)serializer om te worden uitgelijnd met ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] IPython-gerelateerde frames uit gebruikersstack filteren
• [SPARK-48818] [SC-170414][PYTHON] Functies vereenvoudigen percentile
• [SPARK-48479] [SC-169079][SQL] Ondersteuning voor het maken van scalaire SQL UDF's en tabellen in parser
• [SPARK-48697] [SC-170122][LC-4703][SQL] Sorteringsbewuste tekenreeksfilters toevoegen
• [SPARK-48800] [SC-170409][VERBINDING MAKEN][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Correct sinds versie voor ingebouwde func-aliasrandom, position, , mod, cardinality, current_schema, user, session_user,char_lengthcharacter_length
• [SPARK-48638] [SC-169575][VERBINDING MAKEN] Ondersteuning voor ExecutionInfo toevoegen voor DataFrame
• [SPARK-48064] [SC-164697][SQL] Foutberichten bijwerken voor routinefoutenklassen
• [SPARK-48810] [VERBINDING MAKEN] Sessiestop() API moet idempotent zijn en niet mislukken als de sessie al is gesloten door de server
• [SPARK-48650] [15.x][PYTHON] De juiste oproepsite weergeven vanuit IPython Notebook
• [SPARK-48271] [SC-166076][SQL] De overeenkomstfout in RowEncoder omzetten in UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] Oplossing voor varchar-type komt niet overeen voor DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Terugval oplossen voor INSERT met gedeeltelijke kolomlijst naar een tabel met char/varchar
• [SPARK-48767] [SC-170330][SQL] Enkele foutprompts oplossen wanneer variant typegegevens ongeldig zijn
• [SPARK-48719] [SC-170339][SQL] Corrigeer de berekeningsfout van RegrSlope & RegrIntercept wanneer de eerste parameter null is
• [SPARK-48815] [SC-170334][CONNECT] Updateomgeving wanneer de verbindingssessie wordt gestopt
• [SPARK-48646] [SC-169020][PYTHON] Python-gegevensbron-API-docstring verfijnen en hints typen
• [SPARK-48806] [SC-170310][SQL] Werkelijke uitzondering doorgeven wanneer url_decode mislukt
• [SPARK-47777] [SC-168818] Test voor verbinding met python-streaminggegevensbron oplossen
• [SPARK-48732] [SC-169793][SQL] Afgeschaft API-gebruik opschonen met betrekking tot JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Cachetabel met gesorteerde kolom herstellen
• [SPARK-48623] [SC-169034][CORE] Migraties voor gestructureerde logboekregistratie
• [SPARK-48655] [SC-169542][SQL] SPJ: Tests toevoegen voor het overslaan van willekeurige volgorde voor statistische query's
• [SPARK-48586] [SC-169808][SS] Vergrendeling verwijderen in doMaintenance() door een diepe kopie te maken van bestandstoewijzingen in RocksDBFileManager in load()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] Versiebeheer herstructureren voor lezen/schrijven van operatormetagegevens en bellers
• [SPARK-48808] [SC-170309][SQL] NPE herstellen bij het verbinden van thriftserver via Hive 1.2.1 en het resultaatschema is leeg
• [SPARK-48715] [SC-170291][SQL] UTF8String-validatie integreren in sorteringsbewuste tekenreeksfunctie-implementaties
• [SPARK-48747] [SC-170120][SQL] Codepunt-iterator toevoegen aan UTF8String
• [SPARK-48748] [SC-170115][SQL] Cache-numChars in UTF8String
• [SPARK-48744] [SC-169817][Core] Logboekvermelding mag slechts één keer worden samengesteld
• [SPARK-46122] [SC-164313][SQL] spark.sql.legacy.createHiveTableByDefault standaard instellen op false
• [SPARK-48765] [SC-170119][IMPLEMENTEREN] Evaluatie van standaardwaarden verbeteren voor SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Migratiedocument toevoegen voor CREATE TABLE AS SELECT gedragswijziging sinds Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][VERBINDING] Schema in cache doorgeven in dataframebewerkingen
• [SPARK-48766] [SC-170126][PYTHON] Documenteer het gedragsverschil extraction tussen element_at en try_element_at
• [SPARK-48768] [SC-170124][PYTHON][VERBINDING MAKEN] Mag de cache niet opslaan explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Aanpassing om de metagegevens van de operator eenmalig in de driver te lezen, om te controleren of we informatie kunnen vinden voor numColsPrefixKey die wordt gebruikt voor sessievenster-aggregatiequery's.
• [SPARK-48656] [SC-169529][CORE] Voer een lengtecontrole uit en genereert COLLECTION_SIZE_LIMIT_EXCEEDED fout in CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
• [SPARK-48472] [SC-169044][SQL] Expressies met gesorteerde tekenreeksen inschakelen
• [SPARK-48699] [SC-169597][SQL] Sorterings-API verfijnen
• [SPARK-48682] [SC-169812][SQL][GEDRAG-58] ICU gebruiken in InitCap-expressie voor UTF8_BINARY tekenreeksen
• [SPARK-48282] [SC-169813][SQL] Zoeklogica voor tekenreeksen wijzigen voor UTF8_BINARY_LCASE sortering (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Ondersteuning voor sortering inschakelen voor de modusexpressie
• [SPARK-48320] [SPARK-48490] Synchroniseer de meest recente eigenschappen voor logboekregistratie en testcases van OSS Spark
• [SPARK-48629] [SC-169479] De restcode migreren naar een gestructureerd framework voor logboekregistratie
• [SPARK-48681] [SC-169469][SQL][GEDRAG-58] ICU gebruiken in expressies onder/boven voor UTF8_BINARY tekenreeksen
• [SPARK-48573] [15.x][SC-169582][SQL] ICU-versie upgraden
• [SPARK-48687] [Backport][15.x][SS] Wijziging toevoegen om statusschemavalidatie uit te voeren en bij te werken op stuurprogramma voor stateful query's
• [SPARK-47579] [15.x][SC-167310][CORE][DEEL4] LogInfo migreren met variabelen naar een gestructureerd framework voor logboekregistratie
• [SPARK-48008] [SC-167363][1/2] Ondersteuning voor UDAF's in Spark Connect
• [SPARK-48578] [SC-169505][SQL] UTF8-tekenreeksvalidatiefuncties toevoegen
• [SPARK-48670] [SC-169598][SQL] Suggesties geven als onderdeel van een foutbericht wanneer er een ongeldige sorteringsnaam wordt gegeven
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][BEVEILIGD-WACHTWOORDVERIFICATIE... … RK-48291] Gestructureerd logboekframework aan de java-zijde
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: LogWarn migreren met variabelen naar een gestructureerd framework voor logboekregistratie
• [SPARK-48706] [SC-169589][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
• [SPARK-48498] [GEDRAG-38][SC-168060][SQL] Altijd tekenopvulling uitvoeren in predicaten
• [SPARK-48662] [SC-169533][SQL] StructsToXml-expressie met sorteringen herstellen
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates and dropDuplicatesWIthinWatermark moet variabele lengte args accepteren
• [SPARK-48678] [SC-169463][CORE] Prestatieoptimalisaties voor SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] De naam van UTF8_BINARY_LCASE wijzigen in UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: Los het kenmerk nullability in de UDF-decoder op
• [SPARK-47579] [SC-165297][CORE][DEEL1] LogInfo migreren met variabelen naar gestructureerd framework voor logboekregistratie (nieuw)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal de afgeschafte methoden niet gebruiken
• [SPARK-48431] [SC-167290][LC-4066][SQL] Geen predicaten doorsturen voor gesorteerde kolommen naar bestandslezers
• [SPARK-47579] Revert "[SC-165297][CORE][PART1] Migrate logInfo with variables to structured logging framework"
• [SPARK-47585] [SC-164306][SQL] SQL Core: LogInfo migreren met variabelen naar een gestructureerd framework voor logboekregistratie
• [SPARK-48466] [SC-169042][SQL] Toegewezen knooppunt maken voor EmptyRelation in AQE
• [SPARK-47579] [SC-165297][CORE][DEEL1] LogInfo migreren met variabelen naar een gestructureerd framework voor logboekregistratie
• [SPARK-48410] [SC-168320][SQL] InitCap-expressie herstellen voor UTF8_BINARY_LCASE & ICU-sorteringen
• [SPARK-48318] [SC-167709][SQL] Ondersteuning voor hash-join inschakelen voor alle sorteringen (complexe typen)
• [SPARK-48435] [SC-168128][SQL] Unicode-sortering mag geen ondersteuning bieden voor binaire gelijkheid
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Ondersteuning voor het gebruik van kolommen als parameters voor verschillende functies in pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] Een helperfunctie toevoegen om dit te vereenvoudigen Column.py
• [SPARK-48574] [SC-169043][SQL] Ondersteuning voor StructTypes met sorteringen herstellen
• [SPARK-48305] [SC-166390][SQL] Ondersteuning voor sortering toevoegen voor CurrentLike-expressies
• [SPARK-48342] [SC-168941][SQL] Inleiding tot SQL Scripting Parser
• [SPARK-48649] [SC-169024][SQL] Voeg 'ignoreInvalidPartitionPaths' en 'spark.sql.files.ignoreInvalidPartitionPaths' toe om ongeldige partitiepaden te negeren
• [SPARK-48000] [SC-167194][SQL] Ondersteuning voor hash-join inschakelen voor alle sorteringen (StringType)
• [SPARK-48459] [SC-168947][VERBINDING MAKEN][PYTHON] DataFrameQueryContext implementeren in Spark Connect
• [SPARK-48602] [SC-168692][SQL] Csv-generator ondersteunen verschillende uitvoerstijl met spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] Vergelijking van tekenreeksen wijzigen voor UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][SQL] herstructureren: hulp-idMap gebruiken in plaats van OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][VERBINDING MAKEN] Vermijd het statisch initialiseren van threadpool bij ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] Introduceert een universele BinaryFormatter om binaire uitvoer consistent te maken
• [SPARK-48642] [SC-168889][CORE] False SparkOutOfMemoryError veroorzaakt door moordtaak bij overlopen
• [SPARK-48572] [SC-168844][SQL] DateSub-, DateAdd-, WindowTime-, TimeWindow- en SessionWindow-expressies herstellen
• [SPARK-48600] [SC-168841][SQL] Impliciete cast-expressies van FrameLessOffsetWindowFunction corrigeren
• [SPARK-48644] [SC-168933][SQL] Voer een lengtecontrole uit en gooi COLLECTION_SIZE_LIMIT_EXCEEDED fout in Hex.hex
• [SPARK-48587] [SC-168824][VARIANT] Opslagversterking voorkomen bij het openen van een subvariant
• [SPARK-48647] [SC-168936][PYTHON][VERBINDING MAKEN] Het foutbericht voor YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE moet niet-inline-relaties behouden in het oorspronkelijke WithCTE-knooppunt
• [SPARK-48596] [SC-168581][SQL] Prestatieverbetering voor het berekenen van hextekenreeks voor lange tijd
• [SPARK-48621] [SC-168726][SQL] Like-vereenvoudiging in Optimizer oplossen voor gesorteerde tekenreeksen
• [SPARK-47148] [SC-164179][SQL] Vermijd het materialiseren van AQE ExchangeQueryStageExec bij de annulering
• [SPARK-48584] [SC-168579][SQL] Prestatieverbetering voor unescapePathName
• [SPARK-48281] [SC-167260][SQL] Zoeklogica voor tekenreeksen wijzigen voor UTF8_BINARY_LCASE sortering (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Ongeldige UTF-8 bytereeksvervanging
• [SPARK-48595] [SC-168580][CORE] Afgeschaft API-gebruik opschonen met betrekking tot commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: cache rowOrdering en structType voor InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] WriteFilesExecBase-kenmerk toevoegen voor v1-schrijfbewerkingen
• [SPARK-48551] [SC-168438][SQL] Prestatieverbetering voor escapePathName
• [SPARK-48565] [SC-168437][UI] Weergave van threaddump in de gebruikersinterface herstellen
• [SPARK-48364] [SC-166782][SQL] AbstractMapType-type cast toevoegen en de parametertoewijzing RaiseError herstellen om te werken met gesorteerde tekenreeksen
• [SPARK-48421] [SC-168689][SQL] SPJ: documentatie toevoegen
• [SPARK-48604] [SC-168698][SQL] Afgeschafte methodeaanroep vervangen new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][CORE] Initialisatie van geheugenbeheer vertragen totdat de invoegtoepassing Stuurprogramma is geladen
• [SPARK-48411] [SC-168576][SS][PYTHON] E2E-test toevoegen voor DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] Validatiefouten van statusrijen bijhouden met behulp van expliciete foutklasse
• [SPARK-48221] [SC-167143][SQL] Zoeklogica voor tekenreeksen wijzigen voor UTF8_BINARY_LCASE sortering (Bevat, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Ondersteuning voor sortering toevoegen voor Levenshtein-expressie
• [SPARK-48593] [SC-168719][PYTHON][VERBINDING MAKEN] De tekenreeksweergave van de lambda-functie herstellen
• [SPARK-48622] [SC-168710][SQL] haal SQLConf eenmaal op bij het resolven van kolomnamen
• [SPARK-48594] [SC-168685][PYTHON][VERBINDING MAKEN] Naam van veld parent wijzigen child in inColumnAlias
• [SPARK-48403] [SC-168319][SQL] Kleine en bovenste expressies voor UTF8_BINARY_LCASE & ICU-sorteringen herstellen
• [SPARK-48162] [SC-166062][SQL] Ondersteuning voor sortering toevoegen voor MISC-expressies
• [SPARK-48518] [SC-167718][CORE] LZF-compressie parallel uitvoeren
• [SPARK-48474] [SC-167447][CORE] Corrigeer de klassenaam van het logboek in SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: Ondersteuning voor Transfrom-expressies voor One Side Shuffle
• [SPARK-48552] [SC-168212][SQL] meerregelige CSV-schemadeductie dient ook FAILED_READ_FILE te geven
• [SPARK-48560] [SC-168268][SS][PYTHON] StreamingQueryListener.spark-settable maken
• [SPARK-48569] [SC-168321][SS][VERBINDING MAKEN] Edge-aanvragen in query.name verwerken
• [SPARK-47260] [SC-167323][SQL] Naam toewijzen aan foutklasse _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][VERBINDING] In cache opgeslagen schema propageren in verzamelbewerkingen
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation voor join moet controleren of het overblijvende kind slechts BroadcastQueryStageExec is
• [SPARK-48506] [SC-167720][CORE] Korte namen van compressiecodecs zijn niet hoofdlettergevoelig, met uitzondering van gebeurtenislogboekregistratie
• [SPARK-48447] [SC-167607][SS] Statusarchiefproviderklasse controleren voordat u de constructor aanroept
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff en DateTimeUtils.timestampAdd mag geen INTERNAL_ERROR uitzondering genereren
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Foutklasse toevoegen voor compatibiliteit van statusschema's en kleine herstructurering
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN met collatie
• [SPARK-48561] [SC-168250][PS][VERBINDING MAKEN] Gooien PandasNotImplementedError voor niet-ondersteunde plottingsfuncties
• [SPARK-48465] [SC-167531][SQL] Geen lege relatiedoorgifte voorkomen
• [SPARK-48553] [SC-168166][PYTHON][VERBINDING MAKEN] Meer eigenschappen in cache opslaan
• [SPARK-48540] [SC-168069][CORE] Laadinstellingen voor ivy-uitvoer vermijden in stdout
• [SPARK-48535] [SC-168057][SS] Configuratiedocumenten bijwerken om aan te geven dat er een mogelijkheid is van gegevensverlies of -beschadiging als de optie 'skip nulls' voor stream-stream-joins is ingeschakeld
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Door gebruiker opgegeven schema's in cache opslaan in applyInPandas en applyInArrow
• [SPARK-47873] [SC-163473][SQL] Gesorteerde tekenreeksen schrijven naar Hive-metastore met behulp van het normale tekenreekstype
• [SPARK-48461] [SC-167442][SQL] NullPointerExceptions vervangen door foutklasse in AssertNotNull-expressie
• [SPARK-47833] [SC-163191][SQL][CORE] Stackstrace van aanroeper voor checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][SQL] Poort HIVE-12270: DBTokenStore-ondersteuning toevoegen aan HS2-overdrachtstoken
• [SPARK-47578] [SC-167497][R] RPackageUtils migreren met variabelen naar gestructureerd framework voor logboekregistratie
• [SPARK-47875] [SC-162935][CORE] spark.deploy.recoverySerializer verwijderen
• [SPARK-47552] [SC-160880][CORE] Stel spark.hadoop.fs.s3a.connection.establish.timeout in op 30 als deze ontbreekt
• [SPARK-47972] [SC-167692][SQL] CAST-expressie voor sorteringen beperken
• [SPARK-48430] [SC-167489][SQL] Toewijzingswaardeextractie herstellen wanneer toewijzing gesorteerde tekenreeksen bevat
• [SPARK-47318] [SC-162712][CORE][3.5] Voegt HKDF-ronde toe aan AuthEngine-sleutelderivatie om de standaard KEX-procedures te volgen
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Ongeldige scalaire subquery's oplossen met groepering op niet-equivalente kolommen die ten onrechte waren toegestaan
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Cachegebruiker opgegeven schema in DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Fout in Windows oplossen waarbij meerdere Spark-exemplaren binnen dezelfde seconde een fout veroorzaken
• [SPARK-45891] [SC-167608]Revert " Describe shredding scheme for Variant"
• [SPARK-48391] [SC-167554][CORE]AddAll gebruiken in plaats van functie toevoegen in fromAccumulatorInfos-methode van TaskMetrics-klasse
• [SPARK-48496] [SC-167600][CORE] Statische regex-patroonex-exemplaren gebruiken in JavaUtils.timeStringAs en JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] NPE-foutbericht voor null delmiter CSV oplossen
• [SPARK-48489] [SC-167598][SQL] Een betere, gebruikersgerichte fout genereren bij het lezen van een ongeldig schema uit tekstgegevensbron
• [SPARK-48471] [SC-167324][CORE] Documentatie en gebruikshandleiding voor geschiedenisserver verbeteren
• [SPARK-45891] [SC-167597] Het shreddingschema voor variant beschrijven
• [SPARK-47333] [SC-159043][SQL] CheckInputDataTypes gebruiken om de parametertypen van de functie te controleren to_xml
• [SPARK-47387] [SC-159310][SQL] Enkele ongebruikte foutklassen verwijderen
• [SPARK-48265] [ES-1131440][SQL] Afleiden van de groepslimietbatch voor vensters moet constant folding uitvoeren
• [SPARK-47716] [SC-167444][SQL] Weergavenaamconflict voorkomen in semantische sorteercase van SQLQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] Ondersteuning voor gesorteerde tekenreeksen uitbreiden op datum/tijd-expressies
• [SPARK-48462] [SC-167271][SQL][Tests] Gebruiken metSQLConf in tests: HiveQuerySuite en HiveTableScanSuite herstructureren
• [SPARK-48392] [SC-167195][CORE] spark-defaults.conf Laden indien opgegeven --properties-file
• [SPARK-48468] [SC-167417] LogicalQueryStage-interface toevoegen in katalysator
• [SPARK-47578] [SC-164988][CORE] Handmatige backport voor Spark PR #46309: LogWarning migreren met variabelen naar gestructureerd framework voor logboekregistratie
• [SPARK-48415] [SC-167321]'[PYTHON] TypeName herstructureren ter ondersteuning van geparameteriseerde gegevenstypen'
• [SPARK-46544] [SC-151361][SQL] Ondersteuning v2 DESCRIBE TABLE UITGEBREID met tabelstatistieken
• [SPARK-48325] [SC-166963][CORE] Altijd berichten opgeven in ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] Ondersteuning voor sortering voor ICU-landinstellingen en sorteringsaanduidingen toevoegen
• [SPARK-47221] [SC-157870][SQL] Maakt gebruik van handtekeningen van CsvParser naar AbstractParser
• [SPARK-47246] [SC-158138][SQL] Vervangen InternalRow.fromSeq door new GenericInternalRow het opslaan van een verzamelingsconversie
• [SPARK-47597] [SC-163932][STREAMING] Handmatige backport voor Spark PR #46192: Streaming: LogInfo migreren met variabelen naar gestructureerd logboeklogboekframework
• [SPARK-48415] [SC-167130][PYTHON] Herstructureren TypeName ter ondersteuning van geparameteriseerde gegevenstypen
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Maak printSchema gebruik van het schema in de cache
• [SPARK-48432] [ES-1097114][SQL] Vermijd het opheffen van gehele getallen in UnivocityParser
• [SPARK-47463] [SC-162840][SQL] V2Predicate gebruiken om expressies te verpakken met het retourtype Booleaanse waarde
• [SPARK-47781] [SC-162293][SQL] Negatieve schaaldecimaaltekens verwerken voor JDBC-gegevensbronnen
• [SPARK-48394] [SC-166966][CORE] MapIdToMapIndex opschonen op mapoutput unregister
• [SPARK-47072] [SC-156933][SQL] Ondersteunde intervalindelingen in foutberichten herstellen
• [SPARK-47001] [SC-162487][SQL] Pushdown-verificatie in optimizer
• [SPARK-48335] [SC-166387][PYTHON][VERBINDING MAKEN] Compatibel _parse_datatype_string maken met Spark Connect
• [SPARK-48329] [SC-166518][SQL] Standaard inschakelen spark.sql.sources.v2.bucketing.pushPartValues.enabled
• [SPARK-48412] [SC-166898][PYTHON] JSON-parsering van gegevenstype herstructureren
• [SPARK-48215] [SC-166781][SQL] Ondersteuning voor gesorteerde tekenreeksen op date_format expressie uitbreiden
• [SPARK-45009] [SC-166873][SQL][FOLLOW UP] Foutklasse en tests toevoegen voor decorrelatie van predicaatsubquery's in joinvoorwaarde die verwijzen naar beide joinkinderen
• [SPARK-47960] [SC-165295][SS][15.x] Toestaan dat andere stateful operators worden gekoppeld na de transformWithState-operator.
• [SPARK-48340] [SC-166468][PYTHON] Ondersteuning van TimestampNTZ infer schema miss prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] Ondersteuning voor sortering toevoegen voor CSV-expressies
• [SPARK-48158] [SC-165652][SQL] Ondersteuning voor sortering voor XML-expressies toevoegen
• [SPARK-48160] [SC-166064][SQL] Ondersteuning voor sortering toevoegen voor XPATH-expressies
• [SPARK-48229] [SC-165901][SQL] Ondersteuning voor sortering toevoegen voor inputFile-expressies
• [SPARK-48367] [SC-166487][VERBINDING MAKEN] Lint-scala voor scalafmt herstellen om bestanden te detecteren die correct zijn opgemaakt
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] De structuur herstructureren voor dataframe-foutcontext
• [SPARK-48370] [SC-166787][VERBINDING MAKEN] Controlepunt en localCheckpoint in Scala Spark Connect-client
• [SPARK-48247] [SC-166028][PYTHON] Gebruik alle waarden in een dict bij het afleiden van het MapType-schema
• [SPARK-48395] [SC-166794][PYTHON] Oplossing StructType.treeString voor geparameteriseerde typen
• [SPARK-48393] [SC-166784][PYTHON] Een groep constanten verplaatsen naar pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementeren StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][VERBINDING MAKEN] Controlepunt en localCheckpoint in Spark Connect

Zie onderhoudsupdates voor Databricks Runtime 15.4 LTS.

Systeemomgeving

• Besturingssysteem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)