Databricks Runtime 13.2 (EoS)

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.2, mogelijk gemaakt door Apache Spark 3.4.0.

Databricks heeft deze versie uitgebracht in juli 2023.

Nieuwe functies en verbeteringen

• Changelog-controlepunten voor RocksDB-staatopslag
• Verbeterde betrouwbaarheid voor VACUUM met ondiepe kloon in Unity Catalog.
• Ondersteuning voor Python UDF's in SQL
• Delta Lake UniForm for Iceberg is in publieke preview
• Delta Lake vloeibare clustering is in openbare proefversie
• Archiveringsondersteuning in Azure Databricks
• IDENTIFIER-clauseondersteuning
• Unity Catalog-ondersteuning voor Python en Pandas User-Defined Functions (UDF's)
• Schema's delen met Delta Sharing
• Bugfixes

Changelog-controlepunten voor RocksDB-state-opslag

U kunt changelog-controlepunten inschakelen om de duur van het controlepunt en de end-to-end latentie voor stateful gestructureerde streaming-workloads te verlagen. Databricks raadt aan controlepunten in het wijzigingenlogboek in te schakelen voor alle stateful query's voor gestructureerd streamen. Zie Controlepunten voor wijzigingenlogboek inschakelen.

Verbeterde betrouwbaarheid voor VACUUM met ondiepe kloon in Unity Catalog.

Wanneer u beheerde tabellen van Unity Catalog gebruikt voor de bron en het doel van een ondiepe kloonbewerking, beheert Unity Catalog de onderliggende gegevensbestanden om de betrouwbaarheid voor de bron en het doel van de kloonbewerking te verbeteren. Als VACUUM wordt uitgevoerd op de bron van een ondiepe kloon, raakt de gekloonde tabel niet beschadigd. Zie Vacuum and Unity Catalog ondiepe kloons.

Ondersteuning voor Python UDF's in SQL

U kunt nu door de gebruiker gedefinieerde functies declareren met behulp van Python in SQL CREATE FUNCTION-instructies in Unity Catalog. Zie door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog.

Delta Lake UniForm for Iceberg is in publieke preview

Met Delta Lake Universal Format (UniForm) kunt u Delta-tabellen lezen met Iceberg-clients. Zie Delta-tabellen lezen met Iceberg-clients.

Delta Lake bevat vloeibare clustering in publieke voorvertoning.

Delta Lake liquid clustering vervangt tabelpartitionering en ZORDER om beslissingen over de gegevensindeling te vereenvoudigen en de queryprestaties te optimaliseren. Zie Liquid Clustering gebruiken voor Delta-tabellen.

Archiveringsondersteuning in Azure Databricks

Archiveringsondersteuning in Azure Databricks introduceert een verzameling mogelijkheden waarmee u levenscyclusbeleid in de cloud kunt gebruiken voor cloudobjectopslag met Delta-tabellen om bestanden naar archiveringsopslaglagen te verplaatsen. Zie de archiveringsondersteuning in Azure Databricks.

ondersteuning voor IDENTIFIER-clausules

Gebruik IDENTIFIER(:mytable) om tabel-, kolom-, functie- en schemanamen veilig te parameteriseren in veel SQL-instructies.

Ondersteuning voor Python en Pandas User-Defined Functions (UDFs) in Unity Catalog.

In Databricks Runtime 13.2 en hoger worden door de gebruiker gedefinieerde functies (UDF's) die zijn geschreven in Python ondersteund op clusters die gebruikmaken van de standaardtoegangsmodus (voorheen gedeelde toegangsmodus) in een werkruimte met Unity Catalog-functionaliteit. Dit omvat Python- en Pandas UDF's. Zie Door de gebruiker gedefinieerde scalaire functies - Python voor meer informatie over Python UDF's.

Schema's delen met Delta Sharing

Databricks Runtime 13.2 voegt de mogelijkheid toe om ALTER SHARE <share-name> ADD SCHEMA <schema-name> te gebruiken om een volledig schema te delen met Delta Sharing, zodat de ontvanger toegang heeft tot alle tabellen en weergaven in het schema op het moment dat u het deelt, samen met tabellen en weergaven die in de toekomst aan het schema worden toegevoegd. Zie schema's toevoegen aan een share en ALTER SHARE.

Bugfixes

• Er is een fout opgelost met de JSON-lezer, waarbij records werden geparseerd in PERMISSIVE modus als failOnUnknownFieldsmode was ingeschakeld. Records worden nu verwijderd in DROPMALFORMEDparser modus of worden weggeschreven naar de badRecordsPath, als een van deze opties is ingesteld. FAILFAST genereert een fout als een kolomtype niet overeenkomt.

Upgrade van de bibliotheek

• Bijgewerkte Python-bibliotheken:
  • nodeenv van 1.7.0 tot 1.8.0
• Bijgewerkte R-bibliotheken:
• Bijgewerkte Java-bibliotheken:
  • io.delta.delta-sharing-spark_2.12 van 0.6.7 tot 0.7.0

Apache Spark

Databricks Runtime 13.2 bevat Apache Spark 3.4.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 13.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] Ondersteuning voor INSERT-opdracht op naam
• [SPARK-43133] [SC-133728] Ondersteuning voor Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][VERBINDING MAKEN][PS] Inschakelen SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Oplossing (NullOps|NumOps).(eq|ne) voor Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Voeg spark.sql.files.maxPartitionNum toe
• [SPARK-43910] [SC-132936][SQL] Verwijderen __auto_generated_subquery_name uit id's in fouten
• [SPARK-43976] [SC-133375][CORE] De case afhandelen waarbij modifiedConfigs niet bestaat in gebeurtenislogboeken
• [SPARK-32559] [SC-133992][SQL] Corrigeer de trimlogica die ASCII-besturingstekens niet correct verwerkte
• [SPARK-43421] [SC-132930][SS] Controlepunten op basis van Changelog implementeren voor RocksDB State Store-provider
• [SPARK-43594] [SC-133851][SQL] LocalDateTime toevoegen aan anyToMicros
• [SPARK-43884] [SC-133867] Param-markeringen in DDL
• [SPARK-43398] [SC-133894][CORE] Time-out van executor moet de maximum van idle shuffle en RDD-time-out zijn.
• [SPARK-43610] [SC-133892][VERBINDING MAKEN][PS] Inschakelen InternalFrame.attach_distributed_column in Spark Connect.
• [SPARK-43971] [SC-133826][VERBINDING MAKEN][PYTHON] Ondersteuning bieden voor het createDataFrame van Python op streaming-wijze
• [SPARK-44006] [SC-133652][VERBINDING MAKEN][PYTHON] Ondersteuning voor cacheartefacten
• [SPARK-43790] [SC-133468][PYTHON][VERBINDING MAKEN][ML] API toevoegen copyFromLocalToFs
• [SPARK-43921] [SC-133461][PROTOBUF] Protobuf-descriptorbestanden genereren tijdens de build
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][VERBINDING MAKEN] De bestandsondersteuning implementeren in SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][SECUNDAIR] Python StreamingQueryProgress rowsPerSecond type fix
• [SPARK-43768] [SC-132398][PYTHON][VERBINDING MAKEN] Ondersteuning voor Python-afhankelijkheidsbeheer in Python Spark Connect
• [SPARK-43979] [13.X] Revert "[SC-133456][SQL] CollectedMetrics moet op dezelfde manier worden behandeld bij self-join"
• [SPARK-42290] [SC-133696][SQL] De OOM-fout kan niet worden gerapporteerd wanneer AQE is ingeschakeld
• [SPARK-43943] [SC-133648][SQL][PYTHON][VERBINDING MAKEN] Wiskundige SQL-functies toevoegen aan Scala en Python
• [SPARK-43747] [SC-132047][PYTHON][VERBINDING MAKEN] De pyfile-ondersteuning implementeren in SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][VERBINDING MAKEN][PS] Inschakelen TimedeltaOps.(sub|rsub) met Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][VERBINDING MAKEN][PS] Pariteitstest inschakelen: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Voorgestelde kandidaten voor onopgeloste kenmerk verbeteren
• [SPARK-43901] [SC-133454][SQL] Avro ondersteunt een nieuw decimaaltype gebaseerd op Long
• [SPARK-43267] [SC-133024][JDBC] Postgres onbekende door de gebruiker gedefinieerde kolom verwerken als een tekenreeks in een array
• [SPARK-43935] [SC-133637][SQL][PYTHON][VERBINDING MAKEN] Functies xpath_* toevoegen aan Scala en Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][VERBINDING MAKEN] Percentiel toevoegen aan Scala- en Python-API
• [SPARK-43717] [SC-133455][VERBINDING MAKEN] Scala-client reduce agg kan geen null-partities verwerken voor scala primitieve invoer
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Wijzigen om te gebruiken foreach wanneer map er geen resultaten worden geproduceerd
• [SPARK-43612] [SC-132011][VERBINDING MAKEN][PYTHON] SparkSession.addArtifact(s) implementeren in de Python-client
• [SPARK-44002] [SC-133606][VERBINDING MAKEN] De handler voor artefactstatussen herstellen
• [SPARK-43933] [SC-133470][SQL][PYTHON][VERBINDING MAKEN] Statistische functies voor lineaire regressie toevoegen aan Scala en Python
• [SPARK-43920] [SC-133614][SQL][VERBINDING MAKEN] Sql/API-module maken
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics moeten als hetzelfde worden behandeld bij een self-join
• [SPARK-43977] [SC-133373][CONNECT] Opgelost onverwacht controle-resultaat van dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: bug met enums als ints oplossen
• [SPARK-43930] [SC-133406][SQL][PYTHON][VERBINDING MAKEN] Unix_*-functies toevoegen aan Scala en Python
• [SPARK-43807] [SC-132545][SQL] _LEGACY_ERROR_TEMP_1269 migreren naar PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] Los de fout op die voorkomt dat de SQL van de kolom wordt weergegeven voor Percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][VERBINDING MAKEN] Destructieve Iterator toevoegen voor SparkResult
• [SPARK-43333] [SC-132898][SQL] Toestaan dat Avro unietype converteert naar SQL waarbij veldnamen stabiel zijn met het type
• [SPARK-43953] [SC-133134][CONNECT] Verwijder pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Niet-ondersteunde dataframemethoden verbergen voor autocomplete
• [SPARK-43973] [SC-133272][SS][UI] In de gestructureerde streaming-ui moeten mislukte query's correct worden weergegeven
• [SPARK-42577] [SC-125445][CORE] Maximum aantal pogingen voor fasen toevoegen om potentiële oneindige nieuwe pogingen te voorkomen
• [SPARK-43841] [SC-132699][SQL] Kandidaatkenmerken afhandelen zonder voorvoegsel in StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Opvolgactie] Ondersteuningsversie van de configuratie wijzigen naar 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Foutklassen migreren
• [SPARK-43898] [SC-132926][CORE] Automatisch registreren van immutable.ArraySeq$ofRef naar KryoSerializer voor Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2: Toestaan dat updates worden weergegeven als verwijderingen en invoegingen
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Ondersteuning voor UserDefinedType in createDataFrame van pandas DataFrame en toPandas
• [SPARK-43418] [SC-132753][SC-130685][VERBINDING MAKEN] SparkSession.Builder.getOrCreate toevoegen
• [SPARK-43549] [SC-132383][SQL] Converteer _LEGACY_ERROR_TEMP_0036 naar INVALID_SQL_SYNTAX, ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Het corrigeren van het tekort aan accumulators in het geval van een hernieuwde poging met rdd-cache
• [SPARK-43892] [SC-133006][PYTHON] Ondersteuning voor automatisch aanvullen toevoegen voor df[|] in pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Optioneel patroon toevoegen voor Catalog.listDatabases
• [SPARK-43205] [SC-132623] IDENTIFIER clausule
• [SPARK-43545] [SC-132378][SQL][PYTHON] Ondersteuning voor geneste tijdstempeltypen
• [SPARK-43949] [SC-133048][PYTHON] Cloudpickle upgraden naar 2.2.1
• [SPARK-43760] [SC-132809][SQL] Null-baarheid van scalaire subqueryresultaten
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Oplossing TimedeltaOps voor Spark Connect
• [SPARK-43895] [SC-132897][VERBINDING MAKEN][GO] Het pad naar het go-pakket voorbereiden
• [SPARK-43894] [SC-132892][PYTHON] Fout opgelost in df.cache()
• [SPARK-43509] [SC-131625][VERBINDING MAKEN] Ondersteuning voor het maken van meerdere Spark Connect-sessies
• [SPARK-43882] [SC-132888][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Oplossing NumOps voor Spark Connect
• [SPARK-43604] [SC-132165][SQL] Herstructureren INVALID_SQL_SYNTAX om te voorkomen dat de tekst van de fout in de broncode wordt ingesloten
• [SPARK-43859] [SC-132883][SQL] toString-methode overschrijven in LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Optioneel patroon toevoegen voor Catalog.listCatalogs
• [SPARK-43353] Terugdraaien “[SC-132734][PYTHON] Resterende sessiefouten migreren naar foutklasse”
• [SPARK-43375] [SC-130309][VERBINDING MAKEN] De foutberichten voor INVALID_CONNECT_URL verbeteren
• [SPARK-43863] [SC-132721][CONNECT] Redundante toSeq verwijderen uit SparkConnectPlanner voor Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Oplossing DatetimeOps voor Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Oplossing BinaryOps voor Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Oplossing NullOps voor Spark Connect
• [SPARK-43782] [SC-132885][CORE] Ondersteuning voor configuratie op logboekniveau met statische Spark-conf
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] Voegt AES IV- en AAD-ondersteuning toe aan ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Parameters verwijderen die niet worden gebruikt voor SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Foutklassen gebruiken in de compilatiefouten van ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] Ongebruikte declaraties uit coremodule verwijderen
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Migreer de fouten van de Spark Connect-client naar een foutklasse
• [SPARK-43799] [SC-132715][PYTHON] Binaire optie voor de descriptor toevoegen aan de Pyspark Protobuf-API
• [SPARK-43837] [SC-132678][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] Een naam toewijzen aan de foutklasse LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][PYTHON] Accepteer generieke tuples als type-aanwijzingen van Pandas UDFs
• [SPARK-43530] [SC-132653][PROTOBUF] Descriptorbestand slechts één keer lezen
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Oplossing CategoricalOps voor Spark Connect
• [SPARK-39979] [SC-132685][SQL] Optie toevoegen voor het gebruik van grote variabelenbreedtevectors voor pijl-UDF-bewerkingen
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Oplossing StringOps voor Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] Resterende sessiefouten migreren naar foutklasse
• [SPARK-43815] [SC-132781][SQL] Alias toevoegen to_varchar voor to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Probleem met genest MapType-gedrag opgelost in Pandas UDF
• [SPARK-43361] [SC-131789][PROTOBUF] documentatie bijwerken voor fouten bij enumserialisatie
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Niet-ondersteunde session methoden verbergen bij automatisch aanvullen
• [SPARK-43022] [SC-131681][VERBINDING MAKEN] Ondersteuning voor protobuf-functies voor Scala-client
• [SPARK-43304] [13.x][SC-129969][VERBINDING MAKEN][PYTHON] Migreren NotImplementedError naar PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Inschakelen van tail-recursion waar mogelijk
• [SPARK-42421] [SC-132695][CORE] Gebruik de hulpmiddelen om de schakelaar voor dynamische toewijzing op te halen die in het lokale controlepunt wordt gebruikt
• [SPARK-43590] [SC-132012][VERBINDING MAKEN] Maken connect-jvm-client-mima-check ter ondersteuning van mima-controle met protobuf module
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Resterende fouten migreren vanuit DataFrame(Reader|Writer) naar foutklasse
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: sta serialisatie en deserialisatie met enum als integers toe
• [SPARK-43789] [SC-132397][R] Gebruikt standaard ‘spark.sql.execution.arrow.maxRecordsPerBatch’ in R createDataFrame met Arrow.
• [SPARK-43596] [SC-126994][SQL] Verwerken IsNull predicaat in rewriteDomainJoins
• [SPARK-42249] [SC-122565][SQL] Html-koppeling verfijnen voor documentatie in foutberichten.
• [SPARK-43128] [SC-131628][VERBINDING MAKEN][SS] Zorg ervoor dat recentProgress en lastProgress consistent StreamingQueryProgress teruggeven met de native Scala-API.
• [SPARK-43387] [SC-130448][SQL] Geef een door mensen leesbare foutcode op voor _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Fout opgelost tijdens het serialiseren van ExecutorPeakMetricsDistributions in API-antwoord
• [SPARK-42958] [SC-131475][VERBINDING MAKEN] Herstructureren connect-jvm-client-mima-check ter ondersteuning van mima-controle met avro-module
• [SPARK-43591] [SC-131977][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Foutklassen gebruiken in org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] TimestampNTZType beschikbaar maken in pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] Veld Afhandelen missing row.excludedInStages
• [SPARK-42956] [SC-127257][VERBINDING MAKEN] Avro-functies voor Scala-client ondersteunen
• [SPARK-43487] [SC-131975][SQL] Geneste CTE-foutbericht opgelost
• [SPARK-43265] [SC-129653] Foutframework verplaatsen naar een algemene utils-module
• [SPARK-40912] [SC-131547][CORE]Overhead van uitzonderingen in KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] krijg MergedBlockedMetaReqHandler van de gedelegeerde in plaats van het SaslRpcHandler-exemplaar
• [SPARK-42996] [SC-131997][VERBINDING MAKEN][PS][ML] Maak en wijs de juiste JIRA-tickets toe voor alle mislukte tests.
• [SPARK-38469] [SC-131425][CORE] Foutklasse gebruiken in org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] Correct instellen van nullable voor de sleutels in USING-verbindingen
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop moet lege kolom accepteren
• [SPARK-43743] [SC-132038][SQL] Poort HIVE-12188(DoAs werkt niet goed in niet-kerberos beveiligde HS2)
• [SPARK-43598] [SC-131929][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] ClassNotFoundException tijdens migratie oplossen
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala-client StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Foutklassen gebruiken in org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Wijzig de naam van de foutklassen LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] Subexpressie-eliminatie ondersteunt verkorte expressie
• [SPARK-38462] [SC-130449][CORE] Voeg foutklasse INTERNAL_ERROR_EXECUTOR toe
• [SPARK-43589] [SC-131798][SQL] Oplossing cannotBroadcastTableOverMaxTableBytesError voor gebruik bytesToString
• [SPARK-43539] [SC-131830][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] InMemoryRelation gecached plan klonen om te voorkomen dat gekloond plan verwijst naar dezelfde objecten
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] INTERNAL_ERROR uitbreiden met categorieën en foutklasse toevoegen INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] Herstel dat gelijktijdige schrijver de bestandsmetrics niet bijwerkt
• [SPARK-43383] [SC-130660][SQL] Statistieken toevoegen rowCount aan LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] Ondersteuning voor het instellen van een Python-uitvoerbestand voor UDF- en pandas-functie-API's in werkprocessen tijdens uitvoering.
• [SPARK-43569] [SC-131694][SQL] Tijdelijke oplossing verwijderen voor HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Een nieuwe callback 'onQueryIdle' introduceren bij StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame
• [SPARK-43548] [SC-131686][SS] Tijdelijke oplossing voor HADOOP-16255 verwijderen
• [SPARK-43494] [SC-131272][CORE] Rechtstreeks oproepen replicate()HdfsDataOutputStreamBuilder naar in plaats van reflectie in SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Ontbrekende hadoopProperties en metricsProperties verwerken
• [SPARK-42899] [SC-126456][SQL] Corrigeer DataFrame.to(schema) om het geval te verwerken wanneer er een niet-null-genest veld in een null-baar veld is
• [SPARK-43302] [SC-129747][SQL] Python UDAF een AggregateFunction maken
• nl-NL: [SPARK-43223] [SC-131270][Connect] Getypte aggregatie, reductiefuncties, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] QueryTerminatedEvent uitvouwen om foutklasse te bevatten als deze bestaat in uitzondering
• [SPARK-43359] [SC-131463][SQL] Verwijderen uit Hive-tabel moet "UNSUPPORTED_FEATURE.TABLE_OPERATION" genereren
• [SPARK-43284] [SC-130313] Terugschakelen naar tekenreeksen met URL-codering
• [SPARK-43492] [SC-131227][SQL] 3 args-functiealiassen DATE_ADD toevoegen en DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Ondersteuning voor structtype in createDataFrame van pandas DataFrame
• [SPARK-43386] [SC-131110][SQL] Lijst met voorgestelde kolom/kenmerken in UNRESOLVED_COLUMN.WITH_SUGGESTION foutklasse verbeteren
• [SPARK-43443] [SC-131332][SQL] Benchmark toevoegen voor inferentie van het type Timestamp bij gebruik van een ongeldige waarde
• [SPARK-43518] [SC-131420][SQL] Converteren _LEGACY_ERROR_TEMP_2029 naar INTERNAL_ERROR
• [SPARK-42604] [SC-130648][VERBINDING MAKEN] Functions.typedlit implementeren
• [SPARK-42323] [ES-669513] Terugdraaien “[SC-123479][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2332”
• [SPARK-43357] [SC-130649][SQL] Datum van aanhalingsdatum filteren
• [SPARK-43410] [SC-130526][SQL] Verbeteren van vectorized loop voor Packed skipValues
• [SPARK-43441] [SC-130995][CORE] makeDotNode mag niet mislukken wanneer DeterministicLevel afwezig is
• [SPARK-43324] [SC-130455][SQL] UPDATE opdrachten verwerken voor delta-gebaseerde bronnen
• [SPARK-43272] [SC-131168][CORE] Rechtstreeks bellen createFile in plaats van weerspiegeling
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Spark Connect-sessiefouten migreren naar foutklasse
• [SPARK-43405] [SC-130987][SQL] Nutteloze getRowFormatSQLverwijderen, inputRowFormatSQL, outputRowFormatSQL methode
• [SPARK-43447] [SC-131017][R] Ondersteuning voor R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Toevoegen TimestampNTZType aan ColumnarBatchRow
• [SPARK-41532] [SC-130523][VERBINDING MAKEN][CLIENT] Controle toevoegen voor bewerkingen die betrekking hebben op meerdere gegevensframes
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Spark Connect Structured Streaming fouten naar foutklasse migreren
• [SPARK-42992] [13.x][SC-129465][PYTHON] PySparkRuntimeError introduceren
• [SPARK-43422] [SC-130982][SQL] Tags behouden voor LogicalRelation met metagegevensuitvoer
• [SPARK-43390] [SC-130646][SQL] met DSv2 kan CTAS/RTAS schema-nullabiliteit reserveren
• [SPARK-43430] [SC-130989][VERBINDING MAKEN][PROTO] ExecutePlanRequest ondersteunt willekeurige aanvraagopties.
• [SPARK-43313] [SC-130254][SQL] Ontbrekende kolomstandaardwaarden toevoegen voor MERGE INSERT acties
• [SPARK-42842] [SC-130438][SQL] De foutklasse _LEGACY_ERROR_TEMP_2006 samenvoegen in REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Standaard inschakelen spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][CORE][VERBINDING MAKEN] Verplaatsen ExecutorClassLoader naar core module en vereenvoudigen Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Ondersteuning voor timestampNTZ-typen in JDBC-gegevensbron verbeteren
• [SPARK-43343] [SC-130629][SS] FileStreamSource moet een extra controle voor bestandsglob uitschakelen bij het maken van DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] Optie voor het converteren van velden naar JSON
• [SPARK-43404] [SC-130586][SS] Sla het sst-bestand voor dezelfde versie van de RocksDB-statusopslag over om een ID-mismatchfout te vermijden.
• [SPARK-43397] [SC-130614][CORE] Duur van uit bedrijf nemen van logboekuitvoering in executorLost methode
• [SPARK-42388] [SC-128568][SQL] Vermijd dat parquet voettekst twee keer wordt gelezen in een gevectoriseerde lezer
• [SPARK-43306] [13.x][SC-130320][PYTHON] ValueError migreren van Spark SQL-typen naar foutklasse
• [SPARK-43337] [SC-130353][UI][3.4] Asc/desc-pijlpictogrammen voor het sorteren van de kolom worden niet weergegeven in de tabelkolom
• [SPARK-43279] [SC-130351][CORE] Ongebruikte leden opschonen van SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Vervang de foutklasse _LEGACY_ERROR_TEMP_2014 door een interne fout
• [SPARK-43363] [SC-130299][SQL][PYTHON] Maak alleen een aanroep astype naar het categorietype wanneer het pijltype niet is opgegeven
• [SPARK-43261] [SC-130154][PYTHON] Migreren TypeError van Spark SQL-typen naar foutklasse
• [SPARK-41971] [SC-130230][SQL][PYTHON] Een configuratie voor pandas-conversie toevoegen voor het verwerken van structtypen
• [SPARK-43381] [SC-130464][VERBINDING MAKEN] 'transformStatCov' lui maken
• [SPARK-43362] [SC-130481][SQL] Speciale verwerking van het JSON-type voor MySQL-connector
• [SPARK-42843] [SC-130196][SQL] Werk de foutklasse _LEGACY_ERROR_TEMP_2007 bij naar REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][VERBINDING MAKEN] Streaming van lokale relaties
• [SPARK-43181] [SC-130476][SQL] UI WebURL weergeven in spark-sql shell
• [SPARK-43051] [SC-130194][CONNECT] Optie toevoegen om standaardwaarden te verzenden
• [SPARK-43204] [SC-129296][SQL] Samenvoegtoewijzingen uitlijnen met tabelkenmerken
• [SPARK-43348] [SC-130082][PYTHON] Ondersteuning Python 3.8 in PyPy3
• [SPARK-42845] [SC-130078][SQL] De foutklasse bijwerken _LEGACY_ERROR_TEMP_2010 naar InternalError
• [SPARK-43211] [SC-128978][HIVE] Hadoop2-ondersteuning verwijderen in IsolatedClientLoader

Systeemomgeving

• Besturingssysteem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-snapshot van 10-02-2023.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)