Databricks Runtime 13.1 (EoS)

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.1, mogelijk gemaakt door Apache Spark 3.4.0.

Databricks heeft deze versie uitgebracht in mei 2023.

Nieuwe functies en verbeteringen

• Clusterondersteuning voor JDK 17 (openbare preview)
• Gegevens toevoegen, wijzigen of verwijderen in streamingtabellen
• Kafka lezen met SQL
• Nieuwe ingebouwde SQL-functies
• Ondersteuning voor Unity Catalog voor Python-bibliotheken met clusterbereik
• Uitgebreide standaardinstelling voor geoptimaliseerde schrijfbewerkingen in Unity Catalog
• Geavanceerde ondersteuning voor stateful operators in Structured Streaming workloads
• Delta-kloon voor Unity Catalog bevindt zich in openbare preview
• Pub-/subondersteuning voor gestructureerd streamen
• Dubbele waarden binnen watermerken in Gestructureerde Streaming verwijderen
• Uitgebreide ondersteuning voor Delta-conversies van Iceberg-tabellen met afgekapte partitiekolommen
• Streamen van schemawijzigingen met kolommenmapping in Delta Lake
• STARTVERSIE verwijderen
• Nieuwe H3-expressies die beschikbaar zijn met Python

Clusterondersteuning voor JDK 17 (openbare preview)

Databricks biedt nu clusterondersteuning voor Java Development Kit (JDK) 17. Zie Databricks SDK voor Java.

Gegevens toevoegen, wijzigen of verwijderen in streamingtabellen

U kunt nu DML-instructies gebruiken om streamingtabellen te wijzigen die zijn gepubliceerd naar Unity Catalog door DLT-pijplijnen. Zie Gegevens toevoegen, wijzigen of verwijderen in een streamingtabel en gegevens toevoegen, wijzigen of verwijderen in een doelstreamingtabel. U kunt ook DML-instructies gebruiken om streamingtabellen te wijzigen die zijn gemaakt in Databricks SQL.

Kafka lezen met SQL

U kunt nu de read_kafka SQL-functie gebruiken om Kafka-gegevens te lezen. Streaming met SQL wordt alleen ondersteund in DLT of met streamingtabellen in Databricks SQL. Zie read_kafka tabelwaardefunctie.

Nieuwe ingebouwde SQL-functies

De volgende functies zijn toegevoegd:

• array_prepend(array, elem) geeft array terug, voorafgegaan door elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) ontsleutelt een binair bestand dat wordt geproduceerd met behulp van AES-versleuteling en retourneert NULL als er een fout optreedt.
• sql_keywords() retourneert een tabel met Azure Databricks SQL-trefwoorden.

Ondersteuning voor Unity Catalog voor Python-bibliotheken met clusterbereik

Unity Catalog heeft enkele beperkingen voor het gebruik van bibliotheken. In Databricks Runtime 13.1 en hoger worden Python-bibliotheken met clusterbereik ondersteund, waaronder Python-wielbestanden die als werkruimtebestanden worden geüpload. Bibliotheken waarnaar wordt verwezen met dbFS-bestandspaden worden niet ondersteund, ongeacht of deze zich in de DBFS-hoofdmap of een externe locatie bevinden die is gekoppeld aan DBFS. Niet-Python-bibliotheken worden niet ondersteund. Zie Clusterbibliotheken.

In Databricks Runtime 13.0 en lager worden clusterbibliotheken niet ondersteund op clusters die gebruikmaken van de standaardtoegangsmodus (voorheen modus voor gedeelde toegang) in een werkruimte met Unity Catalog-functionaliteit.

Uitgebreide standaardinstelling voor geoptimaliseerde schrijfbewerkingen in Unity Catalog

Standaard geoptimaliseerde schrijfondersteuning voor Delta-tabellen die zijn geregistreerd in Unity Catalog, is uitgebreid met CTAS instructies en INSERT bewerkingen voor gepartitioneerde tabellen. Dit gedrag is afgestemd op de standaardinstellingen voor SQL-warehouses. Zie Geoptimaliseerde schrijfbewerkingen voor Delta Lake in Azure Databricks.

Geavanceerde ondersteuning voor stateful operators in Structured Streaming-workloads

U kunt nu meerdere toestand-afhankelijke operators samenvoegen, waardoor u de uitvoer van een bewerking, zoals een venster-aggregatie, kunt doorgeven aan een andere toestand-afhankelijke bewerking, zoals een join. Zie Wat is stateful streaming?

Delta-kloon voor Unity Catalog bevindt zich in openbare preview

U kunt nu ondiepe kloon gebruiken om nieuwe beheerde Unity Catalog-tabellen te maken op basis van bestaande beheerde tabellen in Unity Catalog. Zie Ondiepe kloon voor Unity Catalog-tabellen.

Pub-/subondersteuning voor gestructureerd streamen

U kunt nu een ingebouwde connector gebruiken om u te abonneren op Google Pub/Sub met Structured Streaming. Zie Abonneren op Google Pub/Sub.

Dubbele waarden in watermerken in Gestructureerd streamen verwijderen

U kunt nu in combinatie met een opgegeven drempelwaarde voor watermerken gebruiken dropDuplicatesWithinWatermark om records in Structured Streaming te ontdubbelen. Zie Dubbele waarden in watermerk verwijderen.

Uitgebreide ondersteuning voor Delta-conversies van Iceberg-tabellen met afgekapte partitiekolommen

U kunt nu CLONE en CONVERT TO DELTA met Iceberg-tabellen die partities hebben gedefinieerd voor afgekapte kolommen van typen int, longen string. Afgekapte kolommen van het type decimal worden niet ondersteund.

Schemawijzigingen streamen met kolomtoewijzing in Delta Lake

U kunt nu een locatie voor schematracking opgeven om streaming vanuit Delta-tabellen in te schakelen waarvoor kolomtoewijzing is ingeschakeld. Zie Streaming met kolomtoewijzing en schemawijzigingen.

STARTVERSIE verwijderen

START VERSION is nu verouderd verklaard voor ALTER SHARE.

Nieuwe H3-expressies die beschikbaar zijn met Python

De h3_coverash3 expressies en h3_coverash3string expressies zijn beschikbaar met Python.

Bugfixes

Parquet failOnUnknownFields laat gegevens niet langer ongemerkt vallen wanneer het type niet overeenkomt

Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de failOnNewColumns modus voor schema-evolutie, dan mislukken kolommen met verschillende gegevenstypen nu, en wordt aanbevolen gebruik te maken van rescuedDataColumn. Auto Loader leest nu correct en redt niet langer de typen Integer, Short of Byte als een van deze gegevenstypen wordt opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor.

Ingrijpende wijzigingen

Upgrade sqlite-jdbc-versie naar 3.42.0.0 om CVE-2023-32697 te adresseren

Voer een upgrade uit van sqlite-jdbc-versie van 3.8.11.2 naar 3.42.0.0. De API's van versie 3.42.0.0 zijn niet volledig compatibel met 3.8.11.2. Als u sqlite-jdbc in uw code gebruikt, controleert u het compatibiliteitsrapport sqlite-jdbc voor meer informatie. Als u migreert naar 13.1 en sqlite gebruikt, bevestig dan uw methoden en retourtype in versie 3.42.0.0.

Bibliotheekverbeteringen

• Bijgewerkte Python-bibliotheken:
  • facetten-overzicht van 1.0.2 tot 1.0.3
  • filelock van 3.10.7 tot 3.12.0
  • pyarrow van 7.0.0 tot 8.0.0
  • tenacity van 8.0.1 tot 8.1.0
• Bijgewerkte R-bibliotheken:
• Bijgewerkte Java-bibliotheken:
  • com.github.ben-manes.caffeine.caffeine van 2.3.4 tot 2.9.3
  • io.delta.delta-sharing-spark_2.12 van 0.6.8 tot 0.6.4
  • net.snowflake.snowflake-jdbc van 3.13.29 naar 3.13.22
  • org.checkerframework.checker-qual van 3.5.0 tot 3.19.0
  • org.scalactic.scalactic_2.12 van 3.0.8 tot 3.2.15
  • org.scalatest.scalatest_2.12 van 3.0.8 tot 3.2.15
  • org.xerial.sqlite-jdbc van 3.8.11.2 tot 3.42.0.0

Apache Spark

Databricks Runtime 13.1 bevat Apache Spark 3.4.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 13.0 (EoS) en de volgende aanvullende foutoplossingen en verbeteringen die zijn aangebracht in Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Revert "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Revert [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Toevoegen van Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Maak het mogelijk om ChannelBuilder voor SparkConnectClient uit te breiden
• [SPARK-43323] [SC-129966][sql][PYTHON] Los een probleem op waarbij DataFrame.toPandas, met Apache Arrow ingeschakeld, uitzonderingen niet correct afhandelt.
• [SPARK-42940] [SC-129896][ss][CONNECT] Sessiebeheer voor streamingquery's verbeteren
• [SPARK-43032] [SC-125756] [CONNECT][ss] Streamingquerybeheerder toevoegen
• [SPARK-16484] [SC-129975][sql] Ondersteuning voor Datasketches HllSketch toevoegen
• [SPARK-43260] [SC-129281][python] Migreer de Spark SQL Pandas Arrow-typefouten naar foutklasse.
• [SPARK-41766] [SC-129964][core] Verwijderingsverzoek behandelen dat is verzonden vóór de registratie van de uitvoerder
• [SPARK-43307] [SC-129971][python] PandasUDF-waardefouten migreren naar foutklasse
• [SPARK-43206] [SC-129903] [SS] [VERBINDING MAKEN] StreamingQuery-uitzondering() bevat stacktracering
• [SPARK-43311] [SC-129905][ss] Uitbreidingen voor geheugenbeheer van de rocksDB-statusopslagprovider toevoegen
• [SPARK-43237] [SC-129898][core] Null-exceptiebericht in gebeurtenislogboek afhandelen
• [SPARK-43320] [SC-129899][sql][HIVE] Rechtstreeks Hive 2.3.9 API aanroepen
• [SPARK-43270] [SC-129897][python] Implementeer __dir__() in pyspark.sql.dataframe.DataFrame om kolommen op te nemen
• [SPARK-43183] Intrekken „[SC-128938][ss] Introduceer een nieuwe callback „…
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Vervang de foutklasse _LEGACY_ERROR_TEMP_2022 door een interne fout
• [SPARK-43198] [SC-129470][connect] Oplossing 'Kan klasse ammonite niet initialiseren...' fout bij het gebruik van de filter
• [SPARK-43165] [SC-129777][sql] CanWrite verplaatsen naar DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf met scalaire invoer faalt bij een batchgrootte van één
• [SPARK-43298] [SC-129700]Herstel "[PYTHON][ml] predict_batch_udf met scalaire invoer mislukt bij batchgrootte van 1"
• [SPARK-43052] [SC-129663][core] Stacktrace afhandelen met een null-bestandsnaam in het gebeurtenislogboek
• [SPARK-43183] [SC-128938][ss] Een nieuwe callback 'onQueryIdle' introduceren bij StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Expressiefouten migreren naar foutklasse
• [SPARK-42151] [SC-128754][sql] UPDATE toewijzingen uitlijnen met tabelkenmerken
• [SPARK-43134] [SC-129468] [VERBINDING MAKEN] [SS] Uitzonderings-API voor JVM-client StreamingQuery()
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf met scalaire invoer mislukt bij een batchgrootte van één
• [SPARK-43248] [SC-129660][sql] Onnodig serialiseren/deserialiseren van pad bij parallelle verzameling van partitiestatistieken
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Introduceer PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Vooruitkatschende evaluatie implementeren voor repr en repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Maven-testbuild voor Scala-client-UDF-tests herstellen
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][connect] GroupByKey + mapGroup + coGroup-functies toevoegen
• [SPARK-43156] [SC-129672][sc-128532][SQL] Los COUNT(*) is null bug op in gecorreleerde scalaire subquery
• [SPARK-43046] [SC-129110] [SS] [Verbinding maken] Python API dropDuplicatesWithinWatermark geïmplementeerd voor Spark Connect
• [SPARK-43199] [SC-129467][sql] InlineCTE idempotent maken
• [SPARK-43293] [SC-129657][sql] __qualified_access_only moet worden genegeerd in normale kolommen
• [SPARK-43276] [SC-129461][connect][PYTHON] Spark Connect-vensterfouten migreren naar foutklasse
• [SPARK-43174] [SC-129109][sql] de completer van de SparkSQLCLIDriver repareren
• [SPARK-43084] [SC-128654] [SS] ApplyInPandasWithState-ondersteuning toevoegen voor Spark Connect
• [SPARK-43119] [SC-129040][sql] Ondersteuning voor dynamisch ophalen van SQL-trefwoorden Thru JDBC-API en TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] Arrow-geoptimaliseerde Python UDF's in Spark Connect
• [SPARK-43085] [SC-128432][sql] Ondersteuning voor kolom STANDAARDtoewijzing voor tabelnamen met meerdere delen
• [SPARK-43226] [LC-671] Extractoren definiëren voor bestandsconstante metagegevens
• [SPARK-43210] [SC-129189][connect][PYTHON] Introduce PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Plaats stuurprogrammazijde-metrieken voor LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Oplossen van ReplE2ESuite die consistent faalt met JDK 17
• [SPARK-43268] [SC-129249][sql] Gebruik de juiste foutklassen wanneer uitzonderingen worden samengesteld met een bericht
• [SPARK-43142] [SC-129299] DSL-expressies herstellen op kenmerken met speciale tekens
• [SPARK-43129] [SC-128896] Scala core-API voor het streamen van Spark Connect
• [SPARK-43233] [SC-129250] [SS] Logboekregistratie toevoegen voor Kafka Batch-lezen voor onderwerppartitie, offsetbereik en taak-id
• [SPARK-43249] [SC-129195][connect] Ontbrekende statistieken voor SQL-opdracht herstellen
• [SPARK-42945] [SC-129188][connect] Ondersteuning voor PYSPARK_JVM_STACKTRACE_ENABLED in Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] UDF-fouten overzetten naar PySpark-foutframework
• [SPARK-43123] [SC-128494][sql] Interne veldmetagegevens mogen niet worden gelekt naar catalogi
• [SPARK-43217] [SC-129205] Corrigeer het recursief doorlopen van geneste mappen/arrays in findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Niveauparam toevoegen aan printSchema voor Python
• [SPARK-43230] [SC-129191][connect] Vereenvoudig DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respect RequiresDistributionAndOrdering in CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migreer ValueError vanuit Conect DataFrame naar foutklasse
• [SPARK-43212] [SC-129187][ss][PYTHON] Structured Streaming-fouten migreren naar foutklasse
• [SPARK-43239] [SC-129186][ps] Verwijder null_counts uit info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput moet consistent zijn met child output
• [SPARK-43191] [SC-128924][core] Weerspiegeling vervangen w/ directe aanroepen voor Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Tijdelijke oplossing voor HADOOP-12074 verwijderen
• [SPARK-42657] [SC-128621][connect] Ondersteuning voor het zoeken en overdragen van REPL-klassebestanden aan de client-kant als artefacten.
• [SPARK-43098] [SC-77059][sql] Los de fout op in de correctheid van COUNT wanneer een scalaire subquery een GROUP BY-clausule heeft
• [SPARK-43213] [SC-129062][python] Voeg DataFrame.offset toe aan vanille PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] CreateDataFrame herstellen om het opgegeven schema ddl te respecteren
• [SPARK-43124] [SC-129011][sql] Dataset.show projects CommandResults lokaal
• [SPARK-42998] [SC-127422][connect][PYTHON] DataFrame.collect repareren met null-struct
• [SPARK-41498] [SC-125343]'Metagegevens doorgeven via Union' terugzetten
• [SPARK-42960] [SC-129010] [VERBINDING MAKEN] [SS] API await_termination() en exception() toevoegen voor Streaming Query in Python
• [SPARK-42552] [SC-128824][sql] Corrigeer de tweefasen-parseringsstrategie van de antlr-parser
• [SPARK-43207] [SC-128937][connect] Helperfuncties toevoegen om waarde uit letterlijke expressie te extraheren
• [SPARK-43186] [SC-128841][sql][HIVE] Tijdelijke oplossing verwijderen voor FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Voeg buckets samen in een join toegepast op de stream-kant van een broadcast join
• [SPARK-43195] [SC-128922][core] Overbodige serialiseerbare wrapper verwijderen in HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] ArrayInsert verbeteren als de positie vouwbaar en positief is.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join moet een null-waarde retourneren voor niet-overeenkomende rij
• [SPARK-43042] [SC-128602] [SS] [Verbinding maken] Api-ondersteuning voor table() toevoegen voor DataStreamReader
• [SPARK-43153] [SC-128753][connect] Spark-uitvoering overslaan wanneer het dataframe lokaal is
• [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL-tabblad mag slechts één keer één instructie weergeven
• [SPARK-43126] [SC-128447][sql] Markeer twee Hive UDF-expressies als stateful
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Geneste if-statements samenvoegen in één if-statement
• [SPARK-43113] [SC-128749][sql] Variabelen aan de stroomzijde evalueren bij het genereren van code voor een afhankelijke voorwaarde
• [SPARK-42895] [SC-127258][connect] Foutberichten voor gestopte Spark-sessies verbeteren
• [SPARK-42884] [SC-126662][connect] Ammonite REPL-integratie toevoegen
• [SPARK-43168] [SC-128674][sql] Verwijder de 'get PhysicalDataType' methode uit de Datatype klasse
• [SPARK-43121] [SC-128455][sql] Gebruik BytesWritable.copyBytes in plaats van handmatige kopie in HiveInspectors
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog Houdt Char/Varchar-metadata aan de leeszijde
• [SPARK-43050] [SC-128550][sql] Aggregaatexpressies corrigeren door groeperingsfuncties te vervangen
• Zodra de idempotentie van de strategie voor batches wordt verbroken, vermijd deze: [SPARK-43095] [SC-128549][sql] Infer Filters
• [SPARK-43130] [SC-128597][sql] InternalType verplaatsen naar PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Bytes en tekenreeksen afkorten in een protobericht
• [SPARK-43099] [SC-128596][sql] Gebruik getName in plaats van getCanonicalName om de klassenaam van de opbouwfunctie op te halen bij het registreren van udf bij FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch Distributor ondersteuning Local Mode
• [SPARK-42859] Terugdraaien van “[SC-127935][connect][PS] Basic support for pandas API on Spark Connect”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin niet werken bij het gebruik van AQE
• [SPARK-43125] [SC-128477][connect] Herstel Connect Server Kan Niet Omgaan Met Exceptie Met Lege Boodschap
• [SPARK-43147] [SC-128594] fix flake8 lint voor lokaal controleren
• [SPARK-43031] [SC-128360] [SS] [Verbinding maken] Eenheidstest en doctest inschakelen voor streaming
• [SPARK-43039] [LC-67] Ondersteuning voor aangepaste velden in de _metadata kolom van de bestandsbron.
• [SPARK-43120] [SC-128407][ss] Ondersteuning toevoegen voor het bijhouden van het geheugengebruik van vastgezette blokken voor RocksDB-toestandarchief
• [SPARK-43110] [SC-128381][sql] AsIntegral verplaatsen naar PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Verwijder onnodige assertie voor UninterruptibleThread in KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Ondersteuning voor dubbele geneste veldnamen
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable kan opslagniveau opgeven
• [SPARK-42985] [SC-128332][connect][PYTHON] CreateDataFrame herstellen om de SQL-configuraties te respecteren
• [SPARK-39696] [SC-127830][core] Gegevensrace oplossen in toegang tot TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Integral verplaatsen naar PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Casts niet uitpakken in binaire vergelijking wanneer de letterlijke waarde null is
• [SPARK-43057] [SC-127948][connect][PYTHON] Spark Connect-kolomfouten migreren naar foutklasse
• [SPARK-42859] [SC-127935][connect][PS] Basisondersteuning voor pandas-API in Spark Connect
• [SPARK-43013] [SC-127773][python] Migreer ValueError van DataFrame naar PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Debug-string in de UI redigeren
• [SPARK-43028] [SC-128070][sql] Voeg foutklasse SQL_CONF_NOT_FOUND toe
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Test toevoegen voor dropDuplicates in JavaDatasetSuite
• [SPARK-43075] [SC-127939][connect] Wijzig gRPC in grpcio wanneer deze niet is geïnstalleerd.
• [SPARK-42953] [SC-127809][connect] Getypt filter, kaart, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Ondersteuning voor het omzetten van datetype naar tijdstempeltype
• [SPARK-42931] [SC-127933][ss] Introduce dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Constantes van proto-gegevenstypen toevoegen
• [SPARK-43077] [SC-128050][sql] Het foutbericht van UNRECOGNIZED_SQL_TYPE verbeteren
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader APIs
• [SPARK-43049] [SC-127846][sql] CLOB gebruiken in plaats van VARCHAR(255) voor StringType voor Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Fout opgelost voor INSERT opdrachten met letterlijke tijdstempels
• [SPARK-42855] [SC-127722][sql] Runtime null-controles gebruiken in TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Relaties met metagegevenskolommen ontdubbelen
• [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch-distributeur compatibel maken met Spark Connect
• [SPARK-43058] [SC-128072][sql] Numeric en Fractional naar PhysicalDataType verplaatsen
• [SPARK-43056] [SC-127946][ss] De commit van de RocksDB-state store dient alleen het achtergrondwerk voort te zetten als het is gepauzeerd.
• [SPARK-43059] [SC-127947][connect][PYTHON] TypeError migreren vanuit DataFrame(Reader|Schrijver) naar foutklasse
• [SPARK-43071] [SC-128018][sql] Ondersteuning SELECT STANDAARD met ORDER BY, LIMIT, OFFSET voor INSERT bronrelatie
• [SPARK-43061] [SC-127956][core][SQL] PartitionEvaluator introduceren voor uitvoering van SQL-operator
• [SPARK-43067] [SC-127938][ss] Corrigeer de locatie van het resourcebestand van de foutklasse in Kafka-connector
• [SPARK-43019] [SC-127844][sql] Volgorde verplaatsen naar PhysicalDataType
• [SPARK-43010] [SC-127759][python] Kolomfouten migreren naar foutklasse
• [SPARK-42840] [SC-127782][sql] _LEGACY_ERROR_TEMP_2004-fout wijzigen in interne fout
• [SPARK-43041] [SC-127765][sql] Constructors van uitzonderingen herstellen voor compatibiliteit in connector-API
• [SPARK-42939] [SC-127761][ss][CONNECT] Core streaming Python-API voor Spark Connect
• [SPARK-42844] [SC-127766][sql] Werk de foutklasse bij van _LEGACY_ERROR_TEMP_2008 naar INVALID_URL
• [SPARK-42316] [SC-127720][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Spark Connect DataFrame-fouten migreren naar foutklasse
• [SPARK-42983] [SC-127717][connect][PYTHON] createDataFrame repareren om een 0-dim numpy-array correct te verwerken
• [SPARK-42955] [SC-127476][sql] Sla classifyException over en omhul AnalysisException voor SparkThrowable
• [SPARK-42949] [SC-127255][sql] Code voor NAAJ vereenvoudigen
• [SPARK-43011] [SC-127577][sql] array_insert moet mislukken met 0 index
• [SPARK-42974] [SC-127487][core] Utils.createTempDir herstellen om de ShutdownHookManager te gebruiken en JavaUtils.createTempDir methode op te schonen.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' betekent ook dat de tabel al bestaat
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME kan geen nieuwe tabelnaam met een schemanaam kwalificeren
• [SPARK-37980] [SC-127668][sql] Access row_index via _metadata indien mogelijk in tests
• [SPARK-42655] [SC-127591][sql] Onjuiste dubbelzinnige kolomverwijzingsfout
• [SPARK-43009] [SC-127596][sql] Geparameteriseerde sql() met Any constanten
• [SPARK-43026] [SC-127590][sql] AQE toepassen met non-exchange table cache
• [SPARK-42963] [SC-127576][sql] SparkSessionExtensions uitbreiden om regels in de optimalisatie van de AQE-queryfase te injecteren
• [SPARK-42918] [SC-127357] Verwerking van metagegevenskenmerken in FileSourceStrategy generaliseren
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Ondersteuning voor Catalog toevoegen
• [SPARK-42997] [SC-127535][sql] TableOutputResolver moet de juiste kolompaden gebruiken in foutberichten voor matrices en kaarten
• [SPARK-43006] [SC-127486][pyspark] Typo herstellen in StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Typo corrigeren in pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Typo in ResourceRequest.equals() oplossen
• [SPARK-42907] [SC-126984][connect][PYTHON] Avro-functies implementeren
• [SPARK-42979] [SC-127272][sql] Letterlijke constructors definiëren als trefwoorden
• [SPARK-42946] [SC-127252][sql] Gevoelige gegevens bewerken die genest zijn door vervanging van variabelen
• [SPARK-42952] [SC-127260][sql] Vereenvoudig de parameter van de analyseregel PreprocessTableCreation en DataSourceAnalysis
• [SPARK-42683] [LC-75] De naam van conflicterende metagegevenskolommen automatisch wijzigen
• [SPARK-42853] [SC-126101][followup] Conflicten oplossen
• [SPARK-42929] [SC-126748][connect] mapInPandas / mapInArrow ondersteunt "is_barrier"
• [SPARK-42968] [SC-127271][ss] Optie toevoegen om commitcoördinator over te slaan als onderdeel van StreamingWrite-API voor DSv2-bronnen/afvoeren
• [SPARK-42954] [SC-127261][python][CONNECT] YearMonthIntervalType toevoegen aan PySpark en Spark Connect Python-client
• [SPARK-41359] [SC-127256][sql] Gebruik PhysicalDataType in plaats van DataType in UnsafeRow
• [SPARK-42873] [SC-127262][sql] Spark SQL-typen definiëren als trefwoorden
• [SPARK-42808] [SC-126302][core] Voorkomen dat het ophalen van de beschikbare processors elke keer in MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries moet InSubqueryExec#shouldBroadcast instellen op true
• [SPARK-42896] [SC-126729][sql][PYTHON] De uitvoering van de barrièremodus mapInPandas / mapInArrow ondersteunen
• [SPARK-42874] [SC-126442][sql] Nieuwe golden file test framework inschakelen voor analyse voor alle invoerbestanden
• [SPARK-42922] [SC-126850][sql] Van Random naar SecureRandom verplaatsen
• [SPARK-42753] [SC-126369] ReusedExchange verwijst naar niet-bestaande knooppunten
• [SPARK-40822] [SC-126274][sql] Stabiele afgeleide kolomaliassen
• [SPARK-42908] [SC-126856][python] Een RuntimeError geven als de SparkContext vereist is maar niet geïnitialiseerd is
• [SPARK-42779] [SC-126042][sql] V2-schrijfbewerkingen toestaan om de aanbevolen grootte van de shuffle-partitie aan te geven
• [SPARK-42914] [SC-126727][python] transformUnregisteredFunction opnieuw gebruiken voor DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] De tabel-API in DataFrameReader kan ook opties accepteren
• [SPARK-42927] [SC-126883][core] Wijzig het toegangsbereik van o.a.spark.util.Iterators#size in private[util]
• [SPARK-42943] [SC-126879][sql] LONGTEXT gebruiken in plaats van TEKST voor StringType voor effectieve lengte
• [SPARK-37677] [SC-126855][core] Uitpakken kan bestandsmachtigingen behouden
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] CoGrouped Map API implementeren
• [SPARK-41876] [SC-126849][connect][PYTHON] DataFrame.toLocalIterator implementeren
• [SPARK-42930] [SC-126761][core][SQL] Wijzig het toegangsbereik van ProtobufSerDe gerelateerde implementaties in private[protobuf]
• [SPARK-42819] [SC-125879][ss] Ondersteuning toevoegen voor het instellen van max_write_buffer_number en write_buffer_size voor RocksDB die wordt gebruikt in streaming
• [SPARK-42924] [SC-126737][sql][CONNECT][python] De opmerking van geparametriseerde SQL-argumenten verduidelijken
• [SPARK-42748] [SC-126455][connect] Artefactbeheer aan serverzijde
• [SPARK-42816] [SC-126365][connect] Ondersteuning voor maximale berichtgrootte tot 128 MB
• [SPARK-42850] [SC-126109][sql] Dubbele regel CombineFilters verwijderen in Optimizer
• [SPARK-42662] [SC-126355][connect][PS] Proto-bericht voor pandas-API toevoegen in de standaardindex van Spark
• [SPARK-42720] [SC-126136][ps][SQL] Gebruikt expressie voor de standaardindex voor gedistribueerde volgorde in plaats van een plan
• [SPARK-42790] [SC-126174][sql] Abstraheer de uitgesloten methode voor betere tests bij JDBC-docker-tests.
• [SPARK-42900] [SC-126473][connect][PYTHON] Fix createDataFrame om inference en kolomnamen te respecteren
• [SPARK-42917] [SC-126657][sql] Corrigeer de getUpdateColumnNullabilityQuery voor DerbyDialect
• [SPARK-42684] [SC-125157][sql] v2-catalogus mag standaard kolomwaarde niet toestaan
• [SPARK-42861] [SC-126635][sql] Gebruik private[sql] in plaats van protected[sql] om te voorkomen dat API-documenten worden gegenereerd.
• [SPARK-42920] [SC-126728][connect][PYTHON] Tests voor UDF met UDT inschakelen
• [SPARK-42791] [SC-126617][sql] Maak een nieuw golden file test framework voor analyse
• [SPARK-42911] [SC-126652][python] Introduceer meer basis uitzonderingen
• [SPARK-42904] [SC-126634][sql] Char/Varchar-ondersteuning voor JDBC-catalogus
• [SPARK-42901] [SC-126459][connect][PYTHON] Verplaats StorageLevel naar een afzonderlijk bestand om potentiële file recursively imports te voorkomen
• [SPARK-42894] [SC-126451][connect] Ondersteuning cache/persist/unpersist/storageLevel voor de Jvm-client voor Spark Connect
• [SPARK-42792] [SC-125852][ss] Ondersteuning toevoegen voor WRITE_FLUSH_BYTES voor RocksDB die in stateful streamingoperators wordt gebruikt.
• [SPARK-41233] [SC-126441][connect][PYTHON] Array_prepend toevoegen aan de Spark Connect Python-client
• [SPARK-42681] [SC-125149][sql] Relax ordering constraint for ALTER TABLE ADD |Kolomdescriptor VERVANGEN
• [SPARK-42889] [SC-126367][connect][PYTHON] Cache implementeren, behouden, unpersist en storageLevel implementeren
• [SPARK-42824] [SC-125985][connect][PYTHON] Geef een duidelijk foutbericht op voor niet-ondersteunde JVM-kenmerken
• [SPARK-42340] [SC-126131][connect][PYTHON] Grouped Map API implementeren
• [SPARK-42892] [SC-126454][sql] SameType en relevante methoden verplaatsen uit DataType
• [SPARK-42827] [SC-126126][connect] Ondersteuning functions#array_prepend voor Scala Connect-client
• [SPARK-42823] [SC-125987][sql] spark-sql shell ondersteunt naamruimten met meerdere onderdelen voor initialisatie
• [SPARK-42817] [SC-125960][core] De naam van de shuffle-service één keer vastleggen in ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Getypte selectie
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Ml-functie implementeren {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Codegen Support for HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] array_prepend-functie toevoegen
• [SPARK-42864] [SC-126268][ml][3.4] IsotonicRegression.PointsAccumulator privé maken
• [SPARK-42876] [SC-126281][sql] Het physicalDataType van DataType moet privé[sql] zijn
• [SPARK-42101] [SC-125437][sql] AQE-ondersteuning maken voor InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Ondersteuning voor GEGENEREERDE ALWAYS AS-expressies voor kolommen in tabelinstructies voor maken/vervangen
• [SPARK-42870] [SC-126220][connect] toCatalystValue verplaatsen naar connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Herstel UserDefinedFunction om returnType te hebben
• [SPARK-42875] [SC-126258][connect][PYTHON] Fix toPandas om tijdzone- en kaarttypen correct af te handelen
• [SPARK-42757] [SC-125626][connect] TextFile voor DataFrameReader implementeren
• [SPARK-42803] [SC-126081][core][SQL][ml] Gebruik de functie getParameterCount in plaats van getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Herstructureer applyExtensions in SparkSession
• [SPARK-41765] Maak ongedaan “[SC-123550][sql] Pull out v1 write metrics…
• [SPARK-42848] [SC-126105][connect][PYTHON] DataFrame.registerTempTable implementeren
• [SPARK-42020] [SC-126103][connect][PYTHON] Ondersteuning voor UserDefinedType in Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] DataFrameReader/Writer.jdbc implementeren
• [SPARK-42812] [SC-125867][connect] Voeg client_type toe aan het AddArtifactsRequest protobuf-bericht
• [SPARK-42772] [SC-125860][sql] Wijzig de standaardwaarde van JDBC-opties om naar beneden te drukken naar true
• [SPARK-42771] [SC-125855][sql] HiveGenericUDF herstructureren
• [SPARK-25050] [SC-123839][sql] Avro: complexe samenvoegingen schrijven
• [SPARK-42765] [SC-125850][connect][PYTHON] Het importeren van pandas_udf mogelijk maken vanuit pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation moet spark.shuffle.reduceLocality.enabled respecteren
• [SPARK-42480] [SC-125173][sql] De prestaties van het verwijderen van partities verbeteren
• [SPARK-42689] [SC-125195][core][SHUFFLE] ShuffleDriverComponent toestaan om aan te geven of shuffle-gegevens betrouwbaar zijn opgeslagen
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementeer DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] V1-schrijfinformatie uitsplitsen naar WriteFiles
• [SPARK-41171] [SC-124191][sql] De limiet voor vensters afleiden en omlaag pushen via venster als partitionSpec leeg is
• [SPARK-42686] [SC-125292][core] Opmaak uitstellen voor foutopsporingsberichten in TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Helper-functie om proto-literal naar waarde te converteren in de Python Client
• [SPARK-42793] [SC-125627][connect] connect module vereist build_profile_flags
• [SPARK-42701] [SC-125192][sql] De functie try_aes_decrypt() toevoegen
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame werkt niet met niet-nullable schema
• [SPARK-42733] [SC-125542][connect][Followup] Schrijven zonder pad of tabel
• [SPARK-42777] [SC-125525][sql] Ondersteuning voor het converteren van timestampNTZ-catalogusstatistieken naar planstatistieken
• [SPARK-42770] [SC-125558][connect] Voeg truncatedTo(ChronoUnit.MICROS) toe om SQLImplicitsTestSuite in java 17 dagelijkse testtaakpas te maken
• [SPARK-42752] [SC-125550][pyspark][SQL] Maak PySpark-uitzonderingen afdrukbaar tijdens de initialisatie
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Ondersteuning voor spark connect-sessie getActiveSession-methode
• [SPARK-42755] [SC-125442][connect] Breng de conversie van letterlijke waarden onder naar connect-common
• [SPARK-42747] [SC-125399][ml] Onjuiste interne status van LoR en AFT herstellen
• [SPARK-42740] [SC-125439][sql] Los de fout op die pushdown-offset of paging ongeldig is voor een ingebouwd dialect
• [SPARK-42745] [SC-125332][sql] Verbeterde AliasAwareOutputExpression werkt met DSv2
• [SPARK-42743] [SC-125330][sql] Ondersteuning voor het analyseren van timestampNTZ-kolommen
• [SPARK-42721] [SC-125371][connect] RPC logging interceptor
• [SPARK-42691] [SC-125397][connect][PYTHON] Dataset.semanticHash implementeren
• [SPARK-42688] [SC-124922][connect] Rename Connect proto Request client_id wijzigen in session_id
• [SPARK-42310] [SC-122792][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Utils.bytesToString-routines optimaliseren
• [SPARK-42725] [SC-125296][connect][PYTHON] Maak LiteralExpression ondersteuning voor array-parameters
• [SPARK-42702] [SC-125293][spark-42623][SQL] Ondersteuning voor geparameteriseerde query's in subquery en CTE
• [SPARK-42697] [SC-125189][webui] Fix /api/v1/applications om de totale uptime te retourneren in plaats van 0 voor het duurveld
• [SPARK-42733] [SC-125278][connect][PYTHON] DataFrameWriter.save herstellen om te werken zonder padparameter
• [SPARK-42376] [SC-124928][ss] Introductie van watermerkdoorgifte tussen operators
• [SPARK-42710] [SC-125205][connect][PYTHON] Naam van FrameMap proto wijzigen in MapPartitions
• [SPARK-37099] [SC-123542][sql] Introduceer de groepslimiet van Window voor classificatiefilter om top-k berekeningen te optimaliseren
• [SPARK-42630] [SC-125207][connect][PYTHON] Introduceer UnparsedDataType en stel het parseren van de DDL-tekenreeks uit totdat SparkConnectClient beschikbaar is
• [SPARK-42690] [SC-125193][connect] CSV/JSON-parseringsfuncties implementeren voor Scala-client
• [SPARK-42709] [SC-125172][python] Verwijder de aanname dat __file__ beschikbaar is
• [SPARK-42318] [SC-122648][spark-42319][SQL] Naam toewijzen aan LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Ondersteuning voor parsergegevenstype json 'timestamp_ltz' als TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() mag het schema niet in de cache opslaan
• [SPARK-42643] [SC-125152][connect][PYTHON] Door de gebruiker gedefinieerde Java-functies (aggregeren) registreren
• [SPARK-42656] [SC-125177][connect][Followup] Het spark-connect-script herstellen
• [SPARK-41516] [SC-123899] [SQL] Toestaan dat jdbc-dialecten de query overschrijven die wordt gebruikt om een tabel te maken
• [SPARK-41725] [SC-124396][connect] Triebige uitvoering van DF.sql()
• [SPARK-42687] [SC-124896][ss] Beter foutbericht voor de niet-ondersteunde pivot-bewerking in Streaming
• [SPARK-42676] [SC-124809][ss] Tijdelijke controlepunten schrijven voor streamingquery's naar lokaal bestandssysteem, zelfs als standaard FS anders is ingesteld
• [SPARK-42303] [SC-122644][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Zorg ervoor dat er ten minste één tijdseenheid na 'interval' staat
• [SPARK-42649] [SC-124576][core] Verwijder de standaard-Apache-licentieheader boven aan bronbestanden van derden
• [SPARK-42611] [SC-124395][sql] Teken- en varchar-lengtecontroles invoegen voor binnenste velden bij de resolutie
• [SPARK-42419] [SC-124019][connect][PYTHON] Migreren naar Foutframework voor Spark Connect Column API.
• [SPARK-42637] [SC-124522][connect] SparkSession.stop() toevoegen
• [SPARK-42647] [SC-124647][python] Alias wijzigen voor afgeschafte en verwijderde typen
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver sluit alleen gestarte hive sessionState
• [SPARK-42593] [SC-124405][ps] Verwijder & de API's die worden verwijderd in pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] createDataFrame corrigeren om dubbele kolomnamen te verwerken
• [SPARK-42569] [SC-124379][connect] Uitzonderingen genereren voor niet-ondersteunde sessie-API
• [SPARK-42631] [SC-124526][connect] Ondersteuning voor aangepaste extensies in Scala-client
• [SPARK-41868] [SC-124387][connect][PYTHON] createDataFrame corrigeren om tijdsduren te ondersteunen
• [SPARK-42572] [SC-124171][sql][SS] Fix behavior for StateStoreProvider.validateStateRowFormat

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 13.1.

Systeemomgeving

• Besturingssysteem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname van de datum 2023-02-10.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)