Databricks Runtime 13.1 (EoS)

Följande viktig information innehåller information om Databricks Runtime 13.1 som drivs av Apache Spark 3.4.0.

Databricks släppte den här versionen i maj 2023.

Nya funktioner och förbättringar

• Klusterstöd för JDK 17 (offentlig förhandsversion)
• Lägga till, ändra eller ta bort data i strömmande tabeller
• Läsa Kafka med SQL
• Nya inbyggda SQL-funktioner
• Unity Catalog-stöd för Python-bibliotek med klusteromfattning
• Utökad standardaktivering för optimerade skrivningar i Unity Catalog
• Avancerat stöd för tillståndskänsliga operatorer i strukturerade strömningsarbetsbelastningar
• Delta-klonen för Unity Catalog finns i offentlig förhandsversion
• Pub-/understöd för strukturerad direktuppspelning
• Släpp dubbletter i vattenstämplar i strukturerad direktuppspelning
• Utökat stöd för Delta-konverteringar från Isbergstabeller med trunkerade partitionskolumner
• Ändringar i streamschema med kolumnmappning i Delta Lake
• Ta bort START VERSION
• Nya H3-uttryck som är tillgängliga med Python

Klusterstöd för JDK 17 (offentlig förhandsversion)

Databricks tillhandahåller nu klusterstöd för Java Development Kit (JDK) 17. Se Databricks SDK för Java.

Lägga till, ändra eller ta bort data i strömmande tabeller

Nu kan du använda DML-instruktioner för att ändra strömmande tabeller som publicerats till Unity Catalog av Delta Live Tables-pipelines. Se Lägga till, ändra eller ta bort data i en strömmande tabell och Lägg till, ändra eller ta bort data i en målströmmande tabell. Du kan också använda DML-instruktioner för att ändra strömmande tabeller som skapats i Databricks SQL.

Läsa Kafka med SQL

Du kan nu använda read_kafka SQL-funktionen för att läsa Kafka-data. Direktuppspelning med SQL stöds endast i Delta Live Tables eller med strömmande tabeller i Databricks SQL. Se read_kafka tabellvärdesfunktion.

Nya inbyggda SQL-funktioner

Följande funktioner har lagts till:

• array_prepend(matris, elem) Returnerar array föreberedd av elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Dekrypterar en binär som skapas med hjälp av AES-kryptering och returnerar NULL om det finns ett fel.
• sql_keywords() Returnerar en tabell med Azure Databricks SQL-nyckelord.

Stöd för Unity Catalog för Python-bibliotek med klusteromfattning

Unity Catalog har vissa begränsningar för biblioteksanvändningen. På Databricks Runtime 13.1 och senare stöds python-bibliotek med klusteromfattning, inklusive Python-hjulfiler som laddas upp som arbetsytefiler. Bibliotek som refereras med DBFS-filsökvägar stöds inte, oavsett om de finns i DBFS-roten eller på en extern plats som är monterad på DBFS. Andra bibliotek än Python-bibliotek stöds inte. Se Klusterbibliotek.

På Databricks Runtime 13.0 och nedan stöds inte bibliotek med klusteromfattning på kluster som använder läget för delad åtkomst i en Unity Catalog-aktiverad arbetsyta.

Utökad standardaktivering för optimerade skrivningar i Unity Catalog

Optimerat skrivläge för Delta-tabeller som registrerats i Unity Catalog har utökats till att omfatta CTAS-instruktioner och INSERT-operationer för partitionerade tabeller. Det här beteendet överensstämmer med standardvärdena för SQL-lager. Se Optimerade skrivningar för Delta Lake på Azure Databricks.

Avancerat stöd för tillståndskänsliga operatorer i strukturerade strömningsarbetsbelastningar

Nu kan du länka flera tillståndskänsliga operatorer tillsammans, vilket innebär att du kan mata utdata från en åtgärd, till exempel en fönsterad aggregering till en annan tillståndskänslig åtgärd, till exempel en koppling. Se Vad är tillståndskänslig strömning?.

Deltaklon för Unity Catalog finns i offentlig förhandsversion

Nu kan du använda en enkel klon för att skapa nya hanterade tabeller i Unity Catalog från befintliga hanterade tabeller i Unity Catalog. Se Shallow-klon för Unity Catalog-tabeller.

Pub-/understöd för strukturerad direktuppspelning

Nu kan du använda en inbyggd anslutningsapp för att prenumerera på Google Pub/Sub med strukturerad direktuppspelning. Se Prenumerera på Google Pub/Sub.

Släpp dubbletter i vattenstämplar i strukturerad direktuppspelning

Nu kan du använda dropDuplicatesWithinWatermark i kombination med ett angivet tröskelvärde för vattenstämpel för att deduplicera poster i Strukturerad direktuppspelning. Se Ta bort dubletter inom vattenstämpelområdet.

Utökat stöd för Delta-konverteringar från Iceberg-tabeller med trunkerade partitionskolumner

Nu kan du använda CLONE och CONVERT TO DELTA med Isbergstabeller som har partitioner definierade på trunkerade kolumner av typer int, longoch string. Trunkerade kolumner av typen decimal stöds inte.

Strömma schemaändringar med kolumnmappning i Delta Lake

Nu kan du ange en plats för schemaspårning för att aktivera strömning från Delta-tabeller med kolumnmappning aktiverat. Se Direktuppspelning med kolumnmappning och schemaändringar.

Ta bort STARTVERSION

START VERSION är nu inaktuell för ALTER SHARE.

Nya H3-uttryck som är tillgängliga med Python

Uttrycken h3_coverash3 och h3_coverash3string är tillgängliga med Python.

Felkorrigeringar

Parquet failOnUnknownFields släpper inte längre tyst data om typmatchningsfel

Om en Parquet-fil lästes med bara alternativet failOnUnknownFields eller med Auto Loader i failOnNewColumns schemautvecklingsläge, misslyckas nu kolumner med olika datatyper och det rekommenderas att använda rescuedDataColumn. Automatisk inläsning läser nu korrekt och räddar inte längre heltals-, kort- eller byte-typer om någon av dessa datatyper tillhandahålls. Parquet-filen föreslår en av de andra två typerna.

Icke-bakåtkompatibla ändringar

Uppgradera sqlite-jdbc-versionen till 3.42.0.0 för att hantera CVE-2023-32697

Uppgradera sqlite-jdbc-versionen från 3.8.11.2 till 3.42.0.0. API:erna för version 3.42.0.0 är inte helt kompatibla med 3.8.11.2. Om du använder sqlite-jdbc i koden kontrollerar du kompatibilitetsrapporten sqlite-jdbc för mer information. Om du migrerar till 13.1 och använder sqlite bekräftar du dina metoder och returnerar typ i version 3.42.0.0.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • facets-overview från 1.0.2 till 1.0.3
  • filelock från 3.10.7 till 3.12.0
  • pyarrow från 7.0.0 till 8.0.0
  • mellan 8.0.1 och 8.1.0
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • com.github.ben-manes.koffein.koffein från 2.3.4 till 2.9.3
  • io.delta.delta-sharing-spark_2.12 från 0.6.8 till 0.6.4
  • net.snowflake.snowflake-jdbc från 3.13.29 till 3.13.22
  • org.checkerframework.checker-qual från 3.5.0 till 3.19.0
  • org.scalactic.scalactic_2.12 från 3.0.8 till 3.2.15
  • org.scalatest.scalatest_2.12 från 3.0.8 till 3.2.15
  • org.xerial.sqlite-jdbc från 3.8.11.2 till 3.42.0.0

Apache Spark

Databricks Runtime 13.1 innehåller Apache Spark 3.4.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-42719] [DBRRM-199][SC-131578] Återställ "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] Återställ [SC-127830]/
• [SPARK-43331] [SC-130064][ANSLUT] Lägg till Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][ANSLUT][PYTHON] Gör det möjligt att utöka ChannelBuilder för SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PYTHON] Åtgärda DataFrame.toPandas med Pil aktiverad för att hantera undantag korrekt
• [SPARK-42940] [SC-129896][SS][ANSLUT] Förbättra sessionshantering för strömmande frågor
• [SPARK-43032] [SC-125756] [ANSLUT][SS] Lägg till strömningsfrågahanteraren
• [SPARK-16484] [SC-129975][SQL] Lägga till stöd för Datasketches HllSketch
• [SPARK-43260] [SC-129281][PYTHON] Migrera Spark SQL Pandas-piltypens fel till felklassen.
• [SPARK-41766] [SC-129964][CORE] Hantera avaktiveringsbegäran som skickas före körningsregistrering
• [SPARK-43307] [SC-129971][PYTHON] Migrera PandasUDF-värdefel till felklass
• [SPARK-43206] [SC-129903] [SS] [ANSLUT] StreamingQuery exception() inkluderar stackspårning
• [SPARK-43311] [SC-129905][SS] Lägga till förbättringar av minneshantering för RocksDB-tillståndslagerprovidern
• [SPARK-43237] [SC-129898][CORE] Hantera null-undantagsmeddelande i händelseloggen
• [SPARK-43320] [SC-129899][SQL][HIVE] Anropa Hive 2.3.9 API direkt
• [SPARK-43270] [SC-129897][PYTHON] Implementera __dir__() i pyspark.sql.dataframe.DataFrame för att inkludera kolumner
• [SPARK-43183] Återställ "[SC-128938][SS] Introducera ett nytt återanrop "...
• [SPARK-43143] [SC-129902] [SS] [ANSLUT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2022 med ett internt fel
• [SPARK-43198] [SC-129470][ANSLUT] Åtgärda "Det gick inte att initiera klassamonit..." fel vid användning av filter
• [SPARK-43165] [SC-129777][SQL] Flytta canWrite till DataTypeUtils
• [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf med skalär indata misslyckas med batchstorleken en
• [SPARK-43298] [SC-129700]Återställ "[PYTHON][ML] predict_batch_udf med skalär indata misslyckas med batchstorleken en"
• [SPARK-43052] [SC-129663][CORE] Hantera stacktrace med null-filnamn i händelseloggen
• [SPARK-43183] [SC-128938][SS] Introducera ett nytt återanrop "onQueryIdle" till StreamingQueryListener
• [SPARK-43209] [SC-129190][ANSLUT][PYTHON] Migrera uttrycksfel till felklass
• [SPARK-42151] [SC-128754][SQL] Justera UPDATE tilldelningar med tabellattribut
• [SPARK-43134] [SC-129468] [ANSLUT] [SS] JVM-klienten StreamingQuery exception() API
• [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf med skalär indata misslyckas med batchstorleken en
• [SPARK-43248] [SC-129660][SQL] Onödigt serialisera/deserialisera sökvägen vid parallell insamling av partitionsstatistik
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][ANSLUT] Introducera PySparkNotImplementedError
• [SPARK-43146] [SC-128804][ANSLUT][PYTHON] Implementera ivrig utvärdering för repr och repr_html
• [SPARK-42953] [SC-129469][Anslut][Uppföljning] Åtgärda maven-testversion för Scala-klientens UDF-tester
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][ANSLUT] Lägga till groupByKey + mapGroup + coGroup-funktioner
• [SPARK-43156] [SC-129672][SC-128532][SQL] Åtgärda COUNT(*) is null bugg i korrelerad skalbar underfråga
• [SPARK-43046] [SC-129110] [SS] [Anslut] Implementerade Python API-dropDuplicatesWithinWatermark för Spark Connect
• [SPARK-43199] [SC-129467][SQL] Gör InlineCTE idempotent
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only bör ignoreras i normala kolumner
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migrera Spark Connect-fönsterfel till felklass
• [SPARK-43174] [SC-129109][SQL] Åtgärda SparkSQLCLIDriver-kompletterare
• [SPARK-43084] [SC-128654] [SS] Lägg till applyInPandasWithState-stöd för Spark Connect
• [SPARK-43119] [SC-129040][SQL] Stöder Hämta SQL-nyckelord dynamiskt via JDBC API och TVF
• [SPARK-43082] [SC-129112][ANSLUT][PYTHON] Piloptimerade Python-UDF:er i Spark Connect
• [SPARK-43085] [SC-128432][SQL] Stöd för kolumnstandardtilldelning för tabellnamn i flera delar
• [SPARK-43226] [LC-671] Definiera extraktorer för filkonstanta metadata
• [SPARK-43210] [SC-129189][ANSLUT][PYTHON] Introducera PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] Publicera mått på drivrutinssidan för LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Åtgärda att ReplE2ESuite konsekvent misslyckas med JDK 17
• [SPARK-43268] [SC-129249][SQL] Använd rätt felklasser när undantag skapas med ett meddelande
• [SPARK-43142] [SC-129299] Åtgärda DSL-uttryck för attribut med specialtecken
• [SPARK-43129] [SC-128896] Scala Core API för direktuppspelning av Spark Connect
• [SPARK-43233] [SC-129250] [SS] Lägg till loggning för Kafka Batch Reading för ämnespartition, förskjutningsintervall och aktivitets-ID
• [SPARK-43249] [SC-129195][ANSLUT] Åtgärda saknade statistik för SQL-kommandot
• [SPARK-42945] [SC-129188][ANSLUT] Stöd PYSPARK_JVM_STACKTRACE_ENABLED i Spark Connect
• [SPARK-43178] [SC-129197][ANSLUT][PYTHON] Migrera UDF-fel till PySpark-felramverket
• [SPARK-43123] [SC-128494][SQL] Interna fältmetadata bör inte läckas till kataloger
• [SPARK-43217] [SC-129205] Upprepas korrekt i kapslade kartor/matriser i findNestedField
• [SPARK-43243] [SC-129294][PYTHON][ANSLUT] Lägg till nivåparam i printSchema för Python
• [SPARK-43230] [SC-129191][ANSLUT] Förenkla DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] Respekt kräverDistributionAndOrdering i CTAS/RTAS
• [SPARK-43234] [SC-129192][ANSLUT][PYTHON] Migrera ValueError från Conect DataFrame till felklass
• [SPARK-43212] [SC-129187][SS][PYTHON] Migrera strukturerade direktuppspelningsfel till felklass
• [SPARK-43239] [SC-129186][PS] Ta bort null_counts från info()
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput ska vara konsekvent med underordnade utdata
• [SPARK-43191] [SC-128924][CORE] Ersätt reflektion med direktanrop för Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] Ta bort lösning för HADOOP-12074
• [SPARK-42657] [SC-128621][ANSLUT] Stöd för att hitta och överföra REPL-klassfiler på klientsidan till servern som artefakter
• [SPARK-43098] [SC-77059][SQL] Åtgärda felet COUNT för korrekthet när skalär underfråga har gruppera efter-sats
• [SPARK-43213] [SC-129062][PYTHON] Lägg till DataFrame.offset i vanilj PySpark
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] Åtgärda createDataFrame för att respektera det angivna schemat ddl
• [SPARK-43124] [SC-129011][SQL] Dataset.show projects CommandResults lokalt
• [SPARK-42998] [SC-127422][ANSLUT][PYTHON] Åtgärda DataFrame.collect med null-struct
• [SPARK-41498] [SC-125343]Återställ " Sprid metadata via Union"
• [SPARK-42960] [SC-129010] [ANSLUT] [SS] Lägg till API:et await_termination() och exception() för direktuppspelningsfråga i Python
• [SPARK-42552] [SC-128824][SQL] Korrigera parsningsstrategin i två steg för antlr-parser
• [SPARK-43207] [SC-128937][ANSLUT] Lägga till hjälpfunktioner för att extrahera värde från literaluttryck
• [SPARK-43186] [SC-128841][SQL][HIVE] Ta bort lösning för FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] Sammanslagningshinkar i koppling som tillämpas på sändningsanslutningsströmsidan
• [SPARK-43195] [SC-128922][CORE] Ta bort onödigt serialiseringsomslag i HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] Förbättra ArrayInsert om positionen är vikbar och positiv.
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith outer-join ska returnera ett null-värde för omatchad rad
• [SPARK-43042] [SC-128602] [SS] [Connect] Lägg till table() API-stöd för DataStreamReader
• [SPARK-43153] [SC-128753][ANSLUT] Hoppa över Spark-körning när dataramen är lokal
• [SPARK-43064] [SC-128496][SQL] Spark SQL CLI SQL-fliken ska bara visa en instruktion en gång
• [SPARK-43126] [SC-128447][SQL] Markera två Hive UDF-uttryck som tillståndskänsliga
• [SPARK-43111] [SC-128750][PS][ANSLUT][PYTHON] Sammanfoga kapslade if instruktioner i enkla if instruktioner
• [SPARK-43113] [SC-128749][SQL] Utvärdera variabler på dataströmsidan när du genererar kod för ett bundet villkor
• [SPARK-42895] [SC-127258][ANSLUT] Förbättra felmeddelanden för stoppade Spark-sessioner
• [SPARK-42884] [SC-126662][ANSLUT] Lägg till Ammonite REPL-integrering
• [SPARK-43168] [SC-128674][SQL] Ta bort metoden get PhysicalDataType från klassen Datatype
• [SPARK-43121] [SC-128455][SQL] Använd BytesWritable.copyBytes i stället för manuell kopiering i HiveInspectors
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog håller Char/Varchar-meta på lässidan
• [SPARK-43050] [SC-128550][SQL] Åtgärda sammansättningsuttryck för konstruktion genom att ersätta grupperingsfunktioner
• [SPARK-43095] [SC-128549][SQL] Undvik när strategins idempotens har brutits för batch: Infer Filters
• [SPARK-43130] [SC-128597][SQL] Flytta InternalType till PhysicalDataType
• [SPARK-43105] [SC-128456][ANSLUT] Förkorta byte och strängar i proto-meddelande
• [SPARK-43099] [SC-128596][SQL] Använd getName i stället för getCanonicalName för att hämta builder-klassnamn när du registrerar udf till FunctionRegistry
• [SPARK-42994] [SC-128586][ML][ANSLUT] PyTorch-distributören stöder lokalt läge
• [SPARK-42859] Återställ "[SC-127935][CONNECT][PS] Grundläggande stöd för Pandas API på Spark Connect"
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin fungerar inte när du använder AQE
• [SPARK-43125] [SC-128477][ANSLUT] Åtgärda att Connect Server inte kan hantera undantag med null-meddelande
• [SPARK-43147] [SC-128594] fix flake8 lint för lokal kontroll
• [SPARK-43031] [SC-128360] [SS] [Anslut] Aktivera enhetstest och dokumenttest för direktuppspelning
• [SPARK-43039] [LC-67] Har stöd för anpassade fält i kolumnen _metadata filkälla.
• [SPARK-43120] [SC-128407][SS] Lägg till stöd för spårning av fästa block minnesanvändning för RocksDB-tillståndsarkiv
• [SPARK-43110] [SC-128381][SQL] Flytta asIntegral till PhysicalDataType
• [SPARK-43118] [SC-128398][SS] Ta bort onödig kontroll för UninterruptibleThread i KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][ANSLUT][PYTHON] Stöd för duplicerade kapslade fältnamn
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable tillåter att lagringsnivån anges
• [SPARK-42985] [SC-128332][ANSLUT][PYTHON] Åtgärda createDataFrame för att respektera SQL-konfigurationerna
• [SPARK-39696] [SC-127830][CORE] Åtgärda datarace i åtkomsten till TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] Flytta integral till PhysicalDataType
• [SPARK-42741] [SC-125547][SQL] Ta inte bort gjutningar i binär jämförelse när literal är null
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrera Spark Connect-kolumnfel till felklass
• [SPARK-42859] [SC-127935][ANSLUT][PS] Grundläggande stöd för Pandas API på Spark Connect
• [SPARK-43013] [SC-127773][PYTHON] Migrera ValueError från DataFrame till PySparkValueError.
• [SPARK-43089] [SC-128051][ANSLUT] Redigera felsökningssträng i användargränssnittet
• [SPARK-43028] [SC-128070][SQL] Lägg till felklass SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][Anslut] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] Lägga till test för dropDuplicates i JavaDatasetSuite
• [SPARK-43075] [SC-127939][ANSLUT] Ändra gRPC till grpcio när den inte är installerad.
• [SPARK-42953] [SC-127809][Anslut] Skrivet filter, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] Stöd för att packa upp datumtyp till tidsstämpeltyp
• [SPARK-42931] [SC-127933][SS] Introducera dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][ANSLUT] Lägga till konstanter för proto-datatyper
• [SPARK-43077] [SC-128050][SQL] Förbättra felmeddelandet för UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][Anslut] API:er för DataStreamReader
• [SPARK-43049] [SC-127846][SQL] Använd CLOB i stället för VARCHAR(255) för StringType för Oracle JDBC
• [SPARK-43018] [SC-127762][SQL] Åtgärda fel för INSERT kommandon med tidsstämpelliteraler
• [SPARK-42855] [SC-127722][SQL] Använda runtime null-kontroller i TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] Deduplicera relationer med metadatakolumner
• [SPARK-42993] [SC-127829][ML][ANSLUT] Gör PyTorch-distributören kompatibel med Spark Connect
• [SPARK-43058] [SC-128072][SQL] Flytta numeriska och bråktal till PhysicalDataType
• [SPARK-43056] [SC-127946][SS] Incheckningen av RocksDB-tillståndsarkivet bör endast fortsätta bakgrundsarbetet om det har pausats
• [SPARK-43059] [SC-127947][ANSLUT][PYTHON] Migrera TypeError från DataFrame(Reader|Skrivare) i felklass
• [SPARK-43071] [SC-128018][SQL] Support SELECT DEFAULT med ORDER BY, LIMIT, OFFSET för INSERT källrelation
• [SPARK-43061] [SC-127956][CORE][SQL] Introducera PartitionEvaluator för SQL-operatorkörning
• [SPARK-43067] [SC-127938][SS] Korrigera platsen för felklassresursfilen i Kafka-anslutningsappen
• [SPARK-43019] [SC-127844][SQL] Flytta beställning till PhysicalDataType
• [SPARK-43010] [SC-127759][PYTHON] Migrera kolumnfel till felklass
• [SPARK-42840] [SC-127782][SQL] Ändra _LEGACY_ERROR_TEMP_2004 fel till internt fel
• [SPARK-43041] [SC-127765][SQL] Återställ konstruktorer av undantag för kompatibilitet i anslutnings-API
• [SPARK-42939] [SC-127761][SS][ANSLUT] Core Streaming Python API för Spark Connect
• [SPARK-42844] [SC-127766][SQL] Uppdatera felklassen _LEGACY_ERROR_TEMP_2008 till INVALID_URL
• [SPARK-42316] [SC-127720][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][ANSLUT][PYTHON] Migrera Spark Connect DataFrame-fel till felklass
• [SPARK-42983] [SC-127717][ANSLUT][PYTHON] Åtgärda createDataFrame för att hantera 0-dim numpy-matrisen korrekt
• [SPARK-42955] [SC-127476][SQL] Hoppa över classifyException och omsluta AnalysisException för SparkThrowable
• [SPARK-42949] [SC-127255][SQL] Förenkla koden för NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert bör misslyckas med 0 index
• [SPARK-42974] [SC-127487][CORE] Återställ Utils.createTempDir för att använda metoden ShutdownHookManager och rensa JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' betyder också att tabellen redan finns
• [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME kan inte kvalificera ett nytt tabellnamn med ett schemanamn
• [SPARK-37980] [SC-127668][SQL] Få åtkomst till row_index via _metadata om möjligt i tester
• [SPARK-42655] [SC-127591][SQL] Felaktigt tvetydigt kolumnreferensfel
• [SPARK-43009] [SC-127596][SQL] Parameteriserad sql() med Any konstanter
• [SPARK-43026] [SC-127590][SQL] Tillämpa AQE med icke-exchange-tabellcache
• [SPARK-42963] [SC-127576][SQL] Utöka SparkSessionExtensions för att mata in regler i AQE-frågestegsoptimeraren
• [SPARK-42918] [SC-127357] Generalisera hanteringen av metadataattribut i FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][ANSLUT] Lägg till Catalog stöd
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver måste använda rätt kolumnsökvägar i felmeddelanden för matriser och kartor
• [SPARK-43006] [SC-127486][PYSPARK] Åtgärda stavfel i StorageLevel eq()
• [SPARK-43005] [SC-127485][PYSPARK] Åtgärda stavfel i pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][CORE] Åtgärda stavfel i ResourceRequest.equals()
• [SPARK-42907] [SC-126984][ANSLUT][PYTHON] Implementera Avro-funktioner
• [SPARK-42979] [SC-127272][SQL] Definiera literalkonstruktorer som nyckelord
• [SPARK-42946] [SC-127252][SQL] Redigera känsliga data som kapslas av variabelersättning
• [SPARK-42952] [SC-127260][SQL] Förenkla parametern för analysregeln PreprocessTableCreation och DataSourceAnalysis
• [SPARK-42683] [LC-75] Byt automatiskt namn på motstridiga metadatakolumner
• [SPARK-42853] [SC-126101][Uppföljning] Åtgärda konflikter
• [SPARK-42929] [SC-126748][CONNECT] gör mapInPandas/mapInArrow till stöd för "is_barrier"
• [SPARK-42968] [SC-127271][SS] Lägg till alternativ för att hoppa över incheckningskoordinatorn som en del av StreamingWrite API för DSv2-källor/mottagare
• [SPARK-42954] [SC-127261][PYTHON][ANSLUT] Lägg till YearMonthIntervalType i PySpark- och Spark Connect Python-klienten
• [SPARK-41359] [SC-127256][SQL] Använd PhysicalDataType i stället för DataType i UnsafeRow
• [SPARK-42873] [SC-127262][SQL] Definiera Spark SQL-typer som nyckelord
• [SPARK-42808] [SC-126302][CORE] Undvik att få tillgängligaProcessorer varje gång i MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries bör ange InSubqueryExec#shouldBroadcast till true
• [SPARK-42896] [SC-126729][SQL][PYTHON] Gör mapInPandas / mapInArrow körning av stödbarriärläge
• [SPARK-42874] [SC-126442][SQL] Aktivera nytt golden file-testramverk för analys för alla indatafiler
• [SPARK-42922] [SC-126850][SQL] Flytta från random till SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange refererar till noder som inte finns
• [SPARK-40822] [SC-126274][SQL] Stabila härledda kolumnalias
• [SPARK-42908] [SC-126856][PYTHON] Höj RuntimeError när SparkContext krävs men inte initieras
• [SPARK-42779] [SC-126042][SQL] Tillåt V2-skrivningar att ange rådgivande omfördelningspartitionsstorlek
• [SPARK-42914] [SC-126727][PYTHON] Återanvänd för transformUnregisteredFunctionDistributedSequenceID.
• [SPARK-42878] [SC-126882][CONNECT] Tabell-API:et i DataFrameReader kan också acceptera alternativ
• [SPARK-42927] [SC-126883][CORE] Ändra åtkomstomfånget o.a.spark.util.Iterators#size för till private[util]
• [SPARK-42943] [SC-126879][SQL] Använd LONGTEXT i stället för TEXT för StringType för effektiv längd
• [SPARK-37677] [SC-126855][CORE] Packa upp kan behålla filbehörigheter
• [SPARK-42891] [13.x][SC-126458][ANSLUT][PYTHON] Implementera API för grupperad karta
• [SPARK-41876] [SC-126849][ANSLUT][PYTHON] Implementera DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][CORE][SQL] Ändra åtkomstomfånget ProtobufSerDe för relaterade implementeringar till private[protobuf]
• [SPARK-42819] [SC-125879][SS] Lägg till stöd för att ange max_write_buffer_number och write_buffer_size för RocksDB som används i strömning
• [SPARK-42924] [SC-126737][SQL][ANSLUT][PYTHON] Förtydliga kommentaren för parametriserade SQL-args
• [SPARK-42748] [SC-126455][ANSLUT] Artefakthantering på serversidan
• [SPARK-42816] [SC-126365][ANSLUT] Stöd för maximal meddelandestorlek upp till 128 MB
• [SPARK-42850] [SC-126109][SQL] Ta bort duplicerade regeln CombineFilters i Optimizer
• [SPARK-42662] [SC-126355][ANSLUT][PS] Lägga till proto-meddelande för Pandas API i Spark-standardindex
• [SPARK-42720] [SC-126136][PS][SQL] Använder uttryck för standardindex för distribuerad sekvens i stället för plan
• [SPARK-42790] [SC-126174][SQL] Abstrahera den exkluderade metoden för bättre test för JDBC Docker-tester.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] Åtgärda createDataFrame för att respektera slutsatsdragning och kolumnnamn
• [SPARK-42917] [SC-126657][SQL] Rätt getUpdateColumnNullabilityQuery för DerbyDialect
• [SPARK-42684] [SC-125157][SQL] v2-katalogen bör inte tillåta kolumnstandardvärde som standard
• [SPARK-42861] [SC-126635][SQL] Använd private[sql] i stället för skyddat[sql] för att undvika att generera API-dokument
• [SPARK-42920] [SC-126728][ANSLUT][PYTHON] Aktivera tester för UDF med UDT
• [SPARK-42791] [SC-126617][SQL] Skapa ett nytt golden file-testramverk för analys
• [SPARK-42911] [SC-126652][PYTHON] Introducera mer grundläggande undantag
• [SPARK-42904] [SC-126634][SQL] Char/Varchar-stöd för JDBC-katalog
• [SPARK-42901] [SC-126459][ANSLUT][PYTHON] Flytta StorageLevel till en separat fil för att undvika potentiella file recursively imports
• [SPARK-42894] [SC-126451][ANSLUT] Stöd cache/persist/unpersist/storageLevelför Spark Connect jvm-klient
• [SPARK-42792] [SC-125852][SS] Lägg till stöd för WRITE_FLUSH_BYTES för RocksDB som används i tillståndskänsliga strömningsoperatorer
• [SPARK-41233] [SC-126441][ANSLUT][PYTHON] Lägga till array_prepend i Spark Connect Python-klienten
• [SPARK-42681] [SC-125149][SQL] Minska ordningsbegränsningar för ALTER TABLE ADD|REPLACE-kolumnbeskrivning
• [SPARK-42889] [SC-126367][ANSLUT][PYTHON] Implementera cache, persist, unpersist och storageLevel
• [SPARK-42824] [SC-125985][ANSLUT][PYTHON] Ange ett tydligt felmeddelande för JVM-attribut som inte stöds
• [SPARK-42340] [SC-126131][ANSLUT][PYTHON] Implementera grupperat kart-API
• [SPARK-42892] [SC-126454][SQL] Flytta sameType och relevanta metoder från DataType
• [SPARK-42827] [SC-126126][ANSLUT] Stöd functions#array_prepend för Scala Connect-klienten
• [SPARK-42823] [SC-125987][SQL] spark-sql shell har stöd för flerdelsnamnområden för initiering
• [SPARK-42817] [SC-125960][CORE] Logga shuffle-tjänstnamnet en gång i ApplicationMaster
• [SPARK-42786] [SC-126438][Anslut] Skriven val
• [SPARK-42800] [SC-125868][ANSLUT][PYTHON][ML] Implementera ml-funktion {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] Codegen-stöd för HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PYTHON] Lägg till array_prepend funktion
• [SPARK-42864] [SC-126268][ML][3.4] Gör IsotonicRegression.PointsAccumulator privat
• [SPARK-42876] [SC-126281][SQL] DataTypes physicalDataType ska vara privat[sql]
• [SPARK-42101] [SC-125437][SQL] Skapa AQE-stöd för InMemoryTableScanExec
• [SPARK-41290] [SC-124030][SQL] Stöd för GENERATED ALWAYS AS-uttryck för kolumner i skapa/ersätt tabell-satser
• [SPARK-42870] [SC-126220][ANSLUT] Flytta toCatalystValue till connect-common
• [SPARK-42247] [SC-126107][ANSLUT][PYTHON] Åtgärda att UserDefinedFunction har returnType
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] Korrigera toPandas för att hantera tidszons- och karttyper korrekt
• [SPARK-42757] [SC-125626][ANSLUT] Implementera textFil för DataFrameReader
• [SPARK-42803] [SC-126081][CORE][SQL][ML] Använd funktionen getParameterCount i stället för getParameterTypes.length
• [SPARK-42833] [SC-126043][SQL] applyExtensions Omstrukturera i SparkSession
• [SPARK-41765] Återställ "[SC-123550][SQL] Hämta v1-skrivmått...
• [SPARK-42848] [SC-126105][ANSLUT][PYTHON] Implementera DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][ANSLUT][PYTHON] Stöd för UserDefinedType i Spark Connect
• [SPARK-42818] [SC-125861][ANSLUT][PYTHON] Implementera DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][ANSLUT] Lägg till client_type i Meddelandet AddArtifactsRequest protobuf
• [SPARK-42772] [SC-125860][SQL] Ändra standardvärdet för JDBC-alternativ om push-ned till true
• [SPARK-42771] [SC-125855][SQL] Omstrukturera HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro: skriva komplexa fackföreningar
• [SPARK-42765] [SC-125850][ANSLUT][PYTHON] Aktivera import pandas_udf från pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation bör respektera spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] Förbättra prestanda för släpppartitioner
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] Tillåt att ShuffleDriverComponent deklarerar om shuffle-data lagras på ett tillförlitligt sätt
• [SPARK-42726] [SC-125279][ANSLUT][PYTHON] Implementera DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] Hämta v1-skrivmått till WriteFiles
• [SPARK-41171] [SC-124191][SQL] Härled och tryck ned fönstergränsen genom fönstret om partitionSpec är tom
• [SPARK-42686] [SC-125292][CORE] Skjuta upp formatering för felsökningsmeddelanden i TaskMemoryManager
• [SPARK-42756] [SC-125443][ANSLUT][PYTHON] Hjälpfunktion för att konvertera protolitral till värde i Python-klienten
• [SPARK-42793] [SC-125627][ANSLUT] connect modulen kräver build_profile_flags
• [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() Lägg till funktionen
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame fungerar inte med ett schema som inte kan upphävas
• [SPARK-42733] [SC-125542][CONNECT][Uppföljning] Skriv utan sökväg eller tabell
• [SPARK-42777] [SC-125525][SQL] Stöd för konvertering av TidsstämpelNTZ-katalogstatistik för att planera statistik
• [SPARK-42770] [SC-125558][ANSLUT] Lägg truncatedTo(ChronoUnit.MICROS) till för att göra SQLImplicitsTestSuite i Java 17 dagliga test GA-uppgiftspass
• [SPARK-42752] [SC-125550][PYSPARK][SQL] Gör PySpark-undantag utskrivbara under initieringen
• [SPARK-42732] [SC-125544][PYSPARK][ANSLUT] Stöd för metoden getActiveSession för Spark Connect-session
• [SPARK-42755] [SC-125442][ANSLUT] Konvertering av faktorliteralt värde till connect-common
• [SPARK-42747] [SC-125399][ML] Åtgärda felaktig intern status för LoR och AFT
• [SPARK-42740] [SC-125439][SQL] Åtgärda felet att pushdown-förskjutning eller paginering är ogiltig för vissa inbyggda dialekter
• [SPARK-42745] [SC-125332][SQL] Förbättrad AliasAwareOutputExpression fungerar med DSv2
• [SPARK-42743] [SC-125330][SQL] Stöd för analys av TimestampNTZ-kolumner
• [SPARK-42721] [SC-125371][ANSLUT] RPC-loggningsavlyssnare
• [SPARK-42691] [SC-125397][ANSLUT][PYTHON] Implementera Dataset.semanticHash
• [SPARK-42688] [SC-124922][ANSLUT] Byt namn på Connect proto Request client_id till session_id
• [SPARK-42310] [SC-122792][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] Optimera Utils.bytesToString-rutiner
• [SPARK-42725] [SC-125296][ANSLUT][PYTHON] Gör LiteralExpression till stöd för matrisparamer
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] Stöd för parametriserad fråga i underfrågor och CTE
• [SPARK-42697] [SC-125189][WEBUI] Åtgärda /api/v1/applications för att returnera total drifttid i stället för 0 för varaktighetsfältet
• [SPARK-42733] [SC-125278][ANSLUT][PYTHON] Åtgärda att DataFrameWriter.save fungerar utan sökvägsparameter
• [SPARK-42376] [SC-124928][SS] Introducera spridning av vattenstämplar mellan operatörer
• [SPARK-42710] [SC-125205][ANSLUT][PYTHON] Byt namn på FrameMap proto till MapPartitions
• [SPARK-37099] [SC-123542][SQL] Introducera gruppgränsen för Window för rangbaserat filter för att optimera top-k-beräkningen
• [SPARK-42630] [SC-125207][ANSLUT][PYTHON] Introducera UnparsedDataType och fördröj parsning av DDL-sträng tills SparkConnectClient är tillgängligt
• [SPARK-42690] [SC-125193][ANSLUT] Implementera CSV/JSON-parsningsfunktioner för Scala-klienten
• [SPARK-42709] [SC-125172][PYTHON] Ta bort antagandet att __file__ är tillgänglig
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] Tilldela namn till LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] Stöd för parserdatatypen json "timestamp_ltz" som TimestampType
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() bör inte cachelagra schemat
• [SPARK-42643] [SC-125152][ANSLUT][PYTHON] Registrera användardefinierade Java-funktioner (aggregerade)
• [SPARK-42656] [SC-125177][ANSLUT][Uppföljning] Åtgärda spark-connect-skriptet
• [SPARK-41516] [SC-123899] [SQL] Tillåt att jdbc-dialekter åsidosätter frågan som används för att skapa en tabell
• [SPARK-41725] [SC-124396][ANSLUT] Ivrig körning av DF.sql()
• [SPARK-42687] [SC-124896][SS] Bättre felmeddelande för åtgärden som inte stöds pivot i direktuppspelning
• [SPARK-42676] [SC-124809][SS] Skriva temporära kontrollpunkter för strömmande frågor till det lokala filsystemet även om standard-FS har angetts annorlunda
• [SPARK-42303] [SC-122644][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] Kontrollera minst en tidsenhet efter "intervall"
• [SPARK-42649] [SC-124576][CORE] Ta bort Apache License-standardrubriken högst upp i källfiler från tredje part
• [SPARK-42611] [SC-124395][SQL] Infoga tecken-/varchar-längdkontroller för inre fält under upplösning
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrera till felramverk för Spark Connect Column API.
• [SPARK-42637] [SC-124522][ANSLUT] Lägg till SparkSession.stop()
• [SPARK-42647] [SC-124647][PYTHON] Ändra alias för inaktuella och borttagna typer av numpy
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver ska endast stänga startad hive-sessionState
• [SPARK-42593] [SC-124405][PS] Inaktuell & ta bort DE API:er som ska tas bort i Pandas 2.0.
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] Åtgärda createDataFrame för att hantera duplicerade kolumnnamn
• [SPARK-42569] [SC-124379][ANSLUT] Utlösa undantag för sessions-API som inte stöds
• [SPARK-42631] [SC-124526][ANSLUT] Stöd för anpassade tillägg i Scala-klienten
• [SPARK-41868] [SC-124387][ANSLUT][PYTHON] Åtgärda createDataFrame för att stödja varaktigheter
• [SPARK-42572] [SC-124171][SQL][SS] Åtgärda beteendet för StateStoreProvider.validateStateRowFormat

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 13.1.

Systemmiljö

• Operativsystem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Deltasjön: 2.4.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2023-02-10.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)