Databricks Runtime 12.1 (EoS)

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.1, mogelijk gemaakt door Apache Spark 3.3.1.

Databricks heeft deze versie uitgebracht in januari 2023.

Nieuwe functies en verbeteringen

• Delta Lake-tabelfuncties die worden ondersteund voor protocolbeheer
• Voorspellende I/O voor updates bevindt zich in openbare proefversie
• Catalogusverkenner is nu beschikbaar voor alle persona's
• Ondersteuning voor meerdere stateful operators in één streamingquery
• Ondersteuning voor protocolbuffers bevindt zich in openbare preview
• Ondersteuning voor Confluent Schema Registry-verificatie
• Ondersteuning voor het delen van tabelgeschiedenis met Delta Sharing-shares
• Ondersteuning voor streaming met Delta Sharing-shares
• Tabelversie met behulp van tijdstempel die nu wordt ondersteund voor Delta Sharing-tabellen in catalogi
• ondersteuning voor WANNEER NIET OVEREENKOMSTIG MET DE BRON voor MERGE INTO
• verzameling geoptimaliseerde statistieken voor CONVERT TO DELTA
• Unity Catalog-ondersteuning voor het herstellen van tabellen

Delta Lake-tabelfuncties die worden ondersteund voor protocolbeheer

Azure Databricks heeft ondersteuning geïntroduceerd voor Delta Lake-tabelfuncties, waarmee gedetailleerde vlaggen worden geïntroduceerd die aangeven welke functies worden ondersteund door een bepaalde tabel. Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies?

Voorspellende I/O voor updates bevindt zich in openbare preview

Voorspellende I/O versnelt nu DELETE, MERGE, en UPDATE bewerkingen voor Delta-tabellen met verwijderingsvectoren ingeschakeld op Photon-enabled compute. Zie Wat is voorspellende I/O?.

Catalogusverkenner is nu beschikbaar voor alle persona's

Catalog Explorer is nu beschikbaar voor alle Azure Databricks-persona's wanneer u Databricks Runtime 7.3 LTS en hoger gebruikt.

Ondersteuning voor meerdere stateful operators in één streamingquery

Gebruikers kunnen nu stateful operators koppelen met de toevoegmodus in de streamingquery. Niet alle operators worden volledig ondersteund. Tijdsinterval voor streamstreaming en flatMapGroupsWithState staat niet toe dat andere stateful operators worden gekoppeld.

Ondersteuning voor protocolbuffers bevindt zich in openbare preview

U kunt de from_protobuf en to_protobuf functies gebruiken om gegevens uit te wisselen tussen binaire en structtypen. Zie Buffers voor lees- en schrijfprotocollen.

Ondersteuning voor Confluent Schema Registry-verificatie

Azure Databricks-integratie met Confluent Schema Registry ondersteunt nu externe schemaregisteradressen met verificatie. Deze functie is beschikbaar voorfrom_avro, to_avroen from_protobufto_protobuf functies. Zie Protobuf of Avro.

Ondersteuning voor het delen van tabelgeschiedenis met Delta Sharing-shares

U kunt nu een tabel met volledige geschiedenis delen via Delta Sharing, waardoor ontvangers tijdrij query's kunnen uitvoeren en de tabel kunnen bevragen met behulp van Spark Structured Streaming. WITH HISTORY wordt aanbevolen in plaats van CHANGE DATA FEED, hoewel de laatste nog steeds wordt ondersteund. Zie ALTER SHARE en Tabellen toevoegen aan een share.

Ondersteuning voor streaming met Delta Sharing-shares

Spark Structured Streaming werkt nu met de indeling deltasharing op een Delta Sharing-brontabel die is gedeeld met behulp van WITH HISTORY.

Tabelversie met behulp van tijdstempel die nu wordt ondersteund voor Delta Sharing-tabellen in catalogi

U kunt nu de SQL-syntaxis TIMESTAMP AS OF in SELECT instructies gebruiken om de versie op te geven van een Delta Sharing-tabel die in een catalogus is gekoppeld. Tabellen moeten worden gedeeld met behulp van WITH HISTORY.

Ondersteuning voor WHEN NOT MATCHED BY SOURCE voor MERGE INTO

U kunt nu WHEN NOT MATCHED BY SOURCE clausules toevoegen aan MERGE INTO om rijen bij te werken of te verwijderen in de gekozen tabel die geen overeenkomsten hebben in de brontabel op basis van de samenvoegvoorwaarde. De nieuwe component is beschikbaar in SQL, Python, Scala en Java. Zie MERGE INTO.

Geoptimaliseerde verzameling statistieken voor CONVERT TO DELTA

Het verzamelen van statistieken voor de CONVERT TO DELTA bewerking is nu veel sneller. Dit vermindert het aantal workloads dat NO STATISTICS kan gebruiken voor efficiëntie.

Ondersteuning voor Unity Catalog voor het herstellen van verwijderde tabellen

Deze functie is in eerste instantie uitgebracht in de openbare preview. Het is per 25 oktober 2023 algemeen beschikbaar.

U kunt nu binnen zeven dagen na het verwijderen een verwijderde beheerde of externe tabel in een bestaand schema ongedaan maken. Zie UNDROP en SHOW TABLES DROPPED.

Bibliotheekverbeteringen

• Bijgewerkte Python-bibliotheken:
  • filelock van 3.8.0 tot 3.8.2
  • platformdirs van 2.5.4 tot 2.6.0
  • setuptools van 58.0.4 tot 61.2.0
• Bijgewerkte R-bibliotheken:
• Bijgewerkte Java-bibliotheken:
  • io.delta.delta-sharing-spark_2.12 van 0.5.2 tot 0.6.2
  • org.apache.hive.hive-storage-api van 2.7.2 tot 2.8.1
  • org.apache.parquet.parquet-column van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.apache.parquet.parquet-codering van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
  • org.tukaani.xz van 1.8 tot 1.9

Apache Spark

Databricks Runtime 12.1 bevat Apache Spark 3.3.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 12.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

• [SPARK-41405] [SC-119769][12.1.0] Revert "[SC-119411][sql] Centraliseer de logica voor kolomresolutie" en "[SC-117170][spark-41338][SQL] Los externe verwijzingen en normale kolommen op in dezelfde analysebatch"
• [SPARK-41405] [SC-119411][sql] De logica voor kolomresolutie centraliseren
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand moet de overschrijfvlag juist instellen
• [SPARK-41659] [SC-119526][connect][12.X] Doctests inschakelen in pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] ORC-lezer prestatieregressie oplossen door de functie voor standaardwaarde
• [SPARK-41807] [SC-119399][core] Verwijder niet-bestaande foutcategorie: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Namen afleiden uit een lijst met woordenlijsten in SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Spark Connect-documentatie en -script verplaatsen naar dev/en Python-documentatie
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Eerste clientmodule voor Spark Connect instellen
• [SPARK-41365] [SC-118498][UI][3.3] De UI-pagina 'Fasen' kan niet worden geladen voor proxy in een specifieke yarn-omgeving.
• [SPARK-41481] [SC-118150][core][SQL] INVALID_TYPED_LITERAL opnieuw gebruiken in plaats van _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Herzie de afhandeling van statusvolle expressies
• [SPARK-41726] [SC-119248][sql] Verwijder OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Ondersteuning voor geparameteriseerde SQL-query's door sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementeer DataFrame.sampleBy en DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][alle tests] Schrijf v1 naar WriteFiles
• [SPARK-41565] [SC-118868][sql] De foutklasse toevoegen UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] DECODE-functie retourneert verkeerde resultaten bij het doorgeven van NULL
• [SPARK-41554] [SC-119274] oplossing voor het wijzigen van de decimaalschaal wanneer de schaal met m is afgenomen...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementeer DataFrame.freqItems en DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Doc-tests opnieuw inschakelen en ontbrekende kolomalias toevoegen aan count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementeer DataFrame.approxQuantile en DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Functie from_json ondersteuning bieden voor DataType-schema
• [SPARK-41804] [SC-119382][sql] Correcte elementgrootte kiezen in InterpretedUnsafeProjection voor array van UDT's
• [SPARK-41786] [SC-119308][connect][PYTHON] Verwijderen van duplicaten van helperfuncties
• [SPARK-41745] [SC-119378][spark-41789][12.X] Maak createDataFrame ondersteuningslijst met rijen
• [SPARK-41344] [SC-119217][sql] Maak een fout duidelijker wanneer tabel niet wordt gevonden in de catalogus SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Ontbrekende functie toevoegen log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] JSON-functies ondersteuningsopties maken
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Maak __getitem__ ondersteuningsfilter en selecteer
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Ondersteuning voor None-waarden in kolomoperaties toevoegen
• [SPARK-41440] [SC-119279][connect][PYTHON] Vermijd de cacheoperator voor algemeen voorbeeld.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implement GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Ondersteuning voor protocolextensies in relatie en expressie
• [SPARK-41417] [SC-118000][core][SQL] Naam van _LEGACY_ERROR_TEMP_0019 wijzigen in INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Juiste foutafhandeling voor Spark Connect Server / Client
• [SPARK-41292] [SC-119357][connect][12.X] Ondersteuningsvenster in pyspark.sql.window-naamruimte
• [SPARK-41493] [SC-119339][connect][PYTHON] Voeg ondersteuning voor opties toe aan CSV-functies
• [SPARK-39591] [SC-118675][ss] Asynchrone voortgangscontrole
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementeren Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementeren DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Doctests inschakelen in pyspark.sql.connect.column
• nl-NL: [SPARK-41738] [SC-119170][connect] Mix Client-ID in SparkSession-cache
• [SPARK-41354] [SC-119194][connect] Voeg RepartitionByExpression toe aan proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Ontbrekende __rmod__ toevoegen in kolom
• [SPARK-41778] [SC-119262][sql] Een alias 'reduce' toevoegen aan ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implement DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] De interne tekenreeks-bewerkingsnaam consistent maken met FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Een bovenliggend bericht voor Catalog toevoegen
• [SPARK-41742] [SC-119263] Ondersteuning voor df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Rekenkundige bewerkingen oplossen: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Naam van UNSUPPORTED_CORRELATED_REFERENCE wijzigen in CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Fix Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementeer unwrap_udt functie
• [SPARK-41333] [SC-119195][spark-41737] Implementeren GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Fix Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Ondersteuning voor impliciete resolutie van laterale kolomalias bij aggregaat
• [SPARK-41529] [SC-119207][connect][12.X] SparkSession.stop implementeren
• [SPARK-41729] [SC-119205][core][SQL][12.x] Naam van _LEGACY_ERROR_TEMP_0011 wijzigen in UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Deduplicate print and repr_html at LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementeren Column.name
• [SPARK-41733] [SC-119163][sql][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
• [SPARK-41498] [SC-119018] Metagegevens doorgeven via Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementeer de kolomtoegangsfunctie
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types moet ondersteuning bieden voor ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementeer format_number functie
• [SPARK-41707] [SC-119141][connect][12.X] Catalog API implementeren in Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementeren Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]Hogere-orde functie: implementatie van array_compact
• [SPARK-41518] [SC-118453][sql] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] sequence-functie implementeren
• [SPARK-41703] [SC-119060][connect][PYTHON] NullType en typed_null combineren in Letterlijk
• [SPARK-41722] [SC-119090][connect][PYTHON] 3 ontbrekende tijdvensterfuncties implementeren
• [SPARK-41503] [SC-119043][connect][PYTHON] Partitietransformatiefuncties implementeren
• [SPARK-41413] [SC-118968][sql] Vermijd willekeurige volgorde in Storage-Partitioned Samenvoegen wanneer partitiesleutels niet overeenkomen, maar join-expressies compatibel zijn
• [SPARK-41700] [SC-119046][connect][PYTHON] Verwijderen FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types moet ondersteuning bieden voor MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Ongeldige kolomopstellingen toevoegen
• [SPARK-41660] [SC-118866][sql] Alleen kolommen met metagegevens doorgeven als ze worden gebruikt
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementeer een accumulator om statistieken per mapper-rijaantal te verzamelen
• [SPARK-41647] [SC-119064][connect][12.X] Docstrings ontdubbelen in pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Maak ondersteuning voor kolombewerking decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementeer rollup, cube en pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Docstrings dedupliceren in pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Expressies verplaatsen naar expressions.py
• [SPARK-41687] [SC-118949][connect] Docstrings dedupliceren in pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Docstrings dedupliceren in pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Scheid GroupedData naar group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementeer Window-functies
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Zorg ervoor dat de Kolom operatie ondersteunen datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] De afgeschafte functies inschakelen
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementeer Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] broadcast-functie implementeren
• [SPARK-41648] [SC-118914][connect][12.X] Docstrings dedupliceren in pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Docstrings dedupliceren in pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Docstrings dedupliceren in pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] De rest van Lambda-functies implementeren
• [SPARK-41441] [SC-118557][sql] Ondersteuning genereren zonder vereiste onderliggende uitvoer om externe verwijzingen te hosten
• [SPARK-41669] [SC-118923][sql] Vroegtijdige snoei in kanCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : ScalaReflectionLock verwijderen uit SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementeren DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Initiële LambdaFunction-implementatie
• [SPARK-41539] [SC-118802][sql] Herindelen van statistieken en beperkingen op output in logisch plan voor LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] OneOf-veldondersteuning en recursiecontroles
• [SPARK-41528] [SC-118769][connect][12.X] Naamruimte van Spark Connect en PySpark-API samenvoegen
• [SPARK-41568] [SC-118715][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementeer DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Spark Connect en protobuf toevoegen aan setup.py met het opgeven van afhankelijkheden
• [SPARK-27561] [SC-101081][12.x][SQL] Ondersteuning voor impliciete resolutie van laterale kolomalias in Project
• [SPARK-41535] [SC-118645][sql] Null juist instellen voor kalenderintervalvelden in InterpretedUnsafeProjection en InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Ondersteuning voor gegevensmaskering ingebouwde functie 'masker'
• [SPARK-41520] [SC-118440][sql] Split AND_OR TreePattern om AND en OR TreePatterns te scheiden
• [SPARK-41349] [SC-118668][connect][PYTHON] DataFrame.hint implementeren
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types moet StructType ondersteunen.
• [SPARK-41334] [SC-118549][connect][PYTHON] Verplaats SortOrder proto van relaties naar expressies
• [SPARK-41387] [SC-118450][ss] Huidige eindoffset van Kafka-gegevensbron voor Trigger.AvailableNow bevestigen
• [SPARK-41508] [SC-118445][core][SQL] Wijzig de naam van _LEGACY_ERROR_TEMP_1180 in UNEXPECTED_INPUT_TYPE en verwijder _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Kolom implementeren. {wanneer, anders} en functie when met UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Los het aanroepen van de verkeerde onderliggende methode op in SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implement DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Toevoegen "spark.sql.json.enablePartialResults" om gedeeltelijke JSON-resultaten in of uit te schakelen
• [SPARK-41437] "[SC-117601][sql] De invoerquery niet twee keer optimaliseren voor terugval van v1-schrijfbewerking"
• [SPARK-41472] [SC-118352][connect][PYTHON] De rest van tekenreeks-/binaire functies implementeren
• [SPARK-41526] [SC-118355][connect][PYTHON] Implement Column.isin
• [SPARK-32170] [SC-118384] [CORE] Verbeter de speculatie via de metrische gegevens van de fasetaak.
• [SPARK-41524] [SC-118399][ss] Onderscheid maken tussen SQLConf en extraOptions in StateStoreConf voor het gebruik ervan in RocksDBConf
• [SPARK-41465] [SC-118381][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Ondersteuning voor LongToUnsafeRowMap negeertDuplicatedKey
• [SPARK-41409] [SC-118302][core][SQL] Naam van _LEGACY_ERROR_TEMP_1043 wijzigen in WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementeren DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] De invoerquery niet tweemaal optimaliseren voor terugval van v1-schrijfbewerking
• [SPARK-41314] [SC-117172][sql] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] LiteralExpression herstructureren ter ondersteuning van DataType
• [SPARK-41448] [SC-118046] Consistente MR-job-ID's maken in FileBatchWriter en FileFormatWriter
• [SPARK-41456] [SC-117970][sql] De prestaties van try_cast verbeteren
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementeer collection functies: P~Z
• [SPARK-41478] [SC-118167][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Herstructureringsfoutbericht voor NUM_COLUMNS_MISMATCH om het algemener te maken
• [SPARK-41404] [SC-118016][sql] Herstructureer ColumnVectorUtils#toBatch om ColumnarBatchSuite#testRandomRows meer primitieve dataType te testen
• [SPARK-41468] [SC-118044][sql] PlanExpression-verwerking in EquivalentExpressions herstellen
• [SPARK-40775] [SC-118045][sql] Dubbele beschrijvingsvermeldingen voor V2-bestandsscans corrigeren
• [SPARK-41492] [SC-118042][connect][PYTHON] MISC-functies implementeren
• [SPARK-41459] [SC-118005][sql] corrigeer dat de uitvoer van het thrift-server operation log leeg is
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection moet setDecimal gebruiken om null-waarden in te stellen voor decimalen in een onveilige rij
• [SPARK-41376] [SC-117840][core][3.3] Corrigeer de Netty preferDirectBufs-controlelogica tijdens het starten van de executor
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementeer collection functies: E~M
• [SPARK-41389] [SC-117426][core][SQL] WRONG_NUM_ARGS opnieuw gebruiken in plaats van _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Datum- en tijdstempeltype kan casten naar TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Wijzig het aanroepen van invalidFunctionArgumentsError voor curdate() wanneer expressions niet leeg is
• [SPARK-41187] [SC-118030][core] LiveExecutor MemoryLeak in AppStatusListener wanneer ExecutorLost plaatsvindt
• [SPARK-41360] [SC-118083][core] Voorkomen dat BlockManager opnieuw wordt geregistreerd als de uitvoerder verloren is gegaan
• [SPARK-41378] [SC-117686][sql] Ondersteuning voor kolomstatistieken in DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Override prettyName of StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Datum-/tijdstempelfuncties implementeren
• [SPARK-41329] [SC-117975][connect] Kringimporten in Spark Connect oplossen
• [SPARK-41477] [SC-118025][connect][PYTHON] Het gegevenstype van letterlijke gehele getallen correct afleiden
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Maak createDataFrame ondersteuningsschema en meer typen invoergegevenssets
• [SPARK-41475] [SC-117997][connect] Lint-scala-opdrachtfout en typfout oplossen
• [SPARK-38277] [SC-117799][ss] Schrijfbatch wissen na het committeren van de RocksDB-statusopslag
• [SPARK-41375] [SC-117801][ss] Vermijd lege laatste KafkaSourceOffset
• [SPARK-41412] [SC-118015][connect] Implementeren Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementeer DataFrame.melt en DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Kolomgerelateerde tests herstructureren naar test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Kolom moet ondersteuning bieden voor != operator
• [SPARK-40697] [SC-117806][sc-112787][SQL] Leeszijde tekenopvulling toevoegen om externe gegevensbestanden te behandelen
• [SPARK-41349] [SC-117594][connect][12.X] DataFrame.hint implementeren
• [SPARK-41338] [SC-117170][sql] Buitenste verwijzingen en normale kolommen in dezelfde analyzer batch oplossen
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementatie van collection-functies: A~C
• [SPARK-41445] [SC-117802][connect] DataFrameReader.parquet implementeren
• [SPARK-41452] [SC-117865][sql] to_char moet null retourneren wanneer de notatie null is
• [SPARK-41444] [SC-117796][connect] Ondersteuning read.json()
• [SPARK-41398] [SC-117508][sql] Versoepelingsbeperkingen voor Storage-Partitioned Join wanneer partitiesleutels na runtimefiltering niet overeenkomen
• [SPARK-41228] [SC-117169][sql] Hernoem & Verbeter foutbericht voor COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementeer count_distinct- en sum_distinct-functies
• [SPARK-41433] [SC-117596][connect] Max Arrow BatchSize configureerbaar maken
• [SPARK-41397] [SC-117590][connect][PYTHON] Deel van tekenreeks-/binaire functies implementeren
• [SPARK-41382] [SC-117588][connect][PYTHON] product-functie implementeren
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementeer DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() moet compatibel zijn
• [SPARK-41369] [SC-117584][connect] Voeg connect common toe aan de aangepaste jar van de servers.
• [SPARK-41411] [SC-117562][ss] Oplossing van de bug in ondersteuning van multi-stateful operator-watermerk
• [SPARK-41176] [SC-116630][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Aggregatiefuncties implementeren
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Normale functies implementeren
• [SPARK-41305] [SC-117411][connect] Documentatie voor command proto verbeteren
• [SPARK-41372] [SC-117427][connect][PYTHON] DataFrame TempView implementeren
• [SPARK-41379] [SC-117420][ss][PYTHON] Geef gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Naam van CAST_WITH_FUN_SUGGESTION wijzigen in CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Herstructureer ColumnVectorUtils#populate methode om PhysicalDataType te gebruiken in plaats van DataType
• [SPARK-41355] [SC-117423][sql] Oplossing voor validatieprobleem met hive-tabelnaam
• [SPARK-41390] [SC-117429][sql] Werk het script bij dat wordt gebruikt voor het genereren van register functie in UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1233 in COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Wiskundige functies implementeren
• [SPARK-40970] [SC-117308][connect][PYTHON] Ondersteuning van Lijst[Kolom] voor Join argumenten
• [SPARK-41345] [SC-117178][connect] Hint toevoegen om Proto te verbinden
• [SPARK-41226] [SC-117194][sql][12.x] Spark-typen herstructureren door fysieke typen in te voeren
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Basisondersteuning voor DataFrameWriter toevoegen
• [SPARK-41347] [SC-117173][connect] Cast toevoegen aan expressieprototype
• [SPARK-41323] [SC-117128][sql] Ondersteuning voor "current_schema"
• [SPARK-41339] [SC-117171][sql] Sluit en maak RocksDB-schrijfbatch opnieuw aan in plaats van alleen te wissen
• [SPARK-41227] [SC-117165][connect][PYTHON] DataFrame cross join implementeren
• [SPARK-41346] [SC-117176][connect][PYTHON] asc- en desc-functies implementeren
• [SPARK-41343] [SC-117166][connect] Functienaam parseren naar serverzijde verplaatsen
• [SPARK-41321] [SC-117163][connect] Ondersteuningsdoelveld voor UnresolvedStar
• [SPARK-41237] [SC-117167][sql] De foutklasse UNSUPPORTED_DATATYPE opnieuw gebruiken voor _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] INVALID_SCHEMA.NON_STRING_LITERAL opnieuw gebruiken in plaats van _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][mllib][PROTOBUF][python][R][ss][AVRO] Constructorgebruik van StructType optimaliseren
• [SPARK-41335] [SC-117135][connect][PYTHON] Ondersteuning voor IsNull en IsNotNull in kolom
• [SPARK-41332] [SC-117131][connect][PYTHON] Fix nullOrdering in SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Herstel ontbrekende avg() voor GroupBy op DF
• [SPARK-41327] [SC-117137][core] SparkStatusTracker.getExecutorInfos herstellen door On/OffHeap-opslaggeheugen-info te schakelen
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementeer DataFrame.replace en DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Logische en tekenreeks-API toevoegen aan Kolom
• [SPARK-41331] [SC-117127][connect][PYTHON] Toevoegen orderBy en drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal moet ervoor zorgen dat de vergrendeling correct is ontgrendeld
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Herstructureer 'Kolom' voor API-compatibiliteit
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementeren van DataFrame metColumnRenamed
• [SPARK-41221] [SC-116607][sql] De foutklasse toevoegen INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] INVALID_SCHEMA opnieuw gebruiken in plaats van _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Cast NumPy-exemplaren naar primitieve Python-typen in GroupState-update
• [SPARK-41174] [SC-116609][core][SQL] Een foutklasse doorgeven aan gebruikers voor ongeldige format van to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Ondersteuning voor Literal uitbreiden naar meer gegevenstypen
• [SPARK-41326] [SC-116972] [VERBINDING MAKEN] Er ontbreekt invoer voor ontdubbeling
• [SPARK-41316] [SC-116900][sql] Waar mogelijk tail-recursion inschakelen
• [SPARK-41297] [SC-116931] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor tekenreeksexpressies in filter.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] DataFrame implementeren metColumn(s)
• [SPARK-41182] [SC-116632][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] De kaartoptiesfouten migreren naar foutklassen
• [SPARK-40940] [SC-115993][12.x] Verwijder controlemechanismen voor operators met meerdere toestanden voor streamingquery's.
• [SPARK-41310] [SC-116885][connect][PYTHON] DataFrame.toDF implementeren
• [SPARK-41179] [SC-116631][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti werkt numOutputRows niet bij wanneer codegen is uitgeschakeld
• [SPARK-41148] [SC-116878][connect][PYTHON] Implementeer DataFrame.dropna en DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] De foutklasse toevoegen FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] DataFrame.count() verbeteren
• [SPARK-41301] [SC-116786] [VERBINDING MAKEN] Gedrag homogeniseren voor SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Connect Expression proto-documentatie verbeteren
• [SPARK-41280] [SC-116733][connect] DataFrame.tail implementeren
• [SPARK-41300] [SC-116751] [VERBINDING] Niet-ingesteld schema wordt geïnterpreteerd als schema
• [SPARK-41255] [SC-116730][sc-116695] [VERBINDING] Naam van RemoteSparkSession wijzigen
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas mag geen optionele pandas-dataframe retourneren
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain moet afdrukken en None retourneren
• [SPARK-41278] [SC-116732][connect] Ongebruikte QualifiedAttribute opschonen in Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Redundante verzamelingsconversiebasis verwijderen op Scala 2.13-code
• [SPARK-41261] [SC-116718][python][SS] Probleem opgelost voor applyInPandasWithState wanneer de kolommen van groeperingssleutels niet in de volgorde van de vroegste worden geplaatst
• [SPARK-40872] [SC-116717][3.3] Terugval naar oorspronkelijk shuffle-blok wanneer een push-gevergde shuffle-blok nul-grootte heeft
• [SPARK-41114] [SC-116628][connect] Ondersteuning voor lokale gegevens voor LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementeren DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Ondersteuning voor meer ingebouwde gegevenstypen
• [SPARK-41230] [SC-116674][connect][PYTHON] Verwijder str uit het type aggregatie-expressie
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Geoptimaliseerde op Arrow-gebaseerde implementatie van verzamelen om van server naar client te streamen
• [SPARK-41222] [SC-116625][connect][PYTHON] De typendefinities samenvoegen
• [SPARK-41225] [SC-116623] [VERBINDING MAKEN] [PYTHON] Niet-ondersteunde functies uitschakelen.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementeer DataFrame.SelectExpr in de Python-client
• [SPARK-41203] [SC-116258] [VERBINDING MAKEN] Ondersteuning voor Dataframe.tansform in de Python-client.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementeer DataFrame.__repr__ en DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementeer DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migreer de dubbelzinnige verwijzingsfout naar een foutcategorie
• [SPARK-41122] [SC-116141][connect] Explain-API kan verschillende modi ondersteunen
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] PySpark type-inferentie in _merge_type methode verbeteren
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogeniseer de protobuf-versie op de Spark-verbindingsserver om dezelfde primaire versie te gebruiken.
• [SPARK-35531] [SC-116409][sql] Hive-tabelstatistieken bijwerken zonder onnodige conversie
• [SPARK-41154] [SC-116289][sql] Onjuiste relation caching voor query's met tijdreisspecificatie
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implement DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Wijzig de naam van UNSUPPORTED_EMPTY_LOCATION in INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Een extensie-API toevoegen om normalisatie voor caching uit te voeren
• [SPARK-41054] [SC-116447][ui][CORE] Ondersteun RocksDB als KVStore in live UI
• [SPARK-38550] [SC-115223]Revert "[SQL][core] Gebruik een opslag op basis van een schijf om meer foutopsporingsinformatie voor live ui op te slaan"
• [SPARK-41173] [SC-116185][sql] require() uit de constructors van tekenreeksexpressies verplaatsen
• [SPARK-41188] [SC-116242][core][ML] Stel de executorEnv OMP_NUM_THREADS standaard in op spark.task.cpus voor spark-executor JVM-processen.
• [SPARK-41130] [SC-116155][sql] Wijzig de naam van OUT_OF_DECIMAL_TYPE_RANGE in NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Wijs een naam toe aan de foutklasse _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Verzamelingsconversie verminderen bij het maken van AttributeMap
• [SPARK-41139] [SC-115983][sql] Foutklasse verbeteren: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Arcering voor Java-klasse JAR vereisen, foutafhandeling verbeteren
• [SPARK-40999] [SC-116168] Hintdoorgifte naar subqueries
• [SPARK-41017] [SC-116054][sql] Ondersteuning voor het snoeien van kolommen met meerdere niet-deterministische filters
• [SPARK-40834] [SC-114773][sql] SparkListenerSQLExecutionEnd gebruiken om de uiteindelijke SQL-status in de gebruikersinterface bij te houden
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number moet null retourneren wanneer de indeling is null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Catalogusinterface weergeven
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Vermijd het insluiten van Spark Connect in de binaire versie van Apache Spark
• [SPARK-41048] [SC-116043][sql] Uitvoerpartitionering en volgorde verbeteren met AQE-cache
• [SPARK-41198] [SC-116256][ss] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
• [SPARK-41199] [SC-116244][ss] Probleem met metrische gegevens oplossen wanneer DSv1-streamingbron en DSv2-streamingbron gezamenlijk worden gebruikt
• [SPARK-40957] [SC-116261][sc-114706] Toevoegen aan geheugencache in HDFSMetadataLog
• [SPARK-40940] Keer terug naar “[SC-115993] Verwijder multi-stateful operatorcontroles voor streamingquery's.”
• [SPARK-41090] [SC-116040][sql] Genereert uitzondering voor db_name.view_name bij het maken van een tijdelijke weergave per gegevensset-API
• [SPARK-41133] [SC-116085][sql] Integreer UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION in NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Code Dump 9 Commits
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect-build als driver-plugin met ingekapselde afhankelijkheden
• [SPARK-41096] [SC-115812][sql] Ondersteuning voor het lezen van Parquet FIXED_LEN_BYTE_ARRAY-type
• [SPARK-41140] [SC-115879][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_2440 in INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Komt niet overeen tussen FileSourceScanExec en Orc en ParquetFileFormat bij het produceren van kolomuitvoer
• [SPARK-41155] [SC-115991][sql] Foutbericht toevoegen aan SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Verwijder multi-stateful operator controles voor streamingvragen.
• [SPARK-41098] [SC-115790][sql] Naam van GROUP_BY_POS_REFERS_AGG_EXPR wijzigen in GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Typecontrolefouten van getalnotatie migreren naar foutklassen
• [SPARK-41059] [SC-115658][sql] Naam van _LEGACY_ERROR_TEMP_2420 wijzigen in NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Converteer DATATYPE_MISMATCH.UNSPECIFIED_FRAME naar INTERNE_FOUT
• [SPARK-40973] [SC-115132][sql] Naam van _LEGACY_ERROR_TEMP_0055 wijzigen in UNCLOSED_BRACKETED_COMMENT

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 12.1.

Systeemomgeving

• Besturingssysteem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)