Databricks Runtime 12.2 LTS

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 12.2 LTS, die von Apache Spark 3.3.2 unterstützt wird.

Diese Version wurde von Databricks im März 2023 veröffentlicht.

Änderungen des Verhaltens

[Bahnbrechende Änderung] Für die neue Python-Version ist das Aktualisieren von Databricks Connect V1 Python-Clients erforderlich.

Um erforderliche Sicherheitspatches anzuwenden, wird die Python-Version in Databricks Runtime 12.2 LTS von 3.9.5 auf 3.9.19 aktualisiert. Da diese Änderungen möglicherweise Fehler in Clients verursachen, die bestimmte PySpark-Funktionen verwenden, müssen alle Clients, die Databricks Connect V1 für Python mit Databricks Runtime 12.2 LTS verwenden, auf Python 3.9.7 oder höher aktualisiert werden.

Neue Features und Verbesserungen

• Python wurde von 3.9.19 auf 3.9.21 aktualisiert
• Delta Lake-Schemaentwicklung unterstützt das Angeben von Quellspalten in merge-Anweisungen
• Workloads für strukturiertes Streaming werden in Clustern mit dem Modus „gemeinsamer Zugriff“ unterstützt
• Neue Features für Predictive I/O
• Unterstützung für implizites laterales Spaltenaliasing
• Neus forEachBatch-Feature
• Standardisierte Verbindungsoptionen für den Abfrageverbund
• Erweiterte SQL-Funktionsbibliothek für die Arrayverwaltung
• Neue Maskenfunktion zum Anonymisieren von Zeichenfolgen
• Allgemeine Fehlerbedingungen geben jetzt SQLSTATE-Werte zurück
• Aufrufen von Generatorfunktionen in der FROM-Klausel
• Unterstützung für Protokollpuffer ist allgemein verfügbar
• Zieldefinition für Notizbuchvariablen und -funktionen
• Notizbuchschnellkorrektur für automatisch importierte Bibliotheken
• Fehlerbehebungen

Python hat von 3.9.19 auf 3.9.21 aktualisiert

Die Python-Version in Databricks Runtime 12.2 LTS wird von 3.9.19 auf 3.9.21 aktualisiert.

Delta Lake-Schemaentwicklung unterstützt das Angeben von Quellspalten in merge-Anweisungen

Wenn die Schemaentwicklung aktiviert ist, können Sie jetzt in Einfüge- oder Aktualisierungsaktionen für Mergeanweisungen Spalten angeben, die nur in der Quelltabelle vorhanden sind. In Databricks Runtime 12.1 und niedriger können nur INSERT *- oder UPDATE SET *-Aktionen für die Schemaentwicklung mit Merge verwendet werden. Weitere Informationen finden Sie unter Automatische Schemaentwicklung für Delta Lake-Merge.

Workloads für strukturiertes Streaming werden in Clustern mit dem Modus „gemeinsamer Zugriff“ unterstützt

Sie können jetzt Strukturiertes Streaming verwenden, um auf Compute mit dem Unity-Katalog im Standardzugriffsmodus zu interagieren. Es gelten einige Einschränkungen. Weitere Informationen finden Sie unter Welche Funktionen von strukturiertem Streaming unterstützt Unity Catalog?.

Neue Features für Predictive I/O

Für die Foreachbatch-Senke ist jetzt Photon-Unterstützung verfügbar. Workloads, die aus einer Quelle streamen und in Delta-Tabellen mergen oder in mehrere Senken schreiben, können jetzt von der Photonized Foreachbatch-Senke profitieren.

Unterstützung für implizites laterales Spaltenaliasing

Azure Databricks unterstützt jetzt standardmäßig implizites laterales Spaltenaliasing. Sie können jetzt einen zuvor in derselben SELECT-Liste angegebenen Ausdruck wiederverwenden. Beispiel: Bei Angabe von SELECT 1 AS a, a + 1 AS b kann das a in a + 1 als das zuvor definierte 1 AS a aufgelöst werden. Weitere Details zur Auflösungsreihenfolge finden Sie unter Namensauflösung. Um dieses Feature zu deaktivieren, können Sie spark.sql.lateralColumnAlias.enableImplicitResolution auf false festlegen.

Neus forEachBatch-Feature

Photon wird jetzt unterstützt, wenn zum Schreiben in eine Datensenke foreachBatch verwendet wird.

Standardisierte Verbindungsoptionen für den Abfrageverbund

Sie können jetzt einen einheitlichen Satz von Optionen (Host, Port, Datenbank, Benutzer, Kennwort) verwenden, um eine Verbindung mit Datenquellen herzustellen, die im Abfrageverbund unterstützt werden. Port ist optional und verwendet die Standardportnummer für jede Datenquelle, sofern nicht anders angegeben.

Erweiterte SQL-Funktionsbibliothek für die Arrayverwaltung

Sie können jetzt mithilfe von array_compact alle NULL-Elemente aus einem Array entfernen. Verwenden Sie zum Anfügen von Elementen an ein Array array_append.

Neue Maskenfunktion zum Anonymisieren von Zeichenfolgen

Rufen Sie die Maskenfunktion auf, um vertrauliche Zeichenfolgenwerte zu anonymisieren.

Allgemeine Fehlerbedingungen geben jetzt SQLSTATE-Werte zurück.

Die meisten Fehlerbedingungen in Databricks Runtime enthalten jetzt dokumentierte SQLSTATE-Werte, die verwendet werden können, um in standardmäßiger, SQL-konformer Weise auf Fehler zu testen.

Aufrufen von Generatorfunktionen in der FROM-Klausel

Sie können jetzt Tabellenwertgeneratorfunktionen wie explode in der regulären FROM-Klausel einer Abfrage aufrufen. Dadurch wird der Generatorfunktionsaufruf an andere integrierte und benutzerdefinierte Tabellenfunktionen angepasst.

Unterstützung für Protokollpuffer ist allgemein verfügbar

Sie können die Funktionen from_protobuf und to_protobuf verwenden, um Daten zwischen Binär- und Strukturtypen auszutauschen. Weitere Informationen finden Sie unter Lesen und Schreiben von Protokollpuffern.

Zieldefinition für Notizbuchvariablen und -funktionen

In Notizbüchern können Sie schnell zur Definition einer Variablen, einer Funktion oder zum Code hinter einer %run-Anweisung wechseln, indem Sie mit der rechten Maustaste auf die Variable oder den Funktionsnamen klicken.

Notizbuchschnellkorrektur für automatisch importierte Bibliotheken

Databricks-Notizbücher bieten jetzt ein Schnellkorrekturfeature für das automatische Importieren von Bibliotheken. Wenn Sie vergessen, eine Bibliothek wie Pandas zu importieren, zeigen Sie mit der Maus auf die unterstrichene Syntaxwarnung, und klicken Sie dann auf Schnellkorrektur. Für dieses Feature muss der Databricks-Assistent in Ihrem Arbeitsbereich aktiviert sein.

Fehlerkorrekturen

• Verbesserte Konsistenz für das Delta-Commitverhalten für leere Transaktionen im Zusammenhang mit update-, delete- und merge-Befehlen. Auf der Isolationsstufe WriteSerializable erstellen Befehle, die keine Änderungen zur Folge haben, jetzt einen leeren Commit. Auf der Isolationsstufe Serializable erstellen solche leeren Transaktionen jetzt keinen Commit.

Verhaltensänderungen

Verhaltensänderungen mit dem neuen Feature für laterale Spaltenaliase

Das neue Feature für laterale Spaltenaliase führt in den folgenden Fällen zu Verhaltensänderungen während der Namensauflösung:

• Laterale Spaltenaliase haben nun Vorrang vor korrelierten Verweisen mit demselben Namen. Für die Abfrage SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) wurde z. B. das c1-Element im inneren c1 AS c2-Element in den korrelierten Verweis t.c1 aufgelöst, ändert sich jetzt jedoch in den lateralen Spaltenalias 1 AS c1. Die Abfrage gibt jetzt NULL zurück.
• Laterale Spaltenaliase haben jetzt Vorrang vor Funktionsparametern mit demselben Namen. Beispielsweise wurde für die Funktion CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x das x-Element im Funktionstext in den Funktionsparameter x aufgelöst, ändert sich jedoch im Funktionstext in den lateralen Spaltenalias x + 1. Die Abfrage SELECT * FROM func(1) gibt jetzt 2, 2 zurück.
• Um das Feature für laterale Spaltenaliase zu deaktivieren, legen Sie spark.sql.lateralColumnAlias.enableImplicitResolution auf false fest. Weitere Informationen finden Sie unter Namensauflösung.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.8.2 auf 3.9.0
  • joblib von 1.1.0 auf 1.1.1
  • platformdirs von 2.6.0 auf 2.6.2
  • whatthepatch von 1.0.3 auf 1.0.4
• Aktualisierte R-Bibliotheken:
  • class von 7.3-20 auf 7.3-21
  • codetools von 0.2-18 auf 0.2-19
  • MASS von 7.3-58 auf 7.3-58.2
  • nlme von 3.1-160 auf 3.1-162
  • Rserve von 1.8-11 auf 1.8-12
  • SparkR von 3.3.1 auf 3.3.2

Verhaltensänderungen

• Benutzer*innen müssen jetzt über die Berechtigungen SELECT und MODIFY für jede Datei verfügen, wenn sie ein Schema mit einem definierten Speicherort erstellen.

Apache Spark

Databricks Runtime 12.2 enthält Apache Spark 3.3.2. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 12.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

• [SPARK-42416] [SC-123205][sc-122851][SQL] Dateset-Vorgänge sollten den analysierten logischen Plan nicht erneut auflösen.
• [SPARK-41848] Rückgängig machen “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Beheben der überplanten Vorgänge mit TaskResourceProfile”
• [SPARK-42162] [SC-122711][es-556261] Stellen Sie den Ausdruck MultiCommutativeOp als Speicheroptimierung für die Standardisierung großer Bäume von kommutativen Ausdrücken vor
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Korrektur der rekursiven Tiefeneinstellung für Protobuf-Funktionen
• [SPARK-42002] [SC-122476][connect][PYTHON] Implementierung von DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Umbenennen _catalog_to_pandas in _execute_and_fetch im Katalog
• [SPARK-41490] [SC-121774][sql] Weisen Sie _LEGACY_ERROR_TEMP_2441 einen Namen zu.
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implementiere Catalog.cacheTable, isCached und entcachen.
• [SPARK-42191] [SC-121990][sql] Unterstützung für udf 'luhn_check'
• [SPARK-42253] [SC-121976][python] Hinzufügen eines Tests zum Erkennen duplizierter Fehlerklasse
• [SPARK-42268] [SC-122251][connect][PYTHON] Benutzerdefinierten Typ in Protos hinzufügen
• [SPARK-42231] [SC-121841][sql] Wandeln Sie MISSING_STATIC_PARTITION_COLUMN in internalError
• [SPARK-42136] [SC-122554] Refactor BroadcastHashJoinExec output partitioning calculation
• [SPARK-42158] [SC-121610][sql] Integrieren von _LEGACY_ERROR_TEMP_1003 in FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Migration des TypeError von pyspark/sql/dataframe.py zu PySparkTypeError
• [SPARK-35240] Rückgängig machen “[SC-118242][ss] Verwenden von CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Weisen Sie _LEGACY_ERROR_TEMP_1176 und 1177 einen Namen zu
• [SPARK-42232] [SC-122267][sql] Fehlerklasse umbenennen: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Unterscheidende Aggregate nach der Zusammenführung von Unterabfragen umschreiben
• [SPARK-42306] [SC-122539][sql] Integrieren _LEGACY_ERROR_TEMP_1317 in UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Fehlerklasse umbenennen: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Ignorieren IOException in handleBlockRemovalFailure, wenn SparkContext beendet wird
• [SPARK-41295] [SC-122442][spark-41296][SQL] Benennen Sie die Fehlerklassen um.
• [SPARK-42320] [SC-122478][sql] Weisen Sie _LEGACY_ERROR_TEMP_2188 einen Namen zu.
• [SPARK-42255] [SC-122483][sql] Weisen Sie _LEGACY_ERROR_TEMP_2430 einen Namen zu
• [SPARK-42156] [SC-121851][connect] SparkConnectClient unterstützt jetzt Wiederholungsrichtlinien
• [SPARK-38728] [SC-116723][sql] Testen Sie die Fehlerklasse: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Self contained examples in PySpark
• [SPARK-39347] [SC-122457][ss] Fehlerkorrektur für die Zeitfensterberechnung, wenn die Ereigniszeit < 0
• [SPARK-42336] [SC-122458][core] Verwenden Sie getOrElse() anstelle von contains() in ResourceAllocator
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas-UDF in Spark Connect
• [SPARK-42217] [SC-122263][sql] Unterstützen implizite laterale Spaltenaliase in Abfragen mit Fenster
• [SPARK-35240] [SC-118242][ss] Verwenden von CheckpointFileManager für die Manipulation von Prüfpunktdateien
• [SPARK-42294] [SC-122337][sql] Einbeziehen von Spaltenstandardwerten in die DESCRIBE-Ausgabe für V2-Tabellen
• [SPARK-41979] "Wiederherstellen "[12.x][sc-121190][SQL] Fügen Sie fehlende Punkte für Fehlermeldungen in Fehlerklassen hinzu.""
• [SPARK-42286] [SC-122336][sql] Fallback auf den vorherigen Codegen-Codepfad für den komplexen Ausdruck mit CAST
• [SPARK-42275] [SC-122249][CONNECT][PYTHON] Vermeiden Sie die Verwendung integrierter Listen, diktieren Sie statische Eingaben.
• [SPARK-41985] [SC-122172][sql] Weitere Zentralisierung der Regeln für die Spaltenauflösung
• [SPARK-42126] [SC-122330][python][CONNECT] Annehmen des Rückgabetyps in DDL-Zeichenfolgen für Python Scalar UDFs in Spark Connect
• [SPARK-42197] [SC-122328][sc-121514][CONNECT] Verwendet die JVM-Initialisierung und separate Konfigurationsgruppen, die im lokalen Remotemodus festgelegt werden sollen.
• [SPARK-41575] [SC-120118][sql] Weisen Sie _LEGACY_ERROR_TEMP_2054 einen Namen zu
• [SPARK-41985] Rückgängig machen “[SC-122172][sql] Mehr Regeln für die Spaltenauflösung zentralisieren”
• [SPARK-42123] [SC-122234][sc-121453][SQL] Spaltenstandardwerte in DESCRIBE und SHOW CREATE TABLE Ausgabe einschließen
• [SPARK-41985] [SC-122172][sql] Weitere zentrale Regeln für die Spaltenauflösung
• [SPARK-42284] [SC-122233][connect] Stellen Sie sicher, dass die Verbindungsserverassembly erstellt wird, bevor Clienttests ausgeführt werden – SBT
• [SPARK-42239] [SC-121790][sql] Integrieren von MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] DS V2-Pushdown unterstützt JDBC-Dialekte, die SortOrder selbst kompilieren
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics sollte sich um Python UDAF kümmern
• [SPARK-41979] Rückgängigmachen von „[12.x][sc-121190][SQL] Fügen Sie fehlende Punkte für Fehlermeldungen in Fehlerklassen hinzu.“
• [SPARK-42224] [12.x][sc-121708][CONNECT] TypeError in das Fehlerframework für Spark Connect-Funktionen migrieren
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migrieren sie die Spark Connect-Fehler in das PySpark-Fehlerframework.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Fügen Sie integrierte Tabellenwertfunktionen wie inline und inline_outer hinzu
• [SPARK-41489] [SC-121713][sql] Weisen Sie _LEGACY_ERROR_TEMP_2415 einen Namen zu
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Führt PySparkValueError und PySparkTypeError ein
• [SPARK-42081] [SC-121723][sql] Verbessern der Planänderungsüberprüfung
• [SPARK-42225] [12.x][sc-121714][CONNECT] Fügen Sie SparkConnectIllegalArgumentException hinzu, um Spark Connect-Fehler präzise zu behandeln.
• [SPARK-42044] [12.x][sc-121280][SQL] Korrektur der falschen Fehlermeldung für MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Parameter "Spalten zulassen" beim Erstellen von DataFrame mit Datenreihe.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Migrieren von Fehlern, die von JVM in PySparkException ausgelöst werden.
• [SPARK-42133] [12.x][sc-121250] Hinzufügen grundlegender Dataset-API-Methoden zu SparkConnect Scala Client
• [SPARK-41979] [12.x][sc-121190][SQL] Fügen Sie fehlende Punkte für Fehlermeldungen in Fehlerklassen hinzu.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF in Spark Connect
• [SPARK-42051] [SC-121994][sql] Codegen-Unterstützung für HiveGenericUDF
• [SPARK-42257] [SC-121948][Core] Entfernen der ungenutzten Variable des externen Sortierers
• [SPARK-41735] [SC-121771][sql] Verwenden Sie MINIMAL anstelle von STANDARD für SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][sql] Verfeinern NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Fehlermeldung verbessern für PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Migration von SparkCoreErrors zu Fehlerklassen
• [SPARK-42163] [SC-121839][sql] Fix Schema-Pruning für nicht faltbare Array-Indizes oder Map-Schlüssel
• [SPARK-40711] [SC-119990][sql] Hinzufügen von Überlaufgrößenmetriken für Fenster
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Ermöglichen Sie createDataFrame die Unterstützung der AtomicType -> StringType-Umwandlung
• [SPARK-42202] [SC-121837][connect][Test] Verbessern der E2E-Testserver-Stopplogik
• [SPARK-41167] [SC-117425][sql] Verbesserung der Mehrfach-Like-Leistung durch Erstellen eines Prädikats für einen ausgewogenen Ausdrucksbaum
• [SPARK-41931] [SC-121618][sql] Bessere Fehlermeldung für unvollständige komplexe Typdefinition
• [SPARK-36124] [SC-121339][sc-110446][SQL] Unterstützt Unterabfragen mit Korrelation über UNION
• [SPARK-42090] [SC-121290][3.3] Introduce sasl retry count in RetryingBlockTransferor
• [SPARK-42157] [SC-121264][Core] spark.scheduler.mode=FAIR sollte FAIR Scheduler bereitstellen
• [SPARK-41572] [SC-120772][sql] Weisen Sie _LEGACY_ERROR_TEMP_2149 einen Namen zu.
• [SPARK-41983] [SC-121224][sql] Umbenennen & Verbessern der Fehlermeldung für NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Fehlermeldung verbessern für INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] SQLSTATE zuweisen (1/2)
• [SPARK-41415] [SC-121117][3.3] SASL Request Retries
• [SPARK-38591] [SC-121018][sql] Fügen Sie flatMapSortedGroups und cogroupSorted hinzu
• [SPARK-41975] [SC-120767][sql] Fehlermeldung verbessern für INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Fügen Sie fehlende Optionen für Protobuf-Funktionen hinzu.
• [SPARK-41984] [SC-120769][sql] Umbenennen von & und Verbessern der Fehlermeldung für RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Behebung des NPE für Fehlerklassen: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Korrigieren des falschen Spaltennamens im doctest von withField
• [SPARK-41283] [SC-121175][connect][PYTHON] array_append zu Connect hinzufügen
• [SPARK-41960] [SC-120773][sql] Weise den Namen _LEGACY_ERROR_TEMP_1056 zu.
• [SPARK-42134] [SC-121116][sql] Fix getPartitionFiltersAndDataFilters() zum Behandeln von Filtern ohne referenzierte Attribute
• [SPARK-42096] [SC-121012][connect] Einige Codebereinigungen für connect Modul
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Fix count(*) und count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL-Modus: Round/Bround sollte einen Fehler beim Ganzzahlüberlauf zurückgeben
• [SPARK-42043] [SC-120968][connect] Scala-Client-Ergebnis mit E2E Tests
• [SPARK-41884] [SC-121022][connect] Naives Tupel als geschachtelte Reihe unterstützen
• [SPARK-42112] [SC-121011][sql][SS] Fügen Sie eine Nullwertprüfung hinzu, bevor die ContinuousWriteRDD#compute Funktion geschlossen wird dataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Literal sollte TypeError für nicht unterstützte Datentypen auslösen
• [SPARK-42108] [SC-120898][sql] Den Analyzer dazu bringen, Count(*) in Count(1) zu transformieren
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Unterstützung parametrisierter SQL durch sql()
• [SPARK-40599] [SC-120930][sql] MultiTransform-Regeltyp "Relax", um Alternativen als beliebige Arten von Seq zu ermöglichen
• [SPARK-41574] [SC-120771][sql] Update _LEGACY_ERROR_TEMP_2009 als INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Weisen Sie _LEGACY_ERROR_TEMP_1249 einen Namen zu
• [SPARK-41974] [SC-120766][sql] Wandeln Sie INCORRECT_END_OFFSET in INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] MedianHeap in PercentileMap umbenennen und Perzentil unterstützen
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Korrektur der Zeichenfolgendarstellung für die Spaltenklasse
• [SPARK-42084] [SC-120775][sql] Vermeiden, dass die Einschränkung für qualifizierten Zugriff verloren geht
• [SPARK-41973] [SC-120765][sql] Weisen Sie den Namen _LEGACY_ERROR_TEMP_1311 zu
• [SPARK-42039] [SC-120655][sql] SPJ: Option in KeyGroupedPartitioning#partitionValuesOpt entfernen
• [SPARK-42079] [SC-120712][connect][PYTHON] Benennen Sie Protonachrichten für toDF und withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Beheben von Problemen mit variablen Namen in geschachtelten Lambda-Funktionen
• [SPARK-41982] [SC-120604][sql] Partitionen von Typzeichenfolgen sollten nicht als numerische Typen behandelt werden.
• [SPARK-40599] [SC-120620][sql] Fügen Sie MultiTransform-Methoden zu TreeNode hinzu, um Alternativen zu generieren.
• [SPARK-42085] [SC-120556][connect][PYTHON] from_arrow_schema die Unterstützung geschachtelter Typen sicherstellen
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Beheben Sie, wie die Ausnahme in der Fehlerberichterstattung behandelt wird.
• [SPARK-41586] [12.x][alle Tests][SC-120544][python] Führen Sie pyspark.errors und Fehlerklassen für PySpark ein.
• [SPARK-41903] [SC-120543][connect][PYTHON] Literal sollte 1-dim ndarray unterstützen
• [SPARK-42021] [SC-120584][connect][PYTHON] Machen Sie createDataFrame kompatibel mit array.array
• [SPARK-41896] [SC-120506][sql] Filterung nach Zeilenindex gibt leere Ergebnisse zurück.
• [SPARK-41162] [SC-119742][sql] Behebung von Anti- und Semi-Join für Selbst-Join mit Aggregationen
• [SPARK-41961] [SC-120501][sql] Unterstützung von Tabellenwert-Funktionen unter Einbeziehung von LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Gruppiert geschachtelte Ausführungen unter der Stammausführung.
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal sollte Numpy-Datentypen unterstützen
• [SPARK-42028] [SC-120344][connect][PYTHON] Kürzung von Nanosekunden-Zeitstempeln
• [SPARK-42011] [SC-120534][connect][PYTHON] Implementieren von DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Verwendung von FieldReference.column anstelle von apply bei der Filterumwandlung von V1 zu V2.
• [SPARK-39217] [SC-120446][sql] Unterstützt DPP für die Beschneidungsseite union
• [SPARK-42076] [SC-120551][connect][PYTHON] Faktorisierung der Datenkonvertierung arrow -> rows nach conversion.py
• [SPARK-42074] [SC-120540][sql] Aktivieren KryoSerializer in TPCDSQueryBenchmark zum Erzwingen der SQL-Klassenregistrierung
• [SPARK-42012] [SC-120517][connect][PYTHON] Implementierung von DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Beheben Sie DataFrame.unionByName, fügen Sie allow_missing_columns hinzu
• [SPARK-38651] [SC-120514] [SQL] Add spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert sollte ExpressionProxy als untergeordnetes Element akzeptieren
• [SPARK-41232] [SC-120073][sql][PYTHON] Hinzufügen array_append Funktion
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader sollte eine Liste der Pfade unterstützen
• [SPARK-42071] [SC-120533][core] Registrieren scala.math.Ordering$Reverse bei KyroSerializer
• [SPARK-41986] [SC-120429][sql] Einführen von Shuffle auf SinglePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Aktivieren von Tests im Zusammenhang mit der geschachtelten Spalte
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader sollte das StructType-Schema unterstützen.
• [SPARK-42031] [SC-120389][core][SQL] Bereinigen sie remove Methoden, die keine Außerkraftsetzung benötigen
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Fügen Sie Unterstützung für createDataFrame(rows/lists/tuples/dicts) für geschachtelte Typen hinzu
• [SPARK-41437] [SC-117601][SQL][ALLE TESTS] Optimieren Sie die Eingabeabfrage nicht zweimal für v1-Rückschreibfallback.
• [SPARK-41840] [SC-119719][connect][PYTHON] Fügen Sie den fehlenden Alias groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Aktivieren von Doctests für Fensterfunktionen
• [SPARK-41914] [SC-120094][sql] FileFormatWriter materialisiert den AQE-Plan vor dem Zugriff auf outputOrdering
• [SPARK-41805] [SC-119992][sql] Wiederverwenden von Ausdrücken in WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range soll Float-Werte als Argumente akzeptieren.
• [SPARK-42029] [SC-120336][connect] Fügen Sie Guava Shading-Regeln zu connect-common hinzu, um Startfehler zu vermeiden
• [SPARK-41989] [SC-120334][python] Vermeiden Sie das Unterbrechen der Protokollierungskonfiguration von pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Reduzierung doppelten Codes in ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Fehlerbehebung bei GROUP BY ALL-Fehlerberichterstattung
• [SPARK-41047] [SC-120291][sql] Dokumentation für 'round' verbessern
• [SPARK-41822] [SC-120122][connect] gRPC-Verbindung für Scala/JVM-Client einrichten
• [SPARK-41879] [SC-120264][connect][PYTHON] Stellen Sie sicher, dass DataFrame.collect geschachtelte Typen unterstützen
• [SPARK-41887] [SC-120268][connect][PYTHON] Lassen Sie DataFrame.hint Listen-typisierten Parameter akzeptieren
• [SPARK-41964] [SC-120210][connect][PYTHON] Fügen Sie die Liste der nicht unterstützten E/A-Funktionen hinzu.
• [SPARK-41595] [SC-120097][sql] Unterstützung für die Generatorfunktion explodieren/explodieren_outer in der FROM-Klausel
• [SPARK-41957] [SC-120121][connect][PYTHON] Aktivieren sie den Doctest für DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect Doctest-Ausgabe weist unterschiedliche Reihenfolge auf
• [SPARK-41442] [SC-117795][SQL][ALLE TESTS] Der SQL-Metrik-Wert soll nur aktualisiert werden, wenn er mit einer gültigen Metrik zusammengeführt wird.
• [SPARK-41944] [SC-120046][connect] Übergeben Sie Konfigurationen, wenn der lokale Remote-Modus aktiviert ist.
• [SPARK-41708] [SC-119838][sql] Ziehe v1write-Informationen zu WriteFiles
• [SPARK-41780] [SC-120000][sql] Sollte INVALID_PARAMETER_VALUE.PATTERN auslösen, wenn die Parameter regexp ungültig sind
• [SPARK-41889] [SC-119975][sql] Ursachenermittlung für invalidPatternError anfügen & Fehlerklassen INVALID_PARAMETER_VALUE umgestalten
• [SPARK-41860] [SC-120028][sql] Make AvroScanBuilder and JsonScanBuilder case classes
• [SPARK-41945] [SC-120010][connect][PYTHON] Python: Client-Verbindung verlor Spaltendaten bei Verwendung von pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Agnostische Encoder
• [SPARK-41354] [SC-119995][connect][PYTHON] Implementieren von RepartitionByExpression
• [SPARK-41581] [SC-119997][sql] Update _LEGACY_ERROR_TEMP_1230 als INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Fügen Sie die nicht unterstützte Liste für functions
• [SPARK-41933] [SC-119980][connect] Bereitstellen des lokalen Modus, der den Server automatisch startet
• [SPARK-41899] [SC-119971][connect][PYTHON] CreateDataFrame sollte das vom Benutzer angegebene DDL-Schema berücksichtigen.
• [SPARK-41936] [SC-119978][connect][PYTHON] withMetadata zur Wiederverwendung des withColumns Protos machen
• [SPARK-41898] [SC-119931][connect][PYTHON] Gleichheit der Typprüfung der Parameter für Window.rowsBetween und Window.rangeBetween mit pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Fügen Sie die nicht unterstützte Liste für catalog Funktionen hinzu.
• [SPARK-41924] [SC-119946][connect][PYTHON] StructType soll Metadaten unterstützen und Implementierung umsetzen DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Fügen Sie die liste nicht unterstützter Funktionen für session
• [SPARK-41875] [SC-119969][connect][PYTHON] Fügen Sie Testfälle für Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Ignorieren Sie den Doctest für die Erklärung von connect.
• [SPARK-41880] [SC-119959][connect][PYTHON] Funktion from_json soll nicht literales Schema akzeptieren
• [SPARK-41927] [SC-119952][connect][PYTHON] Fügen Sie die nicht unterstützte Liste für GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Funktion hinzufügen array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] GroupBy ermöglichen, eine Spaltenliste zu akzeptieren
• [SPARK-41925] [SC-119905][sql] Standardmäßig spark.sql.orc.enableNestedColumnVectorizedReader aktivieren
• [SPARK-41831] [SC-119853][connect][PYTHON] DataFrame.select so anpassen, dass es eine Spaltenliste akzeptiert
• [SPARK-41455] [SC-119858][connect][PYTHON] Erstellen DataFrame.collect Verwerfen der Zeitzoneninformationen
• [SPARK-41923] [SC-119861][connect][PYTHON] Hinzufügen von DataFrame.writeTo zur nicht unterstützten Liste
• [SPARK-41912] [SC-119837][sql] Unterabfrage sollte CTE nicht überprüfen
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Stellen Sie sicher, dass createDataFrame leeren Dataframe unterstützen
• [SPARK-41905] [SC-119848][connect] Supportname als Zeichenfolgen in Segmenten
• [SPARK-41869] [SC-119845][connect] Einzelne Zeichenfolge in dropDuplicates ablehnen
• [SPARK-41830] [SC-119840][connect][PYTHON] DataFrame.sample soll die gleichen Parameter wie PySpark akzeptieren.
• [SPARK-41849] [SC-119835][connect] Implementierung von DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Lassen Sie die build()-Funktion von v2 ScanBuilders einen typisierten Scan zurückgeben
• [SPARK-41825] [SC-119710][connect][PYTHON] Aktivieren von Doctests im Zusammenhang mit DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Sicherstellen, dass createDataFrame None/NaN ordnungsgemäß behandelt
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Sorge dafür, dass DataFrame.collect None/NaN/Array/Binary richtig verarbeitet.
• [SPARK-39318] [SC-119713][sql] Entfernen der tpch-plan-stability WithStats goldene Dateien
• [SPARK-41791] [SC-119745] Add new file source metadata column types
• [SPARK-41790] [SC-119729][sql] TRANSFORM-Reader und -Writer-Format korrekt einstellen
• [SPARK-41829] [SC-119725][connect][PYTHON] Fügen Sie den fehlenden Sortierparameter in Sort und sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Weisen Sie _LEGACY_ERROR_TEMP_2051 einen Namen zu.
• [SPARK-41821] [SC-119716][connect][PYTHON] Dokumentationstest für DataFrame.describe beheben.
• [SPARK-41871] [SC-119714][connect] DataFrame-Hinweisparameter kann str, float oder int sein.
• [SPARK-41720] [SC-119076][sql] "UnresolvedFunc" in "UnresolvedFunctionName" umbenennen
• [SPARK-41573] [SC-119567][sql] Weisen Sie _LEGACY_ERROR_TEMP_2136 einen Namen zu.
• [SPARK-41862] [SC-119492][sql] Behebung eines Fehlers bezüglich der Korrektheit im Zusammenhang mit STANDARDWERTen im Orc-Leser
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Wiederverwenden von INVALID_TYPED_LITERAL anstelle von _LEGACY_ERROR_TEMP_0022

Wartungsupdates

Weitere Informationen finden Sie unter Wartungsupdates für Databricks Runtime 12.2.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.21
• R: 4.2.2
• Delta Lake: 2.2.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 11.11.2022 installiert. Die Momentaufnahme ist nicht mehr verfügbar.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)