Databricks Runtime 16.1

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.1, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im Dezember 2024 veröffentlicht.

Verhaltensänderungen

Breaking Change: Die Behandlung von regulären Photon-Ausdrücken ist jetzt mit Apache Spark konsistent.

In Databricks Runtime 15.4 und höher wird die Behandlung regulärer Ausdrücke in Photon aktualisiert, um dem Verhalten der regulären Ausdrucksbehandlung von Apache Spark zu entsprechen. Vorher akzeptierten von Photon ausgeführte reguläre Ausdrucksfunktionen wie zum Beispiel split() und regexp_extract()einige reguläre Ausdrücke, die vom Spark-Parser abgelehnt wurden. Um die Konsistenz mit Apache Spark aufrechtzuerhalten, schlagen die Photon-Abfragen jetzt bei regulären Ausdrücken fehl, die Spark als ungültig betrachtet.

Aufgrund dieser Änderung werden möglicherweise Fehler angezeigt, wenn Ihr Spark-Code ungültige reguläre Ausdrücke enthält. Beispielsweise schlägt der Ausdruck split(str_col, '{'), der eine nicht übereinstimmende geschweifte Klammer enthält und zuvor von Photon akzeptiert wurde, fehl. Um diesen Ausdruck zu korrigieren, können Sie die geschweifte Klammer mit einem Escapezeichen versehen: split(str_col, '\\{').

Das Verhalten von Photon und Spark unterschied sich auch bei der Verwendung von regulären Ausdrücken mit Nicht-ASCII-Zeichen. Dies wird auch aktualisiert, sodass Photon mit dem Apache Spark-Verhalten übereinstimmt.

Der Datentyp VARIANT kann nicht mehr mit Vorgängen verwendet werden, für die Vergleiche erforderlich sind.

In Databricks Runtime 16.1 und höher können Sie die folgenden Klauseln oder Operatoren nicht in Abfragen verwenden, die einen VARIANT Datentyp enthalten:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Darüber hinaus können Sie diese DataFrame-Funktionen nicht verwenden:

• df.dropDuplicates()
• df.repartition()

Diese Vorgänge führen Vergleiche aus, und Vergleiche, die den DATENTYP VARIANT verwenden, erzeugen nicht definierte Ergebnisse und werden in Databricks nicht unterstützt. Wenn Sie den VARIANT-Typ in Ihren Azure Databricks-Workloads oder -Tabellen verwenden, empfiehlt Databricks die folgenden Änderungen:

• Aktualisieren Sie Abfragen oder Ausdrücke, um VARIANT-Werte explizit in Nicht-VARIANT-Datentypen umzuwandeln.
• Wenn Sie Felder haben, die mit einem der oben genannten Vorgänge verwendet werden müssen, extrahieren Sie diese Felder aus dem VARIANT Datentyp, und speichern Sie sie mit nicht-VARIANT Datentypen.

Weitere Informationen finden Sie unter Abfragevariantendaten.

Neue Features und Verbesserungen

• Unterstützung für Sortierungen in Apache Spark befindet sich in der öffentlichen Vorschau
• Unterstützung für Sortierungen in Delta Lake befindet sich in Public Preview
• LITE-Modus für Vakuum befindet sich in Public Preview
• Unterstützung für die Parametrisierung der USE CATALOG with IDENTIFIER Klausel
• COMMENT ONCOLUMN Unterstützung für Tabellen und Ansichten
• Neue SQL-Funktionen
• Benannter Parameteraufruf für weitere Funktionen
• Der SYNC METADATA-Parameter für den befehl REPAIR TABLE wird mit dem Hive-Metastore- unterstützt.
• Erweiterte Datenintegrität für komprimierte Apache-Pfeilbatches
• Unterstützung für Scala-Methoden im Computemodus mit freigegebenem Zugriff von Unity Catalog hinzugefügt
• Integrierter Teradata JDBC-Treiber
• StreamingQueryListener-Unterstützung für Scala
• Integrierter Oracle JDBC-Treiber
• Detailliertere Fehler für Delta-Tabellen, auf die über Pfade zugegriffen wird,

Unterstützung für Kollationen in Apache Spark ist als öffentliche Vorschau verfügbar.

Sie können STRING-Spalten und -Ausdrücken jetzt sprachspezifische Sortierungen ohne Berücksichtigung von Groß-/Kleinschreibung und Zugriff zuweisen. Diese Sortierungen werden in Zeichenfolgenvergleichen, Sortiervorgängen, Gruppierungsvorgängen und vielen Zeichenfolgenfunktionen verwendet. Siehe Sortierung.

Unterstützung für Sortierungen in Delta Lake befindet sich in Public Preview

Sie können jetzt Beim Erstellen oder Ändern einer Delta-Tabelle Sortierungen für Spalten definieren. Weitere Informationen finden Sie unter Sortierungsunterstützung für Delta Lake.

LITE-Modus für Vakuum befindet sich in Public Preview

Sie können jetzt VACUUM table_name LITE verwenden, um einen leichteren Vakuumvorgang auszuführen, der Metadaten im Delta-Transaktionsprotokoll nutzt. Siehe Vollmodus gegenüber Lite-Modus und VACUUM.

Unterstützung für die Parametrierung der USE CATALOG with IDENTIFIER-Klausel

In Databricks Runtime 16.1 und höher wird die IDENTIFIER-Klausel für die USE CATALOG-Anweisung unterstützt. Mit dieser Unterstützung können Sie den aktuellen Katalog basierend auf einer Zeichenfolgenvariable oder Parametermarkierung parametrisieren.

COMMENT ONCOLUMN Unterstützung für Tabellen und Ansichten

In Databricks Runtime 16.1 und höher unterstützt die COMMENT ON-Anweisung das Ändern von Kommentaren für Ansichts- und Tabellenspalten.

Neue SQL-Funktionen

In Databricks Runtime 16.1 und höher sind die folgenden neuen integrierten SQL-Funktionen verfügbar:

• dayname(expr) gibt das englische Akronym mit drei Buchstaben für den Wochentag für das angegebene Datum zurück.
• uniform(expr1, expr2 [,seed]) gibt einen Zufallswert mit unabhängigen und identisch verteilten Werten innerhalb des angegebenen Zahlenbereichs zurück.
• randstr(length) gibt eine zufällige Zeichenfolge aus length alphanumerischen Zeichen zurück.

Benannter Parameteraufruf für weitere Funktionen

In Databricks Runtime 16.1 und höher unterstützen die folgenden Funktionen den benannten Parameteraufruf:

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

Der SYNC METADATA-Parameter für den Befehl REPAIR TABLE wird mit dem Hive-Metaspeicher unterstützt.

In Databricks Runtime 16.1 und höher können Sie den SYNC METADATA-Parameter mit dem Befehl REPAIR TABLE verwenden, um die Metadaten einer verwalteten Hive-Metastore-Tabelle zu aktualisieren. Siehe REPAIR TABLE.

Erweiterte Datenintegrität für komprimierte Apache Arrow-Batches

In Databricks Runtime 16.1 und höher umfasst jetzt jeder komprimierte LZ4-Arrow-Batch die LZ4-Inhalts- und Blockprüfsummen, um den Schutz gegen Datenbeschädigung weiter zu erhöhen. Siehe Beschreibung des LZ4-Frameformats.

Unterstützung für Scala-Methoden im Computemodus mit freigegebenem Zugriff von Unity Catalog hinzugefügt

In Databricks Runtime 16.1 und höher wird Unterstützung für Scala-Methoden im Computemodus mit freigegebenem Zugriff von Unity Catalog hinzugefügt: Dataset.flatMapGroups(), Dataset.mapGroups(), und DataStreamWriter.foreach().

Integrierter Teradata JDBC-Treiber

In Databricks Runtime 16.1 und höher ist der Teradata JDBC-Treiber in Azure Databricks integriert. Wenn Sie ein vom Kunden hochgeladenes JDBC-Treiber-JAR über DriverManagerverwenden, müssen Sie Skripts neu schreiben, um das benutzerdefinierte JAR explizit zu verwenden. Andernfalls wird der integrierte Treiber verwendet. Dieser Treiber unterstützt nur lakehouse Federation. Für andere Anwendungsfälle müssen Sie Ihren eigenen Treiber bereitstellen.

StreamingQueryListener-Unterstützung für Scala

Sie können jetzt StreamingQueryListener in Scala für die Berechnung verwenden, die mit dem Modus für gemeinsam genutzten Zugriff konfiguriert ist.

Eingebauter Oracle JDBC-Treiber

In Databricks Runtime 16.1 und höher ist der Oracle JDBC-Treiber in Azure Databricks integriert. Wenn Sie einen vom Kunden hochgeladenen JDBC-Treiber-JAR über DriverManagerverwenden, müssen Sie Skripts neu schreiben, um das benutzerdefinierte JAR explizit zu verwenden. Andernfalls wird der integrierte Treiber verwendet. Dieser Treiber unterstützt nur lakehouse Federation. Für andere Anwendungsfälle müssen Sie Ihren eigenen Treiber bereitstellen.

Detailliertere Fehler für Delta-Tabellen, auf die mit Pfaden zugegriffen wird

Eine neue Fehlermeldung für Delta-Tabellen, auf die mithilfe von Pfaden zugegriffen wird, ist jetzt verfügbar. Alle Ausnahmen werden jetzt an den Benutzer weitergeleitet. Die Ausnahme DELTA_MISSING_DELTA_TABLE ist jetzt reserviert, wenn zugrunde liegende Dateien nicht als Delta-Tabelle gelesen werden können.

Andere Änderungen

Umbenannte Fehlercodes für die cloudFiles strukturierte Streamingquelle

Diese Version enthält eine Änderung zum Umbenennen der folgenden Fehlercodes:

• _LEGACY_ERROR_TEMP_DBR_0143 wird in CF_INCORRECT_STREAM_USAGEumbenannt.
• _LEGACY_ERROR_TEMP_DBR_0260 wird in CF_INCORRECT_BATCH_USAGE umbenannt.

Fehlerbehebungen

Geschachtelte Typen akzeptieren jetzt ordnungsgemäß NULL-Einschränkungen.

Diese Version behebt einen Fehler, der sich auf einige von Delta generierte Spalten geschachtelter Typen auswirkt, z. B. STRUCT. Diese Spalten lehnen Ausdrücke manchmal fälschlicherweise basierend auf den Einschränkungen NULL oder NOT NULL der geschachtelter Felder ab. Dies wurde behoben.

Modernisierung der Bibliothek

• Aktualisierte Python-Bibliotheken:
  • ipyflow-core von 0.0.198 bis 0.0.201
  • Pyccolo von 0.0.52 bis 0.0.65
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • io.delta.delta-sharing-client_2.12 von 1.2.1 bis 1.2.2
  • org.lz4.lz4-java von 1.8.0 bis 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider von 1.6.2-linux-x86_64 bis 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 16.0enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-50482] [SC-182879][CORE] Veraltete no-op spark.shuffle.spill-Konfiguration
• [SPARK-50032] [SC-182706][SQL][16.x] Verwendung eines vollqualifizierten Sortiernamens zulassen
• [SPARK-50467] [SC-182823][PYTHON] Hinzufügen von __all__ für integrierte Funktionen
• [SPARK-48898] [SC-182828][SQL] Behebung des "Variant Shredding"-Fehlers
• [SPARK-50441] [SC-182668][SQL] Korrigieren parametrisierter Bezeichner, die beim Verweisen auf CTEs nicht funktionieren
• [SPARK-50446] [SC-182639][PYTHON] Gleichzeitige Ebene in Arrow-optimierter Python-UDF
• [SPARK-50430] [SC-182536][CORE] Verwenden Sie die Standard-Properties.clone anstatt eines manuellen Klons.
• [SPARK-50471] [SC-182790][PYTHON] Unterstützung für Arrow-basierten Python-Datenquellenwriter
• [SPARK-50466] [SC-182791][PYTHON] Verfeinern der Docstring für Zeichenfolgenfunktionen - Teil 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integration neuer Zeitgeber-API und initialer Zustands-API mit Timer
• [SPARK-50437] [SC-182586][SS] Reduzieren des Mehraufwands der Erstellung von Deserialisierern in TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Hinzufügen von Unterstützung für Verkettung ...
• [SPARK-49294] [SC-182730][UI] width-Attribut für Kontrollkästchen „shuffle-write-time“ hinzufügen.
• [SPARK-50426] [SC-182540][PYTHON] Vermeiden Statischer Python-Datenquellensuche bei Verwendung von integrierten oder Java-Datenquellen
• [SPARK-48356] [SC-182603][SQL] Unterstützung für FOR-Anweisung
• [SPARK-50333] [SC-182136][SQL] Codegen-Unterstützung für CsvToStructs (durch Aufrufen und RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Metriken für Commits an StagedTable-Instanzen
• [SPARK-50081] [SC-182344][SQL] Codegen-Unterstützung für XPath*(durch Aufrufen und RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Umgestalten von AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Codegen-Unterstützung für SchemaOfCsv(durch Invoke & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] Beheben eines Fehlers nach dem Zusammenführen bei Fehlertests
• [SPARK-50118] [SC-181259][CONNET] Isolierten Zustandscache zurücksetzen, wenn Aufgaben ausgeführt werden
• [SPARK-49873] [SC-178577][SQL] Weisen Sie die richtige Fehlerklasse für _LEGACY_ERROR_TEMP_1325 zu
• [SPARK-50381] [SC-182197][CORE] Unterstützung von spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] DAYNAME-Funktion hinzufügen
• [SPARK-50270] [SC-181179][SS][PYTHON] Hinzugefügte benutzerdefinierte Zustandsmetriken für TransformWithStateInPandas
• [SPARK-50118] Rückgängig machen von „[SC-181259][CONNECT] Isolierten Zustandscache zurücksetzen, wenn Aufgaben ausgeführt werden“
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] DataFrame-APIs für tabellenwertige Funktionen hinzufügen
• [SPARK-49470] [SC-175736][UI] Aktualisieren von DataTables Stylesheets und Javascripts von 1.13.5 auf 1.13.11
• [SPARK-50235] Rückgängig machen von „[SC-180786][SQL] ColumnVector-Ressource bereinigen, nachdem alle Zeilen in ColumnarToRowExec verarbeitet wurden“
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame Config RPC höchstens einmal auslösen lassen
• [SPARK-50387] [SC-182441][SS] Bedingung für Timerablauf und relevanten Test aktualisieren
• [SPARK-50287] [SC-182400][SQL] Zusammenführen von Tabellen- und Beziehungsoptionen beim Erstellen von WriteBuilder in FileTable
• [SPARK-50066] [SC-181484][SQL] Codegen-Unterstützung für SchemaOfXml(durch Aufrufen und RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Korrigiere das Verhalten des PostgreSQL-Anschlusses für mehrdimensionale Arrays
• [SPARK-50318] [SC-181641][SQL] Hinzufügen von „IntervalUtils.makeYearMonthInterval“, um Code zwischen interpretiert und Codegen zu deduplizieren.
• [SPARK-50312] [SC-181646][SQL] Fehler bei der Parameterübergabe in SparkThriftServer createServer, wenn Kerberos „wahr“ ist
• [SPARK-50246] [SC-181468][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2167zu: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Von json/xml sollten keine Kollationen im angegebenen Schema geändert werden.
• [SPARK-50250] [SC-181466][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2075zu: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2058zu: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Isolierten Zustandscache zurücksetzen, wenn Aufgaben ausgeführt werden
• [SPARK-50235] [SC-180786][SQL] Bereinigung der ColumnVector-Ressource nach der Verarbeitung aller Zeilen in ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrieren _LEGACY_ERROR_TEMP_2113 in UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integrieren von _LEGACY_ERROR_TEMP_0028 in UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_0043zu: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Codegen-Unterstützung für StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Alternative für TryMakeInterval hinzufügen
• [SPARK-50397] [SC-182367][CORE] Entfernen veralteter --ip und -i Argumente aus Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Hinzufügen von Variant Support in PySpark UDFs/UDTFs/UDAFs und Python UC UDFs
• [SPARK-50079] [SC-179830][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2013zu: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][BEISPIEL] Hinzufügen submit-sql.sh REST-API-Beispiel
• [SPARK-49966] [SC-179501][SQL] Verwenden sie Invoke zum Implementieren von JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Stellen Sie sicher, dass sekundäre Indexgrößen den primären Indexgrößen für TransformWithState-Zustandsvariablen mit TTL entsprechen
• [SPARK-50301] [SC-182241][SS][16.x] Sicherstellen, dass TransformWithState-Metriken ihre intuitiven Bedeutungen widerspiegeln
• [SPARK-50175] [SC-182140][SQL] Berechnung der Sortierreihenfolge ändern
• [SPARK-50148] [SC-180292][SQL] StaticInvoke kompatibel machen mit der Methode, die eine Ausnahme deklarieren kann
• [SPARK-50280] [SC-181214][PYTHON] Umgestalten der Ergebnissortierung und Leeren der Lagerplatzfüllung in compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Entfernen der direkten Abhängigkeit von Numpy aus Histogramm
• [SPARK-50382] [SC-182368][CONNECT] Fügen Sie allgemeine Informationen zur Anwendungsentwicklung mit/Erweiterung von Spark Connect hinzu.
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Vermeiden Sie die Verwendung einer Klasseneigenschaft im Threadpool für den Python Connect-Client
• [SPARK-49566] [SC-182239][SQL] Hinzufügen der SQL-Pipesyntax für den EXTEND-Operator
• [SPARK-50036] [SC-179533][CORE][PYTHON] Einschließen von SPARK_LOG_SCHEMA im Kontext der REPL-Shell
• [SPARK-49859] [SC-178259][CONNECT] Ersetze multiprocessing.ThreadPool durch ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] lpad und rpad zur Annahme von Spaltentypargumenten bringen.
• [SPARK-50379] [SC-182142][SQL] Fix für DayTimeIntevalType-Behandlung in WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Codegen-Unterstützung für SchemaOfJson (durch Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Verwenden von ExitCode 0 für --help-Verbrauch in Spark-Skripts
• [SPARK-50377] [SC-182238][SQL] Auswertung faltbarer RuntimeReplaceable zulassen
• [SPARK-50241] [SC-181444][SQL] Ersetzen von NullIntolerant-Mixin durch Expression.nullIntolerant-Methode
• [SPARK-50084] [SC-179672][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_3168zu: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_0038zu: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_1049zu: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrieren von _LEGACY_ERROR_TEMP_0039 in UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Benutzerdefinierte Metrik für die Nachverfolgung der aufgewendeten Zeit für den Anfangszustand von Prozessen in transformWithState hinzufügen
• [SPARK-50029] [SC-179531][SQL] StaticInvoke mit der Methode kompatibel machen, die Any zurückgibt
• [SPARK-49990] [SC-179497][SQL] Verbessern der Leistung von randStr
• [SPARK-50048] [SC-179528][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2114zu: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Wandeln Sie _LEGACY_ERROR_TEMP_2104 in INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Unterstützung von Sortierungskürzung für Zeichenfolgenfunktionen
• [SPARK-48549] [SC-176472][SQL][PYTHON] Verbessern der SQL-Funktion sentences
• [SPARK-50022] [SC-179503][CORE][UI] Fix MasterPage zum Ausblenden von App-UI-Links, wenn die Benutzeroberfläche deaktiviert ist
• [SPARK-50087] [SC-182152] Robuste Behandlung boolescher Ausdrücke in CASE WHEN für MsSqlServer und zukünftige Connectors
• [SPARK-49991] [SC-179481][SQL] Der HadoopMapReduceCommitProtocol soll 'mapreduce.output.basename' berücksichtigen, um Dateinamen zu erzeugen.
• [SPARK-50038] [SC-179521][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_0008zu: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_1156zu: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Korrigieren ApplicationPage, um App-UI-Links auszublenden, wenn die Benutzeroberfläche deaktiviert ist.
• [SPARK-49911] [SC-179111][SQL] Semantik der Unterstützung binärer Gleichheit korrigieren
• [SPARK-50025] [SC-179496][SQL] Integrieren von _LEGACY_ERROR_TEMP_1253 in EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Behebung des Fehlers bei der Optimierung beim Hinzufügen von Eingaben zum Statusspeicher in Stream-Stream-Join
• [SPARK-50004] [SC-179499][SQL] Integrieren _LEGACY_ERROR_TEMP_3327 in FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator muss die Anfrage in ConstantFolding beachten.
• [SPARK-50340] [SC-181859][SQL] Umbruch für UDT in INSERT-Eingabeabfrage aufheben
• [SPARK-50237] [SC-181660][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2138-9zu: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Problem mit geänderter Ausgabespaltenreihenfolge nach der AQE-Optimierung beheben
• [SPARK-49773] [SC-178369][SQL] Nicht abgefangene Java-Ausnahme von make_timestamp() mit falscher Zeitzone
• [SPARK-49977] [SC-179265][SQL] Verwenden Sie stapelbasierte iterative Berechnung, um zu vermeiden, dass viele Scala List-Objekte für tiefe Ausdrucksstrukturen erstellt werden.
• [SPARK-50153] [SC-181591][SQL] Fügen Sie name zu RuleExecutor hinzu, um das Drucken von QueryExecutionMetricss Protokollen übersichtlicher zu machen.
• [SPARK-50320] [SC-181668][CORE] Machen Sie --remote eine offizielle Option, indem Sie experimental Warnung entfernen
• [SPARK-49909] [SC-179492]Rückgängig machen von „[SQL] Anzeigename einiger Ausdrücke korrigieren“
• [SPARK-50330] [SC-180720][SC-181764][SQL] Hinzufügen von Hinweisen zu Sortier- und Fensterknoten
• [SPARK-50364] [SC-182003][SQL] Implementieren der Serialisierung für den LocalDateTime-Typ in Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_2067zu: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Unterstützung für deleteIfExists in TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Unterstützung des IDENTIFIER-Ausdrucks in SETCATALOG-Anweisung
• [SPARK-50315] [SC-181886][SQL] Unterstützung von benutzerdefinierten Metriken für V1Fallback-Schreibvorgänge
• [SPARK-42838] [SC-181509][SQL] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] ResolveSQLOnFile umgestalten
• [SPARK-48344] [SC-181967][SQL] Vorbereiten von SQL-Skripting zum Hinzufügen von Execution Framework
• [SPARK-49345] [SC-174786][CONNECT] Stellen Sie sicher, dass Sie die aktuelle spark-Sitzung verwenden.
• [SPARK-49925] [SC-178882][SQL] Fügen Sie Tests für die Reihenfolge mit sortierten Zeichenfolgen hinzu.
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Verbessern der PySpark-Darstellung von Fehlermeldungen und Importen
• [SPARK-49368] [SC-174999][CONNECT] Vermeiden Sie den direkten Zugriff auf Protobuf Lite-Klassen
• [SPARK-50056] [SC-181378][SQL] Codegen-Unterstützung für ParseUrl (mit Hilfe von Invoke & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Unterstützen der Verarbeitung des Anfangszustands für TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Eine passende Fehlerbedingung für _LEGACY_ERROR_TEMP_0044 zuweisen
• [SPARK-50144] [SC-180307][SS] Beheben der Einschränkung der Metrikberechnung mit DSv1-Streamingquellen
• [SPARK-49874] [SC-178303][SQL] Entfernen der Sortierungsbezeichner „trim“ und „ltrim“
• [SPARK-49513] [SC-180339][SS] Fügen Sie Unterstützung für Timer in transformWithStateInPandas API hinzu.
• [SPARK-49119] [SC-175607][SQL] Beheben der Inkonsistenz der Syntax show columns zwischen v1 und v2
• [SPARK-49206] [SC-173704][CORE][UI] Hinzufügen der Environment Variables-Tabelle zu Master-EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Implizite Umwandlung für den Zugriff auf eine sortierte Struktur mit Literal hinzufügen
• [SPARK-50049] [SC-181659][SQL] Benutzerdefinierte Treibermetriken beim Schreiben in v2-Tabelle unterstützen
• [SPARK-50171] [SC-180295][PYTHON] Numpy für KDE-Plot optional machen
• [SPARK-49962] [SC-179320][SQL] Simplify AbstractStringTypes Klassenhierarchie
• [SPARK-50226] [SC-181483][SQL] Korrigieren von MakeDTInterval und MakeYMInterval zum Abfangen von Java-Ausnahmen
• [SPARK-48775] [SC-170801][SQL][STS] Ersetzen von SQLContext durch SparkSession in STS
• [SPARK-49015] [SC-175688][CORE] Connect Server muss spark.log.structuredLogging.enabled respektieren
• [SPARK-50327] [SC-181667][SQL][16.x] Funktionsauflösung für Wiederverwendung im Einzeldurchlauf-Analysetool ausklammern
• [SPARK-49995] [SC-180762][SQL] Hinzufügen der Unterstützung von benannten Argumenten zu weiteren TVFs
• [SPARK-49268] [SC-174903][CORE] IO-Ausnahmen im SHS-Verlaufsanbieter protokollieren
• [SPARK-48123] [SC-164989][Core] Bereitstellen eines konstanten Tabellenschemas zum Abfragen strukturierter Protokolle
• [SPARK-49217] [SC-174904][CORE] Separate Puffergrößenkonfiguration in UnsafeShuffleWriter unterstützen
• [SPARK-50325] [SC-181664][SQL][16.x] Aliasauflösung für Wiederverwendung im Einzeldurchlauf-Analysetool ausklammern
• [SPARK-50322] [SC-181665][SQL] Parametrisierten Bezeichner in einer Unterabfrage korrigieren
• [SPARK-48400] [SC-175283][CORE] PrometheusServlet zu DeveloperApi höherstufen
• [SPARK-50118] Rückgängig machen von „[SC-181259][CONNECT] Isolierten Zustandscache zurücksetzen, wenn Aufgaben ausgeführt werden“
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Unterstützen von Python 3.13 in Spark Connect
• [SPARK-50152] [SC-181264][SS] handleInitialState mit Zustandsdatenquellenleser unterstützen
• [SPARK-50260] [SC-181271][CONNECT] Umgestalten und Optimieren von Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-49312] [SC-174672][PYTHON] Fehlermeldung verbessern für assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Anzeigename des Ausdrucks FromProtobuf und ToProtobuf korrigieren
• [SPARK-50092] [ES-1258521] Beheben des Verhaltens von PostgreSQL-Verbindern für multidimensionale Arrays
• [SPARK-49913] [SC-181565][SQL] Überprüfung auf eindeutige Bezeichnungsnamen in geschachtelten beschrifteten Bereichen hinzufügen
• [SPARK-49563] [SC-181465][SQL] Fügen Sie die SQL-Pipesyntax für den operator WINDOW hinzu.
• [SPARK-49661] [SC-179021][SQL] Hashing und Vergleich für Sortierungskürzung implementieren
• [SPARK-38912] [SC-181543][PYTHON] Entfernen Sie den Kommentar im Zusammenhang mit classmethod und property.
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Verbessern Sie die Verwaltung der RocksDB SST-Dateizuordnung, und beheben Sie das Problem beim Erneutladen derselben Version mit vorhandenen Momentaufnahmen.
• [SPARK-49002] Rückgängig machen von „[SC-172846][SQL] Ungültige Speicherorte in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY konsistent behandeln“
• [SPARK-49668] [SC-178268][SQL] Sortierschlüsselunterstützung für Sortierungskürzung implementieren
• [SPARK-50262] [SC-181193][SQL] Spezifikation von komplexen Typen beim Ändern der Sortierung verbieten
• [SPARK-48898] [SC-181435][SQL] Hinzufügen von Variant Shredding-Funktionen
• [SPARK-48273] [SC-181381]Rückgängig machen von „[SQL] Behebung des verspäteten Umschreibens von PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Unterstützung von spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Unterstützung von spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Die Ersetzungen von IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 müssen NullIntolerant sein
• [SPARK-50247] [SC-180962][CORE] Definieren von BLOCK_MANAGER_REREGISTRATION_FAILED als ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Vereinfachen TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Ermöglicht dem TransformWithState-Operator die Verwendung der Avro-Codierung
• [SPARK-50267] [SC-181180][ML] Verbessern TargetEncoder.fit mit DataFrame-APIs
• [SPARK-37178] [SC-180939][ML] Zielcodierung zu „ml.feature“ hinzufügen
• [SPARK-50118] [SC-181259][CONNET] Isolierten Zustandscache zurücksetzen, wenn Aufgaben ausgeführt werden
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] lit(ndarray) mit „np.int8“ muss den numpy-Datatyp respektieren
• [SPARK-50256] [SC-181048][SQL] Fügen Sie eine einfache Überprüfung hinzu, um zu überprüfen, ob ein logischer Plan nach jeder Optimiererregel nicht aufgelöst wird.
• [SPARK-50196] [SC-180932][CONNECT] Beheben des Python-Fehlerkontexts, um einen richtigen Kontext zu verwenden
• [SPARK-50274] [SC-181181][CORE] Schutz vor „use-after-close“ in DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Optionalen Parameter „column“ in box- kde- und hist-Plots unterstützen
• [SPARK-50273] [SC-181178][SS] Verbesserung der Protokollierung für RocksDB-Lock-Erwerbs-/Freigabefälle
• [SPARK-50033] [SC-180720][SC-180659][SQL] Einem logischen Aggregate()-Knoten einen Hinweis hinzufügen.
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Zusätzliches Release von acquireLock in RocksDB aufgrund der Abschlussüberwachung korrigieren
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join sollte die Prüfpunkt-ID nicht abrufen, wenn sie nicht unterstützt wird.
• [SPARK-50255] [SC-180964][PYTHON] Vermeiden Sie unnötige Umwandlungen in compute_hist
• [SPARK-50228] [SC-180780][SQL] Verschieben der RewriteCollationJoin regel in FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] „Genauigkeit“ so anpassen, dass es Teil von kwargs für box-Plots ist
• [SPARK-49637] [SC-180160][SQL] Fehlermeldung für INVALID_FRACTION_OF_SECOND geändert
• [SPARK-49530] [SC-180658][PYTHON] Aktive Sitzung aus Dataframes abrufen
• [SPARK-50195] [SC-180654][CORE] Fix StandaloneRestServer, um spark.app.name ordnungsgemäß an SparkSubmit zu verteilen
• [SPARK-50229] [SC-180773] Reduzieren der Speicherauslastung für Treiber für breite Schemas durch Verringern der Lebensdauer von AttributeReference-Objekten, die während der logischen Planung erstellt wurden
• [SPARK-50231] [SC-180815][PYTHON] Funktion instr soll Spalte substring akzeptieren
• [SPARK-49854] [SC-179812][16.x][SQL] Artifact Manager während Sitzungsklon klonen
• [SPARK-50219] [SC-180694][SQL] Umgestalten ApplyCharTypePadding, sodass Hilfsmethoden im Single-Pass-Resolver verwendet werden können
• [SPARK-50077] [SC-179827][SQL] Führen Sie ein neues Musterobjekt für LogicalRelation ein, um das standardmäßige vollständige Paramsmuster zu vermeiden.
• [SPARK-50128] [Backport][16x][SC-180677][SS] Fügen Sie zustandsbehaftete Prozessorhandle-APIs mit impliziten Encodern in Scala hinzu
• [SPARK-50061] [SC-179961][SQL] Aktivieren der Analysetabelle für sortierte Spalten
• [SPARK-49993] [SC-180084][SQL] Verbessern von Fehlermeldungen für Summe und Mittelwert
• [SPARK-49638] [SC-179665][SQL] Entfernen Sie den ANSI-Konfigurationsvorschlag in INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Auflösung des Lesepfads HiveTableRelation ausklammern
• [SPARK-50193] [SC-180651][SS] Ausnahmebehandlung beim Validieren von Zeitmodi korrigieren
• [SPARK-50179] [SC-180342][CORE] Machen Sie die spark.app.name-Eigenschaft im REST-API optional.
• [SPARK-50068] [SC-180300][SQL] Umgestalten TypeCoercion und AnsiTypeCoercion, um einzelne Knotentransformationen zu trennen
• [SPARK-49411] [SC-179483][SS] Statusspeicherprüfpunkt-ID zwischen Treiber und zustandsbehafteten Operatoren kommunizieren
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET sollte die Datenreihenfolge beibehalten.
• [SPARK-49506] [SC-180165][SQL] Optimize ArrayBinarySearch für faltbares Array
• [SPARK-50097] [SC-179908][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_1248zu: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Fügen Sie try_make_timestamp(_ltz und _ntz) und zugehörige Tests hinzu.
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Histogramm-Plots unterstützen
• [SPARK-50015] [SC-179964][SQL] Weisen Sie eine entsprechende Fehlerbedingung für _LEGACY_ERROR_TEMP_1125zu: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Verschieben von Skala- und Java-Dateien in ihre Standardordner
• [SPARK-49980] [SC-180353][CORE][SQL] Potenzielle Dateidatenstromlecks durch Unterbrechung abgebrochener Vorgänge beheben
• [SPARK-49010] [SC-172304][SQL][XML] Komponententests für Unterscheidung nach Groß-/Kleinschreibung für XML-Schemarückschluss hinzufügen
• [SPARK-49562] [SC-180211][SQL] SQL-Pipesyntax für Aggregation hinzufügen
• [SPARK-49663] [SC-180239][SQL] RtRIM-Vorschläge in Sortierungsausdrücken aktivieren
• [SPARK-48965] [SC-175926][SQL] Verwenden Sie das richtige Schema in Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Verbesserung des Python-Datenquellenlesers durch direkte Unterstützung von Arrow Batch für eine höhere Leistung.
• [SPARK-49734] [SC-180226][PYTHON] Füge seed-Argument für Funktion shuffle hinzu
• [SPARK-50174] [16.x][SC-180253][SQL] Auflösung von UnresolvedCatalogRelation ausklammern
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] KDE/Dichte-Plots unterstützen
• [SPARK-49805] [SC-180218][SQL][ML] Private[xxx]-Funktionen aus function.scala entfernen
• [SPARK-49808] [SC-179490][SQL] Beheben eines Deadlocks bei der Ausführung von Unterabfragen aufgrund von faulen Vals
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] box-Plots unterstützen
• [SPARK-50008] [SC-179290][PS][CONNECT] Vermeiden Sie unnötige Vorgänge in attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Umgestalten des internen Funktionsaufrufs
• [SPARK-49683] [SC-178341][SQL] Sortierungskürzung blockieren
• [SPARK-49939] [SC-178941][SQL] Codegen-Unterstützung für json_object_keys (durch die Verwendung von Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Fügen Sie den TryParseUrl Ausdruck hinzu.
• [SPARK-49766] [SC-178933][SQL] Codegen-Unterstützung für json_array_length (von Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Verwenden Sie die stabile Reihenfolge des EventTimeWatermark-Knotens, um wasserzeichen zu berechnen.
• [SPARK-49540] [SC-180145][PS] Vereinheitlichung der Verwendung von distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Deaktivierte Konvertierung zwischen verschiedenen sortierten Typen in TypeCoercion und AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Verwenden einer separaten Registrierung für interne Funktionen der Spalten-API
• [SPARK-49811] [SC-177888][SQL] StringTypeAnyCollation umbenennen
• [SPARK-49202] [SC-180059][PS] ArrayBinarySearch auf ein Histogramm anwenden
• [SPARK-49203] [SC-175734][SQL] Ausdruck für java.util.Arrays.binarySearch hinzufügen
• [SPARK-50034] [SC-179816][CORE] Falschmeldung von schwerwiegenden Fehler als nicht abgefangene Ausnahmen in SparkUncaughtExceptionHandler korrigieren
• [SPARK-50093] [SC-179836][SQL] Sortierungen, die ICU verwenden, sollten die Version der verwendeten ICU-Bibliothek angeben.
• [SPARK-49985] [SC-179644][SQL] Entfernen der Unterstützung für Intervalltypen in Variant
• [SPARK-49103] [SC-173066][CORE] Unterstützung von spark.master.rest.filters
• [SPARK-50090] [SC-179819] ResolveBinaryArithmetic umgestalten, um Transformation von Einzelknoten zu trennen
• [SPARK-49902] [SC-179650][SQL] Zugrunde liegende Runtimefehler in RegExpReplace erfassen
• [SPARK-49126] [SC-173342][CORE] Die Konfigurationsdefinition von spark.history.ui.maxApplications nach History.scala verschoben
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Bessere Fehlermeldung bei Verwendung des Speicherprofilrs für Editoren ohne Zeilennummern
• [SPARK-50062] [SC-179835][SQL] Sortierungen nach InSet unterstützen
• [SPARK-50035] [Backport][16x][SC-179530][SS] Unterstützung für den expliziten Funktionsteil "HandleExpiredTimer" im zustandsbehafteten Prozessor hinzufügen.
• [SPARK-49982] [SC-179814][SQL] Korrigieren der negativen Zwischenspeicherung in InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Ausweitung der Typerweiterungen in AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] UnresolvedStarBase.expand umgestalten
• [SPARK-49802] [SC-179482][SS] Fügen Sie Unterstützung für das Lesen von Änderungsfeeds für Karten- und Listentypen hinzu, die in zustandsbehafteten Prozessoren verwendet werden.
• [SPARK-49846] [SC-179506][SS] Hinzufügen der Metriken numUpdatedStateRows und numRemovedStateRows für die Verwendung mit dem transformWithState-Operator.
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] lit soll numpy ndarray mit str- und bool-Typ akzeptieren
• [SPARK-49821] [SC-179527][SS][PYTHON] Implementieren von MapState- und TTL-Unterstützung für TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Fügen Sie SQL-Pipesyntax für LIMIT/OFFSET und ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Korrigieren Sie canPlanAsBroadcastHashJoin, um Shuffle-Verknüpfungshinweise zu beachten
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] lit soll mit leerem numpy ndarray funktionieren
• [SPARK-50018] [SC-179488][SQL] AbstractStringType serialisierbar machen
• [SPARK-50016] [SC-179491][SQL] Fehlermeldung bei expliziten Sortierungskonflikten verbessern
• [SPARK-50010] [SC-179487][SQL] Fehlermeldung bei expliziten Sortierungskonflikten erweitern
• [SPARK-48749] [SC-170116][SQL] Vereinfachen von UnaryPositive und Beseitigen der Katalysatorregeln mit RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Füge storageLevel zur Dataset localCheckpoint API hinzu
• [SPARK-50058] [SC-179538][SQL] Plannormalisierungsfunktionen zur späteren Verwendung in Tests mit Einzeldurchlauf-Analysetools ausklammern
• [SPARK-50052] [SC-179535][PYTHON][16.X] Dafür sorgen, dass NumpyArrayConverter leere 'str' ndarrays unterstützt
• [SPARK-47261] [SC-173665][SQL] Vergeben Sie bessere Namen für die Fehler _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 und _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] KryoRegistrator mit DeveloperApi-Schnittstelle markieren
• [SPARK-48949] [SC-173070][SQL] SPJ: Laufzeitpartitionsfilterung
• [SPARK-50044] [SC-179523][PYTHON] Docstring mehrerer mathematischer Funktionen einschränken
• [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver mit expliziten Konstruktoren versehen
• [SPARK-50037] [SQL] AttributeSeq.resolve(...) umgestalten
• [SPARK-48782] [SC-177056][SQL] Hinzufügen von Unterstützung für die Ausführung von Prozeduren in Katalogen
• [SPARK-49057] [SC-173081][SQL] Die AQE-Schleife beim Übermitteln von Abfragephasen nicht blockieren
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] SQL-Syntax für Identitätsspalte hinzufügen
• [SPARK-48773] [SC-170773] Dokumentieren Sie die Konfiguration „spark.default.parallelism“ mit dem Config-Builder-Framework
• [SPARK-48735] [SC-169810][SQL] Leistungsverbesserung für BIN-Funktion
• [SPARK-48900] [SC-172433] reason-Feld für alle internen Anrufe zum Abbruch von Aufträgen/Phasen hinzufügen
• [SPARK-48488] [SC-167605][CORE] Methoden log[info|warning|error] in SparkSubmit korrigieren
• [SPARK-48708] [SC-169809][CORE] Entfernen Sie drei unnötige Typenregistrierungen aus KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] Python-API für Zeichenfolgenüberprüfungsfunktionen
• [SPARK-49979] [SC-179264][SQL] Blockierendes AQE-Problem beim doppelten Sammeln in einem fehlgeschlagenen Plan beheben
• [SPARK-48729] [SC-169795][SQL] Hinzufügen einer UserDefinedFunction-Schnittstelle zur Darstellung einer SQL-Funktion
• [SPARK-49997] [SC-179279][SQL] Integrieren von _LEGACY_ERROR_TEMP_2165 in MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS] Größenbasierte Partitionerstellung während Kafka-Lesevorgängen
• [SPARK-48129] [SC-165006][PYTHON] Bereitstellen eines konstanten Tabellenschemas in PySpark zum Abfragen strukturierter Protokolle
• [SPARK-49951] [SC-179259][SQL] Ordnungsgemäße Fehlerbedingung für LEGACY_ERROR_TEMP(1099|3085) zuweisen
• [SPARK-49971] [SC-179278][SQL] Eine geeignete Fehlerbedingung für _LEGACY_ERROR_TEMP_1097 zuweisen
• [SPARK-49998] [SC-179277][SQL] Integrieren von _LEGACY_ERROR_TEMP_1252 in EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Entfernen von globalen Sperren von Spark Connect Service
• [SPARK-49957] [SC-179202][SQL] Scala-API für Zeichenfolgenüberprüfungsfunktionen
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener sollte nicht von spark.interrupt() betroffen sein.
• [SPARK-49643] [SC-179239][SQL] Zusammenführen _LEGACY_ERROR_TEMP_2042 in ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] ColumnarArray.copy() zum Lesen von Nullwerten aus dem richtigen Offset korrigieren
• [SPARK-49956] Rückgängig machen von „[SC-179070] Sortierungen mit collect_set-Ausdruck deaktiviert“
• [SPARK-49987] [SC-179180][SQL] Beheben Sie die Fehleraufforderung, wenn seedExpression in randstr nicht faltbar ist.
• [SPARK-49948] [SC-179158][PS][CONNECT] Parameter „precision“ zu Pandas in Spark-box-Plot hinzufügen
• [SPARK-49970] [SC-179167][SQL] Weisen Sie einen ordnungsgemäßen Fehlerzustand für _LEGACY_ERROR_TEMP_2069 zu.
• [SPARK-49916] [SC-179108][SQL] Auslösen einer geeigneten Ausnahme für den Typkonflikt zwischen ColumnType und Datentyp in einigen Zeilen
• [SPARK-49956] [SC-179070] Sortierungen mit collect_set-Ausdruck deaktiviert
• [SPARK-49974] [16.x][SC-179071][SQL] resolveRelations(...) aus Analyzer.scala verschieben
• [SPARK-47259] [SC-176437][SQL] Namen an Fehlerbedingungen für Intervallfehler zuweisen
• [SPARK-47430] [SC-173679][SQL] Gruppe nach Zuordnungstyp überarbeiten, um Bindungsreferenzausnahme zu korrigieren
• [SPARK-49067] [SC-172616][SQL] UTF-8-Literal in interne Methoden der UrlCodec-Klasse verschieben
• [SPARK-49955] [SC-178989][SQL] Nullwert bedeutet beim Analysieren der JSON-Zeichenfolge RDD nicht beschädigte Datei.
• [SPARK-49393] [SC-175212][SQL] Standardmäßig fehlschlagen in veralteten Katalog-Plug-In-APIs
• [SPARK-49952] [SC-178985][SQL] Eine geeignete Fehlerbedingung für _LEGACY_ERROR_TEMP_1142 zuweisen
• [SPARK-49405] [SC-175224][SQL] Einschränken von Zeichenmengen in JsonOptions
• [SPARK-49892] [SC-178975][SQL] Die richtige Fehlerklasse für _LEGACY_ERROR_TEMP_1136 zuweisen
• [SPARK-49904] [SC-178973][SQL] Ordnungsgemäße Fehlerbedingung für _LEGACY_ERROR_TEMP_2140 zuweisen
• [SPARK-47257] [SC-174244][SQL] Weisen Sie den Fehlerklassen _LEGACY_ERROR_TEMP_105[3-4] und _LEGACY_ERROR_TEMP_1331 Namen zu.
• [SPARK-49915] [SC-178869][SQL] Nullen und Einsen im ReorderAssociativeOperator behandeln
• [SPARK-49891] [SC-178970][SQL] Ordnungsgemäße Fehlerbedingung für _LEGACY_ERROR_TEMP_2271 zuweisen
• [SPARK-49918] [SC-178748][CORE] Schreibgeschützten Zugriff auf Konfiguration in SparkContext verwenden, wenn angemessen.
• [SPARK-49666] [SC-177891][SQL] Featureflag für Sortierungskürzungsfeature hinzufügen
• [SPARK-48885] [SC-171050][SQL] Einige Unterklassen von RuntimeReplaceable sollen Ersatz für verzögerten Wert überschreiben
• [SPARK-49932] [SC-178931][CORE] Verwenden Sie tryWithResource Release JsonUtils#toJsonString Ressourcen, um Speicherverluste zu vermeiden
• [SPARK-49949] [SC-178978][PS] Vermeiden Sie unnötige Analysevorgänge in attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] containsNull nach ArrayCompact Ersetzung beibehalten
• [SPARK-49121] [SC-174787][SQL] Unterstützen from_protobuf und to_protobuf für SQL-Funktionen
• [SPARK-47496] [SC-160529][SQL] Java SPI-Unterstützung für die Registrierung dynamischer JDBC-Dialekte
• [SPARK-49359] [SC-174895][SQL] Zulassen, dass StagedTableCatalog-Implementierungen auf nicht atomisches Schreiben zurückgreifen
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Verbesserung der Fehlermeldung beim Auftreten eines abschließenden Kommas in der SELECT-Klausel
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Dokumentation der Zuordnung von Spark SQL-Datentypen aus Microsoft SQL Server und Tests hinzufügen
• [SPARK-46037] [SC-175495][SQL] Korrektheitsfix für gemischten Hashjoin-Build ohne Codegen beendet
• [SPARK-47813] [SC-162615][SQL] getArrayDimension durch updateExtraColumnMeta ersetzen
• [SPARK-49542] [SC-178765][SQL] Auswertungsfehler bei Partitionstransformation
• [SPARK-47172] [SC-169537][CORE] Fügen Sie Unterstützung für AES-GCM für RPC-Verschlüsselung hinzu.
• [SPARK-47666] [SC-161476][SQL] NPE beim Lesen von Mysql-Bitarrays als LongType korrigieren
• [SPARK-48947] [SC-174239][SQL] Kleingeschriebenen Zeichensatznamen verwenden, um fehlenden Cache in Charset.forName zu verringern
• [SPARK-49909] [SC-178552][SQL] Beheben Sie den hübschen Namen einiger Ausdrücke.
• [SPARK-47647] [SC-161377][SQL] MySQL-Datenquelle kann nit(n>1) als BinaryType wie Postgres lesen
• [SPARK-46622] [SC-153004][CORE] toString-Methode für o.a.s.network.shuffledb.StoreVersion außer Kraft setzen
• [SPARK-48961] [SC-171910][PYTHON] Machen Sie die Parameterbenennung von PySparkException konsistent mit JVM
• [SPARK-49889] [SC-178474][PYTHON] Argument trim für Funktionentrim/ltrim/rtrim hinzufügen
• [SPARK-47537] [SC-160747][SQL] Fehlerhafte Datentypzuordnung im MySQL Connector/J beheben
• [SPARK-47628] [SC-161257][SQL] Problem „Umwandlung in booleschen Wert nicht möglich“ bei Postgres-Bitarray beheben
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Problem beim Ändern von Kommentaren zu char-/varchar-Spalten beheben
• [SPARK-49549] [SC-178764][SQL] Weisen Sie den Fehlerbedingungen _LEGACY_ERROR_TEMP_3055 einen Namen zu, 3146
• [SPARK-49791] [SC-177730][SQL] DelegatingCatalogExtension erweiterbar machen
• [SPARK-49559] [SC-178551][SQL] SQL-Pipesyntax für set-Vorgänge hinzufügen
• [SPARK-49906] [SC-178536][SQL] CONFLICTING_DIRECTORY_STRUCTURES-Fehler für PartitioningUtils einführen und verwenden
• [SPARK-49877] [SC-178392][SQL] Signatur der Funktion "classifyException" ändern: Argument "isRuntime" hinzufügen
• [SPARK-47501] [SC-160532][SQL] Fügen Sie convertDateToDate ähnlich dem vorhandenen convertTimestampToTimestamp für JdbcDialect hinzu.
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType muss bei Fehlern das untergeordnete Element zurückgeben
• [SPARK-47462] [SC-160460][SQL] Zuordnungen anderer unsignierter numerischer Typen an TINYINT im MySQL-Dialekt ausrichten
• [SPARK-47435] [SC-160129][SQL] Beheben des Überlaufproblems von MySQL UNSIGNED TINYINT verursacht durch SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Verbessern des Fehlers für Parameter in der Abfrage von CACHE TABLE und CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Legacy-Bedingungen _LEGACY_ERROR_TEMP_13[44-46] Namen zuweisen
• [SPARK-49605] [SC-176605][SQL] Prompt korrigieren, wenn ascendingOrder in SortArray DataTypeMismatch ist
• [SPARK-49806] [SC-178304][SQL][CONNECT] Redundantes blank space nach show in Scala- und Connect- Clients entfernen
• [SPARK-47258] [SC-175032][SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Fügen Sie die SQL-Pipesyntax für den Operator JOIN hinzu.
• [SPARK-49836] [SC-178339][SQL][SS] Möglicherweise defekte Abfrage korrigieren, wenn Fenster an „window/session_window fn“ übergeben wird
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Behandeln der SQL-Zeitstempelzuordnung für Postgres und MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Kreisdiagramme unterstützen
• [SPARK-49824] [SC-178251][SS][CONNECT] Verbessern der Protokollierung in SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Verfeinern der Zeichenfolgendarstellung von Spaltenfeldvorgängen
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Flächendiagramme unterstützen
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Punktdiagramme unterstützen
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementieren der TTL-Unterstützung für ListState in TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Verschieben TransportCipherUtil in eine separate Datei, um Java-Kompilierungswarnungen zu beseitigen
• [SPARK-49866] [SC-178353][SQL] Verbessern der Fehlermeldung zur Beschreibung der Tabelle mit Partitionsspalten
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Fehlermeldung verbessern, wenn der Index beim Aufrufen von GetColumnByOrdinal außerhalb der Grenzen liegt
• [SPARK-49607] [SC-177373][PYTHON] Ansatz für Stichprobenentnahme bei stichprobenbasierten Plots aktualisieren
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Horizontale und vertikale Balkendiagramme unterstützen
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Liniendiagramm mit plotly-Back-End unterstützen
• [SPARK-49444] [SC-177692][ES-1203248][SQL] Geänderte UnivocityParser-Methode zum Auslösen von Laufzeitausnahmen durch ArrayIndexOutOfBounds mit benutzerdefinierteren Nachrichten
• [SPARK-49870] [SC-178262][PYTHON] Hinzufügen der Python 3.13-Unterstützung in Spark Classic
• [SPARK-49560] [SC-178121][SQL] Fügen Sie die SQL-Pipesyntax für den Operator TABLESAMPLE hinzu.
• [SPARK-49864] [SC-178305][SQL] Verbesserung der Fehlermeldung für BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Fehler in NamedParametersSupport generisch machen, um Funktionen und Prozeduren zu behandeln
• [SPARK-49358] [SC-178158][SQL] Modusausdruck für Zuordnungstypen mit sortierten Zeichenfolgen
• [SPARK-47341] [SC-178157][SQL] Korrigieren der fehlerhaften Dokumentation von RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Unterstützung für LOOP-Anweisung
• [SPARK-49845] [SC-178059][CORE] appArgs und environmentVariables in der REST-API optional machen
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable sollte angeben, ob sie zum Schreiben verwendet werden soll.
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Unterstützung für clientseitige Listener für Scala hinzugefügt
• [SPARK-48700] [SC-177978][SQL] Modusausdruck für komplexe Typen (alle Sortierungen)
• [SPARK-48196] [SC-177899][SQL] Pläne für verzögerte QueryExecution-Werte in „LazyTry“ umwandeln
• [SPARK-49749] [16.x][SC-177877][CORE] Protokollebene zum Debuggen in BlockManagerInfo ändern
• [SPARK-49561] [SC-177897][SQL] Fügen Sie die SQL-Pipesyntax für die Operatoren PIVOT und UNPIVOT hinzu.
• [SPARK-49823] [SC-177885][SS] Leeren während des Herunterfahrens in rocksdb-Schließpfad vermeiden
• [SPARK-49820] [SC-177855] [PYTHON] Ändern raise IOError in raise OSError
• [SPARK-49653] [SC-177266][SQL] Einfacher Join für korrelierte Skalarunterabfragen
• [SPARK-49552] [SC-177477][PYTHON] Hinzufügen der DataFrame-API-Unterstützung für neue "randstr" und "uniform" SQL-Funktionen
• [SPARK-48303] [16.x][SC-166251][CORE] LogKeys neu organisieren
• [SPARK-49656] [16x][Backport][SS] Unterstützung für Statusvariablen mit Sammlungstypen für Wertzustände und Optionen für das Lesen von Änderungsfeeds hinzufügen.
• [SPARK-48112] [SC-165129][CONNECT] Verfügbarmachen der Sitzung in SparkConnectPlanner für Plug-Ins
• [SPARK-48126] [16.x][SC-165309][Core] „spark.log.structuredLogging.enabled“ effektiv machen
• [SPARK-49505] [SC-176873][SQL] Erstellen neuer SQL-Funktionen "randstr" und "uniform", um zufällige Zeichenfolgen oder Zahlen innerhalb von Bereichen zu generieren
• [SPARK-49463] [SC-177474] ListState für TransformWithStateInPandas unterstützen
• [SPARK-48131] [SC-165007][Core] MDC-Schlüssel mdc.taskName und task_name vereinheitlichen
• [SPARK-49557] [SC-177227][SQL] Hinzufügen der SQL-Pipesyntax für den operator WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Verschieben von MockObserver aus dem Testordner von Spark Connect Server in den Hauptordner des Servers
• [SPARK-49745] [SC-177501][SS] Änderung zum Lesen registrierter Timer über den Leser für Statusdatenquellen hinzufügen
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions entfernen und Konfigurationen direkt zu dbOptions in RocksDB hinzufügen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt in den letzten 2 Jahren veröffentlichte ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter und aktualisieren Sie (ODBCherunterladen, JDBCherunterladen ).

Weitere Informationen finden Sie unter Wartungsupdates für Databricks Runtime 16.1.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2024-08-04 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)