Databricks Runtime 16.2

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.2, unterstützt von Apache Spark 3.5.2.

Databricks hat diese Version im Februar 2025 veröffentlicht.

Verhaltensänderungen

ANALYZE überspringt jetzt Spalten mit nicht unterstützten Typen.

ANALYZE TABLE führt nicht mehr zu einer Fehlermeldung, wenn sie auf einer Tabelle mit nicht unterstützten Typen ausgeführt wird, z. B. ARRAY oder MAP. Nicht unterstützte Spalten werden jetzt automatisch übersprungen. Benutzer, die Logik implementiert haben, die diese Fehler erwartet, sollten ihren Code aktualisieren.

Bei Delta Sharing ist der Tabellenverlauf standardmäßig aktiviert.

Für Freigaben, die mit dem SQL-Befehl ALTER SHARE <share> ADD TABLE <table> erstellt werden, ist jetzt die Freigabe des Verlaufs (WITH HISTORY) standardmäßig aktiviert. Siehe ALTER SHARE.

SQL-Anweisungen für Anmeldeinformationen geben einen Fehler zurück, wenn ein Anmeldeinformationstyp nicht übereinstimmend ist

Wenn der in einer SQL-Anweisung für die Anmeldeinformationsverwaltung angegebene Anmeldeinformationstyp mit dieser Version nicht mit dem Typ des Arguments für Anmeldeinformationen übereinstimmt, wird ein Fehler zurückgegeben, und die Anweisung wird nicht ausgeführt. Bei der Anweisung DROP STORAGE CREDENTIAL 'credential-name' tritt beispielsweise ein Fehler auf, wenn das credential-name-Element keine Speicheranmeldeinformationen darstellt.

Diese Änderung wird vorgenommen, um Benutzerfehler zu vermeiden. Zuvor wurden diese Befehle erfolgreich ausgeführt, selbst wenn Anmeldeinformationen übergeben wurde, die nicht dem angegebenen Anmeldetyp entsprachen. Beispielsweise würde die folgende Anweisung storage-credentialerfolgreich löschen: DROP SERVICE CREDENTIAL storage-credential.

Diese Änderung wirkt sich auf folgende Anweisungen aus:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT…ON…CREDENTIAL
• REVOKE…ON…CREDENTIAL
• SHOW GRANTS ON…CREDENTIAL

Neue Features und Verbesserungen

• Erstellen benutzerdefinierter zustandsbehafteter Anwendungen mit transformWithState
• Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen
• Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt allgemein verfügbar
• Notizbücher werden als Arbeitsbereichsdateien unterstützt
• Verwenden von timestampdiff und timestampadd in generierten Spaltenausdrücken
• Unterstützung für SQL-Pipelinesyntax
• Erstellen von HTTP-Anforderung mithilfe der Funktion http_request
• Das Update auf DESCRIBE TABLE gibt Metadaten als strukturierten JSON zurück
• Sortierungen ohne Beachtung nachstehender Leerzeichen
• Konvertieren von Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen
• Der Standardzugriffsmodus (früher Modus für den gemeinsamen Zugriff) unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatch und flatMapGroupsWithState

Erstellen benutzerdefinierter zustandsbehafteter Anwendungen mit transformWithState

Sie können nun transformWithState und zugehörige APIs verwenden, um benutzerdefinierte zustandsbehaftete Anwendungen als Teil von Structured Streaming-Abfragen zu implementieren. Siehe Erstellen einer benutzerdefinierten zustandsbehafteten Anwendung.

Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen

Sie können jetzt Databricks-Dienstanmeldeinformationen verwenden, um sich beim Cloudobjektspeicher mit auto Loader zu authentifizieren. Lesen Sie Was ist der Auto Loader-Dateibenachrichtigungsmodus?.

Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt allgemein verfügbar.

Dienstanmeldeinformationen ermöglichen die einfache und sichere Authentifizierung mit den Diensten Ihres Cloudmandanten von Azure Databricks. Mit Databricks Runtime 16.2 sind Dienstanmeldeinformationen allgemein verfügbar und unterstützen jetzt Scala SDKs zusätzlich zum Python SDK, das in der public Preview unterstützt wurde. Weitere Informationen finden Sie unter Verwalten des Zugriffs auf externe Clouddienste mithilfe von Dienstanmeldeinformationen.

Notebooks werden als Arbeitsbereichsdateien unterstützt.

In Databricks Runtime 16.2 und höher werden Notizbücher als Arbeitsbereichsdateien unterstützt. Sie können jetzt programmgesteuert von überall auf Notizbücher zugreifen, wo das Arbeitsbereichsdateisystem verfügbar ist, einschließlich der Möglichkeit, Notizbücher wie jede andere Datei zu schreiben, zu lesen und zu löschen. Weitere Informationen finden Sie unter Notebooks als Arbeitsbereichsdateien.

Verwenden Sie timestampdiff & timestampadd in generierten Spaltenausdrücken

In Databricks Runtime 16.2 und höher können Sie die Funktionen timestampdiff und timestampadd in von Delta Lake generierten Spaltenausdrücken verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.

Unterstützung für SQL-Pipeline-Syntax

In Databricks Runtime 16.2 und höher können Sie SQL-Pipelinesverfassen. Eine SQL-Pipeline strukturiert eine Standardabfrage, z. B. SELECT c2 FROM T WHERE c1 = 5, in eine Schritt-für-Schritt-Sequenz, wie im folgenden Beispiel gezeigt:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Informationen zur unterstützten Syntax für SQL-Pipelines finden Sie unter SQL-Pipelinesyntax.

Hintergrundinformationen zu dieser branchenübergreifenden Erweiterung finden Sie unter SQL Has Problems. Wir können sie beheben: Pipe-Syntax in SQL (von Google Research).

HTTP-Anforderung mithilfe der http_request-Funktion durchführen

In Databricks Runtime 16.2 und höher können Sie HTTP-Verbindungen erstellen und über sie HTTP-Anforderungen mithilfe der http_request-Funktion erstellen.

Aktualisieren auf DESCRIBE TABLE Gibt Metadaten als strukturiertes JSON zurück.

In Databricks Runtime 16.2 und höher können Sie den Befehl DESCRIBE TABLE AS JSON verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.

Sortierungen ohne Beachtung nachstehender Leerzeichen

Zusätzlich zu der in Databricks Runtime 16.1 hinzugefügten Sortierungsunterstützung bietet Databricks Runtime 16.2 Unterstützung für Sortierungen ohne Beachtung nachstehender Leerzeichen. Beispielsweise behandeln diese Sortierungen 'Hello' und 'Hello ' gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.

Konvertieren von Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen

Die Anweisungen CONVERT TO DELTA und CREATE TABLE CLONE unterstützen jetzt das Konvertieren einer Iceberg-Tabelle mit Bucketpartitionierung in eine nicht partitionierte Delta-Tabelle.

Der Standardzugriffsmodus (früher Modus für den gemeinsamen Zugriff) unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatch und flatMapGroupsWithState

In Databricks Runtime 16.2 und höher unterstützt die Standardzugriffsmodusberechnung jetzt die Scala-Methoden DataStreamWriter.foreachBatch und KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 und höher unterstützt die Standardzugriffsmodusberechnung jetzt die Scala-Methode DataStreamWriter.foreach.

Fehlerbehebungen

Verbesserte inkrementelle Klonverarbeitung

Diese Version enthält einen Fix für einen Randfall, bei dem ein inkrementelles CLONE möglicherweise Dateien, die bereits aus einer Quelltabelle kopiert wurden, in eine Zieltabelle erneut kopieren kann. Siehe Klonen einer Tabelle in Azure Databricks.

Modernisierung der Bibliothek

• Aktualisierte Python-Bibliotheken:
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • org.json4s.json4s-ast_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-core_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-jackson_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-scalap_2.12 von 3.7.0-M11 bis 4.0.7

Apache Spark

Databricks Runtime 16.2 umfasst Apache Spark 3.5.2. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 16.1enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-49966] Rückgängigmachen von „[SC-179501][sql] Verwenden von Invoke zur Implementierung von JsonToStructs(from_json)“
• [SPARK-50904] [SC-186976][sql] Behebung der Ausführungsprobleme des Sortierungsausdrucks-Walkers
• [SPARK-49666] [SQL] Aktivieren von Kürzungstests für InSet-Ausdruck
• [SPARK-50669] [SC-184566][es-1327450][SQL] Ändern der Signatur des TimestampAdd-Ausdrucks
• [SPARK-50795] [16.x][sc-186719][SQL] Zeitstempel als long Typ in describe LinkedHashMap speichern
• [SPARK-50870] [SC-186950][sql] Hinzufügen der Zeitzone beim Umwandeln in den Zeitstempel in V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Fehler in ExecuteResponseObserver führt zu unendlichen Anforderungen zum erneuten Anfügen.
• [SPARK-50522] [SC-186500][sql] Unterstützung für unbestimmte Sortierung
• [SPARK-50525] [SC-186058][sql] Definieren der InsertMapSortInRepartitionExpressions-Optimierungsregel
• [SPARK-50679] [SC-184572][sql] Doppelte gemeinsame Ausdrücke in unterschiedlichen With-Klauseln sollten nur einmal projiziert werden.
• [SPARK-50847] [SC-186916] [SQL] Anwendung von ApplyCharTypePadding auf bestimmte In-Ausdrücke verweigern
• [SPARK-50714] [SC-186786][sql][SS] Aktivieren der Schemaentwicklung für TransformWithState, wenn avro-Codierung verwendet wird
• [SPARK-50795] [SC-186390][sql] Anzeigen aller DESCRIBE AS JSON-Datumsangaben im ISO-8601-Format und Typen als dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x Cherrypick: Verbessern der Koersions- und Grenzüberprüfung für UNIFORM SQL-Funktion
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog unterstützt builtin magischen Wert
• [SPARK-50831] [SC-186736][sql] Standardmäßig das Kürzen der Sortierung aktivieren
• [SPARK-50263] [SC-186793][connect] Ersetzen Sie System.currentTimeMillis durch System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementieren von CreateSQLFunctionCommand für SQL Scalar- und Tabellenfunktionen
• [SPARK-50830] [SC-186718] [SQL] Zurückgeben des Ergebnisses eines Einzeldurchlaufs als Ergebnis der doppelten Ausführungsanalyse
• [SPARK-50707] [SC-186098][sql] Aktivieren der Umwandlung in/von char/varchar
• [SPARK-49490] [SC-182137][sql] Fügen Sie Benchmarks für initCap hinzu
• [SPARK-50529] [SC-184535][sql] Änderung des char/varchar-Verhaltens unter der Konfiguration spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Behebung eines Fehlers, bei dem beim Übergeben von NULL-Varianten in createDataFrame ein Fehler auftritt und die Variant-Unterstützung in createDataFrame in Spark Connect hinzugefügt wird.
• [SPARK-50828] [SC-186493][python][ML][connect] pyspark.ml.connect veraltet
• [SPARK-50600] [SC-186057][connect][SQL] Bei Analysefehler auf „analysiert“ gesetzt
• [SPARK-50824] [SC-186472][python] Vermeiden Sie das Importieren optionaler Python-Pakete zur Überprüfung.
• [SPARK-50755] [SC-185521][sql] Hübsche Plananzeige für InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Die Eingaben für typisierte Aggregationen sollten analysiert werden.
• [SPARK-50791] [SC-185867][sc-186338][SQL] Korrektur von NPE in der Fehlerbehandlung des Zustandsspeichers
• [SPARK-50801] [SC-186365] [SQL] Verbessern PlanLogger.logPlanResolution, sodass nur ungelöste und aufgelöste Pläne angezeigt werden
• [SPARK-50749] [SC-185925][sql] Beheben des Sortierfehlers in der CommutativeExpression.gatherCommutative-Methode
• [SPARK-50783] [SC-186347] Kanonisierung des Dateinamens und der Struktur der JVM-Profilergebnisse auf DFS
• [SPARK-50790] [SC-186354][python] Implementieren sie parse json in pyspark
• [SPARK-50738] [SC-184856][python] Upgrade schwarz auf 23.12.1
• [SPARK-50764] [SC-185930][python] Verfeinern der Docstring von xpath-verwandten Methoden
• [SPARK-50798] [SC-186277][sql] Verbessern NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 Integration in RocksDB und RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Hinzufügen eines Featureflags für Sortierungen auf Objektebene
• [SPARK-50778] [SC-186183][python] Hinzufügen von metadataColumn zu PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x Cherrypick: Verbessern automatisch generierter Ausdrucksaliase mit Pipe-SQL-Operatoren
• [SPARK-50541] [16.x][sc-184937] Tabelle als JSON beschreiben
• [SPARK-50772] [SC-185923][sql] DBR 16.x Cherrypick: Tabellenaliase nach SET-, EXTEND-, DROP-Operatoren beibehalten
• [SPARK-50769] [SC-185919][sql] Behebung der ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Delta-Code-Diff mit DBR synchronisieren
• [SPARK-50752] [SC-185547][python][SQL] Einführen von Konfigurationen für die Optimierung von Python UDF ohne Pfeil
• [SPARK-50705] [SC-185944][sql] Machen QueryPlan sperrfrei
• [SPARK-50690] [16.x][sc-184640][SQL] Korrektur von Diskrepanzen bei der Verwendung von Anführungszeichen für DESCRIBE TABLE-Ansichtsabfrageausgabespalten
• [SPARK-50746] [SC-184932][sql] Ersetzen von Either durch VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder legt die Konfigurationen im Batch fest.
• [SPARK-50480] [SC-183359][sql] Erweitern von „CharType“ und „VarcharType“ von „StringType“
• [SPARK-50675] [SC-184539][sql] Unterstützung für Tabellen- und Ansichtsebenenkollationen
• [SPARK-50409] [SC-184516][sql] Korrigiere die Set-Anweisung, um ; am Ende von SET;, SET -v; und SET key; zu ignorieren.
• [SPARK-50743] [SC-185528][sql] Normalisieren von CTERelationDef- und CTERelationRef-IDs
• [SPARK-50693] [SC-184684][connect] Die Eingaben für TypedScalaUdf sollten analysiert werden.
• [SPARK-50744] [SC-184929][sql] Hinzufügen eines Testfalls für die Rangfolge der Namensauflösung von Ansichten/CTE
• [SPARK-50710] [SC-184767][connect] Hinzufügen von Unterstützung für optionale Clientverbindung zu Sitzungen nach der Veröffentlichung
• [SPARK-50703] [SC-184843][python] Verfeinern sie die Docstring von regexp_replace, regexp_substr und regexp_instr
• [SPARK-50716] [SC-184823][core] Korrektur der Bereinigungslogik für symbolische Verknüpfungen in der JavaUtils.deleteRecursivelyUsingJavaIO-Methode
• [SPARK-50630] [SC-184443][sql] Korrektur der GROUP BY-Ordinalunterstützung für Pipe-SQL AGGREGATE-Operatoren
• [SPARK-50614] [SC-184729][sql] Hinzufügen von Variant-Zerkleinerungsunterstützung für Parquet
• [SPARK-50661] [SASP-4936] Fügen Sie abwärtskompatibilität für alte Client-FEB hinzu.
• [SPARK-50676] [SC-184641][sql] Entfernen nicht verwendeter private lazy val mapValueContainsNull aus ElementAt
• [SPARK-50515] [SC-183813][core] Hinzufügen einer schreibgeschützten Schnittstelle zu SparkConf
• [SPARK-50697] [SC-184702][sql] Aktivieren der Tail-Rekursion, wo immer möglich
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Korrigieren Sie das Statusschema für FlatMapGroupsWithState in spark connect, wenn kein Anfangszustand vorhanden ist.
• [SPARK-50701] [SC-184704][python] Festlegen, dass für die Diagrammerstellung die Mindestversion von Plotly erforderlich ist
• [SPARK-50702] [SC-184727][python] Verfeinern der Dokumentzeichenfolge von regexp_count, regexp_extract und regexp_extract_all
• [SPARK-50499] [SC-184177][python] Verfügbarmachen von Metriken von BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Hinzufügen der RPAD-Pushdown-Unterstützung
• [SPARK-50682] [SC-184579][sql] Innerer Alias sollte kanonisiert werden
• [SPARK-50699] [SC-184695][python] Analysieren und Generieren einer DDL-Zeichenfolge mit einer angegebenen Sitzung
• [SPARK-50573] [SC-184568][ss] Hinzufügen der Statusschema-ID zu Zustandszeilen zur Schemaentwicklung
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Korrektur der Spark Connect Scala foreachBatch-Implementierung zur Unterstützung von Dataset[T].
• [SPARK-50689] [SC-184591][sql] Deterministische Sortierung in LCA-Projektlisten erzwingen
• [SPARK-50696] [SC-184667][python] Optimize Py4J-Aufruf für die DDL-Analysemethode
• [SPARK-49670] [SC-182902][sql] Aktivieren der Kürzungssortierung für alle Passthrough-Ausdrücke
• [SPARK-50673] [SC-184565][ml] Vermeiden des zweimaligen Durchlaufens von Modellkoeffizienten im Word2VecModel-Konstruktor
• [SPARK-50687] [SC-184588][python] Optimieren der Logik zum Abrufen von Stapelrückverfolgungen für DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Zwischenspeichern des analysierten Schemas für MapInXXX und ApplyInXXX
• [SPARK-50674] [SC-184589][python] Korrektur der Überprüfung auf das Vorhandensein der Methode „terminate“ in der UDTF-Auswertung
• [SPARK-50684] [SC-184582][python] Verbessern der Py4J-Leistung in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Fügen Sie Unterstützung für neue Versionen von Statusmetadaten für TransformWithStateInPandas hinzu.
• [SPARK-50602] [SC-184439][sql] Korrektur der Transponierung zum Anzeigen einer korrekte Fehlermeldung, wenn ungültige Indexspalten angegeben werden
• [SPARK-50650] [SC-184532][sql] Verbessern der Protokollierung im Einzeldurchlauf-Analysetool
• [SPARK-50665] [SC-184533][sql] Ersetze LocalRelation durch ComparableLocalRelation in NormalizePlan.
• [SPARK-50644] [SC-184486][sql] Lesen der Variantenstruktur in Parquet-Reader
• [SPARK-49636] [SC-184089][sql] Entfernen des ANSI-Konfigurationsvorschlags in INVALID_ARRAY_INDEX und INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Umgestalten der Ausgabeberechnung der Union, um sie im Einzeldurchlauf-Analysetool wiederzuverwenden
• [SPARK-50659] [SC-184512][sql] Verschieben von Union-bezogenen Fehlern zu QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Korrektur ungültiger impliziter Zeichenfolgentypkontextberechnung
• [SPARK-50546] [SC-183807][sql] Hinzufügen der Unterstützung von Unterabfragen zur Koersion des Sortiertyps
• [SPARK-50405] [SC-182889][sql] Korrekte Behandlung der Sortierungstyp-Koersion von komplexen Datentypen
• [SPARK-50637] [SC-184434][sql] Korrigieren der Codeformatvorlage für den Single-Pass Analyzer
• [SPARK-50638] [SC-184435][sql] Umgestalten der Ansichtsauflösung in die separate Datei, um sie im Einzeldurchlauf-Analysetool wiederzuverwenden
• [SPARK-50615] [SC-184298][sql] Pushen der Variante in die Überprüfung
• [SPARK-50619] [SC-184210][sql] Umgestalten von „VariantGet.cast“ zum Packen der Umwandlungsargumente
• [SPARK-50599] [SC-184058][sql] Erstellen Sie die DataEncoder-Eigenschaft, die avro- und unsafeRow-Codierung ermöglicht.
• [SPARK-50076] [SC-183809] Korrektur von LogKeys
• [SPARK-50597] [SC-183972][sql] Batchkonstruktion in Optimizer.scala und SparkOptimizer.scala umgestalten
• [SPARK-50339] [SC-183063][spark-50360][SS] Aktivieren des Änderungsprotokolls zur Speicherung von Abstammungsinformationen
• [SPARK-50526] [SC-183811][ss] Hinzufügen der Konfiguration für das Speichercodierungsformat im Offsetprotokoll und Sperren nicht unterstützter zustandsbehafteter Operatoren für die Nutzung von Avro
• [SPARK-50540] [SC-183810][python][SS] Fixzeichenfolgenschema für StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Verwenden von SQLConf, das von SparkSession zuerst bereitgestellt wird.
• [SPARK-48898] [SC-183793][sql] Legen Sie die Nullierbarkeit im Variant-Schema richtig fest.
• [SPARK-50559] [SC-183814][sql] Speichern der Except-, Intersect- und Union-Ausgaben als verzögerte Werte
• [SPARK-48416] [SC-183643][sql] Unterstützung geschachtelter korrelierter WITH-Ausdrücke
• [SPARK-50428] [SC-183566][ss][PYTHON] Unterstützung von „TransformWithStateInPandas“ in Batchabfragen
• [SPARK-50063] [SC-183350][sql][CONNECT] Hinzufügen von Unterstützung für Variant im Spark Connect Scala-Client
• [SPARK-50544] [SC-183569][python][CONNECT] Implementieren von StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Beheben von Maven-Buildfehlern, die von Guava-Cache in RocksDBStateStoreProvider eingeführt wurden
• [SPARK-50491] [SC-183434][sql] Beheben eines Fehlers, bei dem leere BEGIN-END-Blöcke einen Fehler auslösen
• [SPARK-50536] [SC-183443][core] Protokolliere heruntergeladene Archivdateigrößen in SparkContext und Executor
• [SPARK-45891] [SC-183439][sql] Variant-Binärdatei aus zerkleinerten Daten neu erstellen.
• [SPARK-49565] [SC-183465][sql] Hinzufügen der SQL-Pipesyntax für den FROM-Operator
• [SPARK-50497] [SC-183338][sql] Fehler bei Abfragen mit der richtigen Meldung, wenn „MultiAlias“ eine Nicht-Generator-Funktion enthält
• [SPARK-50460] [SC-183375][python][CONNECT] Verallgemeinern und vereinfachen des Connect-Ausnahmehandlings
• [SPARK-50537] [SC-183452][connect][PYTHON] Korrektur der Komprimierungsoption, die in df.write.parquet überschrieben wird
• [SPARK-50329] [SC-183358][sql] Korrektur für „InSet$toString“
• [SPARK-50524] [SC-183364][sql] Absenken der RowBasedKeyValueBatch.spill-Warnmeldung auf Debug-Ebene
• [SPARK-50528] [SC-183385][Verbinden] Verschieben von InvalidCommandInput zum gemeinsamen Modul
• [SPARK-50017] [SC-182438][ss] Unterstützung der Avro-Codierung für den TransformWithState-Operator
• [SPARK-50463] [SC-182833][sql] Korrektur von ConstantColumnVector mit der Konvertierung vom Spaltenformat zum Zeilenformat
• [SPARK-50235] [SC-180786][sql] Aufräumen der ColumnVector-Ressource nach der Verarbeitung aller Zeilen in ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Korrektur des Tests für den Init-Zustand zur Verwendung von „StreamManualClock“
• [SPARK-50478] [SC-183188][sql] StringType-Abgleich korrigieren
• [SPARK-50492] [SC-183177][ss] Korrektur von „java.util.NoSuchElementException“, wenn die Ereigniszeitspalte nach „dropDuplicatesWithinWatermark“ entfernt wird
• [SPARK-49566] [SC-182589][sql] Fügen Sie die SQL-Pipesyntax für den Operator SET hinzu.
• [SPARK-50449] [SC-183178][sql] Korrektur der SQL-Skriptgrammatik, um leere Inhalte für Schleifen, IF und CASE zuzulassen
• [SPARK-50251] [SC-180970][python] Hinzufügen von getSystemProperty zu PySpark-SparkContext
• [SPARK-50421] [SC-183091][core] Korrektur der speicherbezogenen Executor-Konfiguration ist fehlerhaft, wenn mehrere Ressourcenprofile aktiv sind
• [SPARK-49461] [SC-179572][ss] Persistente Checkpoint-ID zum Commit von Protokolldateien und zum Zurücklesen
• [SPARK-50343] [SC-183119][spark-50344][SQL] Hinzufügen der SQL-Pipesyntax für die DROP- und AS-Operatoren
• [SPARK-50481] [SC-182880][core] Verbessern von SortShuffleManager.unregisterShuffle, um die Prüfsummendateilogik zu überspringen, wenn die Prüfsumme deaktiviert ist
• [SPARK-50498] [SC-183090][python] Vermeiden Sie unnötigen py4j-Aufruf in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Korrektur der Selbstverknüpfung nach applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres-Fix xor Push-Down

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt in den letzten 2 Jahren veröffentlichte ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter und aktualisieren Sie (ODBCherunterladen, JDBCherunterladen ).

Wartungsupdates

Weitere Informationen finden Sie unter Wartungsupdates für Databricks Runtime 16.2.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2024-08-04 installiert: https://packagemanager.posit.co/cran/2024-08-04/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)