Databricks Runtime 13.1 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.1, unterstützt von Apache Spark 3.4.0.

Diese Version wurde von Databricks im Mai 2023 veröffentlicht.

Neue Features und Verbesserungen

• Clusterunterstützung für JDK 17 (Public Preview)
• Hinzufügen, Ändern oder Löschen von Daten in Streamingtabellen
• Lesen von Kafka mit SQL
• Neue integrierte SQL-Funktionen
• Unity Catalog-Unterstützung für Python-Bibliotheken im Clusterbereich
• Erweiterte Standardaktivierung für optimierte Schreibvorgänge in Unity Catalog
• Erweiterte Unterstützung für zustandsbehaftete Operatoren in Structured Streaming-Workloads
• Delta-Klon für Unity Catalog befindet sich in der Phase „Public Preview”
• Pub/Sub-Unterstützung für strukturiertes Streaming
• Löschen von Duplikaten innerhalb von Wasserzeichen in Structured Streaming
• Erweiterte Unterstützung für Delta-Konvertierungen aus Iceberg-Tabellen mit abgeschnittenen Partitionsspalten
• Streamschemaänderungen mit Spaltenzuordnung in Delta Lake
• START VERSION entfernen
• Neue H3-Ausdrücke in Python verfügbar

Clusterunterstützung für JDK 17 (Public Preview)

Databricks bietet jetzt Clusterunterstützung für Java Development Kit (JDK) 17. Siehe Databricks SDK für Java.

Hinzufügen, Ändern oder Löschen von Daten in Streamingtabellen

Sie können jetzt DML-Anweisungen verwenden, um Streamingtabellen zu ändern, die im Unity-Katalog von DLT-Pipelines veröffentlicht wurden. Weitere Informationen finden Sie unter Hinzufügen, Ändern oder Löschen von Daten in einer Streamingtabelle und unter Hinzufügen, Ändern oder Löschen von Daten in einer Zielstreamingtabelle. Sie können auch DML-Anweisungen verwenden, um in Databricks SQL erstellte Streamingtabellen zu ändern.

Lesen von Kafka mit SQL

Sie können jetzt die SQL-Funktion read_kafka zum Lesen von Kafka-Daten verwenden. Streaming mit SQL wird nur in DLT oder mit Streamingtabellen in Databricks SQL unterstützt. Siehe read_kafka Tabellenwertfunktion.

Neue integrierte SQL-Funktionen

Die folgenden analytischen Funktionen wurden hinzugefügt:

• array_prepend(array, elem): Gibt array mit vorangestelltem elem zurück.
• try_aes_decrypt(expr, key [, mode [, padding]]): Entschlüsselt eine Binärdatei, die mithilfe der AES-Verschlüsselung erstellt wurde, und gibt NULL zurück, wenn ein Fehler vorliegt.
• sql_keywords(): Gibt eine Tabelle mit Azure Databricks SQL-Schlüsselwörtern zurück.

Unity Catalog-Unterstützung für Python-Bibliotheken im Clusterbereich

Unity Catalog weist einige Einschränkungen bei der Bibliotheksnutzung auf. In Databricks Runtime 13.1 und höher werden clusterspezifische Python-Bibliotheken unterstützt, einschließlich Python-Wheel-Dateien, die als Arbeitsbereichsdateien hochgeladen werden. Bibliotheken, auf die mit Databricks File System (DBFS)-Dateipfaden verwiesen wird, werden nicht unterstützt, unabhängig davon, ob sie sich im DBFS-Stamm oder an einem externen Speicherort befinden, der in einem DBFS eingebunden ist. Nicht-Python-Bibliotheken werden nicht unterstützt. Weitere Informationen finden Sie unter Clusterbibliotheken.

In Databricks Runtime 13.0 und niedriger werden clusterspezifische Bibliotheken nicht für Cluster unterstützt, die den Standardzugriffsmodus (ehemals Zugriffsmodus „Freigegeben“) in einem Arbeitsbereich mit Unity Catalog-Unterstützung verwenden.

Erweiterte Standardaktivierung für optimierte Schreibvorgänge in Unity Catalog

Die standardmäßige optimierte Schreibunterstützung für Delta-Tabellen, die in Unity Catalog registriert sind, wurde erweitert, um CTAS-Anweisungen und INSERT-Vorgänge für partitionierte Tabellen einzuschließen. Dieses Verhalten richtet sich an den Standardwerten in SQL-Warehouses aus. Weitere Informationen finden Sie unter Optimierte Schreibvorgänge für Delta Lake in Azure Databricks.

Erweiterte Unterstützung für zustandsbehaftete Operatoren in Structured Streaming-Workloads

Sie können jetzt mehrere zustandsbehaftete Operatoren miteinander verketten, was bedeutet, dass Sie die Ausgabe eines Vorgangs, z. B. einer Fensteraggregation, an einen anderen zustandsbehafteten Vorgang wie z. B. eine Verknüpfung übertragen können. Siehe Was ist zustandsbehaftetes Streaming?.

Der Delta-Klon für Unity Catalog befindet sich in der öffentlichen Vorschauphase.

Sie können jetzt flache Klone verwenden, um neue verwaltete Unity Catalog-Tabellen aus vorhandenen verwalteten Unity Catalog-Tabellen zu erstellen. Weitere Informationen finden Sie unter Flacher Klon für Unity Catalog-Tabellen.

Pub/Sub-Unterstützung für strukturiertes Streaming

Sie können jetzt einen integrierten Connector verwenden, um Google Pub/Sub mit strukturiertem Streaming zu abonnieren. Weitere Informationen finden Sie unter Abonnieren von Google Pub/Sub.

Löschen von Duplikaten innerhalb von Wasserzeichen in strukturiertem Streaming

Sie können jetzt dropDuplicatesWithinWatermark in Kombination mit einem angegebenen Wasserzeichen-Schwellenwert verwenden, um Datensätze in strukturiertem Streaming zu deduplizieren. Weitere Informationen finden Sie unter Löschen von Duplikaten innerhalb eines Wasserzeichens.

Erweiterte Unterstützung für Delta-Konvertierungen aus Iceberg-Tabellen mit abgeschnittenen Partitionsspalten

Sie können jetzt CLONE und CONVERT TO DELTA mit Iceberg-Tabellen verwenden, die Partitionen für abgeschnittene Spalten der Typen int, long und string definiert haben. Abgeschnittene Spalten vom Typ decimal werden nicht unterstützt.

Streamschemaänderungen mit Spaltenzuordnung in Delta Lake

Sie können jetzt einen Speicherort für die Schemanachverfolgung bereitstellen, um das Streaming von Delta-Tabellen mit aktivierter Spaltenzuordnung zu ermöglichen. Weitere Informationen finden Sie unter Streaming mit Spaltenzuordnung und Schemaänderungen.

Entfernen von START VERSION

START VERSION ist jetzt für ALTER SHARE veraltet.

Neue H3-Ausdrücke in Python verfügbar

Die Ausdrücke h3_coverash3 und h3_coverash3string sind in Python verfügbar.

Fehlerkorrekturen

Beim Lesen von Parquet-Dateien mit failOnUnknownFields werden Daten bei Typkonflikten nicht mehr automatisch gelöscht.

Wenn eine Parquet-Datei nur mit der failOnUnknownFields-Option oder mit Autoloader im failOnNewColumns-Schemaentwicklungsmodus gelesen wird, schlagen Spalten mit unterschiedlichen Datentypen jetzt fehl und empfehlen die Verwendung von rescuedDataColumn. Beim automatischen Laden (Autoloader) werden Integer-, Short- und Byte-Typen jetzt korrekt gelesen und nicht wiederhergestellt, wenn einer dieser Datentypen bereitgestellt wird. Die Parquet-Datei schlägt einen der beiden anderen Typen vor.

Durchbrechende Änderungen

Upgrade der sqlite-jdbc-Version auf 3.42.0.0 zum Behandeln von CVE-2023-32697

Führen Sie ein Upgrade der sqlite-jdbc-Version von 3.8.11.2 auf 3.42.0.0 durch. Die APIs der Version 3.42.0.0 sind nicht vollständig mit 3.8.11.2 kompatibel. Wenn Sie sqlite-jdbc in Ihrem Code verwenden, überprüfen Sie den sqlite-jdbc-Kompatibilitätsbericht auf Details. Wenn Sie zu 13.1 migrieren und sqlite verwenden, bestätigen Sie Ihre Methoden und den Rückgabetyp in Version 3.42.0.0.

Bibliotheksverbesserungen

• Aktualisierte Python-Bibliotheken:
  • facets-overview von 1.0.2 auf 1.0.3
  • filelock von 3.10.7 auf 3.12.0
  • pyarrow von 7.0.0 auf 8.0.0
  • tenacity von 8.0.1 auf 8.1.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • com.github.ben-manes.caffeine.caffeine von 2.3.4 auf 2.9.3
  • io.delta.delta-sharing-spark_2.12 von 0.6.8 auf 0.6.4
  • net.snowflake.snowflake-jdbc von 3.13.29 auf 3.13.22
  • org.checkerframework.checker-qual von 3.5.0 auf 3.19.0
  • org.scalactic.scalactic_2.12 von 3.0.8 auf 3.2.15
  • org.scalatest.scalatest_2.12 von 3.0.8 auf 3.2.15
  • org.xerial.sqlite-jdbc von 3.8.11.2 auf 3.42.0.0

Apache Spark

Databricks Runtime 13.1 enthält Apache Spark 3.4.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.0 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-42719] [DBRRM-199][sc-131578] Zurücksetzen von [SC-125225] ‚MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Zurücksetzen von [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Hinzufügen von SparkSession.interruptAll in Spark Connect
• [SPARK-43332] [SC-130051][connect][PYTHON] Ermöglichen, ChannelBuilder für SparkConnectClient zu erweitern
• [SPARK-43323] [SC-129966][sql][PYTHON] Korrektur von DataFrame.toPandas mit aktivierter Arrow-Unterstützung zur ordnungsgemäßen Behandlung von Ausnahmen
• [SPARK-42940] [SC-129896][ss][CONNECT] Verbessern der Sitzungsverwaltung für Streamingabfragen
• [SPARK-43032] [SC-125756] [CONNECT][ss] Hinzufügen des Streamingabfrage-Managers
• [SPARK-16484] [SC-129975][sql] Hinzufügen von Unterstützung für Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migration der Spark SQL Pandas-Arrow-Fehlertypen zur Fehlerklasse
• [SPARK-41766] [SC-129964][core] Behandeln von Außerbetriebsetzungsanforderungen, die vor der Executorregistrierung gesendet wurden
• [SPARK-43307] [SC-129971][python] Migration von PandasUDF-Wertfehlern zur Fehlerklasse
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() umfasst Stack-Trace
• [SPARK-43311] [SC-129905][ss] Hinzufügen von Speicherverwaltungsverbesserungen für den RocksDB State Store Anbieter
• [SPARK-43237] [SC-129898][core] Umgang mit Null-Ausnahmemeldungen im Ereignisprotokoll
• [SPARK-43320] [SC-129899][sql][HIVE] Rufen Sie hive 2.3.9-API direkt auf
• [SPARK-43270] [SC-129897][python] Implementieren sie __dir__() in pyspark.sql.dataframe.DataFrame, um Spalten einzuschließen.
• [SPARK-43183] Zurücksetzen von „[SC-128938][ss] Einführen eines neuen Rückrufs“...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Ersetzen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_2022 durch einen internen Fehler.
• [SPARK-43198] [SC-129470][connect] Korrektur von „Klasse ammonite... konnte nicht initialisiert werden“ Fehler bei Verwendung des Filters
• [SPARK-43165] [SC-129777][sql] Verschieben von canWrite in DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl
• [SPARK-43298] [SC-129700] Revert „[PYTHON][ml] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl“
• [SPARK-43052] [SC-129663][core] Behandeln von StackTrace mit NULL-Dateinamen im Ereignisprotokoll
• [SPARK-43183] [SC-128938][ss] Führt einen neuen Rückruf "onQueryIdle" in StreamingQueryListener ein
• [SPARK-43209] [SC-129190][connect][PYTHON] Migration von Ausdrucksfehlern zur Fehlerklasse
• [SPARK-42151] [SC-128754][sql] Abgleichen von UPDATE-Zuweisungen mit Tabellenattributen
• [SPARK-43134] [SC-129468] [CONNECT] [SS] StreamingQuery-Ausnahme-API für JVM-Client
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf mit skalarer Eingabe schlägt bei einer Batchgröße von eins fehl
• [SPARK-43248] [SC-129660][sql] Unnötige Serialisierung/Deserialisierung des Pfads (Path) beim parallelen Sammeln von Partitionsstatistiken
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Einführen von PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implementieren der Eager-Auswertung für repr und repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Korrektur des Maven-Testbuilds für Scala-Client-UDF-Tests
• [SPARK-43144] [SC-129280] DataStreamReader table()-API auf Scala-Client
• [SPARK-43136] [SC-129358][connect] Hinzufügen von groupByKey + mapGroup + coGroup-Funktionen
• [SPARK-43156] [SC-129672][sc-128532][SQL] Beheben COUNT(*) is null Fehler in korrelierten skalaren Unterabfragen
• [SPARK-43046] [SC-129110] [SS] [Connect] Implementieren der Python-API dropDuplicatesWithinWatermark für Spark Connect
• [SPARK-43199] [SC-129467][sql] Festlegen von InlineCTE als idempotent
• [SPARK-43293] [SC-129657][sql] __qualified_access_only sollte in normalen Spalten ignoriert werden.
• [SPARK-43276] [SC-129461][connect][PYTHON] Migration von Spark Connect-Fensterfehlern zur Fehlerklasse
• [SPARK-43174] [SC-129109][sql] Korrektur der SparkSQLCLIDriver-Vervollständigung
• [SPARK-43084] [SC-128654] [SS] Hinzufügen von ApplyInPandasWithState-Unterstützung für Spark Connect
• [SPARK-43119] [SC-129040][sql] Unterstützung für das dynamische Abrufen von SQL-Schlüsselwörtern über die JDBC-API und TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] Pfeiloptimierte Python-UDFs in Spark Connect
• [SPARK-43085] [SC-128432][sql] Unterstützung der DEFAULT-Spaltenzuweisung für mehrteilige Tabellennamen
• [SPARK-43226] [LC-671] Definieren von Extraktionsfunktionen für Dateikonstantenmetadaten
• [SPARK-43210] [SC-129189][connect][PYTHON] Einführung von PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Veröffentlichen von treiberseitigen Metriken für LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Korrigieren des konsistenten ReplE2ESuite-Fehlers mit JDK 17
• [SPARK-43268] [SC-129249][sql] Verwenden Sie die richtigen Fehlerklassen, wenn Ausnahmen mit einer Nachricht erstellt werden.
• [SPARK-43142] [SC-129299] Korrigieren von DSL-Ausdrücken für Attribute mit Sonderzeichen
• [SPARK-43129] [SC-128896] Scala-Core-API für das Streamen von Spark Connect
• [SPARK-43233] [SC-129250] [SS] Hinzufügen von Protokollierung für Kafka-Batchlesevorgänge für Themenpartition, Offsetbereich und Aufgaben-ID
• [SPARK-43249] [SC-129195][connect] Behebung fehlender Statistiken für SQL Command
• [SPARK-42945] [SC-129188][connect] Unterstützung von PYSPARK_JVM_STACKTRACE_ENABLED in Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Migrieren von UDF-Fehlern in pySpark-Fehlerframework
• [SPARK-43123] [SC-128494][sql] Interne Feldmetadaten sollten nicht in Kataloge verloren gehen
• [SPARK-43217] [SC-129205] Korrekte Rekursion in geschachtelten Karten/Arrays in findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Fügen Sie das Parameter "level" zu printSchema für Python hinzu
• [SPARK-43230] [SC-129191][connect] Vereinfachen von DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Beachten von RequiresDistributionAndOrdering in CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migration von ValueError von Connect DataFrame zur Fehlerklasse
• [SPARK-43212] [SC-129187][ss][PYTHON] Migration von Structured Streaming-Fehlern zur Fehlerklasse
• [SPARK-43239] [SC-129186][ps] Entfernen null_counts aus info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput sollte mit der untergeordneten Ausgabe konsistent sein
• [SPARK-43191] [SC-128924][core] Ersetzen der Reflexion durch direktes Aufrufen für Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Entfernen der Problemumgehung für HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Unterstützung zum Suchen und Übertragen von clientseitigen REPL-Klassendateien als Artefakte auf den Server
• [SPARK-43098] [SC-77059][sql] Korrektur der Richtigkeit des COUNT-Fehlers bei skalaren Unterabfragen mit GROUP BY-Klausel
• [SPARK-43213] [SC-129062][python] Hinzufügen von DataFrame.offset zu Vanilla PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Fix createDataFrame, um das angegebene Schema ddl zu berücksichtigen
• [SPARK-43124] [SC-129011][sql] Lokales Projizieren von CommandResults mit Dataset.show
• [SPARK-42998] [SC-127422][connect][PYTHON] DataFrame.collect mit null-Struktur beheben
• [SPARK-41498] [SC-125343] Zurücksetzen von „Weitergabe von Metadaten über Union“
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Hinzufügen von await_termination()- und exception()-API für Streamingabfrage in Python
• [SPARK-42552] [SC-128824][sql] Korrigieren der zweistufigen Analysestrategie des ANTLR-Parsers
• [SPARK-43207] [SC-128937][connect] Fügen Sie Hilfsfunktionen hinzu, um Werte aus Literalausdrücken zu extrahieren.
• [SPARK-43186] [SC-128841][sql][HIVE] Entfernen der Problemumgehung für FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Zusammenfügen von Buckets in Join auf der Broadcastjoin-Streamseite
• [SPARK-43195] [SC-128922][core] Entfernen Sie den unnötigen serialisierbaren Wrapper in HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Verbessern Sie ArrayInsert, wenn die Position faltbar und positiv ist.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join sollte einen NULL-Wert für nicht übereinstimmende Zeile zurückgeben.
• [SPARK-43042] [SC-128602] [SS] [Connect] Hinzufügen von table()-API-Unterstützung für DataStreamReader
• [SPARK-43153] [SC-128753][connect] Spark-Ausführung überspringen, wenn der Dataframe lokal ist
• [SPARK-43064] [SC-128496][sql] Registerkarte „SQL“ in der Spark SQL-CLI sollte nur einmal eine Anweisung anzeigen
• [SPARK-43126] [SC-128447][sql] Markieren von zwei Hive-UDF-Ausdrücken als zustandsbehaftet
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Verschachtelte if Anweisungen in einzelne if-Anweisungen zusammenführen
• [SPARK-43113] [SC-128749][sql] Streamseitige Variablen auswerten, wenn Code für eine gebundene Bedingung generiert wird
• [SPARK-42895] [SC-127258][connect] Verbessern von Fehlermeldungen für beendete Spark-Sitzungen
• [SPARK-42884] [SC-126662][connect] Hinzufügen der Ammonite-REPL-Integration
• [SPARK-43168] [SC-128674][sql] Entfernen der 'get PhysicalDataType'-Methode aus der Datentyp-Klasse
• [SPARK-43121] [SC-128455][sql] Verwenden Sie BytesWritable.copyBytes anstelle der manuellen Kopie in "HiveInspectors".
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog behält Char/Varchar-Metadaten auf der Leseseite bei
• [SPARK-43050] [SC-128550][sql] Korrektur der Erstellung von Aggregatausdrücken durch Ersetzen von Gruppierungsfunktionen
• [SPARK-43095] [SC-128549][sgl] Unterbrechung der Idempotenz der Strategie „Einmal vermeiden“ für den Batch: Infer Filters
• [SPARK-43130] [SC-128597][sql] InternalType zu PhysicalDataType verschieben
• [SPARK-43105] [SC-128456][connect] Kürzen von Bytes und Zeichenfolgen in proto-Nachricht
• [SPARK-43099] [SC-128596][sql] Verwenden Sie getName anstelle von getCanonicalName, um den Namen der Generatorklasse beim Registrieren von Udf bei FunctionRegistry abzurufen.
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch Distributor unterstützen den lokalen Modus
• [SPARK-42859] Zurücksetzen von „[SC-127935][connect][PS] Grundlegende Unterstützung für Pandas-API in Spark Connect“
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin funktioniert nicht bei Verwendung von AQE
• [SPARK-43125] [SC-128477][connect] Beheben, dass der Connect Server keine Ausnahme mit NULL-Nachricht behandeln kann
• [SPARK-43147] [SC-128594] Korrektur von flake8 Lint für die lokale Überprüfung
• [SPARK-43031] [SC-128360] [SS] [Connect] Aktivieren von Komponententest und Doctest für Streaming
• [SPARK-43039] [LC-67] Unterstützen benutzerdefinierter Felder in der _metadata-Spalte der Dateiquelle
• [SPARK-43120] [SC-128407][ss] Unterstützung für die Nachverfolgung der Speichernutzung angehefteter Blöcke im RocksDB-Zustandsspeicher hinzufügen
• [SPARK-43110] [SC-128381][sql] Verschieben von asIntegral in PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Entfernen der unnötigen Assertion für UninterruptibleThread in KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Unterstützung doppelter geschachtelter Feldnamen
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable ermöglicht das Angeben der Speicherebene.
• [SPARK-42985] [SC-128332][connect][PYTHON] Fix createDataFrame, um die SQL-Konfigurationen zu berücksichtigen
• [SPARK-39696] [SC-127830][core] Korrektur des Data Race beim Zugriff auf TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Verschieben von Integral in PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Keine Aufhebung des Umbruchs von Umwandlungen im binären Vergleich, wenn das Literal NULL ist
• [SPARK-43057] [SC-127948][connect][PYTHON] Migration von Spark Connect-Spaltenfehlern zur Fehlerklasse
• [SPARK-42859] [SC-127935][connect][PS] Grundlegende Unterstützung für Pandas-API auf Spark Connect
• [SPARK-43013] [SC-127773][python] Migrieren Sie ValueError aus DataFrame in PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Maskieren der Debugzeichenfolge in der Benutzeroberfläche
• [SPARK-43028] [SC-128070][sql] Fehlerklasse SQL_CONF_NOT_FOUND hinzufügen
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Test für dropDuplicates in JavaDatasetSuite hinzufügen
• [SPARK-43075] [SC-127939][connect] Ändern Sie gRPC in grpcio, wenn sie nicht installiert ist.
• [SPARK-42953] [SC-127809][connect] Typisierter Filter, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Unterstützung der Aufhebung des Umbruchs des date-Typs in den timestamp-Typ
• [SPARK-42931] [SC-127933][s] Einführung von dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Hinzufügen von Proto-Datentypkonstanten
• [SPARK-43077] [SC-128050][sql] Verbessern der Fehlermeldung von UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader-APIs
• [SPARK-43049] [SC-127846][sql] Verwenden Sie CLOB anstelle von VARCHAR(255) für StringType für Oracle ODBC
• [SPARK-43018] [SC-127762][sql] Fehlerbehebung für INSERT Befehle mit Zeitstempel-Literalen
• [SPARK-42855] [SC-127722][sql] Verwendung von Laufzeit-Nullüberprüfungen in TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Deduplizieren von Beziehungen mit Metadatenspalten
• [SPARK-42993] [SC-127829][ml][CONNECT] Den PyTorch Distributor mit Spark Connect kompatibel machen
• [SPARK-43058] [SC-128072][sql] Verschieben von „Numeric“ und „Fractional“ in PhysicalDataType
• [SPARK-43056] [SC-127946][ss] RocksDB-Zustandsspeichercommit sollte Hintergrundaufgaben nur im angehaltenen Zustand fortsetzen
• [SPARK-43059] [SC-127947][connect][PYTHON] Migration von TypeError aus DataFrame(Reader|Writer) zur Fehlerklasse
• [SPARK-43071] [SC-128018][sql] Unterstützung von SELECT DEFAULT mit ORDER BY, LIMIT, OFFSET für INSERT die Quellbeziehung
• [SPARK-43061] [SC-127956][core][SQL] Einführung von PartitionEvaluator für die Ausführung des SQL-Operators
• [SPARK-43067] [SC-127938][ss] Korrigieren Sie den Speicherort der Fehlerklassenressourcendatei im Kafka-Connector.
• [SPARK-43019] [SC-127844][sql] Verschieben von „Ordering“ in PhysicalDataType
• [SPARK-43010] [SC-127759][python] Spaltenfehler in Fehlerklasse migrieren
• [SPARK-42840] [SC-127782][sql] _LEGACY_ERROR_TEMP_2004 Fehler in internen Fehler umwandeln
• [SPARK-43041] [SC-127765][sql] Konstruktoren von Ausnahmen zur Kompatibilität in der Connector-API wiederherstellen
• [SPARK-42939] [SC-127761][ss][CONNECT] Core Streaming Python API für Spark Connect
• [SPARK-42844] [SC-127766][sql] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2008 auf INVALID_URL
• [SPARK-42316] [SC-127720][sql] Weisen Sie _LEGACY_ERROR_TEMP_2044 einen Namen zu
• [SPARK-42995] [SC-127723][connect][PYTHON] Migration von Spark Connect-DataFrame-Fehlern zur Fehlerklasse
• [SPARK-42983] [SC-127717][connect][PYTHON] Korrektur von createDataFrame zum ordnungsgemäßen Behandeln von NumPy-Arrays der Dimension 0
• [SPARK-42955] [SC-127476][sql] Überspringe classifyException und umschließe AnalysisException für SparkThrowable
• [SPARK-42949] [SC-127255][sql] Vereinfachen des Codes für NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert sollte bei einem Index von 0 fehlschlagen
• [SPARK-42974] [SC-127487][core] Wiederherstellen von Utils.createTempDir zum Verwenden von ShutdownHookManager und Bereinigen der JavaUtils.createTempDir-Methode
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' bedeutet auch, dass bereits eine Tabelle vorhanden ist.
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME kann new-table-Name nicht mit schema-Name qualifizieren
• [SPARK-37980] [SC-127668][sql] Zugreifen auf row_index über _metadata in Tests, falls möglich
• [SPARK-42655] [SC-127591][sql] Fehler durch falschen mehrdeutigen Spaltenverweis
• [SPARK-43009] [SC-127596][sql] Parametrisierung von sql() mit Any-Konstanten
• [SPARK-43026] [SC-127590][sql] Anwenden von AQE mit Nicht-Exchange-Tabellencache
• [SPARK-42963] [SC-127576][sql] Erweitern von SparkSessionExtensions zum Einfügen von Regeln in AQE-Abfragestufenoptimierer
• [SPARK-42918] [SC-127357] Verallgemeinern der Verarbeitung von Metadatenattributen in FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Hinzufügen Catalog Unterstützung
• [SPARK-42997] [SC-127535][sql] TableOutputResolver muss korrekte Spaltenpfade in Fehlermeldungen für Arrays und Karten verwenden.
• [SPARK-43006] [SC-127486][pyspark] Tippfehler in StorageLevel beheben eq()
• [SPARK-43005] [SC-127485][pyspark] Tippfehler beheben in pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Korrektur eines Tippfehlers in ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementieren von Avro-Funktionen
• [SPARK-42979] [SC-127272][sql] Definieren von Literalkonstruktoren als Schlüsselwörter
• [SPARK-42946] [SC-127252][sql] Maskieren vertraulicher Daten, die durch Variablenersetzung geschachtelt sind
• [SPARK-42952] [SC-127260][sql] Vereinfachen des Parameters der Analyseregel PreprocessTableCreation und DataSourceAnalysis
• [SPARK-42683] [LC-75] Automatisches Umbenennen in Konflikt stehender Metadatenspalten
• [SPARK-42853] [SC-126101][followup] Korrektur von Konflikten
• [SPARK-42929] [SC-126748][connect] Ermöglichen der Unterstützung von mapInPandas/mapInArrow für „is_barrier“
• [SPARK-42968] [SC-127271][ss] Hinzufügen der Option zum Überspringen des Commitkoordinators als Teil der StreamingWrite-API für DSv2-Quellen/-Senken
• [SPARK-42954] [SC-127261][python][CONNECT] Fügen Sie YearMonthIntervalType zu PySpark und Spark Connect Python Client hinzu
• [SPARK-41359] [SC-127256][sql] Verwenden Sie PhysicalDataType anstelle von DataType in UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definieren von Spark SQL-Typen als Schlüsselwörter
• [SPARK-42808] [SC-126302][core] Vermeiden, dass availableProcessors immer in MapOutputTrackerMaster#getStatistics abgerufen wird
• [SPARK-42937] [SC-126880][sql] PlanSubqueries sollte InSubqueryExec#shouldBroadcast auf "true" festgelegt werden.
• [SPARK-42896] [SC-126729][sql][PYTHON] Ermöglichen der Unterstützung von mapInPandas / mapInArrow für die Ausführung im Barrieremodus
• [SPARK-42874] [SC-126442][sql] Aktivieren eines neuen Golden-Dateitestframeworks für die Analyse aller Eingabedateien
• [SPARK-42922] [SC-126850][sql] Wechseln von Random zu SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange bezieht sich auf nicht vorhandene Knoten
• [SPARK-40822] [SC-126274][sql] Stabile abgeleitete Spaltenaliase
• [SPARK-42908] [SC-126856][python] Auslösen eines RuntimeError, wenn SparkContext erforderlich ist, aber nicht initialisiert wird
• [SPARK-42779] [SC-126042][sql] Zulassen, dass V2-Schreibvorgänge die empfohlene Shuffle-Partitionsgröße angeben
• [SPARK-42914] [SC-126727][python] Wiederverwenden transformUnregisteredFunction für DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] Die Tabellen-API in DataFrameReader kann auch Optionen akzeptieren.
• [SPARK-42927] [SC-126883][Kern] Ändern des Zugriffsumfangs von o.a.spark.util.Iterators#size in private[util]
• [SPARK-42943] [SC-126879][sql] Verwenden Sie LONGTEXT anstelle von TEXT für StringType für effektive Länge.
• [SPARK-37677] [SC-126855][core] Entzippen kann Dateiberechtigungen beibehalten
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Implementieren der CoGrouped Map-API
• [SPARK-41876] [SC-126849][connect][PYTHON] Implementieren von DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][Core][SQL] Den Zugriffsumfang der ProtobufSerDe zugehörigen Implementierungen zu private[protobuf] ändern
• [SPARK-42819] [SC-125879][ss] Fügen Sie Unterstützung für das Festlegen von max_write_buffer_number und write_buffer_size für RocksDB hinzu, die beim Streaming verwendet werden.
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Klären Sie den Kommentar parametrisierter SQL-Args
• [SPARK-42748] [SC-126455][connect] Serverseitige Artefaktverwaltung
• [SPARK-42816] [SC-126365][connect] Unterstützung für eine maximale Nachrichtengröße von bis zu 128 MB
• [SPARK-42850] [SC-126109][sql] Entfernen duplizierter Regel combineFilters in Optimizer
• [SPARK-42662] [SC-126355][Connect][PS] Protomeldung für pandas-API im Spark-Standardindex hinzufügen
• [SPARK-42720] [SC-126136][ps][SQL] Verwendet Ausdruck für den Standardindex für verteilte Sequenzen anstelle des Plans.
• [SPARK-42790] [SC-126174][sql] Abstrahiere die ausgeschlossene Methode für bessere Tests der JDBC-Docker-Tests.
• [SPARK-42900] [SC-126473][connect][PYTHON] Fix createDataFrame, um Rückschlüsse und Spaltennamen zu beachten
• [SPARK-42917] [SC-126657][sql] Korrigiere „getUpdateColumnNullabilityQuery“ für DerbyDialect
• [SPARK-42684] [SC-125157][sql] v2-Katalog darf den Spaltenstandardwert nicht standardmäßig zulassen.
• [SPARK-42861] [SC-126635][sql] Verwenden Sie private[sql] anstelle von protected[sql], um das Generieren eines API-Dokuments zu vermeiden.
• [SPARK-42920] [SC-126728][connect][PYTHON] Tests für UDF mit UDT aktivieren
• [SPARK-42791] [SC-126617][sql] Erstellen eines neuen goldenen Dateitestframeworks für die Analyse
• [SPARK-42911] [SC-126652][python] Einführen grundlegenderer Ausnahmen
• [SPARK-42904] [SC-126634][sql] Char/Varchar-Unterstützung für den JDBC-Katalog
• [SPARK-42901] [SC-126459][connect][PYTHON] Verschiebe StorageLevel in eine separate Datei, um potenzielle file recursively imports zu vermeiden
• [SPARK-42894] [SC-126451][connect] Unterstützung von cache/persist/unpersist/storageLevel für Spark Connect-JVM-Client
• [SPARK-42792] [SC-125852][SS] Hinzufügen von Unterstützung für WRITE_FLUSH_BYTES für RocksDB beim Streaming zustandsbehafteter Operatoren
• [SPARK-41233] [SC-126441][connect][PYTHON] Hinzufügen von array_prepend zum Spark Connect Python-Client
• [SPARK-42681] [SC-125149][sql] Aufhebung der Sortiereinschränkung für ALTER TABLE ADD|REPLACE-Spaltendeskriptor
• [SPARK-42889] [SC-126367][connect][PYTHON] Implementieren von „cache“, „persist“, „unpersist“ und „storageLevel“
• [SPARK-42824] [SC-125985][connect][PYTHON] Bereitstellen einer eindeutigen Fehlermeldung für nicht unterstützte JVM-Attribute
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementieren der gruppierten Karten-API
• [SPARK-42892] [SC-126454][sql] SameType und relevante Methoden aus DataType herausnehmen
• [SPARK-42827] [SC-126126][connect] Unterstützung von functions#array_prepend für den Scala Connect-Client
• [SPARK-42823] [SC-125987][sql] spark-sql Shell unterstützt mehrteilige Namespaces für die Initialisierung
• [SPARK-42817] [SC-125960][core] Protokolliert den Namen des Shuffle-Diensts einmal in ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Eingegebene Auswahl
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementieren der ML-Funktion {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Codegen-Unterstützung für HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Funktion array_prepend hinzufügen
• [SPARK-42864] [SC-126268][ml][3.4] Machen IsotonicRegression.PointsAccumulator privat
• [SPARK-42876] [SC-126281][sql] Der physische Datentyp von DataType sollte privat sein[sql]
• [SPARK-42101] [SC-125437][sql] AQE soll InMemoryTableScanExec unterstützen
• [SPARK-41290] [SC-124030][sql] Unterstützung von GENERATED ALWAYS AS-Ausdrücken für Spalten in CREATE/REPLACE TABLE-Anweisungen
• [SPARK-42870] [SC-126220][connect] Verschieben toCatalystValue in connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Behebt UserDefinedFunction, sodass returnType vorhanden ist.
• [SPARK-42875] [SC-126258][connect][PYTHON] Korrektur von toPandas zum ordnungsgemäßen Behandeln von timezone- und map-Typen
• [SPARK-42757] [SC-125626][connect] Implementieren von textFile für DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Verwenden Sie die getParameterCount-Funktion anstelle von "getParameterTypes.length".
• [SPARK-42833] [SC-126043][sql] Umgestalten von applyExtensions in SparkSession
• [SPARK-41765] Zurücksetzen von „[SC-123550][sql] Abrufen von v1-Schreibmetriken...“
• [SPARK-42848] [SC-126105][connect][PYTHON] Implementieren von DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Unterstützung von UserDefinedType in Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Implementieren von DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Hinzufügen von client_type zu AddArtifactsRequest-Protobuf-Nachricht
• [SPARK-42772] [SC-125860][sql] Ändern Sie den Standardwert der JDBC-Optionen zum Push-Down auf "true".
• [SPARK-42771] [SC-125855][sql] Umgestalten von HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: Schreiben komplexer Unions
• [SPARK-42765] [SC-125850][connect][PYTHON] Aktivierung des Imports von pandas_udf aus pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation sollte spark.shuffle.reduceLocality.enabled berücksichtigen
• [SPARK-42480] [SC-125173][sql] Verbesserung der Leistung beim Löschen von Partitionen
• [SPARK-42689] [SC-125195][core][SHUFFLE] Ermöglichen, dass ShuffleDriverComponent erklärt, ob Shuffle-Daten zuverlässig gespeichert sind
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementieren von DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Abrufen von v1-Schreibmetriken in WriteFiles
• [SPARK-41171] [SC-124191][sql] Ableiten und Herabsetzen des Fensterlimits, wenn partitionSpec leer ist
• [SPARK-42686] [SC-125292][Core] Zurückstellen der Formatierung für Debugnachrichten in TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Hilfsfunktion zum Konvertieren des Proto-Literals in einen Wert im Python-Client
• [SPARK-42793] [SC-125627][connect] connect-Modul erfordert build_profile_flags
• [SPARK-42701] [SC-125192][sql] Fügen Sie die funktion try_aes_decrypt() hinzu.
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame funktioniert nicht mit nicht nullablem Schema
• [SPARK-42733] [SC-125542][connect][Followup] Schreiben ohne Pfad oder Tabelle
• [SPARK-42777] [SC-125525][sql] Unterstützung der Konvertierung von TimestampNTZ-Katalogstatistiken in Planstatistiken
• [SPARK-42770] [SC-125558][connect] Hinzufügen von truncatedTo(ChronoUnit.MICROS), um SQLImplicitsTestSuite im täglichen Aufgabendurchlauf zum Testen der allgemeinen Verfügbarkeit in Java 17 erfolgreich durchzuführen
• [SPARK-42752] [SC-125550][pyspark][SQL] Machen PySpark-Ausnahmen während der Initialisierung druckbar
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Unterstützung der getActiveSession-Methode der Spark Connect-Sitzung
• [SPARK-42755] [SC-125442][connect] Faktorisieren der Literalwertkonvertierung in connect-common
• [SPARK-42747] [SC-125399][ml] Falschen internen Status von LoR und AFT korrigieren
• [SPARK-42740] [SC-125439][sql] Korrektur des Fehlers, dass ein Pushdown von Offset oder Paging für einen integrierten Dialekt ungültig ist
• [SPARK-42745] [SC-125332][sql] Verbesserte AliasAwareOutputExpression funktioniert mit DSv2
• [SPARK-42743] [SC-125330][sql] Unterstützung der Analyse von TimestampNTZ-Spalten
• [SPARK-42721] [SC-125371][connect] RPC-Protokollierungsinterceptor
• [SPARK-42691] [SC-125397][connect][PYTHON] Implementieren von Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] Umbenennen von client_id in session_id in Connect-Proto-Anforderung
• [SPARK-42310] [SC-122792][sql] Weisen Sie _LEGACY_ERROR_TEMP_1289 einen Namen zu.
• [SPARK-42685] [SC-125339][core] Optimierung der Utils.bytesToString-Routinen
• [SPARK-42725] [SC-125296][connect][PYTHON] Ermöglichen der Unterstützung von LiteralExpression für Arrayparameter
• [SPARK-42702] [SC-125293][spark-42623][SQL] Unterstützung parametrisierter Abfrage in Unterabfragen und CTE
• [SPARK-42697] [SC-125189][webui] Korrektur von /api/v1/applications, um die Gesamtuptime anstelle von 0 im Feld „Dauer“ zurückzugeben
• [SPARK-42733] [SC-125278][connect][PYTHON] Korrigiere DataFrameWriter.save, um ohne Pfadparameter zu funktionieren
• [SPARK-42376] [SC-124928][ss] Einführung der Wasserzeichenweitergabe zwischen Operatoren
• [SPARK-42710] [SC-125205][connect][PYTHON] FrameMap proto in MapPartitions umbenennen
• [SPARK-37099] [SC-123542][sql] Einführung des Gruppengrenzwerts von „Window“ für rangbasierte Filter zur Optimierung der Top-K-Berechnung
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] Führen Sie den UnparsedDataType ein und verschieben Sie das Parsen der DDL-Zeichenfolge, bis der SparkConnectClient verfügbar ist.
• [SPARK-42690] [SC-125193][connect] Implementieren von CSV/JSON-Analysefunktionen für scala-Client
• [SPARK-42709] [SC-125172][python] Entfernen Sie die Annahme, dass __file__ verfügbar sind.
• [SPARK-42318] [SC-122648][spark-42319][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Unterstützung des Parser-Datentyps json "timestamp_ltz" als TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() sollte das Schema nicht zwischenspeichern
• [SPARK-42643] [SC-125152][connect][PYTHON] Registrieren von benutzerdefinierten Java-Funktionen (Aggregat)
• [SPARK-42656] [SC-125177][connect][Followup] Spark-Connect-Skript beheben
• [SPARK-41516] [SC-123899] [SQL] Ermöglichen des Überschreibens der Abfrage zum Erstellen einer Tabelle für JDBC-Dialekte
• [SPARK-41725] [SC-124396][connect] Schnelle Ausführung von DF.sql()
• [SPARK-42687] [SC-124896][ss] Verbesserte Fehlermeldung für den nicht unterstützten pivot-Vorgang in Streaming
• [SPARK-42676] [SC-124809][ss] Schreiben von temp-Prüfpunkten für Streamingabfragen in das lokale Dateisystem, auch wenn standard FS anders festgelegt ist
• [SPARK-42303] [SC-122644][sql] Weisen Sie _LEGACY_ERROR_TEMP_1326 einen Namen zu
• [SPARK-42553] [SC-124560][sql] Sicherstellen von mindestens einer Zeiteinheit nach „interval“
• [SPARK-42649] [SC-124576][core] Entfernen Sie den standardmäßigen Apache-Lizenzheader von der Spitze der Quelldateien von Drittanbietern.
• [SPARK-42611] [SC-124395][sql] Einfügen von char-/varchar-Längenüberprüfungen für innere Felder während der Auflösung
• [SPARK-42419] [SC-124019][connect][PYTHON] Migration zum Fehlerframework für die Spark Connect-Spalten-API
• [SPARK-42637] [SC-124522][connect] Hinzufügen von SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Ändern des Alias für veraltete und entfernte NumPy-Typen
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver darf nur hive-Sitzungen mit dem sessionState „started“ schließen
• [SPARK-42593] [SC-124405][ps] Einstellung und Entfernung der APIs, die in Pandas 2.0 entfernt werden
• [SPARK-41870] [SC-124402][connect][PYTHON] Fix createDataFrame, um doppelte Spaltennamen zu behandeln
• [SPARK-42569] [SC-124379][connect] Auslösen von Ausnahmen für nicht unterstützte Sitzungs-API
• [SPARK-42631] [SC-124526][connect] Unterstützen benutzerdefinierter Erweiterungen im Scala-Client
• [SPARK-41868] [SC-124387][connect][PYTHON] Korrektur von createDataFrame zum Unterstützen der Angabe einer Dauer
• [SPARK-42572] [SC-124171][sql][SS] Korrektur des Verhaltens für StateStoreProvider.validateStateRowFormat

Wartungsupdates

Informationen finden Sie unter Wartungsupdates für Databricks Runtime 13.1.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 10.02.2023 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)