Databricks Runtime 16.0

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.0, optimisées par Apache Spark 3.5.0.

Databricks a publié cette version en novembre 2024.

Modifications de comportement

• Changement cassant : JDK 17 est désormais la valeur par défaut
• Changement cassant : Hosted RStudio est en fin de vie
• Changement cassant : suppression de la prise en charge de la modificationbyte, shortint et long des types vers des types plus larges
• Analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués
• Améliorer la détection des correspondances en double dans Delta Lake MERGE
• La méthode d’installation de la bibliothèque de cluster ne peut plus être remplacée
• Délai d’expiration par défaut de deux heures pour les installations de la bibliothèque dans l’étendue du cluster
• L’installation des bibliothèques à partir de DBFS et la définition de spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sont désactivées
• La addArtifact() fonctionnalité est désormais cohérente entre les types de calcul

Changement cassant : JDK 17 est désormais la valeur par défaut

Dans Databricks Runtime 16.0 et versions ultérieures, la version JDK par défaut est passée de JDK 8 à JDK 17. Cette modification est apportée en raison de la dépréciation planifiée et de la fin de la prise en charge pour JDK 8. Cela affecte les éléments suivants :

• Le code Java s’exécutant sur le calcul Azure Databricks doit être compatible avec Java 17.
• Le code Scala s’exécutant dans les notebooks ou le calcul Azure Databricks doit être compatible avec Java 17.
• Les bibliothèques Java et Scala installées sur le calcul doivent être compatibles avec Java 17.
• Versions du client de metastore Apache Hive inférieures à 2.x. La définition de la configuration spark.sql.hive.metastore.version Spark sur une version inférieure à 2.x entraîne des problèmes de compatibilité avec java 17 et des échecs de connexion au metastore Hive. Databricks recommande de mettre à niveau Hive vers une version supérieure à la version 2.0.0.

Si vous devez revenir à Java 8, ajoutez les éléments suivants aux variables d’environnement Spark lorsque vous configurez votre calcul Azure Databricks :

JNAME=zulu8-ca-amd64

Si vous utilisez des instances ARM, utilisez les éléments suivants :

JNAME=zulu8-ca-arm64

Pour en savoir plus sur la spécification des versions JDK avec le calcul Azure Databricks, consultez Créer un cluster qui utilise JDK 17.

Pour obtenir de l’aide sur la migration de votre code à partir de Java 8, consultez les guides suivants :

• Passer de Java 8 à Java 11
• Migration de JDK 8 vers des versions ultérieures de JDK

Changement cassant : Hosted RStudio est en fin de vie

Avec cette version, RStudio Server hébergé par Databricks est en fin de vie et indisponible sur n’importe quel espace de travail Azure Databricks exécutant Databricks Runtime 16.0 et versions ultérieures. Pour en savoir plus et voir une liste d’alternatives à RStudio, consultez la dépréciation de RStudio Server hébergée.

Changement cassant : suppression de la prise en charge de la modificationbyte, shortint et long des types vers des types plus larges

Dans Databricks Runtime 15.4.3 et versions ultérieures, les modifications de type de données suivantes ne peuvent plus être appliquées aux tables avec la fonctionnalité d’élargissement du type activée :

• byte, shortint et long à decimal.
• byte, shortet int à double.

Cette modification est apportée pour garantir un comportement cohérent entre les tables Delta et Iceberg. Pour en savoir plus sur l’élargissement de type, consultez l’élargissement du type.

Analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués

Cette version inclut une modification pour prendre en charge l’analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués. Par exemple, [^[abc]] sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc » ».

En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que [[a-c][1-3]].

Améliorer la détection des correspondances en double dans Delta Lake MERGE

Dans Databricks Runtime 15.4 LTS et ci-dessous, MERGE les opérations échouent si plusieurs lignes de la table source correspondent à la même ligne dans la table cible en fonction de la MERGE condition spécifiée dans la ON clause. Dans Databricks Runtime 16.0 et versions ultérieures, MERGE considère également les conditions spécifiées dans la WHEN MATCHED clause. Consultez Upsert dans une table Delta Lake à l’aide de la fusion.

La méthode d’installation de la bibliothèque de cluster ne peut plus être remplacée

Les configurations spark.databricks.libraries.enableSparkPyPISpark, spark.databricks.libraries.enableMavenResolutionet spark.databricks.libraries.enableCRANResolutionnow maintenant par défaut true et ne peuvent pas être remplacées.

Délai d’expiration par défaut de deux heures pour les installations de la bibliothèque dans l’étendue du cluster

Dans Databricks Runtime 16.0 et versions ultérieures, l’installation de la bibliothèque au niveau du cluster a un délai d’expiration par défaut de deux heures. Les installations de bibliothèque qui prennent plus de temps que ce délai d’attente échouent et l’installation est terminée. Lors de la configuration d’un cluster, vous pouvez modifier la période d’expiration à l’aide de la configuration spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark.

L’installation des bibliothèques à partir de DBFS et la définition de spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sont désactivées

Dans Databricks Runtime 16.0 et versions ultérieures, l’installation des bibliothèques à partir de DBFS est entièrement désactivée. Cette modification est apportée pour améliorer la sécurité des bibliothèques dans un espace de travail Databricks. En outre, dans Databricks Runtime 16.0 et versions ultérieures, vous ne pouvez plus utiliser la configuration spark.databricks.driver.dbfsLibraryInstallationAllowedSpark.

La addArtifact() fonctionnalité est désormais cohérente entre les types de calcul

Avec cette version, l’archive est automatiquement décompressée lorsque vous utilisez addArtifact(archive = True) pour ajouter une dépendance au calcul Azure Databricks partagé ou serverless. Cette modification rend le comportement de addArtifact(archive = True) sur ces types de calcul cohérent avec le calcul mono-utilisateur, qui prend déjà en charge la décompression automatique des archives.

Améliorations et nouvelles fonctionnalités

• Rechargement plus fiable des modules Python modifiés avec des améliorations apportées autoreload
• Prise en charge d’Avro pour le schéma récursif
• to_avro et from_avro, fonctions
• Prise en charge étendue du Registre de schémas Confluent pour Avro
• Forcer la reclustivité sur les tables avec le clustering liquide
• Les API Delta pour Python et Scala prennent désormais en charge les colonnes d’identité
• Le contrôle d’accès affiné sur le calcul d’un seul utilisateur est généralement disponible
• Créer des tables en cluster liquides pendant les écritures de streaming
• Prise en charge de la OPTIMIZEclause FULL
• Prise en charge de la spécification des options WITH dans les INSERT et les références de table
• Nouvelles fonctions SQL
• Activer l’évolution automatique du schéma lors de la fusion de données dans une table Delta

Rechargement plus fiable des modules Python modifiés avec des améliorations apportées autoreload

Dans Databricks Runtime 16.0 et versions ultérieures, les mises à jour apportées à l’extension autoreload améliorent la sécurité et la fiabilité du rechargement des modules Python modifiés importés à partir de fichiers d’espace de travail. Avec ces modifications, autoreloadle cas échéant, recharge uniquement la partie d’un module qui a changé au lieu de l’ensemble du module. En outre, Azure Databricks suggère désormais automatiquement d’utiliser l’extension autoreload si le module a changé depuis sa dernière importation. Consultez Autoreload pour les modules Python.

Prise en charge d’Avro pour le schéma récursif

Vous pouvez maintenant utiliser l’option recursiveFieldMaxDepth avec la from_avro fonction et la source de avro données. Cette option définit la profondeur maximale pour la récursivité du schéma sur la source de données Avro. Consultez Lire et écrire des données Avro en streaming.

fonctions to_avro et from_avro

Les fonctions to_avro et from_avro permettent la conversion de types SQL en données binaires Avro et retour.

Prise en charge étendue du Registre de schémas Confluent pour Avro

Azure Databricks prend désormais en charge la référence de schéma Avro avec le Registre de schémas Confluent. Consultez s’authentifier auprès d’un registre de schémas Confluent externe.

Forcer la reclustivité sur les tables avec le clustering liquide

Dans Databricks Runtime 16.0 et versions ultérieures, vous pouvez utiliser la syntaxe pour forcer la OPTIMIZE FULL reclustivité de tous les enregistrements d’une table avec clustering liquide activé. Consultez Force reclustering pour tous les enregistrements.

Les API Delta pour Python et Scala prennent désormais en charge les colonnes d’identité

Vous pouvez maintenant utiliser les API Delta pour Python et Scala pour créer des tables avec des colonnes d’identité. Consultez Utiliser des colonnes d’identité dans Delta Lake.

Le contrôle d’accès affiné sur le calcul d’un seul utilisateur est généralement disponible

Dans Databricks Runtime 16.0 et versions ultérieures, le contrôle d’accès affiné sur le calcul mono-utilisateur est généralement disponible. Dans les espaces de travail activés pour le calcul serverless, si une requête est exécutée sur un calcul pris en charge, comme le calcul d’un seul utilisateur et que la requête accède à l’un des objets suivants, la ressource de calcul transmet la requête au calcul serverless pour exécuter le filtrage des données :

• Vues définies sur des tables sur lesquelles l’utilisateur n’a pas le privilège SELECT.
• Vues dynamiques.
• Tableaux avec des filtres de lignes ou des masques de colonne appliqués.
• Vues matérialisées et tables de streaming

Créer des tables en cluster liquides pendant les écritures de streaming

Vous pouvez désormais utiliser clusterBy pour activer le clustering liquide lors de la création de tables avec des écritures Structured Streaming. Consultez Activer le clustering liquide.

Prise en charge de la clause FULL OPTIMIZE

Databricks Runtime 16.0 prend en charge la clause OPTIMIZE FULL. Cette clause optimise tous les enregistrements d’une table qui utilise le clustering liquide, y compris les données qui ont pu être précédemment regroupées.

Prise en charge de la spécification des options WITH dans les INSERT et les références de table

Databricks Runtime 16.0 prend en charge une spécification d’options pour les références de table et les noms de tables d’une INSERT instruction qui peut être utilisée pour contrôler le comportement des sources de données.

Nouvelles fonctions SQL

Les fonctions SQL suivantes sont ajoutées dans Databricks Runtime 16.0 :

• try_url_decode

  Cette fonction est une version tolérante aux erreurs de url_decode. Cette fonction retourne NULL si l’entrée n’est pas une chaîne encodée URL valide.

• zeroifnull

  Si l’expression d’entrée à la zeroifnull() fonction est NULL, la fonction retourne 0. Sinon, la valeur de l’expression d’entrée est retournée.

• nullifzero

  Retourne NULL si l’entrée est 0 ou son entrée si elle n’est pas 0. Si l’expression d’entrée de la nullifzero() fonction est 0, la fonction retourne NULL. Si l’expression d’entrée n’est pas 0, la valeur de l’expression d’entrée est retournée

Activer l’évolution automatique du schéma lors de la fusion de données dans une table Delta

Cette version ajoute la prise en charge du withSchemaEvolution() membre de la DeltaMergeBuilder classe. Permet withSchemaEvolution() d’activer l’évolution automatique du schéma pendant les MERGE opérations. Par exemple : mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Autres modifications

SparkR est désormais déconseillé

Dans Databricks Runtime 16.0 et versions ultérieures, SparkR dans Databricks est déconseillé en préparation de sa dépréciation dans la prochaine version de Spark 4. Consultez le thread Spark déprécié Apache SparkR.

Databricks recommande d’utiliser sparklyr à la place.

Databricks Runtime 16.0 n’est pas pris en charge avec le PVC

Databricks Runtime 16.0 n’est pas pris en charge par databricks Private Virtual Cloud (PVC). Vous devez utiliser Databricks Runtime 15.4 ou inférieur avec toutes les versions pvc.

Résolution des bogues

Le chargeur automatique sauve désormais les types d’enregistrements Avro avec des schémas vides

Lors du chargement d’un fichier Avro dans une table Delta à l’aide du chargeur automatique, record les types du fichier qui ont un schéma vide sont désormais ajoutés à la colonne de données sauvée. Étant donné que vous ne pouvez pas ingérer des types de données complexes vides dans une table Delta, cela résout un problème lié au chargement de certains fichiers Avro. Pour en savoir plus sur les données sauvées, consultez Quelle est la colonne de données sauvée ?.

Correction de l’erreur lors de l’écriture d’horodatages avec des fuseaux horaires contenant un deuxième décalage.

Cette version corrige un bogue affectant certains horodatages avec des fuseaux horaires contenant un deuxième décalage. Ce bogue entraîne l’omission des secondes lors de l’écriture dans JSON, XML ou CSV, ce qui entraîne des valeurs d’horodatage incorrectes.

Pour revenir au comportement précédent, utilisez l’option suivante lors de l’écriture dans l’un des formats concernés : .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • azure-core de 1.30.2 à 1.31.0
  • azure-storage-blob de 12.19.1 à 12.23.0
  • azure-storage-file-datalake de 12.14.0 à 12.17.0
  • noir de 23.3.0 à 24.4.2
  • clignoter de 1.4 à 1.7.0
  • boto3 de 1.34.39 à 1.34.69
  • botocore de 1.34.39 à 1.34.69
  • certifi de 2023.7.22 à 2024.6.2
  • cffi de 1.15.1 à 1.16.0
  • cliquez entre 8.0.4 et 8.1.7
  • comm de 0.1.2 à 0.2.1
  • contourpy de 1.0.5 à 1.2.0
  • chiffrement de 41.0.3 à 42.0.5
  • Cython de 0.29.32 à 3.0.11
  • databricks-sdk de 0.20.0 à 0.30.0
  • dbus-python de 1.2.18 à 1.3.2
  • filelock de 3.13.4 à 3.15.4
  • fonttools de 4.25.0 à 4.51.0
  • GitPython de 3.1.43 à 3.1.37
  • google-api-core de 2.18.0 à 2.20.0
  • google-auth de 2.31.0 à 2.35.0
  • google-cloud-storage de 2.17.0 à 2.18.2
  • google-crc32c de 1.5.0 à 1.6.0
  • google-reprise-media de 2.7.1 à 2.7.2
  • googleapis-common-protos de 1.63.2 à 1.65.0
  • httplib2 de 0.20.2 à 0.20.4
  • idna de 3.4 à 3.7
  • ipykernel de 6.25.1 à 6.28.0
  • ipython de 8.15.0 à 8.25.0
  • jedi de 0.18.1 à 0.19.1
  • jmespath de 0.10.0 à 1.0.1
  • joblib de 1.2.0 à 1.4.2
  • jupyter_client de 7.4.9 à 8.6.0
  • jupyter_core de 5.3.0 à 5.7.2
  • launchpadlib de 1.10.16 à 1.11.0
  • lazr.restfulclient de 0.14.4 à 0.14.6
  • matplotlib de 3.7.2 à 3.8.4
  • mlflow-skinny de 2.11.4 à 2.15.1
  • more-itertools de 8.10.0 à 10.3.0
  • mypy-extensions de 0.4.3 à 1.0.0
  • nest-asyncio de 1.5.6 à 1.6.0
  • numpy de 1.23.5 à 1.26.4
  • oauthlib de 3.2.0 à 3.2.2
  • empaquetage de 23.2 à 24.1
  • patsy de 0.5.3 à 0.5.6
  • pip de 23.2.1 à 24.2
  • tracé de 5.9.0 à 5.22.0
  • prompt-toolkit de 3.0.36 à 3.0.43
  • pyarrow de 14.0.1 à 15.0.2
  • pydantic de 1.10.6 à 2.8.2
  • PyGObject de 3.42.1 à 3.48.2
  • PyJWT de 2.3.0 à 2.7.0
  • pyodbc de 4.0.38 à 5.0.1
  • python-dateutil de 2.8.2 à 2.9.0.post0
  • python-lsp-jsonrpc de 1.1.1 à 1.1.2
  • pytz de 2022.7 à 2024.1
  • PyYAML de 6.0 à 6.0.1
  • pyzmq de 23.2.0 à 25.1.2
  • demandes de 2.31.0 à 2.32.2
  • scikit-learn de 1.3.0 à 1.4.2
  • scipy de 1.11.1 à 1.13.1
  • seaborn de 0.12.2 à 0.13.2
  • setuptools de 68.0.0 à 74.0.0
  • smmap de 5.0.1 à 5.0.0
  • sqlparse de 0.5.0 à 0.5.1
  • statsmodels de 0.14.0 à 0.14.2
  • tornado de 6.3.2 à 6.4.1
  • traitlets de 5.7.1 à 5.14.3
  • typing_extensions de 4.10.0 à 4.11.0
  • ujson de 5.4.0 à 5.10.0
  • virtualenv de 20.24.2 à 20.26.2
  • roue de 0.38.4 à 0.43.0
  • zipp de 3.11.0 à 3.17.0
• Bibliothèques R mises à niveau :
  • flèche de 14.0.0.2 à 16.1.0
  • rétroports de 1.4.1 à 1.5.0
  • base comprise entre 4.3.2 et 4.4.0
  • bitops de 1.0-7 à 1.0-8
  • démarrage de 1.3-28 à 1.3-30
  • brio de 1.1.4 à 1.1.5
  • broom de 1.0.5 à 1.0.6
  • bslib de 0.6.1 à 0.8.0
  • cachem de 1.0.8 à 1.1.0
  • appelant de 3.7.3 à 3.7.6
  • cli de 3.6.2 à 3.6.3
  • horloge comprise entre 0.7.0 et 0.7.1
  • cluster de 2.1.4 à 2.1.6
  • codetools de 0.2-19 à 0.2-20
  • colorspace de 2.1-0 à 2.1-1
  • compilateur de 4.3.2 à 4.4.0
  • crayon de 1.5.2 à 1.5.3
  • curl de 5.2.0 à 5.2.1
  • data.table de 1.15.0 à 1.15.4
  • jeux de données de 4.3.2 à 4.4.0
  • DBI de 1.2.1 à 1.2.3
  • dbplyr de 2.4.0 à 2.5.0
  • digest de 0.6.34 à 0.6.36
  • rétrolité de 0.4.3 à 0.4.4
  • évaluer de 0,23 à 0.24.0
  • loinver de 2.1.1 à 2.1.2
  • fastmap de 1.1.1 à 1.2.0
  • étranger de 0,8-85 à 0,8-86
  • fs de 1.6.3 à 1.6.4
  • future de 1.33.1 à 1.34.0
  • future.apply de 1.11.1 à 1.11.2
  • gert de 2.0.1 à 2.1.0
  • ggplot2 de 3.4.4 à 3.5.1
  • gh de 1.4.0 à 1.4.1
  • globals de 0.16.2 à 0.16.3
  • graphiques de 4.3.2 à 4.4.0
  • grDevices de 4.3.2 à 4.4.0
  • grille comprise entre 4.3.2 et 4.4.0
  • gt de 0.10.1 à 0.11.0
  • gtable de 0.3.4 à 0.3.5
  • hardhat de 1.3.1 à 1.4.0
  • highr de 0,10 à 0,11
  • htmltools de 0.5.7 à 0.5.8.1
  • httpuv de 1.6.14 à 1.6.15
  • httr2 de 1.0.0 à 1.0.2
  • ipred de 0.9-14 à 0.9-15
  • KernSmooth de 2.23-21 à 2.23-22
  • knitr de 1,45 à 1,48
  • treillis de 0,21-8 à 0,22-5
  • lave de 1.7.3 à 1.8.0
  • Markdown de 1.12 à 1.13
  • MASS de 7.3-60 à 7.3-60.0.1
  • Matrice comprise entre 1.5-4.1 et 1.6-5
  • méthodes comprises entre 4.3.2 et 4.4.0
  • mgcv de 1,8-42 à 1,9-1
  • mlflow de 2.10.0 à 2.14.1
  • munsell de 0.5.0 à 0.5.1
  • nlme de 3.1-163 à 3.1-165
  • openssl de 2.1.1 à 2.2.0
  • parallèle de 4.3.2 à 4.4.0
  • parallèlement entre 1.36.0 et 1.38.0
  • pkgbuild de 1.4.3 à 1.4.4
  • pkgdown de 2.0.7 à 2.1.0
  • pkgload de 1.3.4 à 1.4.0
  • processx de 3.8.3 à 3.8.4
  • prodlim de 2023.08.28 à 2024.06.25
  • promesses comprises entre 1.2.1 et 1.3.0
  • ps de 1.7.6 à 1.7.7
  • ragg de 1.2.7 à 1.3.2
  • Rcpp de 1.0.12 à 1.0.13
  • RcppEigen de 0.3.3.9.4 à 0.3.4.0.0
  • reactR de 0.5.0 à 0.6.0
  • recettes comprises entre 1.0.9 et 1.1.0
  • remotes de 2.4.2.1 à 2.5.0
  • reprex de 2.1.0 à 2.1.1
  • rlang de 1.1.3 à 1.1.4
  • rmarkdown de 2.25 à 2.27
  • roxygen2 de 7.3.1 à 7.3.2
  • rpart de 4.1.21 à 4.1.23
  • RSQLite de 2.3.5 à 2.3.7
  • rstudioapi de 0.15.0 à 0.16.0
  • rvest de 1.0.3 à 1.0.4
  • sass de 0.4.8 à 0.4.9
  • forme comprise entre 1.4.6 et 1.4.6.1
  • brillant de 1.8.0 à 1.9.1
  • sparklyr de 1.8.4 à 1.8.6
  • spatial de 7.3-15 à 7.3-17
  • splines de 4.3.2 à 4.4.0
  • statistiques comprises entre 4.3.2 et 4.4.0
  • stats4 de 4.3.2 à 4.4.0
  • stringi de 1.8.3 à 1.8.4
  • survie de 3,5-5 à 3,6-4
  • swagger de 3.33.1 à 5.17.14.1
  • systemfonts de 1.0.5 à 1.1.0
  • tcltk de 4.3.2 à 4.4.0
  • testthat de 3.2.1 à 3.2.1.1
  • texthaping from 0.3.7 to 0.4.0
  • tidyselect de 1.2.0 à 1.2.1
  • tinytex de 0,49 à 0,52
  • outils de 4.3.2 à 4.4.0
  • usethis de 2.2.2 à 3.0.0
  • utils de 4.3.2 à 4.4.0
  • uuid de 1.2-0 à 1.2-1
  • V8 de 4.4.1 à 4.4.2
  • withr de 3.0.0 à 3.0.1
  • xfun de 0.41 à 0.46
  • xopen de 1.0.0 à 1.0.1
  • yaml de 2.3.8 à 2.3.10
• Bibliothèques Java mises à niveau :
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-config de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-core de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-directory de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ecs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-efs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-emr de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-glacier de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-glue de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-iam de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-importexport de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-assemblys de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-kms de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-lambda de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-logs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-rds de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-redshift de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-route53 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-s3 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ses de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sns de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sqs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ssm de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sts de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-support de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 à 1.12.638
  • com.amazonaws.jmespath-java de 1.12.610 à 1.12.638
  • com.google.protobuf.protobuf-java de 2.6.1 à 3.25.1
  • io.airlift.aircompressor de 0,25 à 0,27
  • io.delta.delta-sharing-client_2.12 de 1.1.3 à 1.2.0
  • io.netty.netty-all de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-buffer de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-codec de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-codec-http de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-codec-http2 de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-codec-socks de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-common de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-handler de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-handler-proxy de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-resolver de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-transport de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-transport-classes-epoll de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.96.Final à 4.1.108.Final
  • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 à 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 à 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.96.Final à 4.1.108.Final
  • org.apache.ivy.ivy de 2.5.1 à 2.5.2
  • org.apache.zookeeper.zookeeper de 3.6.3 à 3.9.2
  • org.apache.zookeeper.zookeeper-jute de 3.6.3 à 3.9.2
  • org.rocksdb.rocksdbjni de 8.11.4 à 9.2.1
  • org.scalactic.scalactic_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-compatible entre 3.2.15 et 3.2.16
  • org.scalatest.scalatest-core_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-freespec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-funspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-propspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-refspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest_2.12 de 3.2.15 à 3.2.16

Apache Spark

Databricks Runtime 16.0 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs spark et améliorations inclus dans Databricks Runtime 15.4 LTS, ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-49093] [DBRRM-1371] Rétablir " [SC-172958][SQL] GROUP BY avec MapType nes...
• [SPARK-49898] [DBRRM-1282][SC-178410] Correction de la documentation et de la valeur par défaut pour l’indicateur de journalisation des métriques de tâche du journal des événements à partir de SPARK-42204
• [SPARK-49743] [ES-1260022][SE COMPORTER-157][SC-177475][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de l’exécution de GetArrayStructFields
• [SPARK-49816] [SC-177896][SQL] Doit uniquement mettre à jour le nombre de références sortantes pour la relation CTE externe référencée
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Prise en charge de la lecture d’Avro avec référence de schéma récursif
• [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Correction d’une course de données entre l’interruption et le plan d’exécution
• [SPARK-49771] [SC-177466][PYTHON] Améliorer l’erreur UDF Iter Scalar Pandas lorsque les lignes de sortie dépassent les lignes d’entrée
• [SPARK-48866] [SC-170772][SQL] Corrigez les indicateurs de charset valide dans le message d’erreur de INVALID_PARAMETER_VALUE. CHARSET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Enregistrer et réutiliser rdd/diffusion créé par SparkPlan
• [SPARK-49585] [CONNECT] Remplacer le mappage d’exécutions dans SessionHolder par operationID set
• [SPARK-49211] [SC-174257][SQL] Le catalogue V2 peut également prendre en charge les sources de données intégrées
• [SPARK-49684] Minimiser la durée de vie du verrou de restauration de session
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Infrastructure de journal structurée côté java
• [SPARK-48857] [SC-170661][SQL] Restreindre les jeux de caractères dans CSVOptions
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog doit utiliser V2Command
• [SPARK-42846] [SC-176588][SQL] Supprimer la condition d’erreur _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][CORE] Enregistrer et réutiliser rdd/diffusion créé par SparkPlan
• [SPARK-49630] [SC-177379][SS] Ajouter une option aplatir pour traiter les types de collection avec le lecteur de source de données d’état
• [SPARK-49699] [SC-177154][SS] Désactiver PruneFilters pour les charges de travail de diffusion en continu
• [SPARK-48781] [SC-175282][SQL] Ajouter des API de catalogue pour le chargement des procédures stockées
• [SPARK-49667] [SC-177068][SQL] Interdire CS_AI collators avec des expressions qui utilisent StringSearch
• [SPARK-49737] [SC-177207][SQL] Désactiver le compartimentage sur les colonnes compilées dans des types complexes
• [SPARK-48712] [SC-169794][SQL] Amélioration perf pour l’encodage avec des valeurs vides ou un ensemble de caractères UTF-8
• [SPARK-49038] [SC-173933][SQL] SQLMetric doit signaler la valeur brute dans l’événement de mise à jour de l’accumulation
• [SPARK-48541] [SC-169066][CORE] Ajouter un nouveau code de sortie pour les exécuteurs tués par TaskReaper
• [SPARK-48774] [SC-170138][SQL] Utiliser SparkSession dans SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Créer UUID et SHUFFLE accepter un entier seed
• [SPARK-49713] [SC-177135][PYTHON][CONNECT] Faire accepter des arguments de nombre de fonction count_min_sketch
• [SPARK-47601] [SC-162499][GRAPHX] Graphx : Migrer des journaux avec des variables vers une infrastructure de journalisation structurée
• [SPARK-49738] [SC-177219][SQL] Endswith bug fix
• [SPARK-48623] [SC-170822][CORE] Migrations de journalisation structurées [Partie 3]
• [SPARK-49677] [SC-177148][SS] Vérifiez que les fichiers de journal des modifications sont écrits sur l’indicateur commit et forceSnapshot est également réinitialisé
• [SPARK-49684] [SC-177040][CONNECT] Supprimer les verrous globaux des gestionnaires de session et d’exécution
• [SPARK-48302] [SC-168814][PYTHON] Conserver les valeurs Null dans les colonnes de carte dans les tables PyArrow
• [SPARK-48601] [SC-169025][SQL] Donnez un message d’erreur plus convivial lors de la définition d’une valeur Null pour l’option JDBC
• [SPARK-48635] [SC-169263][SQL] Affecter des classes à des erreurs de type de jointure et à une erreur de jointure
• [SPARK-49673] [SC-177032][CONNECT] Augmenter CONNECT_GRPC_ARROW_MAX_BATCH_SIZE à 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][CONNECT] Affiner la représentation sous forme de chaîne timedelta
• [SPARK-49687] [SC-176901][SQL] Délai de tri dans validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Basculer le Scatter tracé vers des données échantillonné
• [SPARK-48472] [SC-169044][SQL] Activation des expressions de réflexion avec les chaînes classées
• [SPARK-48484] [SC-167484][SQL] Correctif : V2Write utilise le même TaskAttemptId pour différentes tentatives de tâche
• [SPARK-48341] [SC-166560][CONNECT] Autoriser les plug-ins à utiliser QueryTest dans leurs tests
• [SPARK-42252] [SC-168723][CORE] Ajouter spark.shuffle.localDisk.file.output.buffer et déprécier spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Ne doublez pas les fichiers de cache pour FileStreamSource à l’aide de Trigger.AvailableNow
• [SPARK-49567] [SC-176241][PYTHON] Utiliser classic à la place de la base de vanilla code PySpark
• [SPARK-48374] [SC-167596][PYTHON] Prendre en charge d’autres types de colonnes Table PyArrow
• [SPARK-48300] [SC-166481][SQL] Prise en charge de Codegen pour from_xml
• [SPARK-49412] [SC-177059][PS] Calculer toutes les métriques de traçage de zone dans un seul travail
• [SPARK-49692] [SC-177031][PYTHON][CONNECT] Affiner la représentation sous forme de chaîne de date littérale et datetime
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Intercepter les erreurs lors de l’échec de l’écriture dans une source de données externe
• [SPARK-48306] [SC-166241][SQL] Améliorer l’UDT dans le message d’erreur
• [SPARK-44924] [SC-166379][SS] Ajouter une configuration pour les fichiers mis en cache FileStreamSource
• [SPARK-48176] [SC-165644][SQL] Ajuster le nom de la condition d’erreur FIELD_ALREADY_EXISTS
• [SPARK-49691] [SC-176988][PYTHON][CONNECT] La fonction substring doit accepter les noms de colonnes
• [SPARK-49502] [SC-176077][CORE] Éviter NPE dans SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][SQL] Améliorations supplémentaires de l’exception pour l’analyseur/interpréteur
• [SPARK-48355] [SC-176684][SQL] Prise en charge de l’instruction CASE
• [SPARK-49355] [SC-175121][SQL] levenshtein doit vérifier si les collation valeurs de tous les types de paramètres sont identiques
• [SPARK-49640] [SC-176953][PS] Appliquer l’échantillonnage des réservoirs dans SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Prise en charge spark.test.master dans SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] Limiter Sphinx le parallélisme de build à 4 par défaut
• [SPARK-49396] Rétablir « [SC-176030][SQL] Modifier la vérification de la nullabilité pour l’expression CaseWhen »
• [SPARK-48419] [SC-167443][SQL] La propagation pliable remplace le shoul de colonne pliable...
• [SPARK-49556] [SC-176757][SQL] Ajouter une syntaxe de canal SQL pour l’opérateur SELECT
• [SPARK-49438] [SC-175237][SQL] Corriger le joli nom de l’expression FromAvro & ToAvro
• [SPARK-49659] [SC-1229924][SQL] Ajouter une erreur utilisateur intéressante pour les sous-requêtes scalaires dans la clause VALUES
• [SPARK-49646] [SC-176778][SQL] corriger lacorrelation de sous-requête pour les opérations union/set lorsque parentOuterReferences a des références non couvertes dans collectedChildOuterReferences
• [SPARK-49354] [SC-175034][SQL] split_part doit vérifier si les collation valeurs de tous les types de paramètres sont identiques
• [SPARK-49478] [SC-175914][CONNECT] Gérer les métriques Null dans ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][SQL] Prise en charge de l’instruction REPEAT
• [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable doit respecter PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] Présenter TVF collations() & supprimer la SHOW COLLATIONS commande
• [SPARK-49261] [SC-176589][SQL] Ne remplacez pas les littéraux dans les expressions d’agrégation par des expressions group-by
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace doit respecter le catalogue de sessions personnalisé
• [SPARK-49594] [SC-176569][SS] Ajout d’une vérification sur l’ajout ou la suppression de columnFamilies pour écrire un fichier StateSchemaV3
• [SPARK-49578] [SC-176385][SQL] Supprimez la suggestion de configuration ANSI dans CAST_INVALID_INPUT et CAST_OVERFLOW
• [SPARK-48882] [SC-174256][SS] Affecter des noms aux classes d’erreur associées au mode de sortie de streaming
• [SPARK-49155] [SC-176506][SQL][SS] Utiliser un type de paramètre plus approprié pour construire GenericArrayData
• [SPARK-49519] [SC-176388][SQL] Options de fusion de table et de relation lors de la construction de FileScanBuilder
• [SPARK-49591] [SC-176587][SQL] Ajouter une colonne de type logique à un fichier readme variant
• [SPARK-49596] [SC-176423][SQL] Améliorer les performances de FormatString
• [SPARK-49525] [SC-176044][SS][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de streaming côté serveur
• [SPARK-49583] [SC-176272][SQL] Définir la sous-condition SECONDS_FRACTION d’erreur pour un modèle de fraction de seconde non valide
• [SPARK-49536] [SC-176242] Gérer l’erreur dans le prérécupération de l’enregistrement de source de données en streaming Python
• [SPARK-49443] [SC-176273][SQL][PYTHON] Implémentez to_variant_object expression et imprimez schema_of_variant expressions OBJECT pour les objets Variant
• [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Remplacer le verrouillage grossière dans SparkConnectExecutionManager par ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Remplacer le verrouillage grossière dans SparkConnectSessionManager par ConcurrentMap
• [SPARK-49551] [SC-176218][SS] Améliorer le journal RocksDB pour replayChangelog
• [SPARK-49595] [SC-176396][CONNECT][SQL] Correction DataFrame.unpivot/melt dans le client Scala Spark Connect
• [SPARK-49006] [SC-176162] Implémenter le purge pour les fichiers OperatorStateMetadataV2 et StateSchemaV3
• [SPARK-49600] [SC-176426][PYTHON] Supprimer Python 3.6 and olderla logique liée à la suppression try_simplify_traceback
• [SPARK-49303] [SC-176013][SS] Implémenter la durée de vie de ValueState dans l’API transformWithStateInPandas
• [SPARK-49191] [SC-176243][SS] Ajout de la prise en charge de la lecture des variables d’état de mappage transformWithState avec le lecteur de source de données d’état
• [SPARK-49593] [SC-176371][SS] Lever l’exception RocksDB à l’appelant sur la fermeture de la base de données si une erreur est affichée
• [SPARK-49334] [SC-174803][SQL] str_to_map doit vérifier si les collation valeurs de tous les types de paramètres sont identiques
• [SPARK-42204] [SC-176126][CORE] Ajouter une option pour désactiver la journalisation redondante des accumulateurs internes TaskMetrics dans les journaux d’événements
• [SPARK-49575] [SC-176256][SS] Ajouter la journalisation pour la version de verrouillage uniquement si acquireThreadInfo n’est pas null
• [SPARK-49539] [SC-176250][SS] Mettre à jour l’identificateur de démarrage des familles col internes vers un autre
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning doit hériter de HashPartitioningLike
• [SPARK-49396] [SC-176030][SQL] Modifier la vérification de la valeur Nullability pour l’expression CaseWhen
• [SPARK-49476] [SC-175700][SQL] Corriger la nullabilité de la fonction base64
• [SPARK-47262] [SC-174829][SQL] Attribuer des noms à des conditions d’erreur pour les conversions Parquet
• [SPARK-47247] [SC-158349][SQL] Utiliser une taille cible plus petite lors de la fusion de partitions avec des jointures explosées
• [SPARK-49501] [SC-176166][SQL] Correction de l’échappement double de l’emplacement de la table
• [SPARK-49083] [SC-173214][CONNECT] Autoriser from_xml et from_json à travailler en mode natif avec des schémas json
• [SPARK-49043] [SC-174673][SQL] Corriger le groupe codepath interprété sur la carte contenant des chaînes compilées
• [SPARK-48986] [SC-172265][CONNECT][SQL] Ajouter une représentation intermédiaire ColumnNode
• [SPARK-49326] [SC-176016][SS] Classifier la classe Error pour l’erreur de fonction utilisateur du récepteur Foreach
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Introduction LEAVE et ITERATE instructions
• [SPARK-49523] [SC-175949][CONNECT] Augmenter le temps d’attente maximal pour que le serveur de connexion soit mis à la recherche de tests
• [SPARK-49000] [SE COMPORTER-105][ES-1194747][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates - DBR version 16.x
• [SPARK-49311] [SC-175038][SQL] Permettre aux valeurs « intervalle seconde » volumineuses d’être converties en décimales
• [SPARK-49200] [SC-173699][SQL] Correction de l’exception d’ordre non codegen de type Null
• [SPARK-49467] [SC-176051][SS] Ajouter la prise en charge du lecteur de source de données d’état et de l’état de liste
• [SPARK-47307] [SC-170891][SQL] Ajouter une configuration pour segmenter éventuellement des chaînes base64
• [SPARK-49391] [SC-176032][PS] Le tracé de zone sélectionne les valeurs hors norme par distance des clôtures
• [SPARK-49445] [SC-175845][INTERFACE UTILISATEUR] Prise en charge de l’info-bulle dans la barre de progression de l’interface utilisateur
• [SPARK-49451] [SC-175702] Autorisez les clés dupliquées dans parse_json.
• [SPARK-49275] [SC-175701][SQL] Correction de la valeur null du type de retour de l’expression xpath
• [SPARK-49021] [SC-175578][SS] Ajout de la prise en charge de la lecture des variables d’état de valeur transformWithState avec lecteur de source de données d’état
• [SPARK-49474] [SE COMPORTER-143][SC-169253][SC-175933][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][SQL] Utiliser IndexedSeq dans ProjectingInternalRow
• [SPARK-49509] [SC-175853][CORE] Utiliser Platform.allocateDirectBuffer au lieu de ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Rendre le tracé de boîte d’image correctement afficher les fliers/valeurs hors norme
• [SPARK-49002][SC-172846][SQL] Gérer de manière cohérente les emplacements non valides dans WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][CORE] Correction de NullPointerException à partir de SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] Améliorer le message d’erreur de type de retour non valide pandas udf
• [SPARK-48693] [SC-169492][SQL] Simplifier et unifier toString of Invoke et StaticInvoke
• [SPARK-49441] [SC-175716][ML] StringIndexer trier les tableaux dans les exécuteurs
• [SPARK-49347] [SC-175004][R] Déprécier SparkR
• [SPARK-49357] [SC-175227][CONNECT][PYTHON] Message protobuf imbriqué verticalement
• [SPARK-41982] [SC-120604][SQL] Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
• [SPARK-48776] [SC-170452][SE COMPORTER-72] Corriger la mise en forme d’horodatage pour json, xml et csv
• [SPARK-49223] [SC-174800][ML] Simplifier stringIndexer.countByValue avec les fonctions intégrées
• [SPARK-49016] Rétablir « [SC-174663][SQL] Restaurer le comportement des requêtes à partir de fichiers CSV bruts n’est pas autorisé lorsque seules les colonnes d’enregistrement endommagées et attribuent le nom à _LEGACY_ERROR_TEMP_1285»
• [SPARK-49041] [SC-172392][PYTHON][CONNECT] Déclencher une erreur appropriée pour dropDuplicates le cas où une erreur subset est donnée
• [SPARK-49050] [SC-175235] Activation de l’opérateur deleteIfExists dans TWS avec des familles de colonnes virtuelles
• [SPARK-49216] [SC-173919][CORE]Correction pour ne pas consigner le contexte de message avec une construction explicite de LogEntry lorsque la conf de journalisation structurée est désactivée
• [SPARK-49252] [SC-175596][CORE] CréerTaskSetExcludeList et HeathTracker indépendant
• [SPARK-49352] [SC-174971][SQL] Éviter une transformation de tableau redondante pour une expression identique
• [SPARK-42307] [SC-173863][SQL] Attribuer le nom de l’erreur _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][CORE] Réactez Spark Command la sortie dans le launcher module
• [SPARK-48913] [SC-173934][SQL] Implémenter IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][PYTHON][SQL] Créer des alias de fonction SQL pour « zeroifnull » et « nullifzero »
• [SPARK-48344] [SQL] Exécution de scripts SQL (y compris Spark Connect)
• [SPARK-49402] [SC-175122][PYTHON] Correction de l’intégration de Binder dans la documentation PySpark
• [SPARK-49017] [SC-174664][SQL] L’instruction Insert échoue lorsque plusieurs paramètres sont utilisés
• [SPARK-49318] [SC-174733][SQL] Erreur de faible priorité préemptisée sur LCA jusqu’à la fin de l’analyse de vérification pour améliorer l’expérience d’erreur
• [SPARK-49016] [SC-174663][SQL] Restaurer le comportement que les requêtes à partir de fichiers CSV bruts ne sont pas autorisées lorsqu’elles incluent uniquement la colonne d’enregistrement endommagée et attribuez le nom à _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] Correction de l’indicateur de type dans accuracypercentile_approx et approx_percentile
• [SPARK-49131] [SC-174666][SS] TransformWithState doit définir correctement des clés de regroupement implicites même avec des itérateurs différés
• [SPARK-49301] [SC-174795][SS] Données de flèche de bloc transmises au worker Python
• [SPARK-49039] [SC-174651][INTERFACE UTILISATEUR] Cochez la case à cocher lorsque les métriques d’exécuteur sont chargées sous l’onglet Étapes
• [SPARK-48428] [SC-169806][SQL] : Correction de IllegalStateException dans NestedColumnAliasing
• [SPARK-49353] [SC-174830][SQL] Mettre à jour des documents liés à l’encodage UTF-32 /décodage
• [SPARK-48613] [SC-170966][SQL] SPJ : Prendre en charge la shuffle automatique d’un côté + moins de clés de jointure que les clés de partition
• [SPARK-47473] [SC-160450][SE COMPORTER-127][SQL] Résoudre le problème de correction de la conversion des horodatages postgres INFINITY
• [SPARK-49142] [SC-173658][CONNECT][PYTHON] Suivi de la restauration du proto au coût des performances de chaîne
• [SPARK-49300] [SC-175008][CORE] Corrigez la fuite de jeton de délégation Hadoop lorsque tokenRenewalInterval n’est pas défini.
• [SPARK-49367] [SC-175012][PS] Parallélisez le calcul KDE pour plusieurs colonnes (back-end tracé)
• [SPARK-49365] [SC-175011][PS] Simplifier l’agrégation de compartiments dans le tracé hist
• [SPARK-49372] [SC-175003][SS] Assurez-vous que latestSnapshot est défini sur aucun à proximité pour éviter l’utilisation ultérieure
• [SPARK-49341] [SC-174785] Supprimer connector/docker en faveur de Apache Spark Operator
• [SPARK-49344] [SC-174894][PS] Prise en charge de json_normalize l’API Pandas sur Spark
• [SPARK-49306] [SC-174794][SQL] Créer de nouvelles fonctions SQL « zeroifnull » et « nullifzero »
• [SPARK-48796] [SC-174668][SS] Charger l’ID de famille de colonnes à partir de RocksDBCheckpointMetadata pour VCF lors du redémarrage
• [SPARK-49342] [SC-174899][SQL] Rendre TO_AVRO’argument SQL 'jsonFormatSchema' facultatif
• [SPARK-48628] [SC-174695][CORE] Ajouter des métriques de mémoire du tas activées/désactivées
• [SPARK-47407] [SC-159379][SE COMPORTER-126][SQL] Prise en charge java.sql.Types.NULL mapper à NullType
• [SPARK-48628] [SC-173407][CORE] Ajouter des métriques de mémoire du tas activées/désactivées
• [SPARK-49166] [SC-173987][SQL] Prendre en charge OFFSET dans la sous-requête corrélée
• [SPARK-49269] [SC-174676][SQL] Évaluer avec impatience VALUES() dans AstBuilder
• [SPARK-49281] [SC-174782][SQL] Optimze parquet binary getBytes avec getBytesUnsafe pour éviter le coût de copie
• [SPARK-49113] [SC-174734] Ne pas affirmer sur les bogues de traduction - avaler silencieusement l’exception
• [SPARK-49098] [SC-173253][SQL] Ajouter des options d’écriture pour INSERT
• [SPARK-48638] [SC-174694][SUIVEZ][CONNECT] Correction de la documentation pour ExecutionInfo
• [SPARK-49250] [ES-1222826][SQL] Améliorer le message d’erreur pour l’imbrication DeWindowExpression non résolue dans CheckAnalysis
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark base implementation and ValueState support
• [SPARK-48966] [SC-174329][SQL] Améliorer le message d’erreur avec une référence de colonne non résolue non valide dans l’appel UDTF
• [SPARK-46590] [SC-154115][SQL] Correction de l’échec de la fusion avec des indeces de partition inattendues
• [SPARK-49235] [SC-174159][SQL] Refactoriser la règle ResolveInlineTables afin qu’elle ne traverse pas l’arborescence entière
• [SPARK-49060] [SC-173107][CONNECT] Nettoyer les règles Mima pour les vérifications de compatibilité binaire SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Présentation de l’API ClusterBy DataFrameWriter pour Python
• [SPARK-49207] [SC-173852][SQL] Correction du mappage de cas un-à-plusieurs dans SplitPart et StringSplitSQL
• [SPARK-49204] [SC-173850][SQL] Corriger la gestion des paires de substitution dans StringInstr et StringLocate
• [SPARK-36680] [SC-170640][SQL] Prend en charge les options de table dynamique pour Spark SQL
• [SPARK-49204] [SC-173849][SQL] Corriger la gestion des paires de substitution dans SubstringIndex
• [SPARK-49204] [SC-173848][SQL] Corriger la gestion des paires de substitution dans StringTrim
• [SPARK-48967] [SC-173993]Corriger le test SparkConfigOwnershipSuite pour OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][SQL] Corriger la gestion des paires de substitution dans StringReplace
• [SPARK-48967] [SC-173993][SQL][16.x] Améliorer les performances et l’empreinte mémoire de «INSERT INTO ... VALUES« Déclarations »
• [SPARK-49099] Rétablir " [SC-173229][SQL] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][SQL] Prise en charge de l’instruction WHILE
• [SPARK-49128] [SC-173344][CORE] Prise en charge du titre de l’interface utilisateur du serveur d’historique personnalisé
• [SPARK-49146] [SC-173825][SS] Déplacer les erreurs d’assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l’infrastructure d’erreurs
• [SPARK-45787] [SC-172197][SQL] Prise en charge de Catalog.listColumns pour les colonnes de clustering
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace doit respecter le catalogue de sessions personnalisé
• [SPARK-49138] [SC-173483][SQL] Correction de CollationTypeCasts de plusieurs expressions
• [SPARK-49163] [SC-173666][SQL] La tentative de création d’une table basée sur des résultats de données de partition Parquet rompues doit retourner une erreur accessible par l’utilisateur
• [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Tracé reimplement hist avec Spark SQL
• [SPARK-49188] [SC-173682][SQL] Erreur interne sur concat_ws appelée tableau de tableaux de chaînes
• [SPARK-49137] [SC-173677][SQL] Lorsque la condition booléenne dans l’objet if statement n’est pas valide, une exception doit être levée
• [SPARK-49193] [SC-173672][SQL] Améliorer les performances de RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][SQL] Prise en charge de la syntaxe des colonnes dans la table v2
• [SPARK-49141] [SC-173388][SQL] Marquer la variante comme type de données incompatible hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] Accéder SessionHolder.forTesting(...) au package de test
• [SPARK-49111] [SC-173661][SQL] Déplacer avecProjectAndFilter vers l’objet complémentaire de DataSourceV2Strategy
• [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Tracé reimplement kde avec Spark SQL
• [SPARK-49178] [SC-173673][SQL] Optimiser les performances pour correspondre aux performances lors de Row#getSeq l’utilisation de Spark 3.5 avec Scala 2.12
• [SPARK-49093] [SC-172958][SQL] GROUP BY avec MapType imbriqué à l’intérieur d’un type complexe
• [SPARK-49142] [SC-173469][CONNECT][PYTHON] Niveau inférieur du journal du client Spark Connect pour déboguer
• [SPARK-48761] [SC-172048][SQL] Présentation de l’API ClusterBy DataFrameWriter pour Scala
• [SPARK-48346] [SC-173083][SQL] Prise en charge des instructions IF ELSE dans les scripts SQL
• [SPARK-48338] [SC-173112][SQL] Améliorer les exceptions levées à partir de l’analyseur/interpréteur
• [SPARK-48658] [SC-169474][SQL] Les fonctions encode/décodage signalent des erreurs de codage au lieu de mojibake pour les caractères inappables
• [SPARK-49071] [SC-172954][SQL] Supprimer la caractéristique ArraySortLike
• [SPARK-49107] Rétablir « Rétablir « [SC-173103][SQL] ROUTINE_ALREADY_EXISTS prend en charge RoutineType »
• [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState est réécrit de manière incorrecte pour produire un plan de requête non valide
• [SPARK-49114] [SC-173217] Les sous-catégories ne peuvent pas charger les erreurs de magasin d’état
• [SPARK-49107] Rétablir « [SC-173103][SQL] ROUTINE_ALREADY_EXISTS prend en charge RoutineType »
• [SPARK-49048] [SC-173223][SS] Ajouter la prise en charge de la lecture des métadonnées d’opérateur pertinentes au niveau de l’ID de lot donné
• [SPARK-49094] [SC-173049][SQL] Correction de ignoreCorruptFiles non fonctionnelle pour hive orc impl avec mergeSchema off
• [SPARK-49108] [SC-173102][EXEMPLE] Exemple d’API submit_pi.sh REST
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS prend en charge RoutineType
• [SPARK-48997] [SC-172484][SS] Implémenter des déchargements individuels pour les échecs de thread de pool de threads de maintenance
• [SPARK-49063] [SC-173094][SQL] Correction entre l’utilisation de ScalarSubqueries
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Ajouter la prise en charge des types d’intervalles dans la spécification variant
• [SPARK-49074] [SE COMPORTER-110][SC-172815][SQL] Corriger une variante avec df.cache()
• [SPARK-49003] [SC-172613][SQL] Correction du hachage de chemin de code interprété pour être conscient du classement
• [SPARK-48740] [SC-172430][SQL] Erreur de spécification de fenêtre manquante intercepter tôt
• [SPARK-48999] [SC-172245][SS] Diviser PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implémenter la validation pour l’opérateur TransformWithStateExec à l’aide d’OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][PYTHON][ML] Créer des fonctions d’assistance d’enregistrement/chargement de modèle acceptent la session Spark
• [SPARK-49032] [Backport][15.x][SS] Ajouter le chemin du schéma dans l’entrée de table de métadonnées, vérifier la version attendue et ajouter un test lié aux métadonnées d’opérateur pour le format de métadonnées d’opérateur v2
• [SPARK-49034] [SC-172306][CORE] Prise en charge du remplacement côté sparkProperties serveur dans l’API de soumission REST
• [SPARK-48931] [SC-171895][SS] Réduire le coût de l’API liste du magasin cloud pour la tâche de maintenance du magasin d’états
• [SPARK-48849] [SC-172068][SS]Créer OperatorStateMetadataV2 pour l’opérateur TransformWithStateExec
• [SPARK-49013] [SC-172322] Modifier la clé dans classementsMap pour les types de mappage et de tableau en scala
• [SPARK-48414] [SC-171884][PYTHON] Corriger le changement cassant dans python fromJson
• [SPARK-48910] [SC-171001][SQL] Utiliser HashSet/HashMap pour éviter les recherches linéaires dans PreprocessTableCreation
• [SPARK-49007] [SC-172204][CORE] Améliorer MasterPage pour prendre en charge le titre personnalisé
• [SPARK-49009] [SC-172263][SQL][PYTHON] Définir les API de colonne et les fonctions accepter les énumérations
• [SPARK-49033] [SC-172303][CORE] Prise en charge du remplacement côté environmentVariables serveur dans l’API de soumission REST
• [SPARK-48363] [SC-166470][SQL] Nettoyer certains codes redondants dans from_xml
• [SPARK-46743] [SC-170867][SQL][SE COMPORTER-84] Nombre de bogues après ScalarSubqery est plié s’il a une relation vide
• [SPARK-49040] [SC-172351][SQL] Correction de la documentation sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Meta algorithms save/load model with SparkSession
• [SPARK-48959] [SC-171708][SQL] Étendre NoSuchNamespaceExceptionNoSuchDatabaseException pour restaurer la gestion des exceptions
• [SPARK-48996] [SC-172130][SQL][PYTHON] Autoriser les littéraux nus pour et ou de colonne
• [SPARK-48990] [SC-171936] Suivi de #101759 - correctif de test
• [SPARK-48338] [SC-171912][SQL] Vérifier les déclarations de variables
• [SPARK-48990] [SC-171936][SQL] Mots clés de syntaxe SQL liés à une variable unifiée
• [SPARK-48988] [SC-171915][ML] Créer des métadonnées de DefaultParamsReader/Writer handle avec une session Spark
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Utiliser SparkSession.implicits au lieu de SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] Correction de CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Avertissement de journal pour l’appel de .unpersist() sur des RDD localement point de contrôle
• [SPARK-48760] [SC-170139][SQL] Introduce ALTER TABLE … CLUSTER BY Syntaxe SQL pour modifier les colonnes de clustering
• [SPARK-48844] Rétablir « [SC-170669][SQL] USE INVALID_EMPTY_LOCATION au lieu de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY lorsque le chemin d’accès est vide »
• [SPARK-48833] [SC-171914][SQL][VARIANT] Variante de prise en charge dans InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Supprimer une définition inutile ScalaReflectionLock de protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Éviter d’utiliser SparkSession.getActiveSession dans le lecteur/writer Spark ML
• [SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION au lieu de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY lorsque le chemin d’accès est vide
• [SPARK-48714] [SC-170136] Correction de l’échec des tests df.mergeInto dans PySpark et UC
• [SPARK-48957] [SC-171797][SS] Retourner une classe d’erreur sous-classifiée sur la charge du magasin d’états pour le fournisseur hdfs et rocksdb
• [SPARK-48891] [Backport][15x][SC-171677][SS] Refactoriser StateSchemaCompatibilityChecker pour unifier tous les formats de schéma d’état
• [SPARK-48972] [SC-171795][PYTHON] Unifier la gestion des chaînes littérales dans les fonctions
• [SPARK-48388] [SC-171337][SQL] Correction du comportement de l’instruction SET pour les scripts SQL
• [SPARK-48743] [SC-170552][SQL][SS] FusionSessionIterator doit mieux gérer lorsque getStruct retourne null
• [SPARK-48623] [15.x][SC-171322][CORE] Migrer les journaux FileAppender vers la journalisation structurée
• [SPARK-36680] [DBRRM-1123] Rétablir « [SC-170640][SQL] Prend en charge les options de table dynamique pour Spark SQL »
• [SPARK-48841] [SC-170868][SE COMPORTER-83][SQL] Inclure collationName à sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] Remplacer l’appel de l’API de lecture/écriture RDD par l’API lecture/écriture de trame de données
• [SPARK-48938] [SC-171577][PYTHON] Améliorer les messages d’erreur lors de l’inscription des fonctions définies par l’utilisateur Python
• [SPARK-48350] [SC-171040][SQL] Introduction des exceptions personnalisées pour le script Sql
• [SPARK-48907] [SC-171158][SQL] Correction de la valeur explicitTypes dans COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] Simplifier les fonctions regex avec lit
• [SPARK-48944] [SC-171576][CONNECT] Unifier la gestion des schémas au format JSON dans Connect Server
• [SPARK-48836] [SC-171569] Intégrer le schéma SQL avec le schéma/les métadonnées d’état
• [SPARK-48946] [SC-171504][SQL] NPE dans la méthode redact lorsque la session a la valeur Null
• [SPARK-48921] [SC-171412][SQL] Les encodeurs ScalaUDF dans la sous-requête doivent être résolus pour MergeInto
• [SPARK-45155] [SC-171048][CONNECT] Ajouter des documents d’API pour spark Connect JVM/Scala Client
• [SPARK-48900] [SC-171319] Ajouter reason un champ pour cancelJobGroup et cancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] Ajouter try_url_decode fonction
• [SPARK-48851] [SC-170767][SQL] Modifier la valeur de SCHEMA_NOT_FOUNDnamespace to catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Prise en charge de l’API UDAF toColumn dans Spark Connect
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Rendre le from_xml schéma StructType de prise en charge
• [SPARK-48930] [SC-171304][CORE] Redact awsAccessKeyId en incluant accesskey le modèle
• [SPARK-48909] [SC-171080][ML][MLLIB] Utilise SparkSession sur SparkContext lors de l’écriture de métadonnées
• [SPARK-48883] [SC-171133][ML][R] Remplacer l’appel de l’API de lecture/écriture RDD par l’API lecture/écriture de trame de données
• [SPARK-48924] [SC-171313][PS] Ajouter une fonction d’assistance de type pandas make_interval
• [SPARK-48884] [SC-171051][PYTHON] Supprimer la fonction d’assistance inutilisée PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Exécuter avec impatience des commandes multiples union
• [SPARK-48896] [SC-171079][ML][MLLIB] Évitez de repartitionner lors de l’écriture des métadonnées
• [SPARK-48892] [SC-171127][ML] Éviter la lecture par ligne param Tokenizer
• [SPARK-48927] [SC-171227][CORE] Afficher le nombre de RDD mis en cache dans StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Ajouter des informations de version à changelog v2 pour faciliter l’évolution
• [SPARK-48903] [SC-171136][SS] Définir correctement la dernière version de capture instantanée de RocksDB lors du chargement à distance
• [SPARK-48742] [SC-170538][SS] Famille de colonnes virtuelles pour RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Créez le format de fichier StateSchemaV3 et écrivez-le pour l’opérateur TransformWithStateExec.
• [SPARK-48794] [SC-170882][CONNECT][15.x] prise en charge df.mergeInto pour Spark Connect (Scala et Python)
• [SPARK-48714] [SC-170136][PYTHON] Implémenter DataFrame.mergeInto dans PySpark
• [SPARK-48772] [SC-170642][SS][SQL] Mode lecteur du flux de modification de source de données d’état
• [SPARK-48666] [SC-170887][SQL] Ne pas pousser le filtre s’il contient des fonctions PythonUDF
• [SPARK-48845] [SC-170889][SQL] GenericUDF intercepte les exceptions des enfants
• [SPARK-48880] [SC-170974][CORE] Évitez de lever NullPointerException si le plug-in de pilote ne parvient pas à initialiser
• [SPARK-48888] [Backport][15x][SC-170973][SS] Supprimer la création d’instantanés en fonction de la taille des opérations de journal des modifications
• [SPARK-48871] [SC-170876] Correction de la validation INVALID_NON_DETERMINISTIC_EXPRESSIONS dans...
• [SPARK-48883] [SC-170894][ML][R] Remplacer l’appel de l’API de lecture/écriture RDD par l’API lecture/écriture de trame de données
• [SPARK-36680] [SC-170640][SQL] Prend en charge les options de table dynamique pour Spark SQL
• [SPARK-48804] [SC-170558][SQL] Ajouter classIsLoadable & OutputCommitter.isAssignableFrom check for output commiter class configrations
• [SPARK-46738] [SC-170791][PYTHON] Réenable un groupe de doctests
• [SPARK-48858] [SC-170756][PYTHON] Supprimer l’appel de méthode déconseillé setDaemon de Thread in log_communication.py
• [SPARK-48639] [SC-169801][CONNECT][PYTHON] Ajouter l’origine à RelationCommon
• [SPARK-48863] [SC-170770][ES-1133940][SQL] Correction de ClassCastException lors de l’analyse de JSON avec « spark.sql.json.enablePartialResults » activée
• [SPARK-48343] [SC-170450][SQL] Introduction de l’interpréteur de scripts SQL
• [SPARK-48529] [SC-170755][SQL] Introduction des étiquettes dans le script SQL
• [SPARK-45292] Rétablissement de « [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
• [SPARK-48037] [SC-165330][CORE][3.5] Corriger sortShuffleWriter manque de métriques d’écriture aléatoires, ce qui entraîne des données potentiellement inexactes
• [SPARK-48720] [SC-170551][SQL] Aligner la commande ALTER TABLE ... UNSET TBLPROPERTIES ... dans v1 et v2
• [SPARK-48485] [SC-167825][CONNECT][SS] Prise en charge d’interruptTag et d’interruptAll dans les requêtes de streaming
• [SPARK-45292] [SC-151609][SQL][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader
• [SPARK-48668] [SC-169815][SQL] Prise en charge d’ALTER NAMESPACE ... PROPRIÉTÉS UNSET dans v2
• [SPARK-47914] [SC-165313][SQL] N’affichez pas le paramètre fractionnements dans La plage
• [SPARK-48807] [SC-170643][SQL] Prise en charge binaire de la source de données CSV
• [SPARK-48220] [SC-167592][PYTHON][15.X] Autoriser la transmission d’une table PyArrow à createDataFrame()
• [SPARK-48545] [SC-169543][SQL] Créer to_avro et from_avro fonctions SQL pour faire correspondre les équivalents dataFrame
• [SPARK-47577] [SC-168875][SPARK-47579] Utilisation trompeuse correcte de la clé de journal TASK_ID

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Environnement du système

• Système d’exploitation : Ubuntu 24.04.1 LTS
• Java : Zulu17.50+19-CA
• Scala : 2.12.18
• Python : 3.12.3
• R : 4.4.0
• Delta Lake : 3.2.1

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)