Databricks Runtime 9.1 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 9.1 LTS et Databricks Runtime 9.1 LTS Photon, avec Apache Spark 3.1.2. Databricks a publié cette version en septembre 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

• Les indicateurs de schéma Auto Loader fonctionnent désormais avec des types de tableaux et de mappages
• Prise en charge des fichiers Avro pour le schéma de fusion
• Prise en charge de la liste incrémentielle Auto Loader (préversion publique)
• Delta prend désormais en charge l’option replaceWhere arbitraire
• Auto Loader pour Google Cloud prend désormais en charge les notifications de fichiers (préversion publique)
• CREATE FUNCTION prend désormais en charge la création de fonctions de table
• La source de streaming Kafka signale désormais la métrique estimatedTotalBytesBehindLatest
• Pour les structs à l’intérieur de tableaux, MERGE INTO de Delta résout désormais les champs de struct par nom et fait évoluer les schémas de struct

Les indicateurs de schéma Auto Loader fonctionnent désormais avec des types de tableaux et de mappages

Les types de tableau et de mappage sont pris en charge dans Remplacer l’inférence de schéma avec des indicateurs de schéma pour Auto Loader.

Voici des exemples d’indicateurs de schéma pour les tableaux :

1. arr Array<TYPE> modifie le type de tableau.
2. arr.element TYPE modifie le type de tableau (en utilisant le mot clé element).
3. arr.element.x TYPE modifie un type de champ imbriqué dans un tableau de structures.

Les deux premiers exemples sont des indicateurs pour modifier le type de tableau arr en TYPE, mais ils utilisent une syntaxe différente. Dans le troisième exemple, arr est un tableau de structures avec un champ x. Cet exemple montre comment modifier le type de x en TYPE.

Voici des exemples d’indicateurs de schéma pour les mappages :

1. m Map<KEY-TYPE, VALUE-TYPE> modifie la clé de mappage et les types valeur.
2. m.key TYPE modifie le type des clés de mappage.
3. m.value TYPE modifie le type des valeurs de mappage.
4. m.key.x TYPE modifie le type de champ dans une clé de mappage.
5. m.value.x TYPE modifie le type de champ d’une valeur de mappage.

Le premier exemple modifie à la fois les types de clé et de valeur du mappage m par KEY_TYPE et VALUE_TYPE, respectivement. Le deuxième et le troisième exemples peuvent être utilisés si seul le type de clé ou seul le type de valeur doit être modifié. Dans les quatrième et le cinquième exemples, m est un mappage avec une clé et une valeur des types de structure ayant un champ x. Cet exemple montre comment modifier le type de x en TYPE.

Prise en charge des fichiers Avro pour le schéma de fusion

Le format de fichier Avro prend désormais en charge l’option mergeSchema lors de la lecture de fichiers. La définition de mergeSchema sur true lors de la lecture de fichiers Avro déduira un schéma à partir d’un ensemble de fichiers Avro plutôt qu’à partir d’un fichier unique. Cela améliore la facilité d’utilisation en déduisant un schéma capable de lire tous les fichiers même si leurs schémas individuels diffèrent. Consultez Configuration.

Prise en charge de la liste incrémentielle Auto Loader (préversion publique)

En cas de fichiers générés de manière lexicographique, Qu’est-ce que Auto Loader ? exploite à présent les API de classement lexical des fichiers et d’optimisation existantes pour améliorer l’efficacité de la liste de répertoires en listant les fichiers précédemment ingérés plutôt qu’en listant l’ensemble du répertoire. Auto Loader détecte automatiquement si un répertoire donné est adapté à la liste incrémentielle par défaut. Pour contrôler ce comportement de manière explicite, définissez la nouvelle option cloudFiles.useIncrementalListing sur on (true), off (false) ou automatic (auto). Si vous définissez ce comportement sur true, vous pouvez également définir l’option cloudFiles.backfillInterval pour planifier des renvois normaux sur vos données, afin de vous assurer que toutes vos données sont entièrement ingérées.

Delta prend désormais en charge l’option replaceWhere arbitraire

En association avec le mode de remplacement, l’option replaceWhere peut être utilisée pour remplacer simultanément les données qui correspondent à un prédicat défini dans l’option. Auparavant, replaceWhere prenait en charge un prédicat uniquement sur des colonnes de partition, mais il peut maintenant s’agir d’une expression arbitraire. Consultez Écrire dans une table.

Auto Loader pour Google Cloud prend désormais en charge les notifications de fichiers (préversion publique)

Auto Loader prend désormais en charge le mode de notification de fichier sur Google Cloud. Définissez .option("cloudFiles.useNotifications", "true") pour autoriser Auto Loader à configurer automatiquement les ressources Publication-Abonnement (Pub-Sub) Google Cloud. Avec le mode de notification de fichiers, les nouveaux fichiers sont détectés et ingérés à mesure qu’ils arrivent sans lister le répertoire d’entrée. Consultez Qu’est-ce que le mode de notification de fichier Auto Loader ?

CREATE FUNCTION prend désormais en charge la création de fonctions de table

Outre la création d’une fonction scalaire qui retourne une valeur scalaire, vous pouvez maintenant créer une fonction de table qui retourne un ensemble de lignes. Consultez CRÉER UNE FONCTION (SQL et Python).

La source de streaming Kafka signale désormais la métrique estimatedTotalBytesBehindLatest

La source de streaming Kafka signale maintenant une estimation du nombre d’octets du consommateur par rapport au dernier octet disponible après chaque lot. Vous pouvez utiliser cette métrique pour suivre la progression des flux. Consultez Récupérer des mesures Kafka.

Exemple de sortie de métrique :

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Pour les structs à l’intérieur de tableaux, MERGE INTO de Delta résout désormais les champs de struct par nom et fait évoluer les schémas de struct

MERGE INTO de Delta prend désormais en charge la résolution des champs de struct par nom et l’évolution automatique des schémas pour les tableaux de structs. Lorsque l’évolution automatique des schémas est activée en définissant spark.databricks.delta.schema.autoMerge.enabled sur true, les clauses UPDATE et INSERT résolvent les champs de struct à l’intérieur d’un tableau par nom, en effectuant un cast vers le type de données correspondant défini dans le tableau cible et en remplissant des champs supplémentaires ou manquants dans la source ou la cible avec des valeurs null. Lorsque l’évolution automatique des schémas est désactivée, les clauses UPDATE et INSERT résolvent les champs de struct à l’intérieur d’un tableau par nom, mais ne peuvent pas faire évoluer les champs supplémentaires. Consultez Mettre à jour un schéma de table Delta Lake.

Résolution des bogues

• Correction d’une fuite de mémoire dans le connecteur Amazon S3 qui pouvait se produire dans des travaux ou services durables, provoquée par la fonctionnalité JVM DeleteOnExit.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • plotly de la version 4.14.3 vers la version 5.1.0
• Bibliothèques R mises à niveau :
  • base de la version 4.1.0 vers la version 4.1.1
  • bslib de la version 0.2.5.1 vers la version 0.3.0
  • cachem la version 1.0.5 vers la version 1.0.6
  • compiler de la version 4.1.0 vers la version 4.1.1
  • datasets de la version 4.1.0 vers la version 4.1.1
  • future de la version 1.21.0 vers la version 1.22.1
  • gert de la version 1.3.1 vers la version 1.3.2
  • graphics de la version 4.1.0 vers la version 4.1.1
  • grDevices de la version 4.1.0 vers la version 4.1.1
  • grid de la version 4.1.0 vers la version 4.1.1
• Bibliothèques Java mises à niveau :
  • org.eclipse.jetty de la version 9.4.36.v20210114 vers la version 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS comprend Apache Spark 3.1.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 9.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-36674][SQL][CHERRY-PICK] Prise en charge de ILIKE - LIKE sans respect de la casse
• [SPARK-36353][SQL][3.1] RemoveNoopOperators doit conserver le schéma de sortie
• [SPARK-35876][SQL][3.1] ArraysZip doit conserver les noms de champs afin d’éviter qu’ils soient réécrits par l’analyseur/l’optimiseur
• [SPARK-36398][SQL] Rédaction d’informations sensibles dans le journal du serveur Spark Thrift
• [SPARK-36498][SQL] Réorganisation des champs internes de la requête d’entrée dans l’écriture de byName V2
• [SPARK-36614][CORE][UI] Correction de la raison de la perte de l’exécuteur provoquée par sa désaffectation dans l’interface utilisateur
• [SPARK-36012][SQL] Ajout d’un indicateur null dans SHOW CREATE TABLE
• [SPARK-36509][CORE] Correction du problème où les exécuteurs ne sont jamais replanifiés si le worker s’arrête avec un cluster autonome
• [SPARK-36603][CORE] Utilisation de WeakReference, et non de SoftReference, dans LevelDB
• [SPARK-36564][CORE] Correction de NullPointerException dans LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] L’alias de remplacement de projet CollapseProject doit utiliser le nom de colonne d’origine
• [SPARK-33527][SQL] Extension de la fonction de décodage pour être cohérent avec les bases de données standard
• [SPARK-36400][SPARK-36398][SQL][WEBUI] Faire en sorte que ThriftServer reconnaisse spark.sql.redaction.string.regex
• [SPARK-34054][CORE] Nettoyage du code BlockManagerDecommissioner
• [SPARK-36500][CORE] Corriger la fuite de fichier temp_shuffle en cas d’interruption d’une tâche
• [SPARK-36489][SQL] Les fonctions d’agrégation par rapport à l’absence de toute clé de regroupement sur des tables avec un seul compartiment, retournent plusieurs lignes
• [SPARK-36464][CORE] Correction de l’initialisation de la variable de taille sous-jacente dans ChunkedByteBufferOutputStream pour l’écriture de plus de 2 Go de données
• [SPARK-36339][SQL][3.0] Les références au regroupement qui ne font pas partie de l’agrégation doivent être remplacées
• [SPARK-36354][CORE] EventLogFileReader doit ignorer les répertoires de journaux des événements déployés ne contenant aucun journal
• [SPARK-36242][CORE][3.1] Assurez-vous que le fichier de déversement est fermé avant de définir success = true dans la méthode ExternalSorter.spillMemoryIteratorToDisk
• [SPARK-36211][PYTHON] Correction de la saisie de la valeur de retour udf
• [SPARK-34222][SQL] Amélioration de la règle de simplification booléenne
• [SPARK-35027][CORE] Fermeture du flux inputStream dans FileAppender lors de l’écriture…
• [SPARK-36269][SQL] Corriger uniquement la définition des colonnes de données sur la configuration des noms de colonnes Hive
• [SPARK-36213][SQL] Normalisation de PartitionSpec pour la commande Table avec PartitionSpec
• [SPARK-36210][SQL] Conservation de l’ordre d’insertion des colonnes dans Dataset.withColumns
• [SPARK-36079][SQL] L’estimation de filtre basé sur les valeurs null doit toujours être comprise dans la plage [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation ne doit pas interpréter la propriété path lors de la lecture de tables Hive

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 9.1 LTS.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.4 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.10
• Python : 3.8.10
• R : 4.1.1
• Delta Lake : 1.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN de Microsoft du 08/09/2021.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)