Fonctionnalités d’extension des packs de ressources Databricks

L’extension Databricks pour Visual Studio Code fournit des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, déployer et exécuter facilement des packs de ressources Databricks pour appliquer les meilleures pratiques CI/CD à vos travaux Azure Databricks, pipelines Delta Live Tables et piles MLOps. Consultez Que sont les packs de ressources Databricks ?.

Pour installer l’extension Databricks pour Visual Studio Code, consultez Installer l’extension Databricks pour Visual Studio Code.

L’extension Databricks pour Visual Studio Code ajoute les fonctionnalités suivantes pour vos projets packs de ressources Databricks :

• Authentification et configuration simples de vos packs de ressources Databricks via l’interface utilisateur de Visual Studio Code, y compris la sélection du profil AuthType. Consultez Configurer l’autorisation pour l’extension Databricks pour Visual Studio Code.
• Sélecteur cible dans le panneau d’extension Databricks pour basculer rapidement entre les environnements cibles groupés. Consultez Modifier l’espace de travail de déploiement cible.
• L’option Remplacer le cluster de tâches dans le pack dans le panneau d’extension pour activer le remplacement facile du cluster.
• Vue Explorateur de ressources des packs, qui vous permet de parcourir vos packs de ressources à l’aide de l’interface utilisateur de Visual Studio Code, de déployer les ressources de votre pack de ressources Databricks local sur votre espace de travail Azure Databricks distant en un seul clic, et d’accéder directement à vos ressources déployées dans votre espace de travail à partir de Visual Studio Code. Consultez Bundle de l’explorateur de ressources.
• Vue variables groupées, qui vous permet de parcourir et de modifier vos variables groupées à l’aide de l’interface utilisateur de Visual Studio Code. Consultez la Vue Variables groupées.

La vue Explorateur de ressources d’offre groupée de l’extension Databricks pour Visual Studio Code utilise les définitions de ressources dans la configuration d’offre groupée du projet pour afficher les ressources, notamment les jeux de données de pipeline et leurs schémas. Elle vous permet également de déployer et d’exécuter des ressources, de valider et d’effectuer des mises à jour partielles des pipelines, d’afficher les événements et les diagnostics d’exécutions de pipeline, et de naviguer vers les ressources de votre espace de travail Azure Databricks distant. Pour plus d’informations sur les ressources de configuration de bundle, consultez les ressources.

Par exemple, en fonction d’une définition du travail simple :

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue Bundle de l’explorateur de ressources dans l’extension affiche la ressource de travail du notebook :

Pour déployer le bundle, cliquez sur l’icône cloud (Déployer un bundle).

Pour exécuter le travail, dans la vue Bundle de l’explorateur de ressources, sélectionnez le nom du travail, qui est Mon travail de notebook dans cet exemple. Cliquez ensuite sur l’icône lecture (Déployer le bundle et exécuter la ressource).

Pour afficher le travail en cours d’exécution, dans la vue Bundle de l’explorateur de ressources, développez le nom du travail, cliquez sur Exécuter l’état, puis cliquez sur l’icône de lien (Ouvrir le lien en externe).

Pour un pipeline, vous pouvez déclencher la validation et une mise à jour partielle en sélectionnant le pipeline, puis l'icône de vérification (Déployer le bundle et valider le pipeline). Les événements de l’exécution sont affichés et tous les échecs peuvent être diagnostiqués dans le panneau PROBLÈMES de Visual Studio Code.

La vue Vue Variables groupées dans l’extension Databricks pour Visual Studio Code affiche les variables personnalisées et les paramètres associés définis dans votre configuration de bundle. Vous pouvez également définir des variables directement à l’aide de la vue Variables groupées. Ces valeurs remplacent celles définies dans les fichiers de configuration de bundle. Pour plus d’informations sur les variables personnalisées, consultez Variables personnalisées.

Par exemple, l’affichage Vue Variables groupées dans l’extension affiche les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}