Características de extensión de conjuntos de recursos de Databricks

La extensión Databricks para Visual Studio Code proporciona características adicionales en Visual Studio Code que le permiten definir, implementar y ejecutar fácilmente conjuntos de recursos de Databricks para aplicar procedimientos recomendados de CI/CD a los trabajos de Azure Databricks, las canalizaciones de Delta Live Tables y las pilas de MLOps. Consulte ¿Qué son las agrupaciones de recursos de Databricks?

A fin de instalar la extensión Databricks para Visual Studio Code, vea Instalación de la extensión Databricks para Visual Studio Code.

Compatibilidad con Agrupaciones de recursos de Databricks en proyectos

La extensión Databricks para Visual Studio Code agrega las siguientes características para los proyectos de Agrupaciones de recursos de Databricks:

• Autenticación y configuración sencillas de las agrupaciones de recursos de Databricks mediante la interfaz de usuario de Visual Studio Code, incluida la selección del perfil AuthType. Consulte Configuración de la autorización para la extensión de Databricks para Visual Studio Code.
• Un selector de destino en el panel de extensiones de Databricks para cambiar rápidamente entre entornos de destino de la agrupación. Vea Cambio del área de trabajo de implementación de destino.
• La opción Invalidar el clúster Trabajos en la agrupación en el panel de extensiones para habilitar la invalidación sencilla del clúster.
• Una vista del Explorador de recursos de las agrupaciones, que le permite examinar los recursos de la agrupación mediante la interfaz de usuario de Visual Studio Code, implementar los recursos de la agrupación local de recursos de Databricks en el área de trabajo remota de Azure Databricks con un solo clic, así como ir directamente a los recursos implementados en el área de trabajo desde Visual Studio Code. Vea Explorador de recursos de las agrupaciones.
• Una vista de las Variables de la agrupación, que le permite examinar y editar las variables dela agrupación mediante la interfaz de usuario de Visual Studio Code. Vea Vista Variables de agrupación.

Explorador de recursos de la agrupación

La vista del Explorador de Recursos de Paquete en la extensión de Databricks para Visual Studio Code utiliza las definiciones de recursos en la configuración de paquetes del proyecto para mostrar recursos, incluidos los conjuntos de datos de canalización y sus esquemas. También le permite implementar y ejecutar recursos, validar y realizar actualizaciones parciales de canalización, ver eventos y diagnósticos de ejecución de canalización, y navegar a los recursos en su área de trabajo remota de Azure Databricks. Para obtener información sobre los recursos de configuración de agrupación, vea recursos.

Por ejemplo, dada una definición de trabajo simple:

resources:
  jobs:
    my-notebook-job:
      name: "My Notebook Job"
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

En la vista Explorador de recursos de la agrupación de la extensión se muestra el recurso de trabajo del cuaderno:

Implementación y ejecución de trabajos

Para implementar la agrupación, haga clic en el icono de nube (Implementar agrupación).

Para ejecutar el trabajo, en la vista Explorador de recursos de agrupación, seleccione el nombre del trabajo, que es Mi trabajo de Notebook en este ejemplo. Después, haga clic en el icono de reproducción (Implementar la agrupación y ejecutar el recurso).

Para ver el trabajo en ejecución, en la vista Explorador de recursos de agrupación, expanda el nombre del trabajo, haga clic en Estado de ejecución y, después, haga clic en el icono de vínculo (Abrir vínculo externamente).

Validación y diagnóstico de problemas de canalización

Para una canalización, puede desencadenar la validación y una actualización parcial seleccionando la canalización y, después, el icono de comprobación (Implementar el paquete y validar la canalización). Se muestran los eventos de la ejecución, y cualquier error se puede diagnosticar en el panel Problemas de Visual Studio Code PROBLEMS.

Vista Variables de agrupación

En la vista Ver variables de agrupación de la extensión Databricks para Visual Studio Code se muestran las variables personalizadas y las opciones asociadas que se definen en la configuración de la agrupación. También puede definir variables directamente mediante la vista Variables de agrupación. Estos valores invalidan los establecidos en los archivos de configuración de agrupación. Para más información sobre las variables personalizadas, vea Variables personalizadas.

Por ejemplo, en la Vista Variables de agrupación en la extensión se mostraría lo siguiente:

En el caso de la variable my_custom_var definida en esta configuración de agrupación:

variables:
  my_custom_var:
    description: "Max workers"
    default: "4"

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
                min_workers: 1
                max_workers: ${var.my_custom_var}