Funcionalidades da extensão Conjuntos de Recursos do Databricks

A extensão Databricks para Visual Studio Code fornece recursos adicionais no Visual Studio Code que permitem definir, implantar e executar facilmente Databricks Asset Bundles para aplicar práticas recomendadas de CI/CD aos seus trabalhos do Azure Databricks, pipelines DLT e MLOps Stacks. Consulte O que são Databricks Asset Bundles?.

Para instalar a extensão Databricks para Visual Studio Code, consulte Instalar a extensão Databricks para Visual Studio Code.

Suporte em projetos para Databricks Asset Bundles

A extensão Databricks para Visual Studio Code adiciona os seguintes recursos para seus projetos Databricks Asset Bundles:

• Fácil autenticação e configuração dos bundles de ativos do Databricks através da interface do Visual Studio Code, incluindo a seleção do perfil AuthType. Consulte Configuração de autorização para a extensão Databricks para Visual Studio Code.
• Um seletor de destino no painel de extensão Databricks para alternar rapidamente entre ambientes alvo de pacotes. Consulte Alterar o espaço de trabalho de implantação alvo.
• A opção Substituir cluster de trabalhos no pacote no painel de extensão para permitir uma substituição fácil do cluster.
• Uma vista do Bundles Resource Explorer, que lhe permite navegar pelos recursos do pacote usando a interface de utilizador do Visual Studio Code, implantar os recursos do seu Databricks Asset Bundle local no seu espaço de trabalho remoto do Azure Databricks de um único clique, e ir diretamente para os recursos implantados no seu espaço de trabalho a partir do Visual Studio Code. Consulte Bundle Resource Explorer.
• Um modo de exibição de variáveis de pacotes, que permite que você navegue e edite suas variáveis de pacote usando a interface do usuário do Visual Studio Code. Consulte Visualização de Variáveis do Bundle.

Explorador de Pacote de Recursos

A vista do Bundle Resource Explorer na extensão Databricks para o Visual Studio Code utiliza as definições de recursos na configuração do pacote do projeto para exibir recursos, incluindo conjuntos de dados do pipeline e seus esquemas. Ele também permite que você implante e execute recursos, valide e execute atualizações parciais de pipelines, exiba eventos e diagnósticos de execução de pipeline e navegue até recursos em seu espaço de trabalho remoto do Azure Databricks. Para obter informações sobre recursos de configuração de pacote, consulte recursos.

Por exemplo, dada uma definição de trabalho simples:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

A vista Bundle Resource Explorer na extensão exibe o recurso do trabalho do notebook:

Implantar e executar uma tarefa

Para implantar o pacote, clique no ícone nuvem (Implantar pacote).

Para executar o trabalho, no modo de exibição Bundle Resource Explorer , selecione o nome do trabalho, que é Meu Trabalho de Bloco de Anotações neste exemplo. Em seguida, clique no ícone play (Implantar o pacote e executar o recurso).

Para exibir o trabalho em execução, no modo de exibição Bundle Resource Explorer , expanda o nome do trabalho, clique em Status da Execução e clique no ícone de link (Abrir link externamente).

Validar e diagnosticar problemas na linha de processos

Para um pipeline, você pode acionar a validação e uma atualização parcial selecionando o pipeline e, em seguida, o ícone de verificação (Implantar o pacote e validar o pipeline). Os eventos da execução são exibidos e quaisquer falhas podem ser diagnosticadas dentro do Visual Studio Code PROBLEMS painel.

Visualização de Variáveis de Conjunto

O modo de exibição Bundle Variables View na extensão Databricks para Visual Studio Code exibe todas as variáveis personalizadas e configurações associadas definidas na configuração do pacote. Você também pode definir variáveis diretamente usando a Vista de Variáveis de Pacotes. Esses valores substituem os definidos nos arquivos de configuração do pacote. Para obter informações sobre variáveis personalizadas, consulte Variáveis personalizadas.

Por exemplo, o modo de exibição Bundle Variables View na extensão exibiria o seguinte:

Para a variável my_custom_var definida nesta configuração de pacote:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}