Funkcje rozszerzenia pakietu zasobów usługi Databricks

Rozszerzenie Databricks dla programu Visual Studio Code udostępnia dodatkowe funkcje w programie Visual Studio Code, które umożliwiają łatwe definiowanie, wdrażanie i uruchamianie pakietów zasobów Databricks w celu zastosowania najlepszych praktyk CI/CD do zadań usługi Azure Databricks, potoków DLT i stosów MLOps. Zobacz Co to są pakiety zasobów usługi Databricks?.

Aby zainstalować rozszerzenie usługi Databricks dla programu Visual Studio Code, zobacz Instalowanie rozszerzenia usługi Databricks dla programu Visual Studio Code.

Wsparcie pakietów zasobów Databricks w projektach

Rozszerzenie usługi Databricks dla programu Visual Studio Code dodaje następujące funkcje dla projektów pakietu zasobów usługi Databricks:

• Łatwe uwierzytelnianie i konfiguracja pakietów zasobów Databricks za pośrednictwem interfejsu użytkownika programu Visual Studio Code, łącznie z wyborem profilu AuthType. Zobacz Konfigurowanie autoryzacji dla rozszerzenia usługi Databricks dla programu Visual Studio Code.
• Selektor docelowy w panelu rozszerzenia usługi Databricks, aby szybko przełączać się między środowiskami docelowymi pakietu. Zajrzyj do Zmienianie docelowego obszaru roboczego wdrożenia.
• Opcja Zastąp klaster w pakiecie w panelu rozszerzenia umożliwia łatwe zastępowanie klastra.
• Eksplorator zasobów pakietu, który umożliwia przeglądanie zasobów pakietu za pomocą interfejsu użytkownika Visual Studio Code, wdrażanie lokalnych zasobów pakietu assetów Databricks do zdalnego obszaru roboczego Azure Databricks jednym kliknięciem oraz przechodzenie bezpośrednio do wdrożonych zasobów w obszarze roboczym z Visual Studio Code. Zobacz Bundle Resource Explorer (Eksplorator zasobów pakietu).
• Widok zmiennych pakietu, który umożliwia przeglądanie i edytowanie zmiennych pakietu przy użyciu interfejsu użytkownika programu Visual Studio Code. Zobacz Widok zmiennych pakietu.

Eksplorator zasobów pakietu

Widok Bundle Resource Explorer w ramach rozszerzenia Databricks dla programu Visual Studio Code korzysta z definicji zasobów zawartych w konfiguracji pakietu projektu w celu wyświetlania zasobów, takich jak zbiory danych potoków oraz ich schematy. Umożliwia również wdrażanie i uruchamianie zasobów, weryfikowanie i dokonywanie częściowych aktualizacji potoków, wyświetlanie zdarzeń uruchomieniowych potoków i diagnostyki oraz przechodzenie do zasobów w zdalnym obszarze roboczym usługi Azure Databricks. Aby uzyskać informacje o zasobach konfiguracji pakietu, zobacz zasoby.

Na przykład biorąc pod uwagę prostą definicję zadania:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

Eksplorator zasobów pakietu w rozszerzeniu wyświetla zasób zadania zeszytu:

Wdrażanie i uruchamianie zadania

Aby wdrożyć pakiet, kliknij ikonę chmury (wdróż pakiet).

Aby uruchomić zadanie, w widoku Eksplorator zasobów pakietu, wybierz nazwę zadania, czyli My Notebook Job w tym przykładzie. Następnie kliknij ikonę odtwarzania (Wdróż pakiet i uruchom zasób).

Aby wyświetlić uruchomione zadanie, w widoku Eksplorator Zasobów Pakietu rozwiń nazwę zadania, kliknij Stan uruchomienia, a następnie kliknij ikonę Otwórz link zewnętrznie.

Weryfikowanie i diagnozowanie problemów z potokiem danych

W przypadku potoku można wyzwolić walidację i częściową aktualizację, wybierając potok, a następnie ikonę z napisem (Wdróż pakiet i zweryfikuj potok). Zostaną wyświetlone zdarzenia przebiegu, a wszystkie błędy można zdiagnozować w panelu Problémów programu Visual Studio Code.

Widok zmiennych pakietu

Widok Zmiennych Pakietu w rozszerzeniu Databricks dla programu Visual Studio Code wyświetla wszelkie zmienne niestandardowe i powiązane ustawienia zdefiniowane w konfiguracji pakietu. Zmienne można również definiować bezpośrednio przy użyciu Widoku Zmiennych Pakietów. Te wartości zastępują te ustawione w plikach konfiguracji pakietu. Aby uzyskać informacje o zmiennych niestandardowych, zobacz Zmienne niestandardowe.

Na przykład widok Widok zmiennych pakietu w rozszerzeniu wyświetli następujące elementy:

Dla zmiennej my_custom_var zdefiniowanej w tej konfiguracji pakietu:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}