Funkce rozšíření Databricks pro sady prostředků

Rozšíření Databricks pro Visual Studio Code poskytuje další funkce v nástroji Visual Studio Code, které umožňují snadno definovat, nasazovat a spouštět sady prostředků Databricks a používat osvědčené postupy CI/CD pro úlohy Azure Databricks, kanály DLT a zásobníky MLOps. Podívejte se na co jsou balíčky prostředků Databricks?

Pokud chcete nainstalovat rozšíření Databricks pro Visual Studio Code, přečtěte si téma Instalace rozšíření Databricks pro Visual Studio Code.

Podpora balíčků prostředků Databricks v projektech

Rozšíření Databricks pro Visual Studio Code přidává následující funkce pro projekty Sady prostředků Databricks:

• Snadné ověřování a konfigurace sad prostředků Databricks prostřednictvím uživatelského rozhraní Visual Studio Code, včetně výběru profilu AuthType. Viz Nastavení autorizace pro rozšíření Databricks pro Visual Studio Code.
• Výběr Target na panelu rozšíření Databricks pro rychlé přepínání mezi cílovými prostředími balíčku. Podívejte se na Změna cílového nasazení pracovního prostoru.
• Možnost Přepsat úlohy v sadě na panelu rozšíření, aby bylo možné snadné přepsání clusteru.
• Zobrazení Průzkumník prostředků Bundles, které vám umožní procházet prostředky vaší sady balíčků pomocí uživatelského rozhraní Visual Studio Code, nasadit místní prostředky Databricks Asset Bundle do vzdáleného pracovního prostoru Azure Databricks jediným kliknutím a přejít přímo k nasazeným prostředkům ve vašem pracovním prostoru z Visual Studio Code. Viz Průzkumník prostředků balíku.
• Zobrazení proměnných balíčků, které vám umožňuje procházet a upravovat vaše proměnné pomocí uživatelského rozhraní Visual Studio Code. Vizte Zobrazení proměnných svazku.

Průzkumník sad prostředků

Zobrazení Bundle Resource Explorer v rozšíření Databricks pro Visual Studio Code používá definice prostředků v konfiguraci sad projektů k zobrazení prostředků, včetně datových sad pipeline a jejich schémat. Umožňuje také nasazovat a spouštět prostředky, ověřovat a provádět částečné aktualizace kanálů, zobrazit události spuštění kanálu a diagnostiku a přejít k prostředkům ve vzdáleném pracovním prostoru Azure Databricks. Informace o zdrojích konfigurace sady najdete v tématu zdroje.

Například s ohledem na jednoduchou definici úlohy:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

Rozhraní Průzkumníka zdrojů sady v rozšíření zobrazuje zdroje úlohy notebooku:

Nasazení a spuštění úlohy

Pokud chcete sadu nasadit, klikněte na ikonu cloudu (nasadit sadu).

Pokud chcete úlohu spustit, v zobrazení Bundle Resource Explorer vyberte název úlohy, což je Úloha poznámkového bloku v tomto příkladu. Potom klikněte na ikonu pro přehrávání (nasadit balíček a spustit prostředek).

Pokud chcete zobrazit spuštěnou úlohu, v zobrazení Průzkumník prostředků sady rozbalte název úlohy, klikněte na Stav spuštění a potom klikněte na ikonu odkazu (Otevřít odkaz externě).

Ověření a diagnostika problémů s potrubím

V případě kanálu můžete spustit ověření a částečnou aktualizaci tím, že nejprve vyberete kanál, a poté kliknete na ikonu kontroly (Nasadit sadu a ověřit kanál). Události spuštění se zobrazí a všechna selhání lze diagnostikovat na panelu Visual Studio Code PROBLÉMY.

Zobrazení proměnných sady

Zobrazení Zobrazení proměnných sady prostředků v rozšíření Databricks pro Visual Studio Code zobrazí všechny vlastní proměnné a přidružená nastavení definovaná v konfiguraci sady prostředků. Můžete také definovat proměnné přímo pomocí zobrazení Bundles Variables. Tyto hodnoty přepíší ty, které jsou nastavené v konfiguračních souborech sady. Informace o vlastních proměnných najdete v tématu Vlastní proměnné.

Například Pohled Proměnné svazku v rozšíření by zobrazoval následující:

Pro proměnnou my_custom_var definovanou v této konfiguraci sady:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}