A Databricks Asset Bundles bővítmény funkciói

A Visual Studio Code Databricks bővítménye további funkciókat biztosít a Visual Studio Code-ban, amelyek lehetővé teszik a Databricks Asset Bundles egyszerű definiálásához, üzembe helyezéséhez és futtatásához a CI/CD ajánlott eljárásait az Azure Databricks-feladatokra, a DLT-folyamatokra és az MLOps Stackekre. Lásd: Mik azok a Databricks-eszközcsomagok?.

A Visual Studio Code Databricks-bővítményének telepítéséhez tekintse meg a Visual Studio Code Databricks-bővítményének telepítését.

A Databricks Asset Bundles támogatása projektekben

A Visual Studio Code Databricks bővítménye a következő funkciókat adja hozzá a Databricks Asset Bundles-projektekhez:

• A Databricks-eszközcsomagok egyszerű hitelesítése és konfigurálása a Visual Studio Code felhasználói felületén keresztül, beleértve az AuthType-profil kiválasztását is. Lásd a Visual Studio Code programhoz készült Databricks-bővítmény engedélyezésének beállítása.
• A Databricks bővítménypanelen található Célválasztóval gyorsan válthat a köteg célkörnyezetei között. Lásd: A célmunkaterület módosítása az üzembe helyezés során.
• A bővítménypanelen található feladatok felülbírálása fürt a csomagban opció a fürtök egyszerű felülbírálásának engedélyezéséhez.
• A Bundles Resource Explorer nézet, amellyel a Visual Studio Code felhasználói felületén tallózhat a csomag erőforrásai között, egyetlen kattintással üzembe helyezheti a helyi Databricks Asset Bundle-erőforrásokat a távoli Azure Databricks-munkaterületen, és közvetlenül a munkaterületen üzembe helyezett erőforrásokra léphet a Visual Studio Code-ból. Lásd: Kötegerőforrás-kezelő.
• A Bundles Variables nézet, amely lehetővé teszi a csomagváltozók böngészését és szerkesztését a Visual Studio Code UI-ján. Lásd: Csomagváltozók nézet.

Köteg Erőforrás Felfedező

A Bundle Resource Explorer nézet a Visual Studio Code Databricks bővítményében a projekt csomagkonfigurációjában szereplő erőforrás-definíciókat használja az erőforrások megjelenítéséhez, beleértve a folyamatadatkészleteket és azok sémáit. Emellett lehetővé teszi az erőforrások üzembe helyezését és futtatását, a folyamatok részleges frissítéseinek ellenőrzését és végrehajtását, a folyamatfuttatási események és diagnosztikák megtekintését, valamint a távoli Azure Databricks-munkaterület erőforrásaihoz való navigálást. A csomagkonfigurációs erőforrásokról további információt az erőforrásokban talál.

Például egy egyszerű feladatdefinícióval:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

A bővítmény Csomagerőforrás-kezelő nézete megjeleníti a jegyzetfüzet-feladat erőforrását:

Feladat üzembe helyezése és futtatása

A csomag üzembe helyezéséhez kattintson a felhő (Csomag üzembe helyezése) ikonra.

A feladat futtatásához a Csomagerőforrás-kezelő nézetben válassza ki a feladat nevét, amely ebben a példában a Saját jegyzetfüzet feladat . Ezután kattintson a lejátszásra (A csomag üzembe helyezése és az erőforrás futtatása) ikonra.

A futó feladat megtekintéséhez bontsa ki a feladat nevét a Csomagerőforrás-kezelő nézetben, kattintson a Futtatás állapotára, majd a hivatkozásra (Külső hivatkozás megnyitása) ikonra.

Folyamatproblémák ellenőrzése és diagnosztizálása

Pipeline esetén aktiválhatja az érvényesítést és a részleges frissítést a pipeline kiválasztásával, majd az ellenőrzés ikonra (A csomag üzembe helyezése és a pipeline validálása) kattintva. A futtatás eseményei megjelennek, és a hibák diagnosztizálhatók a Visual Studio Code PROBLÉMÁK panelen.

Csomagváltozók nézete

A Visual Studio Code Databricks bővítményének Csomagváltozók nézete megjeleníti a csomagkonfigurációban definiált egyéni változókat és kapcsolódó beállításokat. A Bundles Változók nézet használatával közvetlenül is definiálhat változókat. Ezek az értékek felülbírálják a csomagkonfigurációs fájlokban beállított értékeket. Az egyéni változókról további információt az Egyéni változók című témakörben talál.

A Bővítmény Csomagváltozók nézete például a következőket jeleníti meg:

A csomagkonfigurációban definiált változó my_custom_var esetében:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}