Megosztás a következőn keresztül:

A DLT-pipeline számítási erőforrásainak konfigurálása

  • Cikk

Ez a cikk utasításokat és szempontokat tartalmaz a DLT-folyamatok egyéni számítási beállításainak konfigurálásakor.

A kiszolgáló nélküli folyamatok nem biztosítanak számítási konfigurációs beállításokat. Lásd: Kiszolgáló nélküli DLT-folyamat konfigurálása.

Fürtszabályzat kiválasztása

A felhasználóknak rendelkezniük kell engedéllyel a számítási feladatok üzembe helyezéséhez a DLT-folyamatok konfigurálásához és frissítéséhez. A munkaterület rendszergazdái konfigurálhatják a fürtszabályzatokat, hogy a DLT számítási erőforrásaihoz hozzáférést biztosítsanak a felhasználóknak. Lásd: A DLT-folyamatok számításikorlátainak meghatározása.

Jegyzet

  • A fürtszabályzatok nem kötelezőek. Forduljon a munkaterület rendszergazdájához, ha nem rendelkezik a DLT-hez szükséges számítási jogosultságokkal.

  • A fürtszabályzat alapértelmezett értékeinek helyes alkalmazása érdekében állítsa be a apply_policy_default_values és true értékeket a fürtkonfigurációk részében a folyamatkonfigurációban.

    {
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

Fürtcímkék konfigurálása

A folyamatfürtök kihasználtságának figyelésére a fürtcímkéket és a címkéket használhatja. Fürtcímkék hozzáadása a DLT felhasználói felületén csatorna létrehozásakor vagy szerkesztésekor, valamint a csatornafürtök JSON-beállításainak szerkesztésével.

Folyamat futtatásához válassza ki a példánytípusokat

Alapértelmezés szerint a DLT kiválasztja a folyamat illesztőprogram- és feldolgozócsomópontjaihoz tartozó példánytípusokat. Igény szerint konfigurálhatja a példánytípusokat.

Válassza ki például a példánytípusokat a folyamat teljesítményének javítása vagy a memóriaproblémák kezelése érdekében a folyamat futtatásakor. Konfigurálhat példánytípusokat, ha hoz létre, vagy szerkeszt egy folyamatot a REST API-val vagy a DLT felhasználói felületén.

Példánytípusok konfigurálása folyamat létrehozásakor vagy szerkesztésekor a DLT felhasználói felületén:

  1. Kattintson a Beállítások gombra.
  2. A folyamatbeállítások Speciális szakaszában, a Feldolgozó típusa és Illesztő típusa legördülő menüben válassza ki a folyamat példánytípusait.

Speciális számítási konfigurációk

Jegyzet

Mivel a számítási erőforrások teljes mértékben kiszolgáló nélküli DLT-folyamatokhoz vannak felügyelve, a számítási beállítások nem érhetők el, ha egy folyamathoz kiszolgáló nélküli választ.

Minden DLT-folyamatnak két hozzárendelt fürtje van:

  • A updates fürt folyamatfrissítéseket dolgoz fel.
  • A maintenance fürt napi karbantartási feladatokat futtat.

A munkaterületi folyamat konfigurációs felhasználói felületén megadott számítási beállítások frissítési és karbantartási fürtökre is érvényesek. A beállítások egymástól függetlenül történő módosításához szerkesztenie kell a JSON-konfigurációt.

A fürtök által használt konfigurációt a folyamatbeállításokban megadott clusters attribútum határozza meg.

Fürt címkék használatával olyan számítási beállításokat adhat meg, amelyek csak egy adott fürttípusra vonatkoznak. A folyamatfürtök konfigurálásakor három címke használható:

Jegyzet

A fürtcímke beállítása elhagyható, ha csak egy fürtkonfigurációt határoz meg. A default címke akkor lesz alkalmazva a fürtkonfigurációkra, ha nincs megadva a címke beállítása. A fürtcímke-beállításra csak akkor van szükség, ha testre kell szabnia a különböző fürttípusok beállításait.

  • A default címke a updates és maintenance fürtök számítási beállításait határozza meg. Ha mindkét fürtre ugyanazokat a beállításokat alkalmazza, azzal javítja a karbantartási futtatások megbízhatóságát azáltal, hogy biztosítja a szükséges konfigurációkat, például a tárolóhely adatelérési hitelesítő adatait a karbantartási fürtre.
  • A maintenance címke olyan számítási beállításokat határoz meg, amelyek csak a maintenance fürtre vonatkoznak. A maintenance címkével felülbírálhatja a default címke által konfigurált beállításokat.
  • A updates címke olyan beállításokat határoz meg, amelyek csak a updates fürtre vonatkoznak. Ezzel konfigurálhatja azokat a beállításokat, amelyeket nem szabad alkalmazni a maintenance fürtre.

A default és updates címkékkel meghatározott beállításokat összekapcsolják, hogy létrehozzák a updates fürt végső konfigurációját. Ha ugyanazt a beállítást default és updates címkékkel is definiálja, a updates címkével definiált beállítás felülírja a default címkével definiált beállítást.

Az alábbi példa egy Spark-konfigurációs paramétert határoz meg, amely csak a updates-fürt konfigurációjába van hozzáadva:

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
        "key": "value"
      }
    }
  ]
}

A DLT az Azure Databricks más számítási szolgáltatásaihoz hasonló lehetőségeket biztosít a fürtök beállításaihoz. A többi folyamatbeállításhoz hasonlóan a fürtök JSON-konfigurációját is módosíthatja úgy, hogy a felhasználói felületen nem található beállításokat adja meg. Lásd: Compute.

Jegyzet

Mivel a DLT-futtatókörnyezet kezeli a folyamatfürtök életciklusát, és a Databricks Runtime egyéni verzióját futtatja, nem állíthat be manuálisan bizonyos fürtbeállításokat egy folyamatkonfigurációban, például a Spark-verziót vagy a fürtneveket. Lásd klaszterattribútumokat, amelyek nem felhasználói állíthatóak.

Példánytípusok konfigurálása frissítési és karbantartási fürtökhöz

A példánytípusok a folyamat JSON-beállításaiban való konfigurálásához kattintson a JSON gombra, és adja meg a példánytípus-konfigurációkat a fürtkonfigurációban:

Jegyzet

Annak érdekében, hogy ne rendeljen felesleges erőforrásokat a maintenance fürthöz, ez a példa a updates címkével állítja be csak a updates fürt példánytípusát. A updates és maintenance fürtökhöz rendelje hozzá a példánytípusokat a default címke használatával, vagy hagyja el a címke beállítását. A default címke akkor lesz alkalmazva a folyamatfürt-konfigurációkra, ha nincs megadva a címke beállítása. Lásd: Speciális számítási konfigurációk.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "...": "..."
    }
  ]
}

Számítási leállítás késleltetése

A fürtleállítási viselkedés szabályozásához használhat fejlesztési vagy éles módot, vagy használhatja a pipelines.clusterShutdown.delay beállítást a folyamatkonfigurációban. Az alábbi példa 60 másodpercre állítja a pipelines.clusterShutdown.delay értékét:

{
  "configuration": {
    "pipelines.clusterShutdown.delay": "60s"
  }
}

Ha production mód engedélyezve van, a pipelines.clusterShutdown.delay alapértelmezett értéke 0 seconds. Ha development mód engedélyezve van, az alapértelmezett érték 2 hours.

Jegyzet

Mivel a DLT-fürtök automatikusan leállnak, amikor nincsenek használatban, hibát eredményez, ha a fürtkonfigurációban egy autotermination_minutes-t beállító fürtszabályzatra hivatkozunk.

Egyetlen csomópont-klaszter létrehozása

Ha a cluster beállításoknál 0-ra állítja a num_workers-t, a fürt egyetlen csomópontú fürtként jön létre. Az automatikus skálázási fürt konfigurálása és a min_workers beállítása 0-ra, max_workers pedig 0-ra, egyetlen csomópontfürtöt hoz létre.

Ha automatikus skálázási fürtöt konfigurál, és csak min_workers 0 értékre állítja, a fürt nem egyetlen csomópontfürtként jön létre. A fürtnek mindig legalább egy aktív munkaereje van megszűnéséig.

Példa fürtkonfiguráció egyetlen csomópontfürt létrehozására a DLT-ben:

{
  "clusters": [
    {
      "num_workers": 0
    }
  ]
}