A DLT-pipeline számítási erőforrásainak konfigurálása
Ez a cikk utasításokat és szempontokat tartalmaz a DLT-folyamatok egyéni számítási beállításainak konfigurálásakor.
A kiszolgáló nélküli folyamatok nem biztosítanak számítási konfigurációs beállításokat. Lásd: Kiszolgáló nélküli DLT-folyamat konfigurálása.
Fürtszabályzat kiválasztása
A felhasználóknak rendelkezniük kell engedéllyel a számítási feladatok üzembe helyezéséhez a DLT-folyamatok konfigurálásához és frissítéséhez. A munkaterület rendszergazdái konfigurálhatják a fürtszabályzatokat, hogy a DLT számítási erőforrásaihoz hozzáférést biztosítsanak a felhasználóknak. Lásd: A DLT-folyamatok számításikorlátainak meghatározása.
Jegyzet
A fürtszabályzatok nem kötelezőek. Forduljon a munkaterület rendszergazdájához, ha nem rendelkezik a DLT-hez szükséges számítási jogosultságokkal.
A fürtszabályzat alapértelmezett értékeinek helyes alkalmazása érdekében állítsa be a
apply_policy_default_values
éstrue
értékeket a fürtkonfigurációk részében a folyamatkonfigurációban.{ "clusters": [ { "label": "default", "policy_id": "<policy-id>", "apply_policy_default_values": true } ] }
Fürtcímkék konfigurálása
A folyamatfürtök kihasználtságának figyelésére a fürtcímkéket és a címkéket használhatja. Fürtcímkék hozzáadása a DLT felhasználói felületén csatorna létrehozásakor vagy szerkesztésekor, valamint a csatornafürtök JSON-beállításainak szerkesztésével.
Folyamat futtatásához válassza ki a példánytípusokat
Alapértelmezés szerint a DLT kiválasztja a folyamat illesztőprogram- és feldolgozócsomópontjaihoz tartozó példánytípusokat. Igény szerint konfigurálhatja a példánytípusokat.
Válassza ki például a példánytípusokat a folyamat teljesítményének javítása vagy a memóriaproblémák kezelése érdekében a folyamat futtatásakor. Konfigurálhat példánytípusokat, ha hoz létre, vagy szerkeszt egy folyamatot a REST API-val vagy a DLT felhasználói felületén.
Példánytípusok konfigurálása folyamat létrehozásakor vagy szerkesztésekor a DLT felhasználói felületén:
- Kattintson a Beállítások gombra.
- A folyamatbeállítások Speciális szakaszában, a Feldolgozó típusa és Illesztő típusa legördülő menüben válassza ki a folyamat példánytípusait.
Speciális számítási konfigurációk
Jegyzet
Mivel a számítási erőforrások teljes mértékben kiszolgáló nélküli DLT-folyamatokhoz vannak felügyelve, a számítási beállítások nem érhetők el, ha egy folyamathoz kiszolgáló nélküli választ.
Minden DLT-folyamatnak két hozzárendelt fürtje van:
- A
updates
fürt folyamatfrissítéseket dolgoz fel. - A
maintenance
fürt napi karbantartási feladatokat futtat.
A munkaterületi folyamat konfigurációs felhasználói felületén megadott számítási beállítások frissítési és karbantartási fürtökre is érvényesek. A beállítások egymástól függetlenül történő módosításához szerkesztenie kell a JSON-konfigurációt.
A fürtök által használt konfigurációt a folyamatbeállításokban megadott clusters
attribútum határozza meg.
Fürt címkék használatával olyan számítási beállításokat adhat meg, amelyek csak egy adott fürttípusra vonatkoznak. A folyamatfürtök konfigurálásakor három címke használható:
Jegyzet
A fürtcímke beállítása elhagyható, ha csak egy fürtkonfigurációt határoz meg. A default
címke akkor lesz alkalmazva a fürtkonfigurációkra, ha nincs megadva a címke beállítása. A fürtcímke-beállításra csak akkor van szükség, ha testre kell szabnia a különböző fürttípusok beállításait.
- A
default
címke aupdates
ésmaintenance
fürtök számítási beállításait határozza meg. Ha mindkét fürtre ugyanazokat a beállításokat alkalmazza, azzal javítja a karbantartási futtatások megbízhatóságát azáltal, hogy biztosítja a szükséges konfigurációkat, például a tárolóhely adatelérési hitelesítő adatait a karbantartási fürtre. - A
maintenance
címke olyan számítási beállításokat határoz meg, amelyek csak amaintenance
fürtre vonatkoznak. Amaintenance
címkével felülbírálhatja adefault
címke által konfigurált beállításokat. - A
updates
címke olyan beállításokat határoz meg, amelyek csak aupdates
fürtre vonatkoznak. Ezzel konfigurálhatja azokat a beállításokat, amelyeket nem szabad alkalmazni amaintenance
fürtre.
A default
és updates
címkékkel meghatározott beállításokat összekapcsolják, hogy létrehozzák a updates
fürt végső konfigurációját. Ha ugyanazt a beállítást default
és updates
címkékkel is definiálja, a updates
címkével definiált beállítás felülírja a default
címkével definiált beállítást.
Az alábbi példa egy Spark-konfigurációs paramétert határoz meg, amely csak a updates
-fürt konfigurációjába van hozzáadva:
{
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
},
{
"label": "updates",
"spark_conf": {
"key": "value"
}
}
]
}
A DLT az Azure Databricks más számítási szolgáltatásaihoz hasonló lehetőségeket biztosít a fürtök beállításaihoz. A többi folyamatbeállításhoz hasonlóan a fürtök JSON-konfigurációját is módosíthatja úgy, hogy a felhasználói felületen nem található beállításokat adja meg. Lásd: Compute.
Jegyzet
Mivel a DLT-futtatókörnyezet kezeli a folyamatfürtök életciklusát, és a Databricks Runtime egyéni verzióját futtatja, nem állíthat be manuálisan bizonyos fürtbeállításokat egy folyamatkonfigurációban, például a Spark-verziót vagy a fürtneveket. Lásd klaszterattribútumokat, amelyek nem felhasználói állíthatóak.
Példánytípusok konfigurálása frissítési és karbantartási fürtökhöz
A példánytípusok a folyamat JSON-beállításaiban való konfigurálásához kattintson a JSON gombra, és adja meg a példánytípus-konfigurációkat a fürtkonfigurációban:
Jegyzet
Annak érdekében, hogy ne rendeljen felesleges erőforrásokat a maintenance
fürthöz, ez a példa a updates
címkével állítja be csak a updates
fürt példánytípusát. A updates
és maintenance
fürtökhöz rendelje hozzá a példánytípusokat a default
címke használatával, vagy hagyja el a címke beállítását. A default
címke akkor lesz alkalmazva a folyamatfürt-konfigurációkra, ha nincs megadva a címke beállítása. Lásd: Speciális számítási konfigurációk.
{
"clusters": [
{
"label": "updates",
"node_type_id": "Standard_D12_v2",
"driver_node_type_id": "Standard_D3_v2",
"...": "..."
}
]
}
Számítási leállítás késleltetése
A fürtleállítási viselkedés szabályozásához használhat fejlesztési vagy éles módot, vagy használhatja a pipelines.clusterShutdown.delay
beállítást a folyamatkonfigurációban. Az alábbi példa 60 másodpercre állítja a pipelines.clusterShutdown.delay
értékét:
{
"configuration": {
"pipelines.clusterShutdown.delay": "60s"
}
}
Ha production
mód engedélyezve van, a pipelines.clusterShutdown.delay
alapértelmezett értéke 0 seconds
. Ha development
mód engedélyezve van, az alapértelmezett érték 2 hours
.
Jegyzet
Mivel a DLT-fürtök automatikusan leállnak, amikor nincsenek használatban, hibát eredményez, ha a fürtkonfigurációban egy autotermination_minutes
-t beállító fürtszabályzatra hivatkozunk.
Egyetlen csomópont-klaszter létrehozása
Ha a cluster beállításoknál 0-ra állítja a num_workers
-t, a fürt egyetlen csomópontú fürtként jön létre. Az automatikus skálázási fürt konfigurálása és a min_workers
beállítása 0-ra, max_workers
pedig 0-ra, egyetlen csomópontfürtöt hoz létre.
Ha automatikus skálázási fürtöt konfigurál, és csak min_workers
0 értékre állítja, a fürt nem egyetlen csomópontfürtként jön létre. A fürtnek mindig legalább egy aktív munkaereje van megszűnéséig.
Példa fürtkonfiguráció egyetlen csomópontfürt létrehozására a DLT-ben:
{
"clusters": [
{
"num_workers": 0
}
]
}