Számítási erőforrások konfigurálása feladatokhoz
Ez a cikk javaslatokat és erőforrásokat tartalmaz a Databricks-feladatok számítási feladatainak konfigurálásához.
Fontos
A feladatok kiszolgáló nélküli számításának korlátozásai a következők:
- A folyamatos ütemezés nem támogatott.
- A strukturált streamelés alapértelmezett vagy időalapú időközi eseményindítói nem támogatottak.
További korlátozásokért tekintse meg a kiszolgáló nélküli számítási korlátozásokat.
Minden feladathoz tartozhat egy vagy több tevékenység. Az egyes tevékenységekhez számítási erőforrásokat határozhat meg. Ugyanahhoz a feladathoz több tevékenység is használhatja ugyanazt a számítási erőforrást.
Mi az ajánlott számítás az egyes tevékenységekhez?
Az alábbi táblázat az egyes tevékenységtípusokhoz ajánlott és támogatott számítási típusokat jelöli.
Feljegyzés
A feladatok kiszolgáló nélküli számítása korlátozásokkal rendelkezik, és nem támogatja az összes számítási feladatot. Lásd a kiszolgáló nélküli számítási korlátozásokat.
| Feladat | Javasolt számítás | Támogatott számítás |
|---|---|---|
| Jegyzetfüzetek | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű |
| Python-szkript | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli munkák, klasszikus feladatok, klasszikus teljes körű |
| Python-kerék | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű feladatok |
| SQL | Kiszolgáló nélküli SQL Warehouse | Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse |
| DLT-folyamatlánc | Kiszolgáló nélküli folyamat | Kiszolgáló nélküli folyamat, klasszikus folyamat |
| dbt | Kiszolgáló nélküli SQL Warehouse | Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse |
| dbt CLI-parancsok | Kiszolgáló nélküli feladatok | Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, általános célú |
| KORSÓ | Klasszikus feladatok | Klasszikus feladatok, klasszikus, mindenre alkalmas |
| Spark-küldés | Klasszikus feladatok | Klasszikus feladatok |
A feladatok díjszabása a tevékenységek futtatásához használt számításhoz van kötve. További részletekért lásd a Databricks díjszabását.
Hogyan konfiguráljam a számítási erőforrásokat feladatokhoz?
A klasszikus feladatok számítása közvetlenül a Databricks-feladatok felhasználói felületéről van konfigurálva, és ezek a konfigurációk a feladatdefiníció részét képezik. Minden más elérhető számítási típus más munkaterületi eszközökkel tárolja a konfigurációkat. Az alábbi táblázat további részleteket tartalmaz:
| Számítási típus | Részletek |
|---|---|
| Klasszikus feladatok számítása | A számítást a klasszikus feladatokhoz ugyanazzal a felhasználói felülettel és a teljes körű számításhoz elérhető beállításokkal konfigurálhatja. Lásd: Számítási konfigurációs referencia. |
| Kiszolgáló nélküli számítás feladatokhoz | A feladatok kiszolgáló nélküli számítása az alapértelmezett az azt támogató összes tevékenységhez. A Databricks kezeli a kiszolgáló nélküli számítás számítási beállításait. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz. nn A munkaterület rendszergazdájának engedélyeznie kell a kiszolgáló nélküli számítást ahhoz, hogy ez a beállítás látható legyen. Lásd: Kiszolgáló nélküli számítás engedélyezése. |
| SQL-raktárak | A kiszolgáló nélküli és pro SQL-raktárakat munkaterület-rendszergazdák vagy korlátlan fürtlétrehozási jogosultsággal rendelkező felhasználók konfigurálják. A feladatokat úgy konfigurálja, hogy a meglévő SQL-raktárakon fussanak. Lásd: Csatlakozás SQL-raktárhoz. |
| DLT-csővezeték számítása | A folyamatkonfiguráció során konfigurálhatja a DLT-folyamatok számítási beállításait. Lásd: Számítás konfigurálása DLT-folyamathoz. nn Az Azure Databricks kezeli a kiszolgáló nélküli DLT-folyamatok számítási erőforrásait. Lásd: Kiszolgáló nélküli DLT-folyamat konfigurálása. |
| Teljes körű számítás | A feladatokat igény szerint konfigurálhatja a klasszikus, teljes célú számítással. A Databricks nem javasolja ezt a konfigurációt éles feladatokhoz. Lásd a számítási konfigurációra vonatkozó referenciát , és érdemes-e minden célra szolgáló számítást használni a feladatokhoz?. |
Számítási feladatok megosztása
Konfigurálja a feladatokat úgy, hogy ugyanazokat a számítási erőforrásokat használják az erőforrás-használat optimalizálása érdekében olyan feladatok esetében, amelyek több részfeladatot vezényelnek. A számítások tevékenységek közötti megosztása csökkentheti az indítási időpontokhoz kapcsolódó késést.
Egyetlen feladat számítási erőforrásával futtathatja a feladat részét képező összes feladatot, vagy több, adott számítási feladathoz optimalizált feladaterőforrást. A feladat részeként konfigurált feladatok számítása a feladat összes többi tevékenységéhez elérhető.
Az alábbi táblázat az egyetlen tevékenységhez konfigurált feladatszámítás és a tevékenységek között megosztott feladatszámítás közötti különbségeket emeli ki:
| Egyetlen tevékenység | Feladatok között megosztva | |
|---|---|---|
| Elkezd | Amikor megkezdődik a feladat végrehajtása. | Amikor megkezdődik a számítási erőforrás használatára konfigurált első feladatfuttatás. |
| Befejezés | A feladat futtatása után. | A számítási erőforrás használatára konfigurált utolsó feladat futtatása után. |
| Tétlen számítás | Nem alkalmazható. | A számítás továbbra is aktív és tétlen marad, miközben a számítási erőforrást nem használó tevékenységek futnak. |
A megosztott feladatklaszter hatóköre egyetlen feladatfuttatásra van korlátozva, és nem használhatják más feladatok vagy a feladat többi futtatása.
A könyvtárak nem deklarálhatók megosztott feladatkör-klaszter konfigurációjában. Függő kódtárakat kell hozzáadnia a feladatbeállításokhoz.
Számítási feladatok áttekintése, konfigurálása és átcserélése
A Feladat részletei panel Számítási szakasza felsorolja az aktuális feladat tevékenységeihez konfigurált összes számítást.
A számítási erőforrás használatára konfigurált tevékenységek akkor jelennek meg a tevékenységgráfban, ha a számítási specifikáció fölé viszi az egérmutatót.
A Felcserélés gombbal módosíthatja a számítási erőforráshoz társított összes tevékenység számítását.
A klasszikus feladatok számítási erőforrásai konfigurálási lehetőséggel rendelkeznek. Más számítási erőforrások lehetővé teszik a számítási konfiguráció részleteinek megtekintését és módosítását.
Javaslatok a klasszikus feladatok számításának konfigurálásához
Ez a szakasz olyan funkciókra és konfigurációkra vonatkozó általános javaslatokat tartalmaz, amelyek bizonyos munkafolyamatok számára hasznosak lehetnek. A számítási erőforrások méretének és típusainak konfigurálására vonatkozó konkrét javaslatok a számítási feladattól függően változnak.
A Databricks javasolja a Photon Acceleration engedélyezését, a Databricks Runtime legújabb verzióinak használatát, valamint a Unity Cataloghoz konfigurált számítás használatát.
A feladatok kiszolgáló nélküli számítása az összes infrastruktúrát kezeli, így nem veszi figyelembe az alábbi szempontokat. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz.
Feljegyzés
A strukturált streamelési munkafolyamatok konkrét javaslatokkal rendelkeznek. Lásd a Strukturált streaming gyártási szempontjait.
Standard hozzáférési mód használata (korábban megosztott hozzáférési mód)
A Databricks szabványos hozzáférési módot javasol a feladatokhoz. Lásd: Hozzáférési módok.
Feljegyzés
A standard hozzáférési mód nem támogat bizonyos számítási feladatokat és funkciókat. A Databricks dedikált hozzáférési módot (korábban egyfelhasználós hozzáférési módot) javasol ezekhez a számítási feladatokhoz. Lásd Unity Catalogszámítási hozzáférési módra vonatkozó korlátozásait.
A fürtszabályzatok használata
A Databricks azt javasolja, hogy a munkaterület rendszergazdái határozzanak meg fürtszabályzatokat a feladatokhoz, és kényszerítse ezeket a házirendeket minden olyan felhasználó számára, aki feladatokat konfigurál.
A fürtszabályzatok lehetővé teszik a munkahelyi környezet rendszergazdái számára a költségkontrollok beállítását és a felhasználók konfigurációs lehetőségeinek korlátozását. A fürtszabályzatok konfigurálásával kapcsolatos részletekért lásd: Számítási szabályzatok létrehozása és kezelése.
Az Azure Databricks egy alapértelmezett, feladatokhoz konfigurált szabályzatot biztosít. A rendszergazdák elérhetővé tehetik ezt a szabályzatot más munkaterület-felhasználók számára. Lásd: Feladatszámítás.
Automatikus skálázás használata
Konfigurálja az automatikus skálázást, hogy a hosszan futó tevékenységek dinamikusan hozzáadhassák és eltávolíthassák a munkavégző csomópontokat a feladatfuttatások során. Lásd az Automatikus skálázás engedélyezése témakört.
Készlet használata a fürt kezdési idejének csökkentéséhez
A számítási készletek lehetővé teszik a számítási erőforrások felhőszolgáltatótól való lefoglalását. Az erőforrás-készletek előnyt jelentenek az új munkacsoportok indítási idejének csökkentésében és a számítási erőforrások elérhetőségének biztosításában. Lásd: Készletkonfigurációs referencia.
Spot példányok használata
A költségek optimalizálásához konfiguráljon folt példányokat olyan számítási feladatokhoz, amelyek rugalmas késési követelményekkel rendelkeznek. Lásd Spot példányok.
Használjon-e minden célú számítást a feladatokhoz?
A Databricks számos okból javasolja az általános célú számítási infrastruktúra munkafolyamatoknál való használatának elkerülését, többek között az alábbiakat:
- Az Azure Databricks az általános célú számítás és a feladat számítás esetében különböző díjszabással számláz.
- A feladatok számítása automatikusan leáll egy feladat futtatása után. A teljes körű számítás támogatja az automatikus leállítást, amely nem a feladatfuttatás végén, hanem az inaktivitáshoz van kötve.
- A teljes körű számítás gyakran meg van osztva a felhasználók csapatai között. A teljes célú számításra ütemezett feladatok gyakran nagyobb késéssel rendelkeznek a számítási erőforrások versenye miatt.
- A feladatok számítási konfigurációjának optimalizálására vonatkozó számos javaslat nem felel meg az alkalmi lekérdezések típusának, és az interaktív számítási feladatok teljes körű számításon futnak.
Az alábbiakban azokat a használati eseteket adhatja meg, amelyekben a feladatokhoz a teljes körű számítást választhatja:
- Iteratív módon fejleszt vagy tesztel új feladatokat. A feladatok számítási kezdési időpontjai megnehezíthetik az iteratív fejlesztést. A teljes körű számítás lehetővé teszi a módosítások alkalmazását és a feladat gyors futtatását.
- Rövid élettartamú feladatokkal rendelkezik, amelyeket gyakran vagy meghatározott ütemezés szerint kell futtatnia. A jelenleg futó teljes célú számításhoz nincs indítási idő társítva. Ha ezt a mintát használja, fontolja meg a tétlenségi időhöz kapcsolódó költségeket.
A feladatok kiszolgáló nélküli számítása az ajánlott helyettesítője a legtöbb feladattípusnak, amelyet érdemes lehet a teljes célú számításon futtatni.