Megosztás a következőn keresztül:


Számítási erőforrások konfigurálása feladatokhoz

Ez a cikk javaslatokat és erőforrásokat tartalmaz a Databricks-feladatok számítási feladatainak konfigurálásához.

Fontos

A feladatok kiszolgáló nélküli számításának korlátozásai a következők:

  • A folyamatos ütemezés nem támogatott.
  • A strukturált streamelés alapértelmezett vagy időalapú időközi eseményindítói nem támogatottak.

További korlátozásokért tekintse meg a kiszolgáló nélküli számítási korlátozásokat.

Minden feladathoz tartozhat egy vagy több tevékenység. Az egyes tevékenységekhez számítási erőforrásokat határozhat meg. Ugyanahhoz a feladathoz több tevékenység is használhatja ugyanazt a számítási erőforrást.

Több feladattal és társított felhőbeli számítási erőforrásokkal rendelkező feladat képe

Az alábbi táblázat az egyes tevékenységtípusokhoz ajánlott és támogatott számítási típusokat jelöli.

Feljegyzés

A feladatok kiszolgáló nélküli számítása korlátozásokkal rendelkezik, és nem támogatja az összes számítási feladatot. Lásd a kiszolgáló nélküli számítási korlátozásokat.

Feladat Javasolt számítás Támogatott számítás
Jegyzetfüzetek Kiszolgáló nélküli feladatok Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű
Python-szkript Kiszolgáló nélküli feladatok Kiszolgáló nélküli munkák, klasszikus feladatok, klasszikus teljes körű
Python-kerék Kiszolgáló nélküli feladatok Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, teljes körű feladatok
SQL Kiszolgáló nélküli SQL Warehouse Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse
DLT-folyamatlánc Kiszolgáló nélküli folyamat Kiszolgáló nélküli folyamat, klasszikus folyamat
dbt Kiszolgáló nélküli SQL Warehouse Kiszolgáló nélküli SQL Warehouse, pro SQL Warehouse
dbt CLI-parancsok Kiszolgáló nélküli feladatok Kiszolgáló nélküli feladatok, klasszikus feladatok, klasszikus, általános célú
KORSÓ Klasszikus feladatok Klasszikus feladatok, klasszikus, mindenre alkalmas
Spark-küldés Klasszikus feladatok Klasszikus feladatok

A feladatok díjszabása a tevékenységek futtatásához használt számításhoz van kötve. További részletekért lásd a Databricks díjszabását.

Hogyan konfiguráljam a számítási erőforrásokat feladatokhoz?

A klasszikus feladatok számítása közvetlenül a Databricks-feladatok felhasználói felületéről van konfigurálva, és ezek a konfigurációk a feladatdefiníció részét képezik. Minden más elérhető számítási típus más munkaterületi eszközökkel tárolja a konfigurációkat. Az alábbi táblázat további részleteket tartalmaz:

Számítási típus Részletek
Klasszikus feladatok számítása A számítást a klasszikus feladatokhoz ugyanazzal a felhasználói felülettel és a teljes körű számításhoz elérhető beállításokkal konfigurálhatja. Lásd: Számítási konfigurációs referencia.
Kiszolgáló nélküli számítás feladatokhoz A feladatok kiszolgáló nélküli számítása az alapértelmezett az azt támogató összes tevékenységhez. A Databricks kezeli a kiszolgáló nélküli számítás számítási beállításait. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz. nn A munkaterület rendszergazdájának engedélyeznie kell a kiszolgáló nélküli számítást ahhoz, hogy ez a beállítás látható legyen. Lásd: Kiszolgáló nélküli számítás engedélyezése.
SQL-raktárak A kiszolgáló nélküli és pro SQL-raktárakat munkaterület-rendszergazdák vagy korlátlan fürtlétrehozási jogosultsággal rendelkező felhasználók konfigurálják. A feladatokat úgy konfigurálja, hogy a meglévő SQL-raktárakon fussanak. Lásd: Csatlakozás SQL-raktárhoz.
DLT-csővezeték számítása A folyamatkonfiguráció során konfigurálhatja a DLT-folyamatok számítási beállításait. Lásd: Számítás konfigurálása DLT-folyamathoz. nn Az Azure Databricks kezeli a kiszolgáló nélküli DLT-folyamatok számítási erőforrásait. Lásd: Kiszolgáló nélküli DLT-folyamat konfigurálása.
Teljes körű számítás A feladatokat igény szerint konfigurálhatja a klasszikus, teljes célú számítással. A Databricks nem javasolja ezt a konfigurációt éles feladatokhoz. Lásd a számítási konfigurációra vonatkozó referenciát , és érdemes-e minden célra szolgáló számítást használni a feladatokhoz?.

Számítási feladatok megosztása

Konfigurálja a feladatokat úgy, hogy ugyanazokat a számítási erőforrásokat használják az erőforrás-használat optimalizálása érdekében olyan feladatok esetében, amelyek több részfeladatot vezényelnek. A számítások tevékenységek közötti megosztása csökkentheti az indítási időpontokhoz kapcsolódó késést.

Egyetlen feladat számítási erőforrásával futtathatja a feladat részét képező összes feladatot, vagy több, adott számítási feladathoz optimalizált feladaterőforrást. A feladat részeként konfigurált feladatok számítása a feladat összes többi tevékenységéhez elérhető.

Az alábbi táblázat az egyetlen tevékenységhez konfigurált feladatszámítás és a tevékenységek között megosztott feladatszámítás közötti különbségeket emeli ki:

Egyetlen tevékenység Feladatok között megosztva
Elkezd Amikor megkezdődik a feladat végrehajtása. Amikor megkezdődik a számítási erőforrás használatára konfigurált első feladatfuttatás.
Befejezés A feladat futtatása után. A számítási erőforrás használatára konfigurált utolsó feladat futtatása után.
Tétlen számítás Nem alkalmazható. A számítás továbbra is aktív és tétlen marad, miközben a számítási erőforrást nem használó tevékenységek futnak.

A megosztott feladatklaszter hatóköre egyetlen feladatfuttatásra van korlátozva, és nem használhatják más feladatok vagy a feladat többi futtatása.

A könyvtárak nem deklarálhatók megosztott feladatkör-klaszter konfigurációjában. Függő kódtárakat kell hozzáadnia a feladatbeállításokhoz.

Számítási feladatok áttekintése, konfigurálása és átcserélése

A Feladat részletei panel Számítási szakasza felsorolja az aktuális feladat tevékenységeihez konfigurált összes számítást.

A számítási erőforrás használatára konfigurált tevékenységek akkor jelennek meg a tevékenységgráfban, ha a számítási specifikáció fölé viszi az egérmutatót.

A Felcserélés gombbal módosíthatja a számítási erőforráshoz társított összes tevékenység számítását.

A klasszikus feladatok számítási erőforrásai konfigurálási lehetőséggel rendelkeznek. Más számítási erőforrások lehetővé teszik a számítási konfiguráció részleteinek megtekintését és módosítását.

Javaslatok a klasszikus feladatok számításának konfigurálásához

Ez a szakasz olyan funkciókra és konfigurációkra vonatkozó általános javaslatokat tartalmaz, amelyek bizonyos munkafolyamatok számára hasznosak lehetnek. A számítási erőforrások méretének és típusainak konfigurálására vonatkozó konkrét javaslatok a számítási feladattól függően változnak.

A Databricks javasolja a Photon Acceleration engedélyezését, a Databricks Runtime legújabb verzióinak használatát, valamint a Unity Cataloghoz konfigurált számítás használatát.

A feladatok kiszolgáló nélküli számítása az összes infrastruktúrát kezeli, így nem veszi figyelembe az alábbi szempontokat. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz.

Feljegyzés

A strukturált streamelési munkafolyamatok konkrét javaslatokkal rendelkeznek. Lásd a Strukturált streaming gyártási szempontjait.

Standard hozzáférési mód használata (korábban megosztott hozzáférési mód)

A Databricks szabványos hozzáférési módot javasol a feladatokhoz. Lásd: Hozzáférési módok.

Feljegyzés

A standard hozzáférési mód nem támogat bizonyos számítási feladatokat és funkciókat. A Databricks dedikált hozzáférési módot (korábban egyfelhasználós hozzáférési módot) javasol ezekhez a számítási feladatokhoz. Lásd Unity Catalogszámítási hozzáférési módra vonatkozó korlátozásait.

A fürtszabályzatok használata

A Databricks azt javasolja, hogy a munkaterület rendszergazdái határozzanak meg fürtszabályzatokat a feladatokhoz, és kényszerítse ezeket a házirendeket minden olyan felhasználó számára, aki feladatokat konfigurál.

A fürtszabályzatok lehetővé teszik a munkahelyi környezet rendszergazdái számára a költségkontrollok beállítását és a felhasználók konfigurációs lehetőségeinek korlátozását. A fürtszabályzatok konfigurálásával kapcsolatos részletekért lásd: Számítási szabályzatok létrehozása és kezelése.

Az Azure Databricks egy alapértelmezett, feladatokhoz konfigurált szabályzatot biztosít. A rendszergazdák elérhetővé tehetik ezt a szabályzatot más munkaterület-felhasználók számára. Lásd: Feladatszámítás.

Automatikus skálázás használata

Konfigurálja az automatikus skálázást, hogy a hosszan futó tevékenységek dinamikusan hozzáadhassák és eltávolíthassák a munkavégző csomópontokat a feladatfuttatások során. Lásd az Automatikus skálázás engedélyezése témakört.

Készlet használata a fürt kezdési idejének csökkentéséhez

A számítási készletek lehetővé teszik a számítási erőforrások felhőszolgáltatótól való lefoglalását. Az erőforrás-készletek előnyt jelentenek az új munkacsoportok indítási idejének csökkentésében és a számítási erőforrások elérhetőségének biztosításában. Lásd: Készletkonfigurációs referencia.

Spot példányok használata

A költségek optimalizálásához konfiguráljon folt példányokat olyan számítási feladatokhoz, amelyek rugalmas késési követelményekkel rendelkeznek. Lásd Spot példányok.

Használjon-e minden célú számítást a feladatokhoz?

A Databricks számos okból javasolja az általános célú számítási infrastruktúra munkafolyamatoknál való használatának elkerülését, többek között az alábbiakat:

  • Az Azure Databricks az általános célú számítás és a feladat számítás esetében különböző díjszabással számláz.
  • A feladatok számítása automatikusan leáll egy feladat futtatása után. A teljes körű számítás támogatja az automatikus leállítást, amely nem a feladatfuttatás végén, hanem az inaktivitáshoz van kötve.
  • A teljes körű számítás gyakran meg van osztva a felhasználók csapatai között. A teljes célú számításra ütemezett feladatok gyakran nagyobb késéssel rendelkeznek a számítási erőforrások versenye miatt.
  • A feladatok számítási konfigurációjának optimalizálására vonatkozó számos javaslat nem felel meg az alkalmi lekérdezések típusának, és az interaktív számítási feladatok teljes körű számításon futnak.

Az alábbiakban azokat a használati eseteket adhatja meg, amelyekben a feladatokhoz a teljes körű számítást választhatja:

  • Iteratív módon fejleszt vagy tesztel új feladatokat. A feladatok számítási kezdési időpontjai megnehezíthetik az iteratív fejlesztést. A teljes körű számítás lehetővé teszi a módosítások alkalmazását és a feladat gyors futtatását.
  • Rövid élettartamú feladatokkal rendelkezik, amelyeket gyakran vagy meghatározott ütemezés szerint kell futtatnia. A jelenleg futó teljes célú számításhoz nincs indítási idő társítva. Ha ezt a mintát használja, fontolja meg a tétlenségi időhöz kapcsolódó költségeket.

A feladatok kiszolgáló nélküli számítása az ajánlott helyettesítője a legtöbb feladattípusnak, amelyet érdemes lehet a teljes célú számításon futtatni.