Megosztás a következőn keresztül:

Kiszolgáló nélküli számítás jegyzetfüzetekhez

  • Cikk

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el. A jogosultságról és az engedélyezésről további információt a kiszolgáló nélküli számítás engedélyezése című témakörben talál.

Ez a cikk bemutatja, hogyan használható kiszolgáló nélküli számítás a jegyzetfüzetekhez. A kiszolgáló nélküli számítási feladatok munkafolyamatokhoz való használatáról további információt az Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz című témakörben talál.

A díjszabással kapcsolatos információkért lásd a Databricks díjszabását.

Követelmények

Jegyzetfüzet csatolása kiszolgáló nélküli számításhoz

Ha a munkaterület engedélyezve van a kiszolgáló nélküli interaktív számításhoz, a munkaterület összes felhasználója hozzáférhet a jegyzetfüzetek kiszolgáló nélküli számításához. Nincs szükség további engedélyekre.

A kiszolgáló nélküli számításhoz való csatoláshoz kattintson a jegyzetfüzet Csatlakozás legördülő menüjére, és válassza a Kiszolgáló nélküli lehetőséget. Új jegyzetfüzetek esetén a csatolt számítás automatikusan kiszolgáló nélkülire vált a kód végrehajtásakor, ha nincs más erőforrás kijelölve.

Jegyzetfüzet-függőségek telepítése

A Kiszolgáló nélküli jegyzetfüzetek Python-függőségeit a Környezet oldali panelen telepítheti, amely egyetlen helyet biztosít a jegyzetfüzetek könyvtárkövetelményeinek szerkesztéséhez, megtekintéséhez és exportálásához. Ezek a függőségek alapkörnyezettel vagy külön-külön is hozzáadhatók.

Kiszolgáló nélküli környezet panel

Alapkörnyezet konfigurálása

Az alapkörnyezet egy YAML-fájl, amely munkaterületfájlként vagy Unity Catalog-köteten van tárolva, amely további környezeti függőségeket határoz meg. Az alapkörnyezetek megoszthatók a jegyzetfüzetek között. Alapkörnyezet konfigurálása:

  1. Hozzon létre egy YAML-fájlt, amely meghatározza a Python virtuális környezet beállításait. Az alábbi yaML-példa, amely az MLflow-projektek környezeti specifikációján alapul, egy alapkörnyezetet határoz meg néhány erőforrástár-függőséggel:

    client: "1"
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - cowsay==6.1

  2. Töltse fel a YAML-fájlt munkaterületfájlként vagy unitykatalógus-kötetbe. Lásd: Fájlok importálása vagy fájlok feltöltése Unity-katalóguskötetbe.

  3. A jegyzetfüzet jobb oldalán kattintson a gombra a környezet Környezet panel kibontásához. Ez a gomb csak akkor jelenik meg, ha egy jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik.

  4. Az Alapkörnyezet mezőben adja meg a feltöltött YAML-fájl elérési útját, vagy keresse meg és jelölje ki.

  5. Kattintson az Apply (Alkalmaz) gombra . Ez telepíti a függőségeket a jegyzetfüzet virtuális környezetében, és újraindítja a Python-folyamatot.

A felhasználók felülbírálhatják az alapkörnyezetben megadott függőségeket, ha egyenként telepítik a függőségeket.

Függőségek hozzáadása egyenként

A környezet panel Függőségek lapján a kiszolgáló nélküli számításhoz csatlakoztatott jegyzetfüzetekre is telepíthet függőségeket:

  1. A jegyzetfüzet jobb oldalán kattintson a gombra a környezet Környezet panel kibontásához. Ez a gomb csak akkor jelenik meg, ha egy jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik.
  2. A Függőségek szakaszban kattintson a Függőség hozzáadása elemre, és adja meg a kódtár függőségének elérési útját a mezőben. A függőségeket bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban.
  3. Kattintson az Apply (Alkalmaz) gombra . Ez telepíti a függőségeket a jegyzetfüzet virtuális környezetében, és újraindítja a Python-folyamatot.

Feljegyzés

A kiszolgáló nélküli számítást használó feladatok a jegyzetfüzet környezeti specifikációját telepítik a jegyzetfüzet kódjának végrehajtása előtt. Ez azt jelenti, hogy nem szükséges függőségeket hozzáadni a jegyzetfüzetek feladatokként való ütemezéséhez. Lásd: Notebook-környezetek és -függőségek konfigurálása.

Telepített függőségek és pipnaplók megtekintése

A telepített függőségek megtekintéséhez kattintson a Jegyzetfüzet Környezetek oldalpaneljén a Telepítés gombra. A jegyzetfüzet-környezet piptelepítési naplói a panel alján található Pip-naplókra kattintva is elérhetők.

A környezet alaphelyzetbe állítása

Ha a jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik, a Databricks automatikusan gyorsítótárazza a jegyzetfüzet virtuális környezetének tartalmát. Ez azt jelenti, hogy egy meglévő jegyzetfüzet megnyitásakor általában nem kell újratelepítenie a Környezet panelen megadott Python-függőségeket, még akkor sem, ha az inaktivitás miatt megszakadt.

A Python virtuális környezet gyorsítótárazása a feladatokra is vonatkozik. Ez azt jelenti, hogy a feladatok későbbi futtatása gyorsabb, mivel a szükséges függőségek már elérhetők.

Feljegyzés

Ha módosítja egy kiszolgáló nélküli feladatban használt egyéni Python-csomag implementációját, a feladatok verziószámát is frissítenie kell a legújabb implementáció eléréséhez.

A környezeti gyorsítótár törléséhez és a kiszolgáló nélküli számításhoz csatolt jegyzetfüzet Környezet paneljén megadott függőségek új telepítésének végrehajtásához kattintson az Alkalmaz gomb melletti nyílra, majd a Környezet alaphelyzetbe állítása parancsra.

Feljegyzés

Állítsa alaphelyzetbe a virtuális környezetet, ha olyan csomagokat telepít, amelyek megszakítják vagy módosítják az alapjegyzetfüzetet vagy az Apache Spark-környezetet. Ha leválasztja a jegyzetfüzetet a kiszolgáló nélküli számításról, és újracsatlakoztat, az nem feltétlenül törli a teljes környezeti gyorsítótárat.

Lekérdezési elemzések megtekintése

A jegyzetfüzetek és munkafolyamatok kiszolgáló nélküli számítása lekérdezési megállapításokkal értékeli a Spark végrehajtási teljesítményét. Miután futtatott egy cellát egy jegyzetfüzetben, az SQL- és Python-lekérdezésekkel kapcsolatos elemzéseket a Teljesítmény megtekintése hivatkozásra kattintva tekintheti meg.

Lekérdezési teljesítmény megjelenítése

A lekérdezési metrikák megtekintéséhez kattintson bármelyik Spark-utasításra. Innen a Lekérdezésprofil megtekintése gombra kattintva megtekintheti a lekérdezés végrehajtásának vizualizációját. A lekérdezési profilokról további információt a Lekérdezésprofil című témakörben talál.

Feljegyzés

A feladatfuttatások teljesítményelemzéseinek megtekintéséhez tekintse meg a feladatfuttatás lekérdezési elemzéseinek megtekintése című témakört.

Lekérdezések előzményei

A kiszolgáló nélküli számításon futó összes lekérdezést a rendszer a munkaterület lekérdezési előzményoldalán is rögzíti. A lekérdezési előzményekről további információt a Lekérdezési előzmények című témakörben talál.

Lekérdezéselemzés korlátozásai

  • A lekérdezésprofil csak a lekérdezés végrehajtása után érhető el.
  • A metrikák élőben frissülnek, bár a lekérdezési profil nem jelenik meg a végrehajtás során.
  • Csak a következő lekérdezési állapotok szerepelnek: FUTTATÁS, MÉGSE, SIKERTELEN, KÉSZ.
  • A lekérdezések futtatása nem szakítható meg a lekérdezéselőzmények oldaláról. Jegyzetfüzetekben vagy feladatokban megszakíthatók.
  • Részletes metrikák nem érhetők el.
  • A lekérdezésprofil letöltése nem érhető el.
  • A Spark felhasználói felülethez való hozzáférés nem érhető el.
  • Az utasítás szövege csak az utolsó futtatott sort tartalmazza. Ennek a sornak azonban több olyan sora is lehet, amelyek ugyanannak az utasításnak a részeként futottak.

Korlátozások

A korlátozások listáját a Kiszolgáló nélküli számítási korlátozások című témakörben találja.