Kiszolgáló nélküli környezet konfigurálása

Ez a cikk bemutatja, hogyan használhatja egy kiszolgáló nélküli jegyzetfüzet Környezet oldalpaneljét függőségek, kiszolgáló nélküli költségvetési szabályzatok, memória és környezeti verzió konfigurálására. Ez a panel egyetlen helyet biztosít a jegyzetfüzet kiszolgáló nélküli beállításainak kezeléséhez. A panelen konfigurált beállítások csak akkor érvényesek, ha a jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik.

A Környezet oldalpanel kibontásához kattintson a gombra a jegyzetfüzet jobb oldalán.

A nem jegyzetfüzet-feladatokkal kapcsolatos környezeti beállítások konfigurálásáról további információt a Környezet konfigurálása nem jegyzetfüzet-feladatokhozcímű témakörben talál.

Magas memória, kiszolgáló nélküli számítás használata

Ha memórián kívüli hibákba ütközik a jegyzetfüzetben, konfigurálhatja a jegyzetfüzetet nagyobb memóriaméret használatára. Ez a beállítás növeli a kód jegyzetfüzetben való futtatásakor használt REPL-memória méretét. Ez nem befolyásolja a Spark-munkamenet memóriaméretét. A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.

1. A jegyzetfüzet felhasználói felületén kattintson a "Környezet" oldalpanelre.
2. A Memóriaterületen válassza a Nagy memórialehetőséget.
3. Kattintson az Apply (Alkalmaz) gombra .

Ez a beállítás a jegyzetfüzet-feladatokra is vonatkozik, amelyek a jegyzetfüzet memóriabeállításai alapján futnak. A jegyzetfüzet memóriabeállításának módosítása befolyásolja a következő feladat futtatását.

Kiszolgáló nélküli költségvetési szabályzat kiválasztása

A kiszolgáló nélküli költségvetési szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez.

Ha a munkaterület kiszolgáló nélküli költségvetési szabályzatokat használ a kiszolgáló nélküli használat attribútumához, kiválaszthatja a jegyzetfüzetre alkalmazni kívánt kiszolgáló nélküli költségvetési szabályzatot. Ha egy felhasználó csak egy kiszolgáló nélküli költségvetési szabályzathoz van hozzárendelve, a rendszer alapértelmezés szerint ezt a házirendet választja ki.

A kiszolgáló nélküli költségvetési szabályzatot a Környezet oldalpanelen választhatja ki, miután a jegyzetfüzet kiszolgáló nélküli számításhoz van csatlakoztatva:

1. A jegyzetfüzet felhasználói felületén kattintson a Környezet oldalpanel című oldalsávra.
2. A Költségvetési szabályzat alatt válassza ki azt a kiszolgáló nélküli költségvetési szabályzatot, amelyet a jegyzetfüzetére kíván alkalmazni.
3. Kattintson az Apply (Alkalmaz) gombra .

Amikor a beállítás befejeződik, minden jegyzetfüzet-használat örökli a szerver nélküli költségvetési szabályzat egyéni címkéit.

Környezeti verzió kiválasztása

A környezeti verziók lehetővé teszik a kiszolgáló nélküli számítási feladatok számára, hogy független motorfrissítéseket kapjanak az alkalmazások kompatibilitásának befolyásolása nélkül. Az egyes környezeti verziók részleteinek megtekintéséhez tekintse meg kiszolgáló nélküli környezetek. A Databricks azt javasolja, hogy a legújabb verziót választva hozzájusson a naprakész notebook funkciókhoz.

Környezeti verzió kiválasztása:

1. A jegyzetfüzet felhasználói felületén kattintson a Environment side panelKörnyezet oldalpanelre.
2. A Környezeti verzióterületen válasszon ki egy verziót.
3. Kattintson az Apply (Alkalmaz) gombra .

Függőségek hozzáadása a jegyzetfüzethez

Mivel a serverless környezet nem támogatja a számítási szabályzatokat és az init-szkripteket, az egyéni könyvtárfüggőségeket a Környezet oldalpanel segítségével kell hozzáadnia. Külön-külön is hozzáadhat kódtárakat, vagy megosztható alapkörnyezettel több kódtárat is telepíthet.

Egyénileg hozzáadni egy könyvtári függőséget:

1. A jegyzetfüzet felhasználói felületén kattintson a "Környezet" oldalpanelre.
2. A Függőségek szakaszban kattintson a Függőség hozzáadása elemre, és adja meg a kódtár függőségének elérési útját a mezőben. A függőségeket bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban.
3. Kattintson az Apply (Alkalmaz) gombra . Ez telepíti a függőségeket a jegyzetfüzet virtuális környezetében, és újraindítja a Python-folyamatot.

A kiszolgáló nélküli számítást használó feladat telepíti a jegyzetfüzet környezeti specifikációját a jegyzetfüzet kódjának futtatása előtt. Ez azt jelenti, hogy nem kell függőségeket hozzáadnia a jegyzetfüzetek feladatokként való ütemezéséhez.

A telepített függőségek megtekintéséhez kattintson a Telepített fülre a Környezetek oldalpanelen. A jegyzetfüzet környezet pip telepítési naplói a panel alján a pip naplókra kattintva is elérhetők.

Alapkörnyezet konfigurálása

Az alapkörnyezet egy YAML-fájl, amely munkaterületfájlként vagy Unity Catalog-köteten van tárolva, amely további környezeti függőségeket határoz meg. Az alapkörnyezetek megoszthatók a jegyzetfüzetek között. Alapkörnyezet konfigurálása:

1. Hozzon létre egy YAML-fájlt, amely meghatározza a Python virtuális környezet beállításait. Az alábbi yaML-példa, amely az MLflow-projektek környezeti specifikációján alapul, egy alapkörnyezetet határoz meg néhány erőforrástár-függőséggel:

   client: '1'
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - my-library==6.1
     - '/Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl'
     - git+https://github.com/databricks/databricks-cli
   

2. Töltse fel a YAML-fájlt munkaterületfájlként vagy unitykatalógus-kötetbe. Lásd: Fájlok importálása vagy Fájlok feltöltése Unity-katalógus kötetbe.

3. A jegyzetfüzet jobb oldalán kattintson a gombra a Környezet oldalpanel kibontásához. Ez a gomb csak akkor jelenik meg, ha egy jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik.

4. Az Alapkörnyezet mezőben adja meg a feltöltött YAML-fájl elérési útját, vagy keresse meg és jelölje ki.

5. Kattintson az Apply (Alkalmaz) gombra . Ez telepíti a függőségeket a jegyzetfüzet virtuális környezetében, és újraindítja a Python-folyamatot.

A felhasználók felülbírálhatják az alapkörnyezetben megadott függőségeket, ha egyenként telepítik a függőségeket.

Környezeti függőségek visszaállítása

Ha a jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik, a Databricks automatikusan gyorsítótárazza a jegyzetfüzet virtuális környezetének tartalmát. Ez azt jelenti, hogy egy meglévő jegyzetfüzet megnyitásakor általában nem kell újratelepítenie a Környezet oldalpanelen megadott Python-függőségeket, még akkor sem, ha az inaktivitás miatt megszakadt.

A Python virtuális környezet gyorsítótárazása a feladatokra is vonatkozik. Egy feladat futtatásakor a feladat azon feladatai, amelyek azonos függőségeket osztanak meg az adott futtatásban befejezett tevékenységekkel, gyorsabbak lesznek, mivel a szükséges függőségek már elérhetők.

A környezeti gyorsítótár törléséhez és a kiszolgáló nélküli számításhoz csatolt jegyzetfüzet Környezet oldalpanelén megadott függőségek új telepítésének végrehajtásához, kattintson az Alkalmazás melletti nyílra, majd a Környezet alaphelyzetbe állítása elemre.

Ha olyan csomagokat telepít, amelyek megszakítják vagy módosítják az alapjegyzetfüzetet vagy az Apache Spark-környezetet, távolítsa el a jogsértő csomagokat, majd állítsa alaphelyzetbe a környezetet. A jegyzetfüzet leválasztása, majd újracsatlakoztatása nem törli a teljes környezeti gyorsítótárat.

Környezet konfigurálása nem jegyzetfüzet-feladatokkal kapcsolatos feladatokhoz

Az olyan feladatfeladat-típusok esetében, mint a Python-szkript, a Python-kerék vagy a dbt-feladatok, a kódtár függőségei a kiszolgáló nélküli környezet verziójától öröklődnek. A telepített könyvtárak listájának megtekintéséhez lásd a használt környezeti verzió részét, amely a telepített Python könyvtárak címsorban található. Ha egy feladathoz nem telepített Python-kódtárra van szükség, a tárat munkaterületfájlokból, Unity Catalog kötetekbőlvagy nyilvános csomagtárakból telepítheti.

Könyvtár hozzáadása feladat létrehozásánál vagy szerkesztésénél:

1. A Környezet és tárak legördülő menüben kattintson a -ra az Alapértelmezett környezet mellett, vagy kattintson a + Új környezet hozzáadása elemre.

   

2. Válassza ki a környezeti verziót a Környezeti verzió legördülő listából. Lásd kiszolgáló nélküli környezetekverzióit. A Databricks azt javasolja, hogy a legújabb verziót választják a up-to-date funkciók megkapásához.

3. A Környezet konfigurálása párbeszédablakban kattintson a + Könyvtár hozzáadása elemre.

4. Válassza ki a függőség típusát a Kódtáraklegördülő menüből.

5. A Fájl elérési útja szövegmezőbe írja be a tár elérési útját.

• Egy munkaterületfájlban lévő Python Wheel esetében az elérési útnak abszolútnak kell lennie, és a következővel /Workspace/kell kezdődnie: .

• A Unity Catalog-kötetben lévő Python Wheel esetében az elérési útnak /Volumes/<catalog>/<schema>/<volume>/<path>.whlkell lennie.

• Egy requirements.txt fájl esetében válassza a PyPi lehetőséget, és írja be a -r /path/to/requirements.txt.

  

1. Kattintson a Megerősítés vagy a + Tár hozzáadása gombra egy másik tár hozzáadásához.
2. Ha feladatot ad hozzá, kattintson a Tevékenység létrehozása gombra. Ha egy feladatot szerkeszt, kattintson a Mentés gombra.

Alapértelmezett Python-csomagtárházak konfigurálása

A munkaterület rendszergazdái a munkaterületeken belül konfigurálhatják a privát vagy hitelesített csomagtárakat a kiszolgáló nélküli jegyzetfüzetek és a kiszolgáló nélküli feladatok alapértelmezett pip-konfigurációjaként. Ez lehetővé teszi a felhasználók számára, hogy csomagokat telepítsenek a belső Python-adattárakból anélkül, hogy explicit módon definiálták index-url vagy extra-index-url. Ha azonban ezek az értékek kódban vagy jegyzetfüzetben vannak megadva, elsőbbséget élveznek a munkaterület alapértelmezett értékeivel szemben.

Ez a konfiguráció Databricks titkos kulcsokat használ az adattár URL-címeinek és hitelesítő adatainak biztonságos tárolásához és kezeléséhez. A rendszergazdák konfigurálhatják a beállítást a munkaterület rendszergazdai beállításainak lapján, vagy egy előre definiált titkos hatókör és a Databricks CLI titkos parancsok vagy a REST APIsegítségével.

Munkaterület alapértelmezett függőségeinek beállítása

A munkaterület rendszergazdái hozzáadhatják vagy eltávolíthatják az alapértelmezett Python-csomagtárakat a munkaterület rendszergazdai beállításainak lapján.

1. Munkaterület-rendszergazdaként jelentkezzen be a Databricks-munkaterületre.
2. Kattintson a felhasználónévre a Databricks-munkaterület felső sávjában, és válassza a Beállításoklehetőséget.
3. Kattintson a Compute fülre.
4. Az Alapértelmezett csomagtárakmellett kattintson a Kezeléselemre.
5. (Nem kötelező) Index URL-címének, további index URL-címeinek vagy egyéni SSL-tanúsítványának hozzáadása vagy eltávolítása.
6. Kattintson a Mentés gombra a módosítások mentéséhez.

Beállítás a titkos kulcsok parancssori felületével vagy a REST API-val

Ha az alapértelmezett Python-csomagtárakat a CLI vagy a REST API használatával szeretné konfigurálni, hozzon létre egy előre definiált titkos kód hatókört, és konfigurálja a hozzáférési engedélyeket, majd adja hozzá a csomagtár titkos kulcsait.

Előre definiált titkos kulcs hatókörének neve

A munkaterület rendszergazdái beállíthatják az alapértelmezett pipindex-URL-címeket vagy a további index URL-címeket, valamint a hitelesítési jogkivonatokat és titkos kulcsokat egy kijelölt titkos kulcs hatókörében, előre definiált kulcsok alatt:

• Titkos kulcs hatókörének neve: databricks-package-management
• Titkos kulcs az index-URL-címhez: pip-index-url
• Titkos kulcs az indexen kívüli URL-címekhez: pip-extra-index-urls
• Titkos kulcs SSL-tanúsítványtartalomhoz: pip-cert

Titkos hatókör létrehozása

A titkos kulcsok hatóköre a Databricks parancssori felületének titkos kódok parancsaival vagy a REST APIhasználatával hozható létre. A titkos kulcs hatókörének létrehozása után konfigurálja a hozzáférés-vezérlési listákat, hogy minden munkaterület-felhasználó olvasási hozzáférést biztosítson. Ez biztosítja, hogy az adattár biztonságos maradjon, és az egyes felhasználók nem módosíthatják. A titkos kulcs hatókörének az előre definiált titkos kulcstartomány nevét kell használnia databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Python-csomagtár titkos kulcsok hozzáadása

Adja hozzá a Python-csomag adattárának részleteit az előre definiált titkos kulcsnevek használatával, és mindhárom mező megadása kötelező.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Titkos PyPI-adattár titkos kulcsának módosítása vagy törlése

A PyPI-adattár titkos kulcsainak módosításához használja a put-secret parancsot. PyPI adattár titkos adatait a következő módon törölheti: delete-secret használatával.

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete scope
databricks secrets delete-scope databricks-package-management