Számítási erőforrások hozzárendelése csoporthoz
Ez a cikk bemutatja, hogyan hozhat létre egy csoporthoz rendelt számítási erőforrást a dedikált hozzáférési móddal.
A dedikált csoporthozzáférési mód lehetővé teszi a felhasználók számára a standard hozzáférési módú fürtök működési hatékonyságát, ugyanakkor biztonságosan támogatják a standard hozzáférési mód által nem támogatott nyelveket és számítási feladatokat, például a Databricks Runtime for ML, a Spark Machine Learning Library (MLlib), az RDD API-kat és az R-t.
A dedikált csoportfürt nyilvános előzetes verziójának engedélyezésével a munkaterülete hozzáférést kap az új, egyszerűsített számítási felhasználói felülethez. Ez az új felhasználói felület frissíti a hozzáférési módok nevét, és leegyszerűsíti a számítási beállításokat. Lásd: Az egyszerű űrlap használatával kezelje a számítást.
Követelmények
A dedikált csoportelérési mód használata:
- A munkaterület rendszergazdájának engedélyeznie kell a Compute: Dedikált csoportfürtök előzetes verzióját az Előnézetek felhasználói felület használatával. Lásd: Az Azure Databricks előzetes verziójának kezelése.
- A munkaterületet engedélyezni kell a Unity Cataloghoz.
- A Databricks Runtime 15.4 vagy újabb verzióját kell használnia.
- A hozzárendelt csoportnak
CAN MANAGE
engedélyekkel kell rendelkeznie egy munkaterület mappában, ahol tárolhatják a jegyzetfüzeteket, ML kísérleteket és a csoportfürt által használt egyéb munkaterületi elemeket.
Mi a dedikált hozzáférési mód?
A dedikált hozzáférési mód az egyfelhasználós hozzáférési mód legújabb verziója. Dedikált hozzáféréssel egy számítási erőforrás hozzárendelhető egyetlen felhasználóhoz vagy csoporthoz, csak a hozzárendelt felhasználó(k) számára engedélyezi a számítási erőforrás használatát.
Ha egy felhasználó egy csoportnak (csoportfürtnek) dedikált számítási erőforráshoz csatlakozik, a felhasználó engedélyei automatikusan letérnek a csoport engedélyeinek hatókörére, így a felhasználó biztonságosan megoszthatja az erőforrást a csoport többi tagjával.
Csoportnak dedikált számítási erőforrás létrehozása
- Az Azure Databricks-munkaterületen menjen a Számítási menübe, és kattintson a Számítás létrehozásaelemre.
- Nyissa meg a Speciális szakaszt.
- A Hozzáférési módterületen kattintson a Manuális elemre, majd válassza Dedikált (korábbi nevén: Egyfelhasználós) lehetőséget a legördülő menüből.
- Az Egyetlen felhasználó vagy csoport mezőben válassza ki az erőforráshoz hozzárendelni kívánt csoportot.
- Konfigurálja a többi kívánt számítási beállítást, majd kattintson a létrehozása gombra.
Ajánlott eljárások csoportfürtök kezeléséhez
Mivel a csoportfürtök használatakor a felhasználói engedélyek hatóköre a csoportra van korlátozva, a Databricks azt javasolja, hogy hozzon létre egy /Workspace/Groups/<groupName>
mappát minden csoportfürttel használni kívánt csoporthoz. Ezután rendeljen CAN MANAGE
engedélyeket a csoport számára a mappához. Így a csoportok elkerülhetik az engedélyhibákat. A csoport összes jegyzetfüzetét és munkaterület-objektumát a csoportmappában kell kezelni.
A csoportfürtökön való futtatáshoz a következő számítási feladatokat is módosítania kell:
- MLflow: Győződjön meg arról, hogy a jegyzetfüzetet a csoportmappából futtatja, vagy futtassa a
mlflow.set_tracking_uri("/Workspace/Groups/<groupName>")
parancsot. - AutoML: Állítsa be az opcionális
experiment_dir
paramétert“/Workspace/Groups/<groupName>”
-re az AutoML futtatásaihoz. -
dbutils.notebook.run
: Győződjön meg arról, hogy a csoport rendelkezikREAD
engedéllyel a végrehajtandó jegyzetfüzeten.
Példa csoportengedélyek
Amikor a csoportfürt használatával hoz létre adatobjektumot, a csoport lesz hozzárendelve az objektum tulajdonosaként.
Ha például egy csoportfürthöz egy jegyzetfüzet van csatlakoztatva, és futtassa a következő parancsot:
use catalog main;
create schema group_cluster_group_schema;
Ezután futtassa ezt a lekérdezést a séma tulajdonosának ellenőrzéséhez:
describe schema group_cluster_group_schema;
példaleírása
ellenőrzési csoport dedikált számítási tevékenysége
Két kulcsfontosságú identitás érintett, amikor egy csoportcsomópont számítási feladatot hajt végre.
- Az a felhasználó, aki a csoportfürtön futtatja a számítási feladatot
- Az a csoport, amelynek engedélyeit a tényleges számítási feladatok végrehajtásához használják
A naplózási naplórendszer táblája ezeket az identitásokat a következő paraméterek alatt rögzíti:
-
identity_metadata.run_by
: A műveletet végrehajtó hitelesítő felhasználó -
identity_metadata.run_as
: Az engedélyezési csoport, amelynek engedélyeit a művelethez használják.
Az alábbi példa lekérdezés lekéri a csoportfürttel végrehajtott művelet identitás metaadatait:
select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;
Tekintse meg a naplózási naplórendszer táblájának referenciát további példaként szolgáló lekérdezésekhez. Lásd: Naplózási naplórendszer táblareferenciája.
Ismert problémák
- A csoportfürtökből létrehozott munkaterület fájlok és mappák eredményeképp a hozzárendelt objektum tulajdonosa
Unknown
lesz. Ez azt eredményezi, hogy a további műveletek, mint például aread
,write
ésdelete
, engedélymegtagadási hibával meghiúsulnak.
korlátozások
A nyilvános előzetes verziójú dedikált csoporthozzáférési mód az alábbi ismert korlátozásokkal rendelkezik:
- A vonalas rendszertáblák nem rögzítik a csoportfürtön futó számítási feladatok
identity_metadata.run_as
(az engedélyezési csoport) vagy aidentity_metadata.run_by
(a hitelesítést végző felhasználó) identitásait. - Az ügyféltárolóba kézbesített naplók nem rögzítik a csoportfürtön futó számítási feladatok
identity_metadata.run_as
(az engedélyezési csoport) vagyidentity_metadata.run_by
(a hitelesítő felhasználó) identitásait. Az identitás metaadatainak megtekintéséhez asystem.access.audit
táblát kell használnia. - Csoportfürthöz csatolva a Katalóguskezelő nem szűr csak a csoport számára elérhető eszközök alapján.
- Azok a csoportmenedzserek, akik nem csoporttagok, nem hozhatnak létre, nem szerkeszthetnek és nem törölhetnek csoportklasztereket. Ezt csak a munkaterület rendszergazdái és a csoporttagok tehetik meg.
- Ha egy csoportot átneveznek, manuálisan frissítenie kell a csoport nevére hivatkozó számítási házirendeket.
- A csoportos fürtözés nem támogatott a lekapcsolt ACL-ekkel rendelkező munkaterületek esetében (isWorkspaceAclsEnabled == false), mivel a munkaterület ACL-jeinek letiltásakor eredendően hiányoznak a biztonsági és adathozzáférési ellenőrzések.
- A
%run
parancs jelenleg a felhasználó engedélyeit használja a csoport engedélyei helyett, amikor egy csoportfürtön hajtják végre. Az olyan alternatívák, mint például adbutils.notebook.run()
helyesen használják a csoport engedélyeit.