Megosztás a következőn keresztül:

Katalógusok létrehozása

  • Cikk

Ez a cikk bemutatja, hogyan hozhat létre katalógusokat a Unity Catalogban. A katalógus sémákat (adatbázisokat) és táblákat, nézeteket, köteteket, modelleket és függvényeket tartalmaz.

További információ a katalógusokról: Mik azok a katalógusok az Azure Databricksben?

Feljegyzés

Ha meg szeretné tudni, hogyan hozhat létre idegen katalógust, egy Unity Catalog-objektumot, amely egy külső adatrendszer adatbázisát tükrözi, olvassa el a Külső katalógus létrehozása című témakört. Lásd még a Külföldi katalógusok kezelése és használata című témakört.

Követelmények

Katalógus létrehozása a katalógus típusától függetlenül:

  • Azure Databricks-metaadattár-rendszergazdának kell lennie, vagy jogosultsággal CREATE CATALOG kell rendelkeznie a metaadattárban.
  • A katalógus létrehozásához jegyzetfüzet futtatásához használt számítási erőforrásnak a Databricks Runtime 11.3-at vagy újabb verzióját kell használnia, és unitykatalógus-kompatibilis hozzáférési módot kell használnia. Lásd: Hozzáférési módok. Az SQL-raktárak mindig támogatják a Unity-katalógust.

Megosztott katalógus létrehozása:

  • A deltamegosztási megosztásnak már léteznie kell a munkaterületen. Lásd Hogyan tegye elérhetővé a megosztott adatokat a csapatom számára?
  • Metaadattár-rendszergazdának kell lennie, rendelkeznie kell a USE PROVIDER metaadattár jogosultságával, vagy rendelkeznie kell a megosztást tartalmazó szolgáltatói objektummal.

Standard katalógus létrehozása:

  • Ha a katalógushoz egy felügyelt tárolóhelyet ad meg, akkor a külső célhelyen kell rendelkeznie a CREATE MANAGED STORAGE jogosultsággal.
  • Ha nem létezik metaadattárszintű felügyelt tároló, akkor meg kell adnia egy felügyelt tárolóhelyet a katalógushoz.

Külföldi katalógus létrehozása:

  • A külföldi katalógus létrehozásához használt kapcsolat tulajdonosának kell lennie, vagy rendelkeznie kell a CREATE FOREIGN CATALOG kapcsolat jogosultságával.
  • A Databricks Runtime 13.1-et vagy újabb verzióját kell használnia. Az SQL-raktáraknak Pro vagy Kiszolgáló nélkülinek kell lenniük.

Katalógus létrehozása

Katalógus létrehozásához használhatja a Catalog Explorert, egy SQL-parancsot, a REST API-t, a Databricks parancssori felületet vagy a Terraformot. Katalógus létrehozásakor a rendszer automatikusan két sémát (adatbázist) hoz létre: default és information_schema.

Katalóguskezelő

  1. Jelentkezzen be a metaadattárhoz csatolt munkaterületre.

  2. Kattintson a Katalógus gombra Katalógus ikon.

  3. Kattintson a Katalógus létrehozása gombra.

  4. Az Új katalógus létrehozása párbeszédpanelen adja meg a katalógus nevét, és válassza ki a létrehozni kívánt katalógustípust:

    • Standard katalógus: biztonságos objektum, amely a Unity Catalog által felügyelt adatokat és AI-objektumokat rendszerezi. A Lakehouse Federation és a Delta Sharing-megosztásokból létrehozott katalógusok kivételével minden használati esetben.
    • Idegen katalógus: biztonságos objektum, amely egy külső adatrendszer adatbázisát tükrözi a Lakehouse Federation használatával. Tekintse meg a Lakehouse Összevonás beállításának áttekintését.
    • Megosztott katalógus: biztonságos objektum, amely deltamegosztási megosztásként rendszerezi az Önnel megosztott adatokat és egyéb eszközöket. Ha katalógust hoz létre egy megosztásból, az elérhetővé teszi ezeket az eszközöket a munkaterület felhasználói számára. Lásd: Mi az a megosztás?.

  5. A katalógus típusától függően adja meg a következő beállításokat:

    • Standard katalógusok esetén: Nem kötelező, de erősen ajánlott felügyelt tárolóhelyet megadni. Rendelkeznie kell a CREATE MANAGED STORAGE felügyelt tárolóhelyként használt külső célhely jogosultságával. Lásd: Felügyelt tárhely megadása a Unity Katalógusban.

      Megadhat egy megadott külső helyhez tartozó mellékútot is. Ha nincs meghatározva külső hely, létrehozhat egyet az új külső hely létrehozása gombra kattintva.

      Fontos

      Ha a munkaterület nem rendelkezik metaadattárszintű tárolóhellyel, a katalógus létrehozásakor meg kell adnia egy felügyelt tárolóhelyet.

    • Külföldi katalógusok esetén: Ki kell választania egy kapcsolatot, amely egy biztonságos objektum a Unity Katalógusban, amely megadja a külső adatbázisrendszer eléréséhez szükséges elérési utat és hitelesítő adatokat. Tekintse meg a Lakehouse Összevonás beállításának áttekintését.

      Amikor kiválasztotta a kapcsolatot, adja meg annak az adatbázisnak vagy más Databricks-katalógusnaka nevét, amelyet tükrözni szeretne.

      A követelmények az adatforrástól függően eltérőek:

      • A MySQL kétrétegű névteret használ, ezért nem igényel adatbázisnevet.
      • Ha egy másik Databricks-munkaterületen lévő katalógushoz szeretne kapcsolatot létesíteni, adja meg a Databricks-katalógus nevét adatbázisnév helyett.

      Ha nincs definiálva kapcsolat, létrehozhat egyet az Új kapcsolat létrehozása gombra kattintva.

    • Megosztott katalógusok esetén: Ki kell választania egy szolgáltatótés egy megosztást. Miután kiválasztotta a szolgáltatót, kiválaszthatja a szolgáltató egyik megosztását.

      Ha nem biztos abban, hogy melyik szolgáltatót és megosztást szeretné használni, könnyebben kereshet vagy kereshet szolgáltatókat és megosztásokat a Catalog Explorer böngészővel. Tekintse meg a szolgáltatók megtekintése és a szolgáltató által Önnel megosztott megosztások megtekintése című témakört.

  6. Kattintson a Létrehozás gombra.

  7. A Katalógus létrehozva! párbeszédpanelen kattintson a Katalógus megtekintése gombra a katalógus automatikus konfigurálásához, vagy kattintson a Katalógus konfigurálása (ajánlott) elemre a katalógusengedélyek, a munkaterület-kötések és a metaadatok konfigurálásához.

    Ha a Katalógus megtekintése gombra kattint, a katalógus elérhető lesz a metaadattárhoz csatolt összes munkaterület számára, és a BROWSE jogosultságot minden fiókfelhasználó megkapja. Kihagyhatja az eljárás többi lépését, és folytathatja a sémák katalógushoz való hozzáadását. Lásd: Sémák létrehozása.

    Bármikor visszatérhet a katalógus részleteinek lapjára a Katalóguskezelőben a tulajdonos, a címkék, a megjegyzések, a munkaterület-kötések, az engedélyek és a sémák frissítéséhez.

  8. A Katalógus-munkaterületek > konfigurálása lapon adja meg azt a munkaterületet, amelyhez a katalógus hozzá van kötve.

    Alapértelmezés szerint a katalógus meg van osztva az aktuális metaadattárhoz csatolt összes munkaterülettel. Ha a katalógus olyan adatokat tartalmaz, amelyeket adott munkaterületekre kell korlátozni, törölje a jelet a Minden munkaterület hozzáférési lehetőségből, és a Munkaterületekhez hozzárendelés gombbal vegye fel ezeket a munkaterületeket. Az aktuális munkaterületet is tartalmaznia kell.

    Miután hozzárendelt egy munkaterületet, tetszés szerint módosíthatja az alapértelmezett Írási és olvasási hozzáférési szintet írásvédettre: jelölje ki a munkaterületet a listából, és kattintson a Hozzáférési szint kezelése gombra.

    További információ: Katalógushozzáférés korlátozása adott munkaterületekhez.

  9. Kattintson a Tovább gombra a katalógus engedélyeinek hozzárendeléséhez.

    Alapértelmezés szerint minden fiókfelhasználó rendelkezik a BROWSE jogosultsággal, így anélkül fedezheti fel a katalógus metaadatait, hogy olvasási hozzáférése lenne az adatokhoz.

    Ha jogosultságot szeretne adni egy felhasználónak, csoportnak vagy szolgáltatásnévnek, kattintson az Engedélyezés gombra, és kövesse a Unity Catalog-jogosultságok és a biztonságos objektumok utasításait.

  10. Kattintson a Tovább gombra az opcionális címke és megjegyzés metaadatainak hozzáadásához.

    A címkék kulcs-érték párok, amelyekkel rendszerezheti és kategorizálhatja a katalógusokat az adategységek keresésének és felderítésének egyszerűsítése érdekében. Az értékek megadása nem kötelező. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

    A Megjegyzés egy nyílt végű mező, amelyet gyakran használnak leírás megadására, amellyel a felhasználók felfedezhetik a katalógus adategységeit. Lásd: Megjegyzések hozzáadása adatokhoz és AI-eszközökhöz.

  11. Kattintson a Mentés gombra.

  12. Sémák és adatobjektumok hozzáadása a katalógushoz.

    Lásd: Sémák létrehozása.

A Katalóguskezelővel bármikor frissítheti a tulajdonost, a címkéket, a megjegyzéseket, a munkaterület-kötéseket és az engedélyeket a katalógus létrehozása után.

SQL

Normál katalógus létrehozásához futtassa a következő SQL-parancsot egy jegyzetfüzetben vagy egy SQL-lekérdezésszerkesztőben. A szögletes zárójelek nem kötelezőek. Cserélje le a helyőrző értékeket:

  • <catalog-name>: A katalógus neve.

  • <location-path>: Nem kötelező, de erősen ajánlott. Adjon meg egy tárolási hely elérési útját, ha azt szeretné, hogy a katalógusban szereplő felügyelt táblák a metaadattárhoz konfigurált alapértelmezett gyökértárolótól eltérő helyen legyenek tárolva.

    Fontos

    Ha a munkaterület nem rendelkezik metaadattárszintű tárolóhellyel, a katalógus létrehozásakor meg kell adnia egy felügyelt tárolóhelyet.

    Ezt az elérési utat egy külső helykonfigurációban kell meghatározni, és rendelkeznie kell a CREATE MANAGED STORAGE külső hely konfigurációjára vonatkozó jogosultsággal. Használhatja a külső hely konfigurációjában definiált elérési utat vagy egy segédútvonalat (más szóval, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' vagy 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: Nem kötelező leírás vagy egyéb megjegyzés.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Például a következő nevű examplekatalógus létrehozásához:

CREATE CATALOG IF NOT EXISTS example;

Megosztott katalógus létrehozásához futtassa a következő parancsot egy jegyzetfüzetben vagy egy SQL-lekérdezésszerkesztőben. A szögletes zárójelek nem kötelezőek.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Ha idegen katalógust szeretne létrehozni, futtassa a következő parancsot egy jegyzetfüzetben vagy egy SQL-lekérdezésszerkesztőben. A szögletes zárójelek nem kötelezőek. Cserélje le a helyőrző értékeket:

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Lásd még : Külső katalógus létrehozása.

Ha korlátozni szeretné a katalógus hozzáférését a fiók adott munkaterületeihez, más néven a munkaterület-katalógus kötéséhez, olvassa el a katalógus hozzáférésének korlátozása adott munkaterületekhez.

Részletes paraméterleírásoklásd: CREATE CATALOG.

A katalógus létrehozása után rendeljen hozzá jogosultságokat a katalógushoz. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.

Egyéb

Terraform: Létrehozhat katalógust a Databricks Terraform szolgáltató és databricks_catalog használatával. A katalógusokkal kapcsolatos információkat a databricks_catalogs használatával kérdezheti le.

REST API: A POST /api/2.1/unity-catalog/catalogs használata.

Databricks parancssori felület: A beállítások listájához futtassa a következőtdatabricks catalogs create <catalog-name> [options]: databricks catalogs create -h . A beállításokat az API-referencia is ismerteti. Kövesse az előző bekezdés API-hivatkozását.

A katalógus létrehozása után rendeljen hozzá jogosultságokat a katalógushoz. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.

További információ