A Unity Catalog beállításának automatizálása a Terraform használatával

A Unity Catalog beállítását a Databricks Terraform szolgáltatóhasználatával automatizálhatja. Ez a cikk hivatkozásokat tartalmaz a Terraform-szolgáltató Unity Catalog üzembe helyezési útmutatójához és az erőforrás-referencia dokumentációjához, valamint a követelményekhez ("Mielőtt hozzákezd") és érvényesítési és üzembehelyezési tippekhez.

Mielőtt hozzákezdene

A Unity Catalog beállításának a Terraform használatával történő automatizálásához a következőkre van szükség:

• Az Azure Databricks-fióknak a Prémium csomagkell lennie.
• Az Azure-bérlőben rendelkeznie kell engedéllyel a létrehozáshoz:
  • Az Azure Data Lake Storage Gen2-vel használható tárfiók. Lásd: Storage-fiók létrehozása az Azure Data Lake Storage Gen2használatával.
  • Egy új erőforrás, amely egy rendszer által hozzárendelt felügyelt identitást tárol. Ehhez Contributor vagy Owner szinttel kell rendelkeznie egy erőforráscsoportban a bérlő bármely előfizetésén belül.

Ahhoz, hogy a Databricks Terraform-szolgáltató konfiguráljon egy metaadattárat a Unity Cataloghoz, a metaadattár tárolásához, bármilyen külső tárolóhoz és az összes kapcsolódó hozzáférési hitelesítő adathoz, az alábbiakkal kell rendelkeznie:

• Egy Azure-fiók.
• Fiókszintű rendszergazdai felhasználó az Azure-fiókjában.
• A helyi fejlesztőgépen a következőknek kell rendelkezésre állnia:

  • A Terraform parancssori felület. Lásd Terraform- letöltése a Terraform webhelyén.

  • Az Azure CLI az az login paranccsal jelentkezett be egy olyan felhasználóval, aki Contributor vagy Owner jogosultsággal rendelkezik az előfizetéséhez. Lásd Az Azure CLItelepítése című témakört. Ha Microsoft Entra ID szolgáltatásnévvel szeretne bejelentkezni, tekintse meg Azure CLI-bejelentkezést a Microsoft Entra ID szolgáltatásnévvel. Ha Azure Databricks-felhasználói fiókkal szeretne bejelentkezni, tekintse meg Azure CLI-bejelentkezést egy Azure Databricks-felhasználói fiókkal.

    Jegyzet

    Ha automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a legjobb biztonsági gyakorlat a az login parancs használatával bejelentkezni egy Microsoft Entra ID szolgáltatási főszereplővel. Lásd: Bejelentkezés szolgáltatásnévvel és Hitelesítés azure-szolgáltatásnévvel.

Ha a Databricks Terraform-szolgáltatót az összes többi Unity Catalog-infrastruktúra-összetevő konfigurálásához szeretné használni, az alábbiakkal kell rendelkeznie:

• Egy Azure Databricks-munkaterület.
• A helyi fejlesztőgépen a következőknek kell rendelkezésre állnia:
  • A Terraform parancssori felület. Lásd Terraform- letöltése a Terraform webhelyén.
  • Az alábbiak egyike:

    • A Databricks CLI 0.205-ös vagy újabb verziója az Azure Databricks személyes hozzáférési jogkivonattal konfigurálva databricks configure --host <workspace-url> --profile <some-unique-profile-name>futtatásával. Lásd: A Databricks CLI telepítése vagy frissítése és Azure Databricks személyes hozzáférési jogkivonat-hitelesítése.

      Jegyzet

      Biztonsági ajánlott eljárásként, amikor automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a Databricks azt javasolja, hogy munkaterület-felhasználók helyett szolgáltatásnevekhez tartozó személyes hozzáférési jogkivonatokat használjon. A szolgáltatásnév-jogkivonatok létrehozásához lásd: Szolgáltatásnév-jogkivonatok kezelése.

    • Az Azure CLI a az login paranccsal lett bejelentkezve. Lásd Az Azure CLItelepítése című témakört. Ha Microsoft Entra ID szolgáltatásnévvel szeretne bejelentkezni, tekintse meg Azure CLI-bejelentkezést a Microsoft Entra ID szolgáltatásnévvel. Ha Azure Databricks-felhasználói fiókkal szeretne bejelentkezni, tekintse meg Azure CLI-bejelentkezést egy Azure Databricks-felhasználói fiókkal.

      Jegyzet

      Ha automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a legjobb biztonsági gyakorlat a az login parancs használatával bejelentkezni egy Microsoft Entra ID szolgáltatási főszereplővel. Lásd: Bejelentkezés szolgáltatásnévvel és Hitelesítés azure-szolgáltatásnévvel.

    • A következő két Azure Databricks környezeti változó:

      • DATABRICKS_HOST, állítsa be a munkaterület-példány URL-értékét, például https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKENállítsa be az Azure Databricks személyes hozzáférési jogkivonat vagy Microsoft Entra-azonosító (korábbi nevén Azure Active Directory) jogkivonatértékét. Lásd még: Személyes hozzáférési jogkivonatok figyelése és visszavonása.

      A környezeti változók beállításához tekintse meg az operációs rendszer dokumentációját.

      Jegyzet

      Biztonsági ajánlott eljárásként, amikor automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a Databricks azt javasolja, hogy munkaterület-felhasználók helyett szolgáltatásnevekhez tartozó személyes hozzáférési jogkivonatokat használjon. A szolgáltatásnév-jogkivonatok létrehozásához lásd: Szolgáltatásnév-jogkivonatok kezelése.

A Terraform-szolgáltató Unity Catalog üzembehelyezési útmutatója és erőforrás-referenciadokumentációja

Ha tudni szeretné, hogyan helyezhet üzembe minden előfeltételt, és hogyan engedélyezheti a Unity Katalógust egy munkaterületen, olvassa el Az előfeltételként szükséges erőforrások üzembe helyezése és a Unity Catalog engedélyezése a Databricks Terraform-szolgáltató dokumentációjában.

Ha már rendelkezik Unity Catalog-infrastruktúra-összetevőkkel, a Terraform segítségével szükség szerint további Unity Catalog-infrastruktúra-összetevőket helyezhet üzembe. Tekintse meg az előző bekezdésben hivatkozott útmutató egyes szakaszait, valamint a Databricks Terraform-szolgáltató dokumentációjának Unity Catalog szakaszát.

Az erőforrások ellenőrzése, megtervezése, üzembe helyezése vagy megsemmisítése

• Ha üzembe helyezés nélkül szeretné ellenőrizni a Terraform-konfigurációk szintaxisát, futtassa a terraform validate parancsot.
• A Terraform által a konfigurációk üzembe helyezéséhez végrehajtandó műveletek megjelenítéséhez futtassa a terraform plan parancsot. Ez a parancs valójában nem telepíti a konfigurációkat.
• A konfigurációk telepítéséhez futtassa a terraform deploy parancsot.
• Az üzembe helyezett erőforrások törléséhez futtassa a terraform destroy parancsot.