Megosztás a következőn keresztül:


Összevont lekérdezések futtatása a Teradata-on

Fontos

Ez a funkció nyilvános előzetes verziójú.

Ez a cikk azt ismerteti, hogyan állíthatja be a Lakehouse Federationt összevont lekérdezések futtatására olyan Teradata-adatokon, amelyeket nem az Azure Databricks kezel. További információ a Lakehouse Federation-ről: Mi az a Lakehouse Federation?.

Ha a Lakehouse Federation használatával szeretne csatlakozni a Teradata-adatbázishoz, a következőket kell létrehoznia az Azure Databricks Unity Catalog metaadattárában:

  • Egy kapcsolat a Teradata-adatbázissal.
  • Egy külső katalógus, amely tükrözi a Teradata-adatbázist a Unity Catalogban, így a Unity Catalog lekérdezési szintaxisával és adatszabályozási eszközeivel kezelheti az Azure Databricks felhasználói hozzáférését az adatbázishoz.

Mielőtt hozzákezdene

Mielőtt hozzákezdene, győződjön meg arról, hogy megfelel az ebben a szakaszban szereplő követelményeknek.

A Databricks követelményei

Munkaterületre vonatkozó követelmények:

  • A Unity Cataloghoz engedélyezett munkaterület.

Számítási követelmények:

  • Hálózati kapcsolat a számítási erőforrás és a céladatbázis-rendszerek között. Lásd a Lakehouse Federationhálózatkezelési ajánlásait.
  • Az Azure Databricks compute-nek a Databricks Runtime 16.1 vagy újabb verzióját kell használnia, és megosztott vagy egyfelhasználós hozzáférési módot.
  • Az SQL-raktáraknak pro- vagy kiszolgáló nélkülinek kell lenniük, és a 2024.50-ös vagy újabb verziót kell használniuk.

Szükséges engedélyek:

  • Kapcsolat létrehozásához metaadattár-rendszergazdának vagy CREATE CONNECTION jogosultsággal rendelkező felhasználónak kell lennie a munkaterülethez csatolt Unity Catalog metaadattárban.
  • Külföldi katalógus létrehozásához rendelkeznie kell a metaadattár CREATE CATALOG engedélyével, és vagy a kapcsolat tulajdonosának kell lennie, vagy CREATE FOREIGN CATALOG jogosultsággal kell rendelkeznie a kapcsolaton.

Az alábbi tevékenységalapú szakaszokban további engedélykövetelmények vannak megadva.

Teradata-követelmények

  • A TLS engedélyezve van a gazdagépkiszolgálón. Alapértelmezés szerint SSLMODEREQUIRE. További információ: A TLS- használatával történő kapcsolatok védelme a Teradata dokumentációjában.

Azure Databricks-kapcsolat létrehozása

A kapcsolat megadja a külső adatbázisrendszer eléréséhez szükséges elérési utat és hitelesítő adatokat. Kapcsolat létrehozásához használhatja a Catalog Explorert vagy a CREATE CONNECTION SQL-parancsot egy Azure Databricks-jegyzetfüzetben vagy a Databricks SQL-lekérdezésszerkesztőben.

Jegyzet

A Databricks REST API-val vagy a Databricks parancssori felülettel is létrehozhat kapcsolatot. Lásd: POST /api/2.1/unity-catalog/connections és Unity Catalog-parancsok.

szükséges engedélyek: metaadattár-rendszergazda vagy CREATE CONNECTION jogosultsággal rendelkező felhasználó.

Katalóguskezelő

  1. Az Azure Databricks-munkaterületen kattintson Katalógus ikonraKatalógus.

  2. A Katalógus panel tetején kattintson a Hozzáadás vagy plusz ikonra hozzáadása ikonra, majd válassza a Kapcsolat hozzáadása lehetőséget a menüből.

    Másik lehetőségként a Gyorselérési lapon kattintson a Külső adatok > gombra, nyissa meg a Kapcsolatok lapot, majd kattintson a Kapcsolat létrehozásagombra.

  3. A Kapcsolat alapjai oldalon, a Kapcsolat beállítása varázslóban, adjon meg egy felhasználóbarát kapcsolatnevet.

  4. Válasszon egy kapcsolattípust a Teradataszámára.

  5. (Nem kötelező) Megjegyzés hozzáadása.

  6. Kattintson a Továbbgombra.

  7. A Hitelesítési lapon adja meg a következő kapcsolati tulajdonságait a Teradata-példányhoz:

    • Host: Például teradata-demo.teradata.com
    • Port: Például 1025
    • Felhasználó: Például teradata_user
    • jelszó: Például password123
  8. Kattints a Kapcsolat létrehozásaelemre.

  9. A Katalógus alapjai lapon adja meg a külföldi katalógus nevét. A külső katalógus egy külső adatrendszer adatbázisát tükrözi, így az Azure Databricks és a Unity Catalog használatával lekérdezheti és kezelheti az adatbázisban lévő adatokhoz való hozzáférést.

  10. (Nem kötelező) Kattintson a Kapcsolat tesztelése elemre annak ellenőrzéséhez, hogy az működik-e.

  11. Kattintson a(z) Katalógus létrehozásaelemre.

  12. Az Access lapon válassza ki azokat a munkaterületeket, amelyeken a felhasználók hozzáférhetnek a létrehozott katalógushoz. Kiválaszthatja Minden munkaterület rendelkezik hozzáféréssel, vagy kattintson a Hozzárendelés munkaterületekhezelemre, jelölje ki a munkaterületeket, majd kattintson hozzárendelése gombra.

  13. Módosítsa a tulajdonosi, aki képes lesz kezelni a katalógus összes objektumához való hozzáférést. Kezdje el beírni a szereplőt a szövegmezőbe, majd kattintson a visszaadott eredmények között a megfelelő szereplőre.

  14. Adjon jogosultságokat a katalógusban. Kattintson a megadása gombra:

    1. Adja meg azokat a főszereplőket, akik hozzáférhetnek a katalógusban lévő objektumokhoz. Kezdje el beírni a szereplőt a szövegmezőbe, majd kattintson a visszaadott eredmények között a megfelelő szereplőre.
    2. Válassza ki a jogosultsági beállításokat, az egyes tagoknak való engedélyezéshez. Alapértelmezés szerint minden fiókfelhasználó BROWSE kap.
      • A legördülő menüben válassza Adatolvasó lehetőséget, hogy read jogosultságokat biztosítson a katalógus objektumaihoz.
      • A legördülő menüben válassza Adatszerkesztő lehetőséget, hogy read és modify jogosultságokat biztosítson a katalógus objektumaihoz.
      • Jelölje ki manuálisan a megadni kívánt jogosultságokat.
    3. Kattintson a Grantgombra.
  15. Kattintson a Továbbgombra.

  16. A Metaadatok lapon adja meg a címkék kulcs-érték párjait. További információ: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

  17. (Nem kötelező) Megjegyzés hozzáadása.

  18. Kattintson a Mentésgombra.

SQL

Futtassa a következő parancsot egy jegyzetfüzetben vagy a Databricks SQL-lekérdezésszerkesztőben:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

A Databricks azt javasolja, hogy az Azure Databricks titkos használjon egyszerű szöveges sztringek helyett olyan bizalmas értékekhez, mint a hitelesítő adatok. Például:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Ha egyszerű szöveges sztringeket kell használnia a jegyzetfüzet SQL-parancsaiban, kerülje a sztring csonkolását speciális karakterek kicserélésével, például a $ karaktert a \-re. Például: \$.

A titkos kódok beállításáról további információt Titkos kódok kezelésecímű témakörben talál.

Külföldi katalógus létrehozása

Jegyzet

Ha a felhasználói felülettel hoz létre kapcsolatot az adatforrással, a rendszer külföldi katalóguslétrehozásról is rendelkezik, és kihagyhatja ezt a lépést.

A külső katalógus egy külső adatrendszer adatbázisát tükrözi, így az Azure Databricks és a Unity Catalog használatával lekérdezheti és kezelheti az adatbázisban lévő adatokhoz való hozzáférést. Idegen katalógus létrehozásához a már definiált adatforráshoz való kapcsolatot kell használnia.

Idegen katalógus létrehozásához használhatja a Catalog Explorert vagy a CREATE FOREIGN CATALOG SQL-parancsot egy Azure Databricks-jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben.

Katalógus létrehozásához használhatja a Databricks REST API-t vagy a Databricks parancssori felületet is. Lásd POST /api/2.1/unity-catalog/catalogs és Unity Catalog parancsokat.

szükséges engedélyek:CREATE CATALOG a metaadattár engedélyét, valamint a kapcsolat tulajdonjogát vagy a kapcsolat CREATE FOREIGN CATALOG jogosultságát.

Katalóguskezelő

  1. Az Azure Databricks-munkaterületen kattintson Katalógus ikonraKatalógus a Catalog Explorer megnyitásához.

  2. A Katalógus panel tetején kattintson a Hozzáadás vagy plusz ikonra hozzáadása ikonra, majd válassza Katalógus hozzáadása lehetőséget a menüből.

    Másik lehetőségként a Gyorselérési lapon kattintson a Katalógusok gombra, majd a Katalógus létrehozása gombra.

  3. Kövesse az utasításokat a külföldi katalógusok létrehozásához Katalógusok létrehozása.

SQL

Futtassa a következő SQL-parancsot egy jegyzetfüzetben vagy egy SQL-lekérdezésszerkesztőben. A zárójelben lévő elemek választhatóak. Cserélje le a helyőrző értékeket:

  • <catalog-name>: A katalógus neve az Azure Databricksben.
  • : Az adatforrást, elérési utat és hozzáférési hitelesítő adatokat megadó kapcsolatobjektum.
  • <database-name>: Annak az adatbázisnak a neve, amelyet katalógusként szeretne tükrözni az Azure Databricksben.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Támogatott leküldések

A következő veremek támogatottak:

  • Szűrők
  • Előrejelzések
  • Korlát
  • Aggregátumok
  • Önt
  • Tartalmazza, Kezdődik, Végződik, Mint

Adattípus-leképezések

Amikor Teradatából Sparkba olvas, az adattípusok az alábbiak szerint kerülnek megfeleltetésre:

Teradata típusa Spark-típus
Bájt, blob BinaryType
Byteint, Smallint, Integer Egész számtípus
BigInt LongType
Float, Double, Dupla pontosságú DoubleType
Szám(n; m) Decimális típus
Szám(; m), Szám(), Szám Nem támogatott
Varchar(N) Szövegtípus
Idő, időbélyeg Időbélyegtípus