Összevont lekérdezések futtatása a Teradata-on
Fontos
Ez a funkció nyilvános előzetes verziójú.
Ez a cikk azt ismerteti, hogyan állíthatja be a Lakehouse Federationt összevont lekérdezések futtatására olyan Teradata-adatokon, amelyeket nem az Azure Databricks kezel. További információ a Lakehouse Federation-ről: Mi az a Lakehouse Federation?.
Ha a Lakehouse Federation használatával szeretne csatlakozni a Teradata-adatbázishoz, a következőket kell létrehoznia az Azure Databricks Unity Catalog metaadattárában:
- Egy kapcsolat a Teradata-adatbázissal.
- Egy külső katalógus, amely tükrözi a Teradata-adatbázist a Unity Catalogban, így a Unity Catalog lekérdezési szintaxisával és adatszabályozási eszközeivel kezelheti az Azure Databricks felhasználói hozzáférését az adatbázishoz.
Mielőtt hozzákezdene
Mielőtt hozzákezdene, győződjön meg arról, hogy megfelel az ebben a szakaszban szereplő követelményeknek.
A Databricks követelményei
Munkaterületre vonatkozó követelmények:
- A Unity Cataloghoz engedélyezett munkaterület.
Számítási követelmények:
- Hálózati kapcsolat a számítási erőforrás és a céladatbázis-rendszerek között. Lásd a Lakehouse Federationhálózatkezelési ajánlásait.
- Az Azure Databricks compute-nek a Databricks Runtime 16.1 vagy újabb verzióját kell használnia, és megosztott vagy egyfelhasználós hozzáférési módot.
- Az SQL-raktáraknak pro- vagy kiszolgáló nélkülinek kell lenniük, és a 2024.50-ös vagy újabb verziót kell használniuk.
Szükséges engedélyek:
- Kapcsolat létrehozásához metaadattár-rendszergazdának vagy
CREATE CONNECTION
jogosultsággal rendelkező felhasználónak kell lennie a munkaterülethez csatolt Unity Catalog metaadattárban. - Külföldi katalógus létrehozásához rendelkeznie kell a metaadattár
CREATE CATALOG
engedélyével, és vagy a kapcsolat tulajdonosának kell lennie, vagyCREATE FOREIGN CATALOG
jogosultsággal kell rendelkeznie a kapcsolaton.
Az alábbi tevékenységalapú szakaszokban további engedélykövetelmények vannak megadva.
Teradata-követelmények
- A TLS engedélyezve van a gazdagépkiszolgálón. Alapértelmezés szerint
SSLMODE
REQUIRE
. További információ: A TLS- használatával történő kapcsolatok védelme a Teradata dokumentációjában.
Azure Databricks-kapcsolat létrehozása
A kapcsolat megadja a külső adatbázisrendszer eléréséhez szükséges elérési utat és hitelesítő adatokat. Kapcsolat létrehozásához használhatja a Catalog Explorert vagy a CREATE CONNECTION
SQL-parancsot egy Azure Databricks-jegyzetfüzetben vagy a Databricks SQL-lekérdezésszerkesztőben.
Jegyzet
A Databricks REST API-val vagy a Databricks parancssori felülettel is létrehozhat kapcsolatot. Lásd: POST /api/2.1/unity-catalog/connections és Unity Catalog-parancsok.
szükséges engedélyek: metaadattár-rendszergazda vagy CREATE CONNECTION
jogosultsággal rendelkező felhasználó.
Katalóguskezelő
Az Azure Databricks-munkaterületen kattintson
Katalógus.
A Katalógus panel tetején kattintson a
hozzáadása ikonra, majd válassza a Kapcsolat hozzáadása lehetőséget a menüből.
Másik lehetőségként a Gyorselérési lapon kattintson a Külső adatok > gombra, nyissa meg a Kapcsolatok lapot, majd kattintson a Kapcsolat létrehozásagombra.
A Kapcsolat alapjai oldalon, a Kapcsolat beállítása varázslóban, adjon meg egy felhasználóbarát kapcsolatnevet.
Válasszon egy kapcsolattípust a Teradataszámára.
(Nem kötelező) Megjegyzés hozzáadása.
Kattintson a Továbbgombra.
A Hitelesítési lapon adja meg a következő kapcsolati tulajdonságait a Teradata-példányhoz:
-
Host: Például
teradata-demo.teradata.com
-
Port: Például
1025
-
Felhasználó: Például
teradata_user
-
jelszó: Például
password123
-
Host: Például
Kattints a Kapcsolat létrehozásaelemre.
A Katalógus alapjai lapon adja meg a külföldi katalógus nevét. A külső katalógus egy külső adatrendszer adatbázisát tükrözi, így az Azure Databricks és a Unity Catalog használatával lekérdezheti és kezelheti az adatbázisban lévő adatokhoz való hozzáférést.
(Nem kötelező) Kattintson a Kapcsolat tesztelése elemre annak ellenőrzéséhez, hogy az működik-e.
Kattintson a(z) Katalógus létrehozásaelemre.
Az Access lapon válassza ki azokat a munkaterületeket, amelyeken a felhasználók hozzáférhetnek a létrehozott katalógushoz. Kiválaszthatja Minden munkaterület rendelkezik hozzáféréssel, vagy kattintson a Hozzárendelés munkaterületekhezelemre, jelölje ki a munkaterületeket, majd kattintson hozzárendelése gombra.
Módosítsa a tulajdonosi, aki képes lesz kezelni a katalógus összes objektumához való hozzáférést. Kezdje el beírni a szereplőt a szövegmezőbe, majd kattintson a visszaadott eredmények között a megfelelő szereplőre.
Adjon jogosultságokat a katalógusban. Kattintson a megadása gombra:
- Adja meg azokat a főszereplőket, akik hozzáférhetnek a katalógusban lévő objektumokhoz. Kezdje el beírni a szereplőt a szövegmezőbe, majd kattintson a visszaadott eredmények között a megfelelő szereplőre.
- Válassza ki a jogosultsági beállításokat, az egyes tagoknak való engedélyezéshez. Alapértelmezés szerint minden fiókfelhasználó
BROWSE
kap.- A legördülő menüben válassza Adatolvasó lehetőséget, hogy
read
jogosultságokat biztosítson a katalógus objektumaihoz. - A legördülő menüben válassza Adatszerkesztő lehetőséget, hogy
read
ésmodify
jogosultságokat biztosítson a katalógus objektumaihoz. - Jelölje ki manuálisan a megadni kívánt jogosultságokat.
- A legördülő menüben válassza Adatolvasó lehetőséget, hogy
- Kattintson a Grantgombra.
Kattintson a Továbbgombra.
A Metaadatok lapon adja meg a címkék kulcs-érték párjait. További információ: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.
(Nem kötelező) Megjegyzés hozzáadása.
Kattintson a Mentésgombra.
SQL
Futtassa a következő parancsot egy jegyzetfüzetben vagy a Databricks SQL-lekérdezésszerkesztőben:
CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
A Databricks azt javasolja, hogy az Azure Databricks titkos használjon egyszerű szöveges sztringek helyett olyan bizalmas értékekhez, mint a hitelesítő adatok. Például:
CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
Ha egyszerű szöveges sztringeket kell használnia a jegyzetfüzet SQL-parancsaiban, kerülje a sztring csonkolását speciális karakterek kicserélésével, például a $
karaktert a \
-re. Például: \$
.
A titkos kódok beállításáról további információt Titkos kódok kezelésecímű témakörben talál.
Külföldi katalógus létrehozása
Jegyzet
Ha a felhasználói felülettel hoz létre kapcsolatot az adatforrással, a rendszer külföldi katalóguslétrehozásról is rendelkezik, és kihagyhatja ezt a lépést.
A külső katalógus egy külső adatrendszer adatbázisát tükrözi, így az Azure Databricks és a Unity Catalog használatával lekérdezheti és kezelheti az adatbázisban lévő adatokhoz való hozzáférést. Idegen katalógus létrehozásához a már definiált adatforráshoz való kapcsolatot kell használnia.
Idegen katalógus létrehozásához használhatja a Catalog Explorert vagy a CREATE FOREIGN CATALOG
SQL-parancsot egy Azure Databricks-jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben.
Katalógus létrehozásához használhatja a Databricks REST API-t vagy a Databricks parancssori felületet is. Lásd POST /api/2.1/unity-catalog/catalogs és Unity Catalog parancsokat.
szükséges engedélyek:CREATE CATALOG
a metaadattár engedélyét, valamint a kapcsolat tulajdonjogát vagy a kapcsolat CREATE FOREIGN CATALOG
jogosultságát.
Katalóguskezelő
Az Azure Databricks-munkaterületen kattintson
Katalógus a Catalog Explorer megnyitásához.
A Katalógus panel tetején kattintson a
hozzáadása ikonra, majd válassza Katalógus hozzáadása lehetőséget a menüből.
Másik lehetőségként a Gyorselérési lapon kattintson a Katalógusok gombra, majd a Katalógus létrehozása gombra.
Kövesse az utasításokat a külföldi katalógusok létrehozásához Katalógusok létrehozása.
SQL
Futtassa a következő SQL-parancsot egy jegyzetfüzetben vagy egy SQL-lekérdezésszerkesztőben. A zárójelben lévő elemek választhatóak. Cserélje le a helyőrző értékeket:
-
<catalog-name>
: A katalógus neve az Azure Databricksben. : Az adatforrást, elérési utat és hozzáférési hitelesítő adatokat megadó kapcsolatobjektum. -
<database-name>
: Annak az adatbázisnak a neve, amelyet katalógusként szeretne tükrözni az Azure Databricksben.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
Támogatott leküldések
A következő veremek támogatottak:
- Szűrők
- Előrejelzések
- Korlát
- Aggregátumok
- Önt
- Tartalmazza, Kezdődik, Végződik, Mint
Adattípus-leképezések
Amikor Teradatából Sparkba olvas, az adattípusok az alábbiak szerint kerülnek megfeleltetésre:
Teradata típusa | Spark-típus |
---|---|
Bájt, blob | BinaryType |
Byteint, Smallint, Integer | Egész számtípus |
BigInt | LongType |
Float, Double, Dupla pontosságú | DoubleType |
Szám(n; m) | Decimális típus |
Szám(; m), Szám(), Szám | Nem támogatott |
Varchar(N) | Szövegtípus |
Idő, időbélyeg | Időbélyegtípus |