Kapcsolódás adatforrásokhoz
Ez a cikk véleményezett javaslatokat tartalmaz arra vonatkozóan, hogy a rendszergazdák és más energiafelhasználók hogyan konfigurálhatják az Azure Databricks és az adatforrások közötti kapcsolatokat. Ha azt szeretné megállapítani, hogy rendelkezik-e hozzáféréssel egy külső rendszer adatainak olvasásához, először tekintse át a munkaterületen elérhető adatokat. Lásd: Adatok felderítése.
Feljegyzés
A nem feltétlenül adatforrásként szolgáló külső szolgáltatásokhoz való csatlakozással kapcsolatos információkért lásd : Külső felhőszolgáltatásokhoz való hozzáférés kezelése szolgáltatás hitelesítő adataival.
Azure Databricks-fiókját olyan adatforrásokhoz csatlakoztathatja, mint a felhőobjektum-tárolás, a relációs adatbázis-kezelő rendszerek, a streamelési adatszolgáltatások és a vállalati platformok, például a CRM-ek. A kapcsolatok konfigurálásához szükséges speciális jogosultságok az adatforrástól, az Azure Databricks-munkaterület engedélyeinek konfigurálásától, a forrásban lévő adatok kezeléséhez szükséges engedélyektől, az adatszabályozási modelltől és a kapcsolódáshoz előnyben részesített módszertől függenek.
A legtöbb módszer emelt szintű jogosultságokat igényel mind az adatforráson, mind az Azure Databricks-munkaterületen a rendszerek integrálásához szükséges engedélyek konfigurálásához. Az engedélyekkel nem rendelkező felhasználóknak segítséget kell kérniük. Lásd: Hozzáférés kérése adatforrásokhoz.
Objektumtároló-kapcsolatok konfigurálása
A felhőalapú objektumtárolás biztosítja a legtöbb adat Azure Databricksen való tárolásának alapját. Ha többet szeretne megtudni a felhőalapú objektumtárolásról és az Azure Databricks adatainak tárolásáról, olvassa el a Hol ír adatokat az Azure Databricks?
A Databricks azt javasolja, hogy a Unity Catalog használatával konfigurálja a felhőobjektum-tárolóhoz való hozzáférést. A Unity Catalog strukturált és strukturálatlan adatokhoz is biztosít adatszabályozást a felhőobjektum-tárolókban. Lásd: Csatlakozás a felhőbeli objektumtárhoz és -szolgáltatásokhoz a Unity Catalog használatával.
A Unity-katalógust nem használó ügyfeleknek régi módszerekkel kell konfigurálnia a kapcsolatokat. Lásd: Az Azure Databricks felhőalapú objektumtárolóhoz való hozzáférésének konfigurálása.
A felhőalapú objektumtárolóba való hálózatkezelés konfigurálásához lásd: Hálózatkezelés.
Külső adatrendszerek kapcsolatainak konfigurálása
A Databricks számos lehetőséget ajánl a külső adatrendszerek kapcsolatainak konfigurálására az igényeitől függően. Az alábbi táblázat az alábbi lehetőségek magas szintű áttekintését tartalmazza:
| Lehetőség | Leírás |
|---|---|
| Lakehouse Federation | Csak olvasható hozzáférést biztosít a vállalati adatrendszerek adataihoz. A kapcsolatok a unitykatalóguson keresztül vannak konfigurálva a katalógus vagy séma szintjén, több táblát szinkronizálva egyetlen konfigurációval. Lásd : Mi az a Lakehouse Federation?. |
| Partner Connect | Technológiai partnermegoldásokat használ a külső adatforrásokhoz való csatlakozáshoz és az adatok tóházba való betöltésének automatizálásához. Egyes megoldások közé tartozik a fordított ETL és a tóházi adatokhoz való közvetlen hozzáférés külső rendszerekből. Mi az a Databricks Partner Connect? |
| Illesztőprogramok | Az Azure Databricks minden Databricks-futtatókörnyezetben külső adatrendszerek illesztőprogramjait tartalmazza. Külső illesztőprogramokat is telepíthet, hogy más rendszerek adataihoz férhessen hozzá. Minden táblához konfigurálnia kell a kapcsolatokat. Egyes illesztőprogramok írási hozzáférést is tartalmaznak. Lásd: Csatlakozás külső rendszerekhez. |
| JDBC | A külső rendszerek számos illesztőprogramja natív JDBC-támogatásra épül, és a JDBC lehetőség bővíthető lehetőségeket biztosít a más rendszerekhez való kapcsolatok konfigurálásához. Minden táblához konfigurálnia kell a kapcsolatokat. Lásd: Adatbázisok lekérdezése JDBC használatával. |
Csatlakozás streamelési adatforrásokhoz
Az Azure Databricks számos streamelési adatrendszerhez biztosít optimalizált összekötőket.
Minden streamelési adatforráshoz olyan hitelesítő adatokat kell létrehoznia, amelyek hozzáférést biztosítanak, és betöltik ezeket a hitelesítő adatokat az Azure Databricksbe. A Databricks a hitelesítő adatok titkos kulcsok használatával történő tárolását javasolja, mivel a titkos kulcsokat minden konfigurációs beállításhoz és minden hozzáférési módhoz használhatja.
A streamelési források összes adatösszekötője támogatja a hitelesítő adatok átadását a streamelési lekérdezések definiálásakor megadott beállításokkal. Lásd: Streamelési adatforrások konfigurálása.
Hozzáférés kérése adatforrásokhoz
Számos szervezetben a felhasználók többsége nem rendelkezik megfelelő jogosultságokkal sem az Azure Databricksben, sem külső adatforrásokban az adatkapcsolatok konfigurálásához.
Előfordulhat, hogy a szervezet már konfigurálta az adatforráshoz való hozzáférést az ezen a lapon hivatkozott cikkekben ismertetett minták egyikével. Ha a szervezet jól meghatározott folyamattal rendelkezik az adatokhoz való hozzáférés igényléséhez, a Databricks azt javasolja, hogy kövesse ezt a folyamatot.
Ha nem tudja, hogyan férhet hozzá egy adatforráshoz, ez az eljárás segíthet:
- A Katalóguskezelővel megtekintheti az elérhető táblákat és köteteket. Lásd: Mi az a Katalóguskezelő?.
- Kérdezze meg csapattársait vagy vezetőit az általuk elérhető adatforrásokról.
- A legtöbb szervezet az identitásszolgáltatótól szinkronizált csoportokat (például: Okta vagy Microsoft Entra ID) használja a munkaterület-felhasználók engedélyeinek kezeléséhez. Ha a csapat más tagjai hozzáférhetnek azokhoz az adatforrásokhoz, amelyekhez hozzáférésre van szüksége, a munkaterület rendszergazdája adja hozzá Önt a megfelelő csoporthoz, hogy hozzáférést biztosítson Önnek.
- Ha egy adott táblát, kötetet vagy adatforrást egy munkatárs állított be, az adott személynek rendelkeznie kell az adatokhoz való hozzáférés engedélyezéséhez szükséges engedélyekkel.
- Egyes szervezetek adathozzáférési engedélyeket konfigurálnak a számítási fürtök és az SQL-raktárak beállításain keresztül.
- Az adatforrásokhoz való hozzáférés számításonként eltérő lehet.
- A számítási létrehozót a Számítás lapon tekintheti meg. Forduljon a létrehozóhoz, és kérdezze meg azokat az adatforrásokat, amelyeknek elérhetőnek kell lenniük.