Lakeflow Connect
Fontos
A Lakeflow Connect által biztosított felügyelt SaaS- és adatbázis-összekötők különböző kiadási állapotban vannak.
Ez a cikk áttekintést nyújt a Databricks Lakeflow Connectről, amely teljes körűen felügyelt összekötőket kínál az Olyan SaaS-alkalmazásokból, mint a Salesforce és az sql serveres adatbázisokból egy Azure Databricks lakehouse-ba való adatbetöltéshez. Az eredményül kapott betöltési folyamatot a Unity Catalog szabályozza, és kiszolgáló nélküli számítással és DLT-sel működik. A Lakeflow Connect hatékony növekményes olvasásokat és írásokat használ az adatbetöltés gyorsabb, skálázható és költséghatékonyabbá tételéhez, miközben az adatok frissek maradnak az alsóbb rétegbeli felhasználáshoz.
SaaS-összekötő összetevői
Egy SaaS-összekötőt a következő összetevők modellezhetnek:
- Kapcsolat: egy Unity Catalog biztonsági objektum, amely az adatbázis hitelesítési adatait tárolja.
- Betöltési folyamat: A szakaszos adatokat Delta-táblákba csomagolja. Ez az összetevő kiszolgáló nélküli DLT-folyamatként van modellezve.
Adatbázis-összekötő összetevői
Az adatbázis-összekötőt a következő összetevők modellezhetik:
- Kapcsolat: Egy Unity Catalog biztonsági objektum, amely az adatbázis hitelesítési adatait tárolja.
- Átjáró: Kinyeri az adatokat a forrásadatbázisból, és megőrzi a tranzakciók integritását az átvitel során. A felhőalapú adatbázisok esetében az átjáró DLT-folyamatként van konfigurálva klasszikus számítással.
- Átmeneti tárterület: Olyan Unity Katalógus kötet, ahol az átjáróból származó adatok előkészítésre kerülnek, mielőtt egy Delta táblán alkalmazzák őket. Az átmeneti tárfiók az átjáró telepítésekor jön létre, és a megadott katalógusban és sémában létezik.
- Betöltési folyamat: A szakaszos adatokat Delta-táblákba csomagolja. Ez az összetevő kiszolgáló nélküli DLT-folyamatként van modellezve.
Lakeflow Connect vs. Lakehouse Federation vs. Delta Sharing
A Lakehouse Federation lehetővé teszi külső adatforrások lekérdezését az adatok áthelyezése nélkül. A Delta Sharing lehetővé teszi az élő adatok biztonságos megosztását platformok, felhők és régiók között. A Databricks a Lakeflow Connect használatával történő betöltést javasolja, mivel a skálázás a nagy adatmennyiségek, az alacsony késésű lekérdezések és a külső API-korlátok figyelembe vétele érdekében történik. Előfordulhat azonban, hogy áthelyezés nélkül szeretné lekérdezni az adatokat.
Ha választhat a Lakeflow Connect, a Lakehouse Federation és a Delta Sharing között, válassza Delta Sharinget a következő forgatókönyvekhez:
- Az adatkettőzés korlátozása.
- A lehető legfrissebb adatok lekérdezése.
Válassza a Lakehouse Federation lehetőséget a következő forgatókönyvekhez:
- Ad hoc jelentéskészítés vagy megvalósíthatósági igazolási munka az ETL-folyamatokon.
Lakeflow Connect és automatikus betöltő
A Lakeflow Connect beépített összekötőket biztosít, amelyek lehetővé teszik a vállalati alkalmazásokból és adatbázisokból származó adatok növekményes betöltését. Az Automatikus betöltő egy összekötő a felhőalapú objektumtároláshoz, amely lehetővé teszi a fájlok növekményes betöltését az S3, az ADLS és a GCS érkezésekor. Kompatibilis a strukturált streameléssel és a DLT-vel, de nem integrálható a Lakeflow Connect szolgáltatással.
A Lakeflow Connect vissza tud írni külső alkalmazásokba és adatbázisokba?
Nem Ha érdekli ez a funkció, forduljon a fiókcsapatához.
Mi a Lakeflow Connect költsége?
Egyelőre csak az ügyfeleknek kell fizetnie a kiszolgáló nélküli DLT-használatért, amely szükséges az adatok forrásból való betöltéséhez (ha nagyvállalati alkalmazáshoz csatlakozik, például a Salesforce-hoz), vagy az előkészítési kötetből (ha adatbázishoz csatlakozik, például SQL Server). A Lakeflow Connect végleges díjszabási modellje további díjakat is tartalmazhat, és a jövőben közzé fogjuk tenni.
A kiszolgáló nélküli DLT-díjszabás a díjszabási oldalánlátható.