Lakeflow Connect

Ez a cikk áttekintést nyújt a Databricks Lakeflow Connectről, amely teljes körűen felügyelt összekötőket kínál az Olyan SaaS-alkalmazásokból, mint a Salesforce és az sql serveres adatbázisokból egy Azure Databricks lakehouse-ba való adatbetöltéshez. Az eredményül kapott betöltési folyamatot a Unity Catalog szabályozza, és kiszolgáló nélküli számítással és DLT-sel működik. A Lakeflow Connect hatékony növekményes olvasásokat és írásokat használ az adatbetöltés gyorsabb, skálázható és költséghatékonyabbá tételéhez, miközben az adatok frissek maradnak az alsóbb rétegbeli felhasználáshoz.

SaaS-összekötő összetevői

Egy SaaS-összekötőt a következő összetevők modellezhetnek:

• Kapcsolat: egy Unity Catalog biztonsági objektum, amely az adatbázis hitelesítési adatait tárolja.
• Betöltési folyamat: A szakaszos adatokat Delta-táblákba csomagolja. Ez az összetevő kiszolgáló nélküli DLT-folyamatként van modellezve.

Adatbázis-összekötő összetevői

Az adatbázis-összekötőt a következő összetevők modellezhetik:

• Kapcsolat: Egy Unity Catalog biztonsági objektum, amely az adatbázis hitelesítési adatait tárolja.
• Átjáró: Kinyeri az adatokat a forrásadatbázisból, és megőrzi a tranzakciók integritását az átvitel során. A felhőalapú adatbázisok esetében az átjáró DLT-folyamatként van konfigurálva klasszikus számítással.
• Átmeneti tárterület: Olyan Unity Katalógus kötet, ahol az átjáróból származó adatok előkészítésre kerülnek, mielőtt egy Delta táblán alkalmazzák őket. Az átmeneti tárfiók az átjáró telepítésekor jön létre, és a megadott katalógusban és sémában létezik.
• Betöltési folyamat: A szakaszos adatokat Delta-táblákba csomagolja. Ez az összetevő kiszolgáló nélküli DLT-folyamatként van modellezve.

Lakeflow Connect vs. Lakehouse Federation vs. Delta Sharing

A Lakehouse Federation lehetővé teszi külső adatforrások lekérdezését az adatok áthelyezése nélkül. A Delta Sharing lehetővé teszi az élő adatok biztonságos megosztását platformok, felhők és régiók között. A Databricks a Lakeflow Connect használatával történő betöltést javasolja, mivel a skálázás a nagy adatmennyiségek, az alacsony késésű lekérdezések és a külső API-korlátok figyelembe vétele érdekében történik. Előfordulhat azonban, hogy áthelyezés nélkül szeretné lekérdezni az adatokat.

Ha választhat a Lakeflow Connect, a Lakehouse Federation és a Delta Sharing között, válassza Delta Sharinget a következő forgatókönyvekhez:

• Az adatkettőzés korlátozása.
• A lehető legfrissebb adatok lekérdezése.

Válassza a Lakehouse Federation lehetőséget a következő forgatókönyvekhez:

• Ad hoc jelentéskészítés vagy megvalósíthatósági igazolási munka az ETL-folyamatokon.

Lakeflow Connect és automatikus betöltő

A Lakeflow Connect beépített összekötőket biztosít, amelyek lehetővé teszik a vállalati alkalmazásokból és adatbázisokból származó adatok növekményes betöltését. Az Automatikus betöltő egy összekötő a felhőalapú objektumtároláshoz, amely lehetővé teszi a fájlok növekményes betöltését az S3, az ADLS és a GCS érkezésekor. Kompatibilis a strukturált streameléssel és a DLT-vel, de nem integrálható a Lakeflow Connect szolgáltatással.

A Lakeflow Connect vissza tud írni külső alkalmazásokba és adatbázisokba?

Nem Ha érdekli ez a funkció, forduljon a fiókcsapatához.

Mi a Lakeflow Connect költsége?

Egyelőre csak az ügyfeleknek kell fizetnie a kiszolgáló nélküli DLT-használatért, amely szükséges az adatok forrásból való betöltéséhez (ha nagyvállalati alkalmazáshoz csatlakozik, például a Salesforce-hoz), vagy az előkészítési kötetből (ha adatbázishoz csatlakozik, például SQL Server). A Lakeflow Connect végleges díjszabási modellje további díjakat is tartalmazhat, és a jövőben közzé fogjuk tenni.

A kiszolgáló nélküli DLT-díjszabás a díjszabási oldalánlátható.