Lakeflow Connect

Tento článek obsahuje přehled služby Databricks Lakeflow Connect, který nabízí plně spravované konektory pro ingestování dat z aplikací SaaS, jako jsou Salesforce a databáze, jako je SQL Server, do azure Databricks Lakehouse. Výsledný kanál příjmu dat se řídí katalogem Unity a využívá bezserverové výpočetní prostředky a DLT. Lakeflow Connect využívá efektivní přírůstkové čtení a zápisy k rychlejšímu, škálovatelnému a nákladově efektivnějšímu zpracování dat, zatímco vaše data zůstávají aktuální pro další zpracování.

Komponenty konektoru SaaS

Konektor SaaS je modelován následujícími komponentami:

• Připojení: Zabezpečitelný objekt katalogu Unity, který ukládá podrobnosti ověřování pro databázi.
• Kanál příjmu dat: Ingestuje fázovaná data do tabulek Delta. Tato komponenta je modelována jako bezserverový kanál DLT.

Komponenty konektoru databáze

Konektor databáze je modelován následujícími komponentami:

• Připojení: Zabezpečitelný objekt katalogu Unity, který ukládá podrobnosti ověřování pro databázi.
• Brána: Extrahuje data ze zdrojové databáze a udržuje integritu transakcí během přenosu. U cloudových databází je brána nakonfigurovaná jako kanál DLT s klasickými výpočetními prostředky.
• Přípravné úložiště: Svazek katalogu Unity, kam se data z brány dočasně ukládají před použitím v tabulce Delta. Přechodný účet úložiště se vytvoří při nasazení brány a je umístěn v katalogu a schématu, které určíte.
• Kanál příjmu dat: Ingestuje fázovaná data do tabulek Delta. Tato komponenta je modelována jako bezserverový kanál DLT.

Lakeflow Connect vs. Lakehouse Federation vs. Delta Sharing

Federace Lakehouse umožňuje dotazovat se na externí zdroje dat bez přesunu dat. Delta Sharing umožňuje bezpečně sdílet aktuální data v rámci různých platforem, cloudů a oblastí. Databricks doporučuje příjem dat pomocí služby Lakeflow Connect, protože se škáluje tak, aby vyhovoval vysokým objemům dat, dotazům s nízkou latencí a omezením rozhraní API třetích stran. Můžete se ale chtít dotazovat na data, aniž byste je přesunuli.

Pokud máte možnost mezi službami Lakeflow Connect, Lakehouse Federation a Delta Sharing, zvolte Delta Sharing pro následující scénáře:

• Omezení duplikace dat
• Dotazování na nejnovější možná data

Pro následující scénáře zvolte Federaci Lakehouse:

• Ad hoc sestavy nebo ověření konceptu se provádí na datových tocích ETL.

Lakeflow Connect versus Auto Loader

Lakeflow Connect poskytuje integrované konektory, které umožňují přírůstkově ingestovat data z podnikových aplikací a databází. Auto Loader je konektor pro cloudové úložiště objektů, který umožňuje přírůstkově ingestovat soubory při jejich doručení do S3, ADLS a GCS. Je kompatibilní se strukturovaným streamováním a knihovnou DLT, ale neintegruje se službou Lakeflow Connect.

Může lakeflow Connect zapisovat zpět do aplikací a databází třetích stran?

Ne. Pokud vás tato funkce zajímá, obraťte se na svůj tým účtů.

Jaké jsou náklady na Lakeflow Connect?

Prozatím se zákazníkům účtuje pouze využívání bezserverové DLT, které je potřeba k načtení dat ze zdroje (pokud se připojujete k podnikové aplikaci, jako je Salesforce), nebo z přípravného úložiště (pokud se připojujete k databázi, jako je SQL Server). Konečný cenový model služby Lakeflow Connect může zahrnovat další poplatky a bude oznámen v budoucnu.

Cenový přehled bezserverové DLT je viditelný na naší stránce s cenami .