Lakeflow Connect

Artikel ini memberikan gambaran umum tentang Databricks Lakeflow Connect, yang menawarkan konektor yang dikelola sepenuhnya untuk menyerap data dari aplikasi SaaS seperti Salesforce dan database seperti SQL Server ke dalam lakehouse Azure Databricks. Alur penyerapan yang dihasilkan diatur oleh Unity Catalog dan didukung oleh komputasi tanpa server dan DLT. Lakeflow Connect memanfaatkan pembacaan dan penulisan inkremental yang efisien untuk membuat penyerapan data lebih cepat, dapat diskalakan, dan lebih hemat biaya, sementara data Anda tetap segar untuk konsumsi hilir.

Komponen konektor SaaS

Konektor SaaS dimodelkan oleh komponen berikut:

• Koneksi: Objek Katalog Unity yang dapat diamankan dan menyimpan detail autentikasi untuk database.
• alur Penyerapan: Menyerap data bertahap ke dalam tabel Delta. Komponen ini dimodelkan sebagai alur DLT tanpa server.

Komponen konektor database

Konektor database dimodelkan oleh komponen berikut:

• Koneksi: Objek Katalog Unity yang dapat diamankan dan menyimpan detail autentikasi untuk database.
• Gateway: Mengekstrak data dari database sumber dan mempertahankan integritas transaksi selama transfer. Untuk database berbasis cloud, gateway dikonfigurasi sebagai alur DLT dengan komputasi klasik.
• penyimpanan sementara: volume Katalog Unity tempat data dari gateway ditempatkan sementara sebelum diterapkan ke tabel Delta. Akun penyimpanan staging dibuat ketika Anda menerapkan gateway dan ada dalam katalog serta skema yang Anda tentukan.
• alur Penyerapan: Menyerap data bertahap ke dalam tabel Delta. Komponen ini dimodelkan sebagai alur DLT tanpa server.

Lakeflow Connect vs. Lakehouse Federation vs. Delta Sharing

Federasi Lakehouse memungkinkan Anda mengkueri sumber data eksternal tanpa memindahkan data Anda. Delta Sharing memungkinkan Anda membagikan data yang langsung dan aman di seluruh platform, cloud, dan wilayah. Databricks merekomendasikan pengambilan data menggunakan Lakeflow Connect karena dapat diskalakan untuk mengakomodasi volume data tinggi, latensi kueri rendah, dan batas API pihak ketiga. Namun, Anda mungkin ingin mengkueri data Anda tanpa memindahkannya.

Saat Anda memiliki pilihan antara Lakeflow Connect, Lakehouse Federation, dan Delta Sharing, pilih Delta Sharing untuk skenario berikut:

• Membatasi duplikasi data.
• Mengkueri data sesegar mungkin.

Pilih Lakehouse Federation untuk skenario berikut:

• Pelaporan ad hoc atau pekerjaan prototipe konsep pada alur ETL Anda.

Lakeflow Connect vs. Auto Loader

Lakeflow Connect menyediakan konektor bawaan yang memungkinkan Anda menyerap data secara bertahap dari aplikasi dan database perusahaan. Auto Loader adalah konektor untuk penyimpanan objek cloud yang memungkinkan Anda menyerap file secara bertahap saat tiba di S3, ADLS, dan GCS. Ini kompatibel dengan Streaming Terstruktur dan DLT tetapi tidak terintegrasi dengan Lakeflow Connect.

Dapatkah Lakeflow Connect menulis kembali ke aplikasi dan database pihak ketiga?

Tidak. Jika Anda tertarik dengan fungsionalitas ini, hubungi tim akun Anda.

Berapa biaya untuk Lakeflow Connect?

Untuk saat ini, pelanggan hanya ditagih untuk penggunaan DLT tanpa server yang diperlukan untuk memuat data dari sumber (jika menyambungkan ke aplikasi perusahaan, seperti Salesforce) atau dari volume penahapan (jika menyambungkan ke database, seperti SQL Server). Model harga akhir untuk Lakeflow Connect mungkin menyertakan biaya tambahan dan akan diumumkan di masa mendatang.

Harga DLT tanpa server terlihat di halaman harga kami.