Lakeflow Connect

本文概述 Databricks Lakeflow Connect，它提供完全受控的連接器，可將 Salesforce 等 SaaS 應用程式及 SQL Server 等資料庫中的數據攝取到 Azure Databricks Lakehouse。 結果的資料輸入管線由 Unity Catalog 管控，並以無伺服器運算和 DLT 驅動。 Lakeflow Connect 利用有效率的累加式讀取和寫入，讓數據擷取更快、可調整且更具成本效益，而您的數據仍可供下游取用。

SaaS 連接器元件

SaaS 連接器是由下列元件所建立模型：

• 連線：儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
• 擷取管線：將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

資料庫連接器元件

資料庫連接器是由下列元件所建立模型：

• 連線：儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
• 網關：從源資料庫擷取數據，並在傳輸期間維護交易的完整性。 針對雲端式資料庫，閘道會設定為具有傳統運算功能的 DLT 管線。
• 暫存記憶體：Unity 目錄磁碟區，其中來自閘道的數據會在套用至 Delta 資料表之前暫存。 當您部署閘道時，會創建暫存儲存帳戶，它存在於您指定的目錄和架構內。
• 擷取管線：將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

Lakeflow Connect 與 Lakehouse 同盟與 Delta 共用

Lakehouse 同盟可讓您查詢外部數據源，而不需要移動您的數據。 Delta Sharing 允許您安全地跨平台、雲端和區域共享實時數據。 Databricks 建議使用 Lakeflow Connect 進行擷取，因為它可調整以容納高數據量、低延遲查詢和第三方 API 限制。 不過，您可能想要查詢資料而不移動數據。

當您在 Lakeflow Connect、Lakehouse 同盟和 Delta 共用之間進行選擇時，針對下列情境請選擇 Delta Sharing：

• 限制數據重複。
• 查詢最新的可能數據。

針對下列案例選擇 Lakehouse 同盟 ：

• 即席報告或概念驗證工作關於 ETL 管線。

Lakeflow Connect 與自動載入器

Lakeflow Connect 提供內建連接器，可讓您從企業應用程式和資料庫累加內嵌數據。 自動載入器是雲端物件記憶體的連接器，可讓您在檔案抵達 S3、ADLS 和 GCS 時以累加方式內嵌檔案。 它與結構化串流和 DLT 相容，但未與 Lakeflow Connect 整合。

Lakeflow Connect 是否可以回寫至第三方應用程式和資料庫？

否。 如果您對這項功能感興趣，請連絡您的帳戶小組。

Lakeflow Connect 的成本為何？

目前，客戶將僅因載入資料所需的無伺服器 DLT 使用量而被計費 ─ 這可以是從來源載入（如連接企業應用程式，例如 Salesforce）或從預備儲存區（如連接資料庫，例如 SQL Server）。 Lakeflow Connect 的最終定價模式可能包含額外費用，並將於未來公佈。

無伺服器 DLT 定價會顯示在我們的 定價頁面上，。