Lakeflow Connect
重要
Lakeflow Connect 所提供的受控 SaaS 和資料庫連接器會處於各種 發行狀態,。
本文概述 Databricks Lakeflow Connect,它提供完全受控的連接器,可將 Salesforce 等 SaaS 應用程式及 SQL Server 等資料庫中的數據攝取到 Azure Databricks Lakehouse。 結果的資料輸入管線由 Unity Catalog 管控,並以無伺服器運算和 DLT 驅動。 Lakeflow Connect 利用有效率的累加式讀取和寫入,讓數據擷取更快、可調整且更具成本效益,而您的數據仍可供下游取用。
SaaS 連接器元件
SaaS 連接器是由下列元件所建立模型:
- 連線:儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
- 擷取管線:將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。
資料庫連接器元件
資料庫連接器是由下列元件所建立模型:
- 連線:儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
- 網關:從源資料庫擷取數據,並在傳輸期間維護交易的完整性。 針對雲端式資料庫,閘道會設定為具有傳統運算功能的 DLT 管線。
- 暫存記憶體:Unity 目錄磁碟區,其中來自閘道的數據會在套用至 Delta 資料表之前暫存。 當您部署閘道時,會創建暫存儲存帳戶,它存在於您指定的目錄和架構內。
- 擷取管線:將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。
Lakeflow Connect 與 Lakehouse 同盟與 Delta 共用
Lakehouse 同盟可讓您查詢外部數據源,而不需要移動您的數據。 Delta Sharing 允許您安全地跨平台、雲端和區域共享實時數據。 Databricks 建議使用 Lakeflow Connect 進行擷取,因為它可調整以容納高數據量、低延遲查詢和第三方 API 限制。 不過,您可能想要查詢資料而不移動數據。
當您在 Lakeflow Connect、Lakehouse 同盟和 Delta 共用之間進行選擇時,針對下列情境請選擇 Delta Sharing:
- 限制數據重複。
- 查詢最新的可能數據。
針對下列案例選擇 Lakehouse 同盟 :
- 即席報告或概念驗證工作關於 ETL 管線。
Lakeflow Connect 與自動載入器
Lakeflow Connect 提供內建連接器,可讓您從企業應用程式和資料庫累加內嵌數據。 自動載入器是雲端物件記憶體的連接器,可讓您在檔案抵達 S3、ADLS 和 GCS 時以累加方式內嵌檔案。 它與結構化串流和 DLT 相容,但未與 Lakeflow Connect 整合。
Lakeflow Connect 是否可以回寫至第三方應用程式和資料庫?
否。 如果您對這項功能感興趣,請連絡您的帳戶小組。
Lakeflow Connect 的成本為何?
目前,客戶將僅因載入資料所需的無伺服器 DLT 使用量而被計費 ─ 這可以是從來源載入(如連接企業應用程式,例如 Salesforce)或從預備儲存區(如連接資料庫,例如 SQL Server)。 Lakeflow Connect 的最終定價模式可能包含額外費用,並將於未來公佈。
無伺服器 DLT 定價會顯示在我們的 定價頁面上,。