共用方式為


Lakeflow Connect

重要

Lakeflow Connect 所提供的受控 SaaS 和資料庫連接器會處於各種 發行狀態,

本文概述 Databricks Lakeflow Connect,它提供完全受控的連接器,可將 Salesforce 等 SaaS 應用程式及 SQL Server 等資料庫中的數據攝取到 Azure Databricks Lakehouse。 結果的資料輸入管線由 Unity Catalog 管控,並以無伺服器運算和 DLT 驅動。 Lakeflow Connect 利用有效率的累加式讀取和寫入,讓數據擷取更快、可調整且更具成本效益,而您的數據仍可供下游取用。

SaaS 連接器元件

SaaS 連接器是由下列元件所建立模型:

  • 連線:儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
  • 擷取管線:將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

SaaS 連接器元件圖表

資料庫連接器元件

資料庫連接器是由下列元件所建立模型:

  • 連線:儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
  • 網關:從源資料庫擷取數據,並在傳輸期間維護交易的完整性。 針對雲端式資料庫,閘道會設定為具有傳統運算功能的 DLT 管線。
  • 暫存記憶體:Unity 目錄磁碟區,其中來自閘道的數據會在套用至 Delta 資料表之前暫存。 當您部署閘道時,會創建暫存儲存帳戶,它存在於您指定的目錄和架構內。
  • 擷取管線:將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

資料庫連接器元件圖表

Lakeflow Connect 與 Lakehouse 同盟與 Delta 共用

Lakehouse 同盟可讓您查詢外部數據源,而不需要移動您的數據。 Delta Sharing 允許您安全地跨平台、雲端和區域共享實時數據。 Databricks 建議使用 Lakeflow Connect 進行擷取,因為它可調整以容納高數據量、低延遲查詢和第三方 API 限制。 不過,您可能想要查詢資料而不移動數據。

當您在 Lakeflow Connect、Lakehouse 同盟和 Delta 共用之間進行選擇時,針對下列情境請選擇 Delta Sharing

  • 限制數據重複。
  • 查詢最新的可能數據。

針對下列案例選擇 Lakehouse 同盟

  • 即席報告或概念驗證工作關於 ETL 管線。

Lakeflow Connect 與自動載入器

Lakeflow Connect 提供內建連接器,可讓您從企業應用程式和資料庫累加內嵌數據。 自動載入器是雲端物件記憶體的連接器,可讓您在檔案抵達 S3、ADLS 和 GCS 時以累加方式內嵌檔案。 它與結構化串流和 DLT 相容,但未與 Lakeflow Connect 整合。

Lakeflow Connect 是否可以回寫至第三方應用程式和資料庫?

否。 如果您對這項功能感興趣,請連絡您的帳戶小組。

Lakeflow Connect 的成本為何?

目前,客戶將僅因載入資料所需的無伺服器 DLT 使用量而被計費 ─ 這可以是從來源載入(如連接企業應用程式,例如 Salesforce)或從預備儲存區(如連接資料庫,例如 SQL Server)。 Lakeflow Connect 的最終定價模式可能包含額外費用,並將於未來公佈。

無伺服器 DLT 定價會顯示在我們的 定價頁面上,