在 PostgreSQL 上執行同盟查詢

本文說明如何設定 Lakehouse 同盟，在未由 Azure Databricks 管理的 PostgreSQL 數據上執行同盟查詢。 若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse Federation 連線到 PostgreSQL 資料庫並執行查詢，您必須在 Azure Databricks Unity Catalog 中繼存放區中建立下列專案：

• 在 PostgreSQL 資料庫上執行查詢的連線。
• 外來目錄，會在 Unity Catalog 中鏡像您對 PostgreSQL 資料庫的查詢，讓您能夠使用 Unity Catalog 的查詢語法和資料控管工具來管理 Azure Databricks 使用者對資料庫的存取權。

開始之前

工作區需求：

• 已為 Unity Catalog 啟用了工作區。

計算需求：

• 計算資源與目標資料庫系統之間的網路連線。 請參閱 Lakehouse 同盟的網路建議。
• Azure Databricks 計算必須使用 Databricks Runtime 13.3 LTS 或更新版本，共用 或 單一使用者 存取模式。
• SQL 倉儲必須是專業或無伺服器，且必須使用 2023.40 或更新版本。

所需的權限：

• 若要建立連線，您必須是中繼存放區系統管理員，或是具有附加至工作區之 Unity 目錄中繼存放區 CREATE CONNECTION 許可權的使用者。
• 要建立外部目錄，您必須在中繼存放區擁有 CREATE CATALOG 許可權，並且是連線的擁有者或擁有該連線的 CREATE FOREIGN CATALOG 許可權。

後續每個基於工作的章節中會指定其他權限需求。

建立連線

連接會指定用來存取外部資料庫系統的路徑和認證。 若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE CONNECTION SQL 命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

目錄瀏覽器

1. 在 Azure Databricks 工作區中，按一下 目錄。

2. 在 [目錄] 窗格頂端，單擊 [新增] 或 [加號] 圖示[新增] 圖標，然後從功能表選取 [新增連線] 。

   或者，從 [快速存取] 頁面，按兩下 [外部數據 >] 按鈕，移至 [連線] 索引卷標，然後按兩下 [建立連線]。

3. 在 [連線基本資訊] 頁面上，於 [設定連線] 精靈中，輸入使用者易記的 [連線名稱]。

4. 選取 連線類型 的 PostgreSQL。

5. (選擇性) 新增註解。

6. 點選 [下一步]。

7. 在 [驗證] 頁面上，輸入 PostgreSQL 實例的下列連線屬性。

   • 主機：例如 postgres-demo.lb123.us-west-2.rds.amazonaws.com
   • 埠：例如 5432
   • 使用者：例如 postgres_user
   • 密碼：例如 password123

8. 點選 「建立連線」。

9. 在 目錄基本概念 頁面上，輸入外國目錄的名稱。 外部目錄會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。

10. （選擇性）按兩下 [ 測試連線 ] 以確認其運作正常。

11. 點選「建立目錄」。

12. 在 [Access] 頁面上，選擇用戶可以存取您所建立目錄的工作區域。 您可以選取 [所有工作區都有存取權]，或按一下 [分配至工作區]，選取工作區，然後按一下 [指派]。

13. 將能夠管理目錄中所有物件存取權的擁有者更改為 。 開始在文字框中輸入主體，然後點擊結果中返回的主體。

14. 在目錄上授與 許可權。 按一下 [授予 ]：

    1. 指定 主體 誰可以存取目錄中的物件。 開始在文字框中輸入主體，然後點擊結果中返回的主體。
    2. 請選擇 權限預設值，以賦予每個主體。 根據預設，所有帳戶用戶都會被授與 BROWSE。
       • 從下拉功能表中選取 [數據讀取器]，以授與目錄中物件 read 許可權。
       • 從下拉功能表中選取 [數據編輯器]，以授與目錄中物件的 read 和 modify 許可權。
       • 手動選取要授與的許可權。
    3. 按一下 授與。

15. 點選 [下一步]。

16. 在 [元數據] 頁面上，指定標籤的鍵值對。 如需詳細資訊，請參閱 將標籤應用於 Unity Catalog 的可保護對象。

17. (選擇性) 新增註解。

18. 點選 儲存。

SQL

在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建議您使用 Azure Databricks 秘密，而不是針對認證等敏感性值使用純文本字串。 例如：

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外國目錄

外部目錄會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。 若要建立外部目錄，您可以使用已定義的數據源連線。

若要建立外部目錄，您可以在 Azure Databricks 筆記本或 SQL 查詢編輯器中使用目錄總管或 CREATE FOREIGN CATALOG SQL 命令。

您也可以使用 Databricks REST API 或 Databricks CLI 來建立目錄。 請參閱 POST /api/2.1/unity-catalog/catalogs，以及 的 Unity Catalog 命令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

目錄瀏覽器

1. 在 Azure Databricks 工作區中，按兩下 目錄，以開啟 [目錄總管]。

2. 在 [目錄] 窗格頂端，點擊 [新增] 圖示或 [加號] 圖示，然後從選單中選取 [新增目錄] 。

   或者，從 [快速存取] 頁面，按一下 [目錄] 按鈕，然後按一下 [建立目錄] 按鈕。

3. 請遵循在 建立目錄中建立外國目錄的指示。

SQL

在筆記本或 SQL 查詢編輯器中，執行下列 SQL 命令。 括弧中的項目是選擇性的。 替換佔位符值：

• <catalog-name>：Azure Databricks 中目錄的名稱。
• <connection-name>：指定數據源、路徑和存取認證的 連接物件。
• <database-name>：您想要在 Azure Databricks 中鏡像為資料目錄的資料庫名稱。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支援的下推

所有計算都支援下列下推：

• 篩選
• 投影
• 限制
• 函式：部分，僅適用於篩選條件運算式。 （字串函式、數學函式和其他函式，例如 Alias、Cast、SortOrder）

Databricks Runtime 13.3 LTS 和更新版本以及 SQL 倉儲支援下列下推：

• 下列聚合函數：MIN、MAX、COUNT、SUM、AVG、VAR_POP、VAR_SAMP、STDDEV_POP、STDDEV_SAMP、GREATEST、LEAST、COVAR_POP、COVAR_SAMP、CORR、REGR_INTERCEPT、REGR_R2、REGR_SLOPE、REGR_SXY
• 下列布爾函數：=、、<<、=>、>=、<=>
• 下列數學函數（如果 ANSI 已停用，則不支援）：+、-、*、% /
• 其他運算子 |和~
• 排序，搭配限制條件使用時

不支援下列下推：

• 聯結
• 視窗函式

資料類型對應

當您從 PostgreSQL 讀取至 Spark 時，數據類型會對應如下：

*當您從 Postgresql 讀取時，Postgresql Timestamp 會對應至 Spark TimestampType if preferTimestampNTZ = false （預設值）。 如果 ，Postgresql Timestamp 會對應至 TimestampNTZType 。preferTimestampNTZ = true

**支援有限的陣列類型。