通过

在 MySQL 上运行联合查询

  • 项目

本文介绍如何设置 Lakehouse Federation，以便对不受 Azure Databricks 管理的 MySQL 数据运行联合查询。 若要详细了解 Lakehouse Federation，请参阅“什么是 Lakehouse Federation？”。

若要使用 Lakehouse Federation 连接到 MySQL 数据库，必须在 Azure Databricks Unity Catalog 元存储中创建以下内容：

  • 与你的 MySQL 数据库的连接。
  • 一个外部目录，它镜像 Unity Catalog 中的 MySQL 数据库，以便你可使用 Unity Catalog 查询语法和数据治理工具来管理 Azure Databricks 用户对数据库的访问。

开始之前

工作区要求：

  • 为 Unity Catalog 启用的工作区。

计算要求：

  • 从计算资源到目标数据库系统的网络连接。 请参阅 Lakehouse Federation 网络建议。
  • Azure Databricks 计算必须使用 Databricks Runtime 13.3 LTS（或更高版本）和共享或单用户访问模式。
  • SQL 仓库必须是专业或无服务器，并且必须使用 2023.40 或更高版本。

所需的权限：

  • 若要创建连接，你必须是元存储管理员，或者是对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
  • 若要创建外部目录，你必须对元存储具有 CREATE CATALOG 权限，并且必须是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 权限。

后面的每个基于任务的部分中都指定了其他权限要求。

创建连接

连接指定了一条路径和credentials，以便访问外部数据库系统。 若要创建连接，可以在 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中使用 Catalog Explorer 或 CREATE CONNECTION SQL 命令。

注意

你还可以使用 Databricks REST API 或 Databricks CLI 来创建连接。 请参阅 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

所需的权限：具有 CREATE CONNECTION 特权的元存储管理员或用户。

目录资源管理器

  1. 在 Azure Databricks 工作区中，单击 Catalog 图标Catalog。

  2. 在 Catalog 窗格顶部，单击 添加或加号图标添加 图标，然后 select从菜单中添加连接。

    或者，在“快速访问”页中，单击“外部数据 >”按钮，转到“Connections”选项卡，然后单击 “创建连接”。

  3. 在“设置连接”向导的“连接基本信息”页面上，输入用户友好的“连接名称”。

  4. 选择 MySQL 的“连接类型”。

  5. （可选）添加注释。

  6. 单击“下一步”。

  7. 在 身份验证 页上，输入 MySQL 实例的以下连接属性：

    • 主机：例如 mysql-demo.lb123.us-west-2.rds.amazonaws.com
    • 端口：例如 3306
    • 用户：例如 mysql_user
    • 密码：例如 password123

  8. （可选）：Select信任服务器证书。 默认情况下会取消选中此项。 选中后，传输层使用 SSL 加密通道，并绕过证书链来验证信任。 将此 set 保留为默认值，除非有特定需要绕过信任验证。

  9. 单击 创建连接。

  10. 在“目录基本信息”页上，输入外部目录的名称。 外部 catalog 镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity Catalog查询和管理对该数据库中数据的访问。

  11. （可选）单击“测试连接”以确认它是否正常工作。

  12. 单击“创建目录”。

  13. 在“访问权限”页上，选择用户可以在其中访问所创建目录的工作区。 可以选择“所有工作区均具有访问权限”，或单击“分配到工作区”，选择工作区，然后单击“分配”。

  14. 更改 的所有者为，使其能够管理 catalog中所有对象的访问。 开始在文本框中键入主体，然后单击返回的结果中的主体。

  15. 授予对目录的权限。 单击“授予”：

    1. 指定有权访问目录中对象的主体。 开始在文本框中键入主体，然后单击返回的结果中的主体。
    2. 选择“特权预设”以对每个主体授权。 默认情况下，向所有帐户用户授予 BROWSE。
      • 在下拉菜单中选择“数据读取器”，授予对目录中对象的 read 权限。
      • 在下拉菜单中选择“数据编辑器”，授予对目录中对象的 read 和 modify 权限。
      • 手动选择要授予的权限。
    3. 单击“授予”。

  16. 单击“下一步”。

  17. 在“元数据”页上，指定标记键值对。 有关详细信息，请参阅将标记应用于 Unity Catalog 安全对象。

  18. （可选）添加注释。

  19. 单击 保存。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令。

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建议对凭据等敏感值使用 Azure Databricks 机密而不是纯文本字符串。 例如：

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如果必须在笔记本 SQL 命令中使用纯文本字符串，请避免通过使用 $ 将特殊字符（如 \）进行转义来截断字符串。 例如：\$。

有关设置机密的详细信息，请参阅机密管理。

创建外部目录

注意

如果使用 UI 创建与数据源的连接，则会包含外部目录创建，可以跳过此步骤。

外部 catalog 镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity Catalog查询和管理对该数据库中数据的访问。 若要创建外部目录，请使用与已定义数据源的连接。

若要创建外部目录，可以使用目录资源管理器，或者在 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中使用 CREATE FOREIGN CATALOG SQL 命令。 还可以使用 Databricks REST API 或 Databricks CLI 创建 catalog。 请参阅 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

所需的权限：对元存储具有 CREATE CATALOG 权限，并且具有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

目录资源管理器

  1. 在 Azure Databricks 工作区中，单击 Catalog 图标Catalog 打开 Catalog 资源管理器。

  2. 在“目录”窗格顶部，单击“添加”或“加号”图标“添加”图标，然后从菜单中选择“添加目录”。

    或者，在“快速访问”页中，单击“Catalogs”按钮，然后单击 “创建 catalog”按钮。

  3. 按照创建目录中的说明创建外部目录。

SQL

在笔记本或 Databricks SQL 编辑器中运行以下 SQL 命令。 括号中的项是可选的。 替换占位符 values：

  • <catalog-name>：Azure Databricks 中 catalog 的名称。
  • <connection-name>：指定数据源、路径和访问凭据的连接对象。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

支持的下推

所有计算均支持以下下推：

  • 筛选器
  • 投影
  • Limit
  • 函数：部分，仅适用于筛选器表达式。 （字符串函数、数学函数、日期、时间和时间戳函数以及其他杂项函数，例如 Alias、Cast、SortOrder）

Databricks Runtime 13.3 LTS 及更高版本和 SQL 仓库支持下列下推：

  • 聚合
  • 布尔运算符
  • 以下数学函数（在禁用了 ANSI 时不受支持）：+、-、*、%、/
  • 与限制一起使用时的排序

不支持以下下推：

  • 联接
  • Windows 函数

数据类型映射

从 MySQL 读取到 Spark 时，数据类型映射如下所示：

MySQL 类型 Spark 类型
bigint（如果无符号），十进制 DecimalType
tinyint*、int、integer、mediumint、smallint IntegerType
bigint（如果有符号） LongType
FLOAT FloatType
double DoubleType
char、enum、set CharType
varchar VarcharType
json、longtext、mediumtext、text、tinytext StringType
binary、blob、varbinary、varchar binary BinaryType
bit、boolean BooleanType
date、year DateType
datetime、time、timestamp** TimestampType/TimestampNTZType

*tinyint(1) signed 和 tinyint(1) unsigned 被视为布尔值并转换为 BooleanType。 请参阅 MySQL 文档中的连接器/J 参考。

** 从 MySQL 读取时，如果 Timestamp（默认），MySQL TimestampType 会映射到 Spark preferTimestampNTZ = false。 如果 Timestamp，MySQL TimestampNTZType 会映射到 preferTimestampNTZ = true。