Spouštění federovaných dotazů na Microsoft SQL Serveru

Tento článek popisuje, jak nastavit federaci Lakehouse pro spouštění federovaných dotazů na data SQL Serveru, která nespravuje Azure Databricks. Další informace o federaci Lakehouse najdete v tématu Co je Federace Lakehouse?.

Pokud se chcete připojit k databázi SQL Serveru pomocí federace Lakehouse, musíte v metastore katalogu Azure Databricks Unity vytvořit následující:

• Připojení k databázi SQL Serveru.
• cizí katalog, který zrcadlí databázi SQL Serveru v katalogu Unity, takže můžete použít syntaxi dotazů a nástroje pro správu dat z katalogu Unity ke správě uživatelského přístupu k databázi v Azure Databricks.

Lakehouse Federation podporuje SQL Server, Azure SQL Database a Azure SQL Managed Instance.

Než začnete

Požadavky na pracovní prostor:

• Pracovní prostor aktivován pro katalog Unity.

Požadavky na výpočetní prostředky:

• Síťové připojení z vašeho výpočetního prostředku k cílovým databázovým systémům. Viz doporučení k sítím pro Federaci Lakehouse.
• Výpočetní instance Azure Databricks musí používat Databricks Runtime 13.3 LTS nebo novější a režim sdíleného přístupu nebo režim přístupu jednoho uživatele.
• Sql Warehouse musí být pro nebo bezserverové a musí používat verzi 2023.40 nebo vyšší.

Požadovaná oprávnění:

• Pokud chcete vytvořit připojení, musíte být správcem metastoru nebo uživatelem s oprávněním CREATE CONNECTION k metastoru katalogu Unity připojenému k pracovnímu prostoru.
• Chcete-li vytvořit cizí katalog, musíte mít oprávnění CREATE CATALOG k metastoru a být buď vlastníkem připojení, nebo mít oprávnění CREATE FOREIGN CATALOG pro připojení.

Další požadavky na oprávnění jsou uvedeny v následující části založené na úlohách.

• Pokud plánujete ověřování pomocí OAuth, zaregistrujte aplikaci v Microsoft Entra ID pro Azure Databricks. Podrobnosti najdete v následující části.

(Volitelné) Registrace aplikace v Microsoft Entra ID pro Azure Databricks

Pokud chcete provést ověření pomocí OAuth, před vytvořením připojení k SQL Serveru postupujte podle tohoto kroku. Pokud chcete místo toho provést ověření pomocí uživatelského jména a hesla, přeskočte tuto část.

1. Přihlaste se k portálu Azure.
2. V levém navigačním panelu klikněte na Microsoft Entra ID.
3. Klikněte na Registrace aplikací.
4. Klikněte na Nová registrace. Zadejte název nové aplikace a nastavte přesměrovací URI na https://<workspace-url>/login/oauth/azure.html.
5. Klikněte na Zaregistrovat.
6. Do pole Základy zkopírujte a uložte ID aplikace (klienta). Tuto hodnotu použijete ke konfiguraci aplikace.
7. Klikněte na Certifikáty a tajné kódy.
8. Na kartě Tajné kódy klienta klikněte na Nový tajný klíč klienta.
9. Zadejte popis tajného kódu a vypršení platnosti (výchozí nastavení je 180 dní).
10. Klikněte na tlačítko Přidat.
11. Zkopírujte vygenerovanou hodnotu pro tajný klíč klienta.
12. Klikněte na oprávnění rozhraní API.
13. Klikněte na Přidat oprávnění.
14. Vyberte Azure SQL Database a klikněte na user_impersonation v části Delegovaná oprávnění.
15. Klikněte na Přidat oprávnění.

Vytvoření připojení

Připojení určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému. K vytvoření připojení můžete použít Průzkumníka katalogu nebo příkaz CREATE CONNECTION SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

Požadovaná oprávnění: Správce metastoru nebo uživatel s oprávněním CREATE CONNECTION .

Průzkumník katalogu

1. V pracovním prostoru Azure Databricks klikněte na ikonu katalogu Katalog.

2. V horní části podokna katalogu klikněte na ikonu Přidat nebo plusIkona Přidat a v nabídce vyberte Přidat připojení.

   Případně na stránce Rychlý přístup klikněte na tlačítko Externí data, přejděte na kartu Připojení a klikněte na Vytvořit připojení.

3. Na stránce Základy připojení v průvodci Nastavení připojení zadejte uživatelsky přívětivý název připojení.

4. Vyberte typ připojení SQL Serveru.

5. Vyberte typ ověřování OAuth nebo uživatelské jméno a heslo (základní ověřování).

6. (Volitelné) Přidejte komentář.

7. Klikněte na Další.

8. Na stránce Ověřování zadejte následující vlastnosti připojení pro vaši instanci SQL Serveru. Vlastnosti specifické pro metodu ověřování, kterou jste vybrali, jsou před Auth type v závorkách.

   • Hostitel: Server SQL.
   • (Základní ověřování) Přístav
   • (Základní ověřování) trustServerCertificate: Výchozí hodnota falseje . Když je nastavená hodnota true, transportní vrstva používá protokol SSL k šifrování kanálu a obchází řetěz certifikátů k ověření důvěryhodnosti. Ponechte tuto možnost nastavenou na výchozí, pokud nemáte konkrétní potřebu obejít ověření důvěryhodnosti.
   • (Základní ověřování) Uživatel
   • (Základní ověřování) Heslo
   • (OAuth) Koncový bod autorizace: Koncový bod autorizace Azure Entra ve formátu https://login.microsoftonline.com/<tenant-id>/oauth2/v2.0/authorize.
   • (OAuth) ID klienta z aplikace, kterou jste vytvořili.
   • (OAuth) Tajný klíč klienta z tajného klíče klienta, který jste vytvořili.
   • (OAuth) rozsah OAuth: Zadejte následující hodnotu bez úprav: https://database.windows.net/.default offline_access.
   • (OAuth) Klikněte na Přihlásit se pomocí Azure Entra ID. Zadejte uživatelské jméno a heslo Azure. Po přesměrování na stránku Ověřování se v uživatelském rozhraní vyplní autorizační kód.

9. Klikněte na Vytvořit připojení.

10. (Základní ověřování) Na stránce Podrobnosti o připojení zadejte následující:

    • důvěřovat certifikátu serveru: Ve výchozím nastavení je tato možnost zrušena. Při výběru používá transportní vrstva SSL k šifrování kanálu a obchází řetězec certifikátů k ověření důvěry. Ponechte tuto možnost nastavenou na výchozí, pokud nemáte konkrétní potřebu obejít ověření důvěryhodnosti.
    • záměr aplikace: Typ úlohy aplikace při připojování k serveru.

11. Klikněte na Další.

12. Na stránce základy katalogu zadejte název cizího katalogu. Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog.

13. (Volitelné) Kliknutím na test připojení potvrďte, že funguje.

14. Klikněte na Vytvořit katalog.

15. Na stránce Access vyberte pracovní prostory, ve kterých mají uživatelé přístup k vytvořenému katalogu. Můžete vybrat Všechny pracovní prostory mají přístup, nebo klepněte na Přiřadit k pracovním prostorům, vyberte pracovní prostory a potom klikněte na Přiřadit.

16. Změňte vlastníka, který bude schopen spravovat přístup ke všem objektům v katalogu. Začněte do textového pole zadávat hlavní entitu a potom ve vrácených výsledcích klikněte na hlavní entitu.

17. Udělte privilegia na katalogu. Klikněte na Udělit:

    1. Zadejte Principály, kteří budou mít přístup k objektům v katalogu. Začněte do textového pole zadávat hlavní entitu a potom ve vrácených výsledcích klikněte na hlavní entitu.
    2. Vyberte přednastavení práv , která mají být udělena každému objektu zabezpečení. Všichni uživatelé účtu mají ve výchozím nastavení udělené BROWSE.
       • V rozevírací nabídce vyberte Čtečka dat a udělte read oprávnění k objektům v katalogu.
       • V rozevírací nabídce vyberte Datový editor a udělte read a modify oprávnění k objektům v katalogu.
       • Ručně vyberte oprávnění, která chcete udělit.
    3. Klikněte na Udělit.

18. Klikněte na Další.

19. Na stránce Metadata zadejte páry klíč-hodnota štítků. Další informace najdete v tématu Použití značek pro zabezpečitelné objekty v katalogu Unity.

20. (Volitelné) Přidejte komentář.

21. Klikněte na Uložit.

SQL

V poznámkovém bloku nebo editoru dotazů SQL Databricks spusťte následující příkaz.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Doporučujeme používat Azure Databricks tajných kódů místo řetězců prostého textu pro citlivé hodnoty, jako jsou přihlašovací údaje. Příklad:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Informace o nastavení tajných kódů najdete v tématu Správa tajných kódů.

Vytvoření zahraničního katalogu

Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog. Chcete-li vytvořit cizí katalog, použijete připojení ke zdroji dat, který již byl definován.

K vytvoření cizího katalogu můžete použít Průzkumníka katalogu nebo příkaz CREATE FOREIGN CATALOG SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL.

K vytvoření katalogu můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/catalogs a příkazy Unity Catalog.

Požadovaná oprávnění:CREATE CATALOG oprávnění k metastoru a vlastnictví připojení nebo CREATE FOREIGN CATALOG oprávnění k připojení.

Průzkumník katalogu

1. V pracovním prostoru Azure Databricks kliknutím na ikonu katalogu Katalog otevřete Průzkumníka katalogu.

2. V horní části podokna katalogu klikněte na ikonu Přidat nebo plusIkona Přidat a v nabídce vyberte Přidat katalogu.

   Případně na stránce Rychlý přístup klikněte na tlačítko Katalogy a potom klikněte na tlačítko Vytvořit katalog.

3. Postupujte podle pokynů pro vytváření cizích katalogů v Vytvořit katalogy.

SQL

V poznámkovém bloku nebo editoru dotazů SQL spusťte následující příkaz SQL. Položky v závorkách jsou volitelné. Nahraďte zástupné hodnoty:

• <catalog-name>: Název katalogu v Azure Databricks.
• <connection-name>: Objekt připojení , který určuje zdroj dat, cestu a přihlašovací údaje pro přístup.
• <database-name>: Název databáze, kterou chcete zrcadlit jako katalog v Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Podporované odsdílení změn

Na všech výpočetních prostředcích se podporují následující nabízení:

• Filtry
• Projekce
• Omezení
• Funkce: částečné, pouze pro výrazy filtru. (Řetězcové funkce, matematické funkce, data, časová a časová razítka a další různé funkce, jako jsou Alias, Cast, SortOrder)

V Databricks Runtime 13.3 LTS a novějších a na výpočetních prostředcích SQL Warehouse se podporují následující nabízení:

• Souhrny
• Následující logické operátory: =, <, <=, >, >=, <=>
• Následující matematické funkce (nepodporuje se, pokud je anSI zakázán): +, -, *, %, /
• Následující různé operátory: ^, |, ~
• Řazení při použití s limitem

Následující nabízená oznámení nejsou podporována:

• Spojení
• Funkce Systému Windows

Mapování datového typu

Při čtení z SQL Serveru do Sparku se datové typy mapuje takto:

*Při čtení z SQL Serveru se SQL Server datetimes mapuje na Spark TimestampType , pokud preferTimestampNTZ = false (výchozí). SQL Server datetimes je mapován na TimestampNTZType if preferTimestampNTZ = true.