Pomocou rozhrania Livy API odošlite a spustite úlohy v službe Spark
Poznámka
Rozhranie API Livy pre službu Fabric Dátový inžinier ing je v režime ukážky.
Vzťahuje sa na:✅ Dátový inžinier a dátovú vedu v službe Microsoft Fabric
Začnite pracovať s rozhraním Livy API for Fabric Dátový inžinier vytvorením služby Lakehouse; overovaním pomocou tokenu aplikácie Microsoft Entra; odoslanie úloh dávkových úloh alebo úloh relácie zo vzdialeného klienta do výpočtu služby Fabric Spark. Objavíte koncový bod rozhrania API Livy. pracovné miesta; a monitorovať výsledky.
Požiadavky
Kapacita Fabric Premium alebo Trial so službou LakeHouse
Povolenie nastavenia správcu nájomníka pre rozhranie API Livy (ukážka)
Vzdialený klient, ako napríklad Visual Studio Code s podporou poznámkového bloku Jupyter, PySpark a knižnice overenia spoločnosti Microsoft (MSAL) pre jazyk Python.
Na prístup k rozhraniu Rest API služby Fabric sa vyžaduje token aplikácie Microsoft Entra. Registrácia aplikácie pomocou platformy microsoft identity
Výber klienta REST API
Na interakciu s koncovými bodmi REST API môžete použiť rôzne programovacie jazyky alebo klientov rozhrania GUI. V tomto článku používame Visual Studio Code. Visual Studio Code musí byť nakonfigurovaný pomocou poznámkových blokov Jupyter, PySpark a knižnice overenia spoločnosti Microsoft (MSAL) pre python.
Povolenie požiadaviek rozhrania Livy API
Ak chcete pracovať s rozhraniami API služby Fabric vrátane rozhrania API služby Livy, musíte najprv vytvoriť aplikáciu Microsoft Entra a získať token. Vaša aplikácia musí byť zaregistrovaná a primerane nakonfigurovaná na vykonávanie volaní API v službe Fabric. Ďalšie informácie nájdete v téme Registrácia aplikácie pomocou platformy microsoft identity.
Na vykonanie úloh Livy sa vyžaduje množstvo povolení rozsahu služby Microsoft Entra. V tomto príklade sa používa jednoduchý kód Spark + prístup k úložisku + SQL:
- Code.AccessAzureDataExplorer.All
- Code.AccessAzureDataLake.All
- Code.AccessAzureKeyvault.All
- Code.AccessFabric.All
- Code.AccessStorage.All
- Item.ReadWrite.All
- Lakehouse.Execute.All
- Lakehouse.Read.All
- Workspace.ReadWrite.All
Poznámka
Počas verejnej ukážky pridáme niekoľko ďalších podrobných rozsahov. Ak použijete tento prístup, po pridaní týchto ďalších rozsahov prestane byť vaša aplikácia Livy prerušená. Skontrolujte tento zoznam, pretože bude aktualizovaný o ďalšie rozsahy.
Niektorí zákazníci chcú viac podrobných povolení ako predchádzajúci zoznam. Môžete odstrániť item.ReadWrite.All a nahradiť tieto podrobnejšie povolenia rozsahu:
- Code.AccessAzureDataExplorer.All
- Code.AccessAzureDataLake.All
- Code.AccessAzureKeyvault.All
- Code.AccessFabric.All
- Code.AccessStorage.All
- Lakehouse.Execute.All
- Lakehouse.ReadWrite.All
- Workspace.ReadWrite.All
- Notebook.ReadWrite.All
- SparkJobDefinition.ReadWrite.All
- MLModel.ReadWrite.All
- MLExperiment.ReadWrite.All
- Dataset.ReadWrite.All
Po zaregistrovaní aplikácie budete potrebovať ID aplikácie (klienta) aj ID adresára (nájomníka).
Overený používateľ, ktorý volá rozhranie API Livy, musí byť členom pracovného priestoru, kde sa položky rozhrania API aj zdroja údajov nachádzajú s rolou Prispievateľ. Ďalšie informácie nájdete v téme Poskytnutie prístupu používateľom k pracovným priestorom.
Ako zistiť koncový bod rozhrania API fabric Livy
Na prístup ku koncovému bodu Livy je potrebný artefakt Lakehouse. Po vytvorení služby Lakehouse je možné koncový bod rozhrania API Livy nachádzať na paneli nastavení.
Koncový bod rozhrania Livy API by mal mať tento tvar:
https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/
URL adresa je pripojená buď <s reláciami> , alebo <dávkami> v závislosti od toho, čo vyberiete.
Integrácia so službami Fabric Environments
Pre každý pracovný priestor služby Fabric sa zriade predvolený štartovací fond, pričom sa v predvolenom nastavení použije tento štartovací kód. Prostredia služby Fabric môžete použiť na prispôsobenie úloh v službe Livy API Spark.
Stiahnutie súborov Swagger rozhrania Livy API
Úplné súbory swagger pre Livy API sú k dispozícii tu.
Odošlite úlohy rozhrania API od Livy
Teraz, keď je nastavenie rozhrania Livy API dokončené, môžete si vybrať, či odošlete dávkové úlohy alebo úlohy relácie.
- Odoslanie úloh relácie pomocou rozhrania Livy API
- Odoslanie dávkových úloh pomocou rozhrania Livy API
Ako sledovať históriu požiadaviek
Pomocou služby Monitoring Hub môžete zobraziť predchádzajúce odoslania rozhrania Livy API a ladiť všetky chyby odoslaní.
Súvisiaci obsah
- Dokumentácia k Apache Livy REST API
- Začíname s nastaveniami správcu pre vašu kapacitu služby Fabric
- Nastavenia správy pracovného priestoru Apache Spark v službe Microsoft Fabric
- Registrácia aplikácie pomocou platformy microsoft identity
- Prehľad povolení a súhlasu spoločnosti Microsoft
- Rozsahy rozhrania REST API služby Fabric
- Prehľad monitorovania Apache Spark
- Podrobnosti o aplikácii Apache Spark