Čo je rozhranie Livy API pre Dátový inžinier ing? (Ukážka)
Poznámka
Rozhranie API Livy pre službu Fabric Dátový inžinier ing je v režime ukážky.
Vzťahuje sa na:✅ Dátový inžinier a dátovú vedu v službe Microsoft Fabric
Rozhranie Microsoft Fabric Livy API umožňuje používateľom odoslať a spustiť kód služby Spark vo výpočte služby Spark priradenom k službe Fabric Lakehouse, čím sa eliminuje potreba vytvoriť všetky artefakty poznámkového bloku alebo definície úloh služby Spark. Táto integrácia so službou Lakehouse zabezpečuje priamy prístup k údajom uloženým v službe OneLake.
Súčasti
Rozhranie API služby Fabric Livy umožňuje odosielanie pracovných miest v dvoch rôznych režimoch:
- Úlohy relácie
- Úloha Livy relácie zahŕňa vytvorenie relácie Spark, ktorá zostáva aktívna počas celej interakcie s rozhraním API Livy. Relácie Livy Sessions sú užitočné pri interaktívnych vyťaženiach.
- Relácia Spark sa spustí pri odoslaní úlohy a trvá, kým ju používateľ ukončí alebo ju systém po 20 minútach nečinnosti neukončí. Počas relácie môžu byť spustených viaceré úlohy, čo môže zdieľať údaje o stave a údaje vo vyrovnávacej pamäti medzi spusteniami.
- Dávkové úlohy
- Súčasťou dávkovej úlohy Livy je odoslanie aplikácie Spark na vykonanie jednej úlohy. Na rozdiel od Livy relácie prácu, dávkové práce neudrží prebiehajúcu reláciu Spark.
- Pri práci s úlohami Livy batch, každá úloha spustí novú reláciu Spark, ktorá sa skončí, keď sa úloha skončí. Tento prístup funguje dobre pri úlohách, ktoré sa nespoliehajú na predchádzajúce výpočty alebo vyžadujú zachovanie stavu medzi úlohami.
Začíname s rozhraním Livy API
Zistite, ako vytvárať a spúšťať úlohy v službe Spark pomocou rozhrania Livy API v službe Fabric výberom niektorej z úloh relácie Submit Spark pomocou rozhrania API Livy alebo dávkových úloh služby Submit Spark pomocou rozhrania Livy API.