Mi az a Livy API az adatmérnökökre? (Előzetes verzió)
Feljegyzés
A Livy API a Fabric adatfeldolgozás számára előzetes verzióban érhető el.
A következőkre vonatkozik:✅ adatmérnök és Adattudomány a Microsoft Fabricben
A Microsoft Fabric Livy API lehetővé teszi, hogy a felhasználók a Fabric Lakehouse-hoz társított Spark-számításon belül küldjenek és hajtsanak végre Spark-kódot, így nincs szükség jegyzetfüzet- vagy Spark-feladatdefiníciós összetevők létrehozására. Ez a Lakehouse-integráció biztosítja a OneLake-ben tárolt adatokhoz való egyszerű hozzáférést.
Funkciók
A Fabric Livy API két különböző módban teszi lehetővé a feladatok beküldését:
- Munkamenet-feladatok
- A Livy-munkamenetfeladatok egy Spark-munkamenet létrehozását jelentik, amely aktív marad a Livy API-val való interakció során. A Livy-munkamenetek interaktív számítási feladatokhoz hasznosak.
- A Spark-munkamenetek a feladat elküldésekor indulnak el, és addig tartanak, amíg a felhasználó befejezi, vagy a rendszer 20 perc inaktivitás után leállítja azt. A munkamenet során több feladat is futtatható, és ezek megoszthatják az állapotot, valamint a gyorsítótárazott adatokat a futtatások között.
- Batch feladatok
- A Livy-kötegelt feladatok egy Spark-alkalmazás egyetlen feladat végrehajtásához való elküldését jelentik. A Livy-munkamenetfeladatokkal ellentétben egy kötegelt feladat nem tart fenn folyamatos Spark-munkamenetet.
- Livy batch-feladatok esetén minden feladat elindít egy új Spark-munkamenetet, amely a feladat befejeződésekor fejeződik be. Ez a megközelítés jól működik az olyan tevékenységeknél, amelyek nem támaszkodnak a korábbi számításokra, vagy nem igényelnek állapot fenntartását a feladatok között.
A Livy API használatának első lépései
Tanulja meg, hogyan hozhat létre és futtathat Spark-feladatokat a Livy API-val Fabric környezetben, válasszon egy lehetőséget a következők közül: Spark-munkamenetfeladatok beküldése a Livy API-val vagy Spark-kötegelt feladatok beküldése a Livy API-val.