Az első munkafolyamat létrehozása Egy Azure Databricks-feladattal

Ez a cikk egy Azure Databricks-feladatot mutat be, amely a feladatokat egy mintaadatkészlet olvasására és feldolgozására vezényli. Ebben a rövid útmutatóban a következőket hajtja végre:

1. Hozzon létre egy új jegyzetfüzetet, és adjon hozzá kódot egy népszerű babaneveket tartalmazó mintaadatkészlet lekéréséhez évről évre.
2. Mentse a mintaadatkészletet a Unity Catalogba.
3. Hozzon létre egy új jegyzetfüzetet, és adjon hozzá kódot az adathalmaz unity katalógusból való olvasásához, évenkénti szűréséhez és az eredmények megjelenítéséhez.
4. Hozzon létre egy új feladatot, és konfiguráljon két feladatot a jegyzetfüzetek használatával.
5. Futtassa a feladatot, és tekintse meg az eredményeket.

Követelmények

Ha a munkaterület unitykatalógus-kompatibilis, és a kiszolgáló nélküli feladatok engedélyezve van, a feladat alapértelmezés szerint kiszolgáló nélküli számításon fut. Nincs szüksége fürtlétrehozási engedélyre a feladat kiszolgáló nélküli számítással való futtatásához.

Ellenkező esetben fürtlétrehozási engedéllyel kell rendelkeznie a feladatok számítási feladatainak létrehozásához vagy a teljes körű számítási erőforrásokhoz való engedélyekkel.

Kötetnek kell lennie a Unity Katalógusban. Ez a cikk egy, a katalógusban my-volumeelnevezett sémában elnevezett defaultmain kötetet használ. Emellett a Unity Katalógusban a következő engedélyekkel kell rendelkeznie:

• READ VOLUME és WRITE VOLUME, vagy ALL PRIVILEGESa my-volume kötethez.
• USE SCHEMA vagy ALL PRIVILEGES a sémához default .
• USE CATALOG vagy ALL PRIVILEGES a main katalógushoz.

Az engedélyek beállításához tekintse meg a Databricks-rendszergazdai vagy a Unity Catalog-jogosultságokat és a biztonságos objektumokat.

A jegyzetfüzetek létrehozása

Adatok lekérése és mentése

Jegyzetfüzet létrehozása a mintaadatkészlet lekéréséhez és a Unity Catalogba való mentéséhez:

1. Nyissa meg az Azure Databricks kezdőlapját, és kattintson az Új gombra az oldalsávon, és válassza a Jegyzetfüzet lehetőséget. A Databricks létrehoz és megnyit egy új, üres jegyzetfüzetet az alapértelmezett mappában. Az alapértelmezett nyelv a legutóbb használt nyelv, és a jegyzetfüzet automatikusan csatlakozik a legutóbb használt számítási erőforráshoz.

2. Szükség esetén módosítsa az alapértelmezett nyelvet Pythonra.

3. Másolja ki a következő Python-kódot, és illessze be a jegyzetfüzet első cellájába.

   import requests
   
   response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
   csvfile = response.content.decode('utf-8')
   dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)
   

Szűrt adatok olvasása és megjelenítése

Jegyzetfüzet létrehozása a szűréshez szükséges adatok olvasásához és bemutatásához:

1. Nyissa meg az Azure Databricks kezdőlapját, és kattintson az Új gombra az oldalsávon, és válassza a Jegyzetfüzet lehetőséget. A Databricks létrehoz és megnyit egy új, üres jegyzetfüzetet az alapértelmezett mappában. Az alapértelmezett nyelv a legutóbb használt nyelv, és a jegyzetfüzet automatikusan csatlakozik a legutóbb használt számítási erőforráshoz.

2. Szükség esetén módosítsa az alapértelmezett nyelvet Pythonra.

3. Másolja ki a következő Python-kódot, és illessze be a jegyzetfüzet első cellájába.

   babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
   babynames.createOrReplaceTempView("babynames_table")
   years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
   years.sort()
   dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
   display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))
   

Feladat létrehozása

1. Kattintson a Munkafolyamatok elemre az oldalsávon.

2. Kattintson a parancsra.

   A Feladatok lap a Feladat létrehozása párbeszédpanelen jelenik meg.

   

3. Cserélje le a feladat nevét a feladat nevére.

4. A Tevékenységnév mezőben adja meg a tevékenység nevét, például a gyermekneveket.

5. A Típus legördülő menüben válassza a Jegyzetfüzet lehetőséget.

6. A fájlböngészővel keresse meg az első létrehozott jegyzetfüzetet, kattintson a jegyzetfüzet nevére, majd a Megerősítés gombra.

7. Kattintson a Feladat létrehozása gombra.

8. Kattintson az imént létrehozott feladat alá egy másik tevékenység hozzáadásához.

9. A Tevékenység neve mezőben adja meg a tevékenység nevét, például filter-baby-names.

10. A Típus legördülő menüben válassza a Jegyzetfüzet lehetőséget.

11. A fájlböngészővel keresse meg a második létrehozott jegyzetfüzetet, kattintson a jegyzetfüzet nevére, majd a Megerősítés gombra.

12. Kattintson a Hozzáadás gombra a Paraméterek területen. A Kulcs mezőbe írja be a következőtyear: Az Érték mezőbe írja be a következőt2014:

13. Kattintson a Feladat létrehozása gombra.

A feladat futtatása

A feladat azonnali futtatásához kattintson a jobb felső sarokban. A feladatot úgy is futtathatja, hogy a Futtatások fülre kattint, majd az Aktív futtatások táblában a Futtatás most parancsra kattint.

Futtatás részleteinek megtekintése

1. Kattintson a Futtatások fülre, és kattintson a futtatás hivatkozására az Aktív futtatások táblában vagy a Befejezett futtatások (elmúlt 60 nap) táblában.

2. Kattintson bármelyik tevékenységre a kimenet és a részletek megtekintéséhez. Kattintson például a filter-baby-names tevékenységre a kimenet megtekintéséhez és a szűrőfeladat részleteinek futtatásához:

   

Futtatás különböző paraméterekkel

A feladat újrafuttatása és a babanevek szűrése egy másik évre:

1. Kattintson a Futtatás most lehetőség mellett, és válassza a Futtatás most lehetőséget különböző paraméterekkel, vagy kattintson a Futtatás most gombra az Aktív futtatások táblában különböző paraméterekkel.
2. Az Érték mezőbe írja be a következőt2015:
3. Kattintson a Futtatás elemre.