dokumentáció adatmérnök a Microsoft Fabricben

A adatmérnök

Áttekintés

• Mi az adatelemzés?
• Mi az a tóház?
• Munkaterületi szerepkörök és engedélyek

Ismerkedés a Lakehouse szolgáltatással

Első lépések

• Tóház létrehozása
• Navigálás a lakehouse explorerben

Útmutató

• Adatok beolvasása a lakehouse-ba jegyzetfüzet használatával

A jegyzetfüzetek használatának első lépései

Első lépések

• Jegyzetfüzetek létrehozása és használata

Útmutató

• Jegyzetfüzetek fejlesztése és futtatása
• Lakehouse-adatok felfedezése jegyzetfüzettel
• Jegyzetfüzetek vizualizációja
• Python-élmény használata jegyzetfüzetben
• Jegyzetfüzetek forrásvezérlése és üzembe helyezése
• A NotebookUtils használata a jegyzetfüzetben
• T-SQL-jegyzetfüzetek létrehozása és futtatása

API a GraphQL-hez

Áttekintés

• Mi az a Fabric API a GraphQL-hez?

Első lépések

• API létrehozása a GraphQL-hez és adatok hozzáadása

Útmutató

• Kapcsolatok kezelése
• Alkalmazások csatlakoztatása
• Több adatforrás lekérdezése
• Monitorozási irányítópult és naplózás (előzetes verzió)

Delta Lake

Fogalom

• Lakehouse- és Delta-táblák

Útmutató

• Delta-optimalizálás és V-Order
• Betöltés táblákba

A Lakehouse végpontok közötti oktatóanyaga

Fogalom

• Lakehouse-forgatókönyv áttekintése

Oktatóanyag

• 1. lépés – Munkaterület létrehozása
• 2. lépés – Tóház létrehozása
• 3. lépés – Adatok betöltése a Lakehouse-ba
• 4. lépés – Adatok átalakítása deltatáblákká
• 5. lépés – Jelentés készítése
• 6. lépés – Erőforrások törlése

VS Code-integráció

Útmutató

• Jegyzetfüzetek használata a VS Code-ból
• Tárolórendszerkép használata a VS Code-ból
• A VS Code jegyzetfüzeteinek használata erőforrással
• Spark-feladatdefiníciók használata a VS Code-ból
• Lakehouse felfedezése a VS Code-ból
• Jegyzetfüzet fejlesztése a VS Code webes felületéről
• Jegyzetfüzet fejlesztése Fabric-futtatókörnyezettel

Apache Spark

Fogalom

• Apache Spark-feladatdefiníció
• Spark-monitorozás áttekintése
• Apache Spark-tanácsadó

Első lépések

• Spark-feladatdefiníció létrehozása
• Spark-feladatdefiníció létrehozása Fabric API-val
• Spark-feladatdefiníciós Git-integráció

Útmutató

• Spark-feladatdefiníció ütemezése és futtatása
• Spark-alkalmazás figyelése
• Apache Spark-kódtárak kezelése
• A Fabric MSSparkUtils használata
• Kapacitásbeállítások konfigurálása

Ismerkedés a környezettel

Első lépések

• Microsoft Fabric-környezetek

Útmutató

• Spark-számítás kezelése környezetekben
• Tárak kezelése környezetekben
• Környezeti Git-integrációs és üzembehelyezési folyamat
• A környezet kezelése nyilvános API-k használatával
• Az erőforrások kezelése Fabric-környezetben
• A meglévő munkaterület-kódtárak és Spark-tulajdonságok migrálása egy környezetbe

Livy API

Áttekintés

• Mi a Livy API?

Első lépések

• Spark-feladatok létrehozása és futtatása a Livy API használatával
• Livy API-munkamenetfeladatok küldése
• Livy API kötegelt feladatok elküldése