Microsoft Fabric-jegyzetfüzetek használata

A Microsoft Fabric-jegyzetfüzet az Apache Spark-feladatok és gépi tanulási kísérletek fejlesztésének elsődleges kódeleme. Ez egy webes interaktív felület, amelyet adattudósok és adatszakértők használnak a gazdag vizualizációk és Markdown-szövegek előnyeit kihasználó kód írásához. Az adatmérnökök kódot írnak az adatbetöltéshez, az adatok előkészítéséhez és az adatátalakításhoz. Az adattudósok jegyzetfüzeteket is használnak gépi tanulási megoldások létrehozásához, beleértve a kísérletek és modellek létrehozását, a modellkövetést és az üzembe helyezést.

Fabric jegyzetfüzettel a következőket teheti:

• Kezdje el beállítás nélkül.
• Egyszerűen feltárhatja és feldolgozhatja az adatokat intuitív, alacsony kódszámú felhasználói felülettel.
• Az adatok védelme a beépített vállalati biztonsági funkciókkal.
• Adatok elemzése nyers formátumok (CSV, txt, JSON stb.), feldolgozott fájlformátumok (parquet, Delta Lake stb.) között, hatékony Spark-képességek használatával.
• Legyen hatékony a bővített szerzői képességekkel és a beépített adatvizualizációval.

Ez a cikk bemutatja, hogyan használhat jegyzetfüzeteket az adattudományi és adatmérnöki folyamatok során.

A jegyzetfüzet futtatásának biztonsági környezete

A jegyzetfüzetek végrehajtását három különböző módon lehet aktiválni a Fabricben, teljes rugalmassággal, hogy megfeleljen a különböző forgatókönyveknek:

• Interaktív futtatás: A felhasználó manuálisan aktiválja a végrehajtást a különböző UX-bejegyzéseken keresztül, vagy meghívja a REST API-t. A végrehajtás az aktuális felhasználó biztonsági környezetében futna.
• Futtatás folyamattevékenységként: A végrehajtás a Fabric Data Factory-folyamatból indul ki. A részletes lépéseket a jegyzetfüzettevékenységben találja. A végrehajtás a pipeline tulajdonosának biztonsági környezetében futna.
• Ütemező: A végrehajtás egy ütemezőtervből indul ki. A végrehajtás annak a felhasználónak a biztonsági környezetében futna, aki beállítja/frissíti az ütemezőtervet.

A különböző biztonsági környezettel rendelkező végrehajtási lehetőségek rugalmassága lehetővé teszi a különböző forgatókönyvek és követelmények teljesítését, de azt is megköveteli, hogy a jegyzetfüzet tervezésekor és fejlesztésekor tisztában kell lennie a biztonsági környezettel, különben az váratlan viselkedést és bizonyos biztonsági problémákat okozhat.

A jegyzetfüzet első létrehozásakor megjelenik egy figyelmeztető üzenet, amely emlékezteti a kód ellenőrzés nélküli futtatásának kockázatára.

Íme néhány ajánlott eljárás a biztonsági problémák elkerüléséhez:

• Mielőtt manuálisan futtatná a jegyzetfüzetet, nyissa meg a Jegyzetfüzet beállításait, és a Névjegy panelen ellenőrizze a Részletek szakaszban a módosításokra vonatkozó frissítéseket, és győződjön meg arról, hogy elégedett a legújabb változtatásokkal.
• Mielőtt jegyzetfüzet-tevékenységet ad egy folyamathoz, nyissa meg a Jegyzetfüzet beállításait, és ellenőrizze a Névjegy panel Részletek szakaszát a módosítások részleteiért; győződjön meg arról, hogy rendben van a legutóbbi változtatásokkal. Ha nem biztos a legutóbbi módosításban, nyissa meg a jegyzetfüzetet, hogy áttekintse a módosítást, mielőtt hozzáadja a folyamathoz.
• Az ütemezési terv frissítése előtt nyissa meg a Jegyzetfüzet beállításait, és ellenőrizze a Névjegy panelen található Részletek szakaszt a módosítások frissítéséről. Győződjön meg arról, hogy elégedett a legfrissebb változtatásokkal. Ha nem biztos a legújabb módosításban, nyissa meg a jegyzetfüzetet, hogy áttekintse a módosítást az ütemezőcsomag frissítése előtt.
• A biztonsági probléma elkerülése érdekében különítse el a munkaterületet különböző fázisokra (fejlesztés, tesztelés, fejlesztés), és szabályozza a különböző fázisok elérését. Csak azt a felhasználót adja hozzá a próbaszakaszhoz, akiben megbízik.

Jegyzetfüzetek létrehozása

Létrehozhat egy új jegyzetfüzetet, vagy importálhat egy meglévő jegyzetfüzetet.

Új jegyzetfüzet létrehozása

A szokásos Hálóelem-létrehozási folyamatokhoz hasonlóan egyszerűen létrehozhat egy új jegyzetfüzetet a Háló adatmérnök kezdőlapjáról, a munkaterület Új lehetőségéből vagy a Létrehozási központból.

Meglévő jegyzetfüzetek importálása

A munkaterület eszköztárának bejegyzésével importálhat egy vagy több meglévő jegyzetfüzetet a helyi számítógépről. A hálójegyzetfüzetek felismerik a standard Jupyter Notebook .ipynb fájlokat, valamint a forrásfájlokat, például .py, .scalaés .sql, és ennek megfelelően hoznak létre új jegyzetfüzetelemeket.

Jegyzetfüzet exportálása

A jegyzetfüzetet más szabványos formátumokba is exportálhatja. A Synapse-jegyzetfüzet exportálható a következőbe:

• A Jupyter-jegyzetfüzetekhez használt standard jegyzetfüzetfájl (.ipynb).
• Egy HTML-fájl (.html), amely közvetlenül a böngészőből nyitható meg.
• Python-fájl (.py).
• Latex-fájl (.tex).

Jegyzetfüzet mentése

A Fabricben a jegyzetfüzetek alapértelmezés szerint automatikusan mentésre kerülnek a megnyitás és szerkesztés után; nem kell aggódnia a kódmódosítások elvesztése miatt. A Másolat mentése parancsot is használhatja egy másik példány klónozásához az aktuális munkaterületen vagy egy másik munkaterületen.

Ha inkább manuálisan szeretne menteni egy jegyzetfüzetet, váltson a Manuális mentés beállításra, hogy a jegyzetfüzetelem egy helyi ága legyen, majd mentse a módosításokat a Mentés vagy a CTRL+s billentyűkombinációval.

Manuális mentési módra is válthat a Szerkesztés –Mentési beállítások –>Manuális lehetőség kiválasztásával> Ha be szeretné kapcsolni a jegyzetfüzet egy helyi ágát, majd manuálisan menteni, válassza a Mentés vagy a Ctrl+s billentyűparancsot.

Tóházak és digitális jegyzetfüzetek összekapcsolása

A Fabric jegyzetfüzetek mostantól támogatják a lakehouse-okkal való szoros interakciót; az Lakehouse explorerből egyszerűen hozzáadhat egy új vagy meglévő lakehouse-t.

A Lakehouse Explorerben navigálhat a különböző tóházakhoz, és a rögzítéssel beállíthatja az egyik tóházat alapértelmezettként. Az alapértelmezett beállítás ezután a futtatókörnyezet munkakönyvtárához van csatlakoztatva, és helyi elérési út használatával olvashat vagy írhat az alapértelmezett lakehouse-ba.

Tóház hozzáadása vagy eltávolítása

Ha a lakehouse neve melletti X ikont választja, az eltávolítja a jegyzetfüzet fülről, de a lakehouse elem továbbra is létezik a munkaterületen.

Válassza a Lakehouse hozzáadása lehetőséget, ha további tóházakat szeretne hozzáadni a jegyzetfüzethez egy meglévő hozzáadásával vagy egy új tóház létrehozásával.

Egy "lakehouse" fájl felfedezése

A Lake nézet Táblák és Fájlok szakaszában lévő almappák és fájlok a lakehouse-lista és a jegyzetfüzet tartalma közötti tartalomterületen jelennek meg. A tartalomterület frissítéséhez válasszon ki különböző mappákat a Táblák és fájlok szakaszban.

Mappa- és fájlműveletek

Ha jobb egérkattintással kiválaszt egy fájlt (.csv,.parquet,.txt,.jpg,.pngstb.), a Spark vagy a Pandas API használatával betöltheti az adatokat. A rendszer létrehoz egy új kódcellát, és beszúrja a fókuszcella alá.

A kijelölt fájltól vagy mappától eltérő formátumú elérési utat egyszerűen másolhat, és használhatja a megfelelő elérési utat a kódban.

Jegyzetfüzet-erőforrások

A jegyzetfüzet erőforrás-kezelője Unix-szerű fájlrendszert biztosít a mappák és fájlok kezeléséhez. Írható fájlrendszerterületet biztosít, ahol kis méretű fájlokat, például kódmodulokat, szemantikai modelleket és képeket tárolhat. A jegyzetfüzetben lévő kóddal egyszerűen elérheti őket, mintha a helyi fájlrendszerrel dolgozik.

Beépített erőforrások mappa

A beépített erőforrások mappa egy rendszer által definiált mappa, amely egyedi az egyes jegyzetfüzetekben. Javasoljuk, hogy a beépített erőforrásmappával tárolja az aktuális jegyzetfüzetben használt adatokat. Íme a jegyzetfüzet-erőforrások fő képességei.

• Használhat olyan gyakori műveleteket, mint a létrehozás/törlés, a feltöltés/letöltés, az húzás,az átnevezés, a duplikálás és a keresés a felhasználói felületen keresztül.
• Relatív útvonalakat is használhat, például builtin/YourData.txt gyors feltáráshoz. A notebookutils.nbResPath metódus segít a teljes elérési út megírásában.
• Az érvényesített adatokat egyszerűen áthelyezheti egy lakehouse-ba a Write to lakehouse lehetőség segítségével. A Fabric gazdag kódrészleteket ágyaz be a gyakori fájltípusokhoz, hogy gyorsan elindulhasson.
• Ezek az erőforrások a referenciajegyzetfüzet-futtatási esethez is elérhetők a következőn keresztülnotebookutils.notebook.run(): .

Környezeti erőforrások mappa

A Környezeti erőforrások mappa egy megosztott adattár, amely több jegyzetfüzet közötti együttműködés egyszerűsítésére szolgál.

• Az Erőforrások lap a környezeten belül található, és az erőforrásfájlok kezeléséhez szükséges teljes műveletekkel rendelkezik. Ezek a fájlok több jegyzetfüzeten is megoszthatók, ha a jegyzetfüzet az aktuális környezethez van csatolva.

  

• A Jegyzetfüzet lapon könnyen megtalálhatja a második gyökérmappát a csatolt környezetből örökölt Erőforrások területen.

  

• Az állományokkal/mappákkal ugyanúgy dolgozhat, mint a beépített erőforrások mappával.

• Az Environment erőforrás elérési útja automatikusan csatlakozik a notebook klaszterhez. A környezeti erőforrások eléréséhez használhatja a relatív elérési utat /env.

Fájlszerkesztő

A fájlszerkesztővel közvetlenül a jegyzetfüzet erőforrásmappájában és a környezet erőforrásmappájában lévő fájlokat tekintheti meg és szerkesztheti. A támogatott fájltípusok közé tartozik a CSV, TXT, HTML, YML, PY, SQL stb. A fájlszerkesztővel egyszerűen elérheti és módosíthatja a jegyzetfüzet fájljait, támogatja a kulcsszókiemelést, és szükséges nyelvi szolgáltatást nyújt a kódfájlok( például .py és .sql) megnyitásakor és szerkesztésekor.

• Ezt a funkciót a fájlmenü "Megtekintés és szerkesztés" lehetőségével érheti el. A fájlra való dupla kattintás gyorsabb megoldás.

  

• A fájlszerkesztőben a tartalommódosítást manuálisan kell menteni a Mentés gombra vagy billentyűparancsra kattintva: Ctrl+S, a fájlszerkesztő nem támogatja az automatikus mentést.

• jegyzetfüzet mód a fájlszerkesztőre is hatással van. Csak megtekintheti a fájlokat, de nem szerkesztheti őket, ha jegyzetfüzet módban van szerkesztési engedély nélkül.

Együttműködés jegyzetfüzetben

A Fabric jegyzetfüzet egy közös használatra készített eszköz, amely lehetővé teszi, hogy több felhasználó szerkessze ugyanazt a jegyzetfüzetet.

Amikor megnyit egy jegyzetfüzetet, alapértelmezés szerint a társszerkesztési módot adja meg, és minden jegyzetfüzetszerkesztés automatikusan megtörténik. Ha munkatársai egyszerre nyitják meg ugyanazt a jegyzetfüzetet, láthatja a profiljukat, futtathatják a kimenetet, a kurzorjelzőt, a kijelölésjelzőt és a szerkesztési nyomkövetést. Az együttműködési funkciók használatával könnyedén elvégezheti a párok programozását, a távoli hibakeresést és az oktatói forgatókönyveket.

Jegyzetfüzet megosztása

A jegyzetfüzetek megosztása kényelmes módja a csapattagokkal való együttműködésnek. A jogosult munkaterületi szerepkörök alapértelmezés szerint megtekinthetik vagy szerkeszthetik/futtathatják a jegyzetfüzeteket. Megoszthat egy jegyzetfüzetet megadott engedélyekkel.

1. Válassza a Megosztás lehetőséget a jegyzetfüzet eszköztárán.

   

2. Válassza ki a jegyzetfüzetet megtekintő személyek megfelelő kategóriáját. Kiválaszthatja a címzettek megosztási, szerkesztési vagy futtatási engedélyeit.

   

3. Az Alkalmaz lehetőség kiválasztása után közvetlenül is elküldheti a jegyzetfüzetet, vagy átmásolhatja a hivatkozást másoknak. A címzettek ezután megnyithatják a jegyzetfüzetet az engedélyszintjüknek megfelelő nézettel.

   

4. A jegyzetfüzet engedélyeinek további kezeléséhez válassza a Munkaterület elemlista>, majd az Engedélyek kezelése lehetőséget. Ezen a képernyőn frissítheti a meglévő jegyzetfüzet-hozzáférést és -engedélyeket.

   

Kódcellát kommentáljon

A kommentelés egy másik hasznos funkció az együttműködésen alapuló forgatókönyvek esetében. A Fabric jelenleg támogatja a cellaszintű megjegyzések hozzáadását.

1. A Megjegyzések panel megnyitásához válassza a jegyzetfüzet eszköztárának Megjegyzések gombját vagy a cella megjegyzésjelzőt.

   

2. Jelöljön ki kódot a kódcellában, válassza az Új lehetőséget a Megjegyzések panelen, adjon hozzá megjegyzéseket, majd a Mentéshez válassza a Megjegyzés közzététele lehetőséget.

   

3. Ha szüksége van rájuk, a megjegyzése melletti További lehetőség kiválasztásával megtalálja a Megjegyzés szerkesztése, a Szál feloldása és a Szál törlése lehetőségeket.

Mások címkézése megjegyzésben

A "címkézés" azt jelenti, hogy megemlíti és értesíti a felhasználót egy megjegyzésszálban, és hatékonyan fejleszti az együttműködést a konkrétumok alapján.

1. Jelöljön ki egy kódszakaszt egy cellában, és adjon meg egy megjegyzésszálat.

2. Adja meg a felhasználónevet, és válassza ki a megfelelőt a javaslati listában, ha meg szeretne említeni valakit egy adott szakaszról való vita céljából.

3. Ossza meg az elemzéseket, és tegye közzé őket.

4. Egy e-mail-értesítés aktiválódik, és a felhasználó a Megjegyzések megnyitása hivatkozásra kattintva gyorsan megtalálhatja ezt a cellát.

5. Emellett engedélyezze és konfigurálja a felhasználók engedélyeit, amikor olyan valakit címkéz, aki nem rendelkezik hozzáféréssel, biztosítva, hogy a kódegységek megfelelően legyenek kezelve.

Verzióelőzmények

A verzióelőzmények segítségével egyszerűen módosíthatja az élő jegyzetfüzet módosításait. Támogatja az előzmények nyomon követését és a jegyzetfüzetek kezelését robusztus beépített verziókövetési képességekkel, ami különösen hasznos a több közreműködővel való együttműködéshez ugyanazon a jegyzetfüzeten.

1. A jegyzetfüzet globális eszköztárából érheti el a verzióelőzményeket.

   

2. A jegyzetfüzet két módon támogatja az ellenőrzőpontok létrehozását.

   • Manuális ellenőrzőpont: Manuálisan létrehozhat új verziót a fejlesztési mérföldkövek rögzítéséhez, így rugalmasan kezelheti a jegyzetfüzet verzióit.

     

   • Rendszer-ellenőrzőpont: Ezek az ellenőrzőpontok 5 percenként automatikusan jönnek létre a Jegyzetfüzet-rendszer szerkesztési időintervalluma alapján, biztosítva, hogy a munka folyamatosan legyen mentve és verziószámozott. A módosítási rekordokat a rendszer ellenőrzőpont idősorlistájában találja az összes közreműködőtől.

3. Az ellenőrzőpontra kattintva megnyithatja a diff nézetet, amely kiemeli a kijelölt ellenőrzőpont és az aktuális élő verzió közötti tartalomkülönbségeket, beleértve a cellatartalom, a cellakimenet és a metaadatok különbségeit. Az ellenőrzőpont verziója külön kezelhető "további lehetőségek" menüben.

   

4. A verziót az ellenőrzőpont legördülő menüjéből kezelheti. Ha meg szeretné tartani egy korábbi verziót, kattintson a visszaállítás az ellenőrzőpontról lehetőségre, és ezzel felülírja az aktuális jegyzetfüzetet, vagy a mentés másolatként használatával klónozza azt egy új jegyzetfüzetbe.

   

Jegyzetfüzet mód kapcsolója

A hálójegyzetfüzetek négy módot támogatnak, amelyek egyszerűen válthatók: Fejlesztés mód, Csak futtatás mód, Szerkesztés mód, és Nézet mód. Minden mód egy adott engedélykombinációra van leképzve. A jegyzetfüzet más csapattagokkal való megosztásakor megfelelő engedélyeket adhat a címzetteknek. A legjobban elérhető jegyzetfüzet módot láthatják az engedélyüknek megfelelően, és válthatnak a megfelelő mód között.

• Fejlesztési mód: Olvasási, végrehajtási és írási engedély szükséges.
• Csak futtatási mód: Olvasási és végrehajtási engedély szükséges.
• Szerkesztési mód: Olvasási és írási engedély szükséges.
• Megtekintési mód: Olvasási engedély szükséges.

Kapcsolódó tartalom

• Jegyzetfüzetek létrehozása és végrehajtása