Microsoft Fabric-jegyzetfüzetek használata
A Microsoft Fabric-jegyzetfüzet az Apache Spark-feladatok és gépi tanulási kísérletek fejlesztésének elsődleges kódeleme. Ez egy webes interaktív felület, amelyet adattudósok és adatszakértők használnak a gazdag vizualizációk és Markdown-szövegek előnyeit kihasználó kód írásához. Az adatmérnökök kódot írnak az adatbetöltéshez, az adatok előkészítéséhez és az adatátalakításhoz. Az adattudósok jegyzetfüzeteket is használnak gépi tanulási megoldások létrehozásához, beleértve a kísérletek és modellek létrehozását, a modellkövetést és az üzembe helyezést.
Fabric jegyzetfüzettel a következőket teheti:
- Kezdje el beállítás nélkül.
- Egyszerűen feltárhatja és feldolgozhatja az adatokat intuitív, alacsony kódszámú felhasználói felülettel.
- Az adatok védelme a beépített vállalati biztonsági funkciókkal.
- Adatok elemzése nyers formátumok (CSV, txt, JSON stb.), feldolgozott fájlformátumok (parquet, Delta Lake stb.) között, hatékony Spark-képességek használatával.
- Legyen hatékony a bővített szerzői képességekkel és a beépített adatvizualizációval.
Ez a cikk bemutatja, hogyan használhat jegyzetfüzeteket az adattudományi és adatmérnöki folyamatok során.
A jegyzetfüzet futtatásának biztonsági környezete
A jegyzetfüzetek végrehajtását három különböző módon lehet aktiválni a Fabricben, teljes rugalmassággal, hogy megfeleljen a különböző forgatókönyveknek:
- Interaktív futtatás: A felhasználó manuálisan aktiválja a végrehajtást a különböző UX-bejegyzéseken keresztül, vagy meghívja a REST API-t. A végrehajtás az aktuális felhasználó biztonsági környezetében futna.
- Futtatás folyamattevékenységként: A végrehajtás a Fabric Data Factory-folyamatból indul ki. A részletes lépéseket a jegyzetfüzettevékenységben találja. A végrehajtás a pipeline tulajdonosának biztonsági környezetében futna.
- Ütemező: A végrehajtás egy ütemezőtervből indul ki. A végrehajtás annak a felhasználónak a biztonsági környezetében futna, aki beállítja/frissíti az ütemezőtervet.
A különböző biztonsági környezettel rendelkező végrehajtási lehetőségek rugalmassága lehetővé teszi a különböző forgatókönyvek és követelmények teljesítését, de azt is megköveteli, hogy a jegyzetfüzet tervezésekor és fejlesztésekor tisztában kell lennie a biztonsági környezettel, különben az váratlan viselkedést és bizonyos biztonsági problémákat okozhat.
A jegyzetfüzet első létrehozásakor megjelenik egy figyelmeztető üzenet, amely emlékezteti a kód ellenőrzés nélküli futtatásának kockázatára.
Íme néhány ajánlott eljárás a biztonsági problémák elkerüléséhez:
- Mielőtt manuálisan futtatná a jegyzetfüzetet, nyissa meg a Jegyzetfüzet beállításait, és a Névjegy panelen ellenőrizze a Részletek szakaszban a módosításokra vonatkozó frissítéseket, és győződjön meg arról, hogy elégedett a legújabb változtatásokkal.
- Mielőtt jegyzetfüzet-tevékenységet ad egy folyamathoz, nyissa meg a Jegyzetfüzet beállításait, és ellenőrizze a Névjegy panel Részletek szakaszát a módosítások részleteiért; győződjön meg arról, hogy rendben van a legutóbbi változtatásokkal. Ha nem biztos a legutóbbi módosításban, nyissa meg a jegyzetfüzetet, hogy áttekintse a módosítást, mielőtt hozzáadja a folyamathoz.
- Az ütemezési terv frissítése előtt nyissa meg a Jegyzetfüzet beállításait, és ellenőrizze a Névjegy panelen található Részletek szakaszt a módosítások frissítéséről. Győződjön meg arról, hogy elégedett a legfrissebb változtatásokkal. Ha nem biztos a legújabb módosításban, nyissa meg a jegyzetfüzetet, hogy áttekintse a módosítást az ütemezőcsomag frissítése előtt.
- A biztonsági probléma elkerülése érdekében különítse el a munkaterületet különböző fázisokra (fejlesztés, tesztelés, fejlesztés), és szabályozza a különböző fázisok elérését. Csak azt a felhasználót adja hozzá a próbaszakaszhoz, akiben megbízik.
Jegyzetfüzetek létrehozása
Létrehozhat egy új jegyzetfüzetet, vagy importálhat egy meglévő jegyzetfüzetet.
Új jegyzetfüzet létrehozása
A szokásos Hálóelem-létrehozási folyamatokhoz hasonlóan egyszerűen létrehozhat egy új jegyzetfüzetet a Háló adatmérnök kezdőlapjáról, a munkaterület Új lehetőségéből vagy a Létrehozási központból.
Meglévő jegyzetfüzetek importálása
A munkaterület eszköztárának bejegyzésével importálhat egy vagy több meglévő jegyzetfüzetet a helyi számítógépről. A hálójegyzetfüzetek felismerik a standard Jupyter Notebook .ipynb fájlokat, valamint a forrásfájlokat, például .py, .scalaés .sql, és ennek megfelelően hoznak létre új jegyzetfüzetelemeket.
Jegyzetfüzet exportálása
A jegyzetfüzetet más szabványos formátumokba is exportálhatja. A Synapse-jegyzetfüzet exportálható a következőbe:
- A Jupyter-jegyzetfüzetekhez használt standard jegyzetfüzetfájl (.ipynb).
- Egy HTML-fájl (.html), amely közvetlenül a böngészőből nyitható meg.
- Python-fájl (.py).
- Latex-fájl (.tex).
Jegyzetfüzet mentése
A Fabricben a jegyzetfüzetek alapértelmezés szerint automatikusan mentésre kerülnek a megnyitás és szerkesztés után; nem kell aggódnia a kódmódosítások elvesztése miatt. A Másolat mentése parancsot is használhatja egy másik példány klónozásához az aktuális munkaterületen vagy egy másik munkaterületen.
Ha inkább manuálisan szeretne menteni egy jegyzetfüzetet, váltson a Manuális mentés beállításra, hogy a jegyzetfüzetelem egy helyi ága legyen, majd mentse a módosításokat a Mentés vagy a CTRL+s billentyűkombinációval.
Manuális mentési módra is válthat a Szerkesztés –Mentési beállítások –>Manuális lehetőség kiválasztásával> Ha be szeretné kapcsolni a jegyzetfüzet egy helyi ágát, majd manuálisan menteni, válassza a Mentés vagy a Ctrl+s billentyűparancsot.
Tóházak és digitális jegyzetfüzetek összekapcsolása
A Fabric jegyzetfüzetek mostantól támogatják a lakehouse-okkal való szoros interakciót; az Lakehouse explorerből egyszerűen hozzáadhat egy új vagy meglévő lakehouse-t.
A Lakehouse Explorerben navigálhat a különböző tóházakhoz, és a rögzítéssel beállíthatja az egyik tóházat alapértelmezettként. Az alapértelmezett beállítás ezután a futtatókörnyezet munkakönyvtárához van csatlakoztatva, és helyi elérési út használatával olvashat vagy írhat az alapértelmezett lakehouse-ba.
Feljegyzés
Az új lakehouse rögzítése vagy az alapértelmezett lakehouse átnevezése után újra kell indítania a munkamenetet.
Tóház hozzáadása vagy eltávolítása
Ha a lakehouse neve melletti X ikont választja, az eltávolítja a jegyzetfüzet fülről, de a lakehouse elem továbbra is létezik a munkaterületen.
Válassza a Lakehouse hozzáadása lehetőséget, ha további tóházakat szeretne hozzáadni a jegyzetfüzethez egy meglévő hozzáadásával vagy egy új tóház létrehozásával.
Egy "lakehouse" fájl felfedezése
A Lake nézet Táblák és Fájlok szakaszában lévő almappák és fájlok a lakehouse-lista és a jegyzetfüzet tartalma közötti tartalomterületen jelennek meg. A tartalomterület frissítéséhez válasszon ki különböző mappákat a Táblák és fájlok szakaszban.
Mappa- és fájlműveletek
Ha jobb egérkattintással kiválaszt egy fájlt (.csv,.parquet,.txt,.jpg,.pngstb.), a Spark vagy a Pandas API használatával betöltheti az adatokat. A rendszer létrehoz egy új kódcellát, és beszúrja a fókuszcella alá.
A kijelölt fájltól vagy mappától eltérő formátumú elérési utat egyszerűen másolhat, és használhatja a megfelelő elérési utat a kódban.
Jegyzetfüzet-erőforrások
A jegyzetfüzet erőforrás-kezelője Unix-szerű fájlrendszert biztosít a mappák és fájlok kezeléséhez. Írható fájlrendszerterületet biztosít, ahol kis méretű fájlokat, például kódmodulokat, szemantikai modelleket és képeket tárolhat. A jegyzetfüzetben lévő kóddal egyszerűen elérheti őket, mintha a helyi fájlrendszerrel dolgozik.
Feljegyzés
- A beépített mappa- és környezeti mappák maximális erőforrástárolói 500 MB, egyetlen fájlméret legfeljebb 100 MB. Mindkettő legfeljebb 100 fájl-/mappapéldányt engedélyez összesen.
- Használja a
notebookutils.notebook.run()
elemet, majd anotebookutils.nbResPath
parancsot a céljegyzetfüzet-erőforrás eléréséhez. A builtin/ relatív elérési út mindig a gyökérjegyzetfüzet beépített mappájára fog mutatni.
Beépített erőforrások mappa
A beépített erőforrások mappa egy rendszer által definiált mappa, amely egyedi az egyes jegyzetfüzetekben. Javasoljuk, hogy a beépített erőforrásmappával tárolja az aktuális jegyzetfüzetben használt adatokat. Íme a jegyzetfüzet-erőforrások fő képességei.
- Használhat olyan gyakori műveleteket, mint a létrehozás/törlés, a feltöltés/letöltés, az húzás,az átnevezés, a duplikálás és a keresés a felhasználói felületen keresztül.
- Relatív útvonalakat is használhat, például
builtin/YourData.txt
gyors feltáráshoz. Anotebookutils.nbResPath
metódus segít a teljes elérési út megírásában. - Az érvényesített adatokat egyszerűen áthelyezheti egy lakehouse-ba a Write to lakehouse lehetőség segítségével. A Fabric gazdag kódrészleteket ágyaz be a gyakori fájltípusokhoz, hogy gyorsan elindulhasson.
- Ezek az erőforrások a referenciajegyzetfüzet-futtatási esethez is elérhetők a következőn keresztül
notebookutils.notebook.run()
: .
Környezeti erőforrások mappa
A Környezeti erőforrások mappa egy megosztott adattár, amely több jegyzetfüzet közötti együttműködés egyszerűsítésére szolgál.
Az Erőforrások lap a környezeten belül található, és az erőforrásfájlok kezeléséhez szükséges teljes műveletekkel rendelkezik. Ezek a fájlok több jegyzetfüzeten is megoszthatók, ha a jegyzetfüzet az aktuális környezethez van csatolva.
A Jegyzetfüzet lapon könnyen megtalálhatja a második gyökérmappát a csatolt környezetből örökölt Erőforrások területen.
Az állományokkal/mappákkal ugyanúgy dolgozhat, mint a beépített erőforrások mappával.
Az Environment erőforrás elérési útja automatikusan csatlakozik a notebook klaszterhez. A környezeti erőforrások eléréséhez használhatja a relatív elérési utat /env.
Megjegyzés
A relatív elérési úttal történő olvasás/írás nem működik nagy párhuzamosságú munkamenetben.
Fájlszerkesztő
A fájlszerkesztővel közvetlenül a jegyzetfüzet erőforrásmappájában és a környezet erőforrásmappájában lévő fájlokat tekintheti meg és szerkesztheti. A támogatott fájltípusok közé tartozik a CSV, TXT, HTML, YML, PY, SQL stb. A fájlszerkesztővel egyszerűen elérheti és módosíthatja a jegyzetfüzet fájljait, támogatja a kulcsszókiemelést, és szükséges nyelvi szolgáltatást nyújt a kódfájlok( például .py és .sql) megnyitásakor és szerkesztésekor.
Ezt a funkciót a fájlmenü "Megtekintés és szerkesztés" lehetőségével érheti el. A fájlra való dupla kattintás gyorsabb megoldás.
A fájlszerkesztőben a tartalommódosítást manuálisan kell menteni a Mentés gombra vagy billentyűparancsra kattintva: Ctrl+S, a fájlszerkesztő nem támogatja az automatikus mentést.
jegyzetfüzet mód a fájlszerkesztőre is hatással van. Csak megtekintheti a fájlokat, de nem szerkesztheti őket, ha jegyzetfüzet módban van szerkesztési engedély nélkül.
Feljegyzés
Az alábbiakban néhány korlátozást talál a fájlszerkesztőre vonatkozóan.
- A fájlméret korlátja 1 MB.
- Ezek a fájltípusok nem támogatottak a megtekintéshez és szerkesztéshez: .xlsx és .parquet.
Együttműködés jegyzetfüzetben
A Fabric jegyzetfüzet egy közös használatra készített eszköz, amely lehetővé teszi, hogy több felhasználó szerkessze ugyanazt a jegyzetfüzetet.
Amikor megnyit egy jegyzetfüzetet, alapértelmezés szerint a társszerkesztési módot adja meg, és minden jegyzetfüzetszerkesztés automatikusan megtörténik. Ha munkatársai egyszerre nyitják meg ugyanazt a jegyzetfüzetet, láthatja a profiljukat, futtathatják a kimenetet, a kurzorjelzőt, a kijelölésjelzőt és a szerkesztési nyomkövetést. Az együttműködési funkciók használatával könnyedén elvégezheti a párok programozását, a távoli hibakeresést és az oktatói forgatókönyveket.
Jegyzetfüzet megosztása
A jegyzetfüzetek megosztása kényelmes módja a csapattagokkal való együttműködésnek. A jogosult munkaterületi szerepkörök alapértelmezés szerint megtekinthetik vagy szerkeszthetik/futtathatják a jegyzetfüzeteket. Megoszthat egy jegyzetfüzetet megadott engedélyekkel.
Válassza a Megosztás lehetőséget a jegyzetfüzet eszköztárán.
Válassza ki a jegyzetfüzetet megtekintő személyek megfelelő kategóriáját. Kiválaszthatja a címzettek megosztási, szerkesztési vagy futtatási engedélyeit.
Az Alkalmaz lehetőség kiválasztása után közvetlenül is elküldheti a jegyzetfüzetet, vagy átmásolhatja a hivatkozást másoknak. A címzettek ezután megnyithatják a jegyzetfüzetet az engedélyszintjüknek megfelelő nézettel.
A jegyzetfüzet engedélyeinek további kezeléséhez válassza a Munkaterület elemlista>, majd az Engedélyek kezelése lehetőséget. Ezen a képernyőn frissítheti a meglévő jegyzetfüzet-hozzáférést és -engedélyeket.
Kódcellát kommentáljon
A kommentelés egy másik hasznos funkció az együttműködésen alapuló forgatókönyvek esetében. A Fabric jelenleg támogatja a cellaszintű megjegyzések hozzáadását.
A Megjegyzések panel megnyitásához válassza a jegyzetfüzet eszköztárának Megjegyzések gombját vagy a cella megjegyzésjelzőt.
Jelöljön ki kódot a kódcellában, válassza az Új lehetőséget a Megjegyzések panelen, adjon hozzá megjegyzéseket, majd a Mentéshez válassza a Megjegyzés közzététele lehetőséget.
Ha szüksége van rájuk, a megjegyzése melletti További lehetőség kiválasztásával megtalálja a Megjegyzés szerkesztése, a Szál feloldása és a Szál törlése lehetőségeket.
Mások címkézése megjegyzésben
A "címkézés" azt jelenti, hogy megemlíti és értesíti a felhasználót egy megjegyzésszálban, és hatékonyan fejleszti az együttműködést a konkrétumok alapján.
Jelöljön ki egy kódszakaszt egy cellában, és adjon meg egy megjegyzésszálat.
Adja meg a felhasználónevet, és válassza ki a megfelelőt a javaslati listában, ha meg szeretne említeni valakit egy adott szakaszról való vita céljából.
Ossza meg az elemzéseket, és tegye közzé őket.
Egy e-mail-értesítés aktiválódik, és a felhasználó a Megjegyzések megnyitása hivatkozásra kattintva gyorsan megtalálhatja ezt a cellát.
Emellett engedélyezze és konfigurálja a felhasználók engedélyeit, amikor olyan valakit címkéz, aki nem rendelkezik hozzáféréssel, biztosítva, hogy a kódegységek megfelelően legyenek kezelve.
Megjegyzés
Megjegyzéselem esetén a címkézett felhasználó többé nem kap e-mail értesítést, ha egy órán belül frissíti a megjegyzést. De e-mail-értesítést küld az új címkézett felhasználónak.
Verzióelőzmények
Feljegyzés
A funkció jelenleg előzetes verzióban érhető el.
A verzióelőzmények segítségével egyszerűen módosíthatja az élő jegyzetfüzet módosításait. Támogatja az előzmények nyomon követését és a jegyzetfüzetek kezelését robusztus beépített verziókövetési képességekkel, ami különösen hasznos a több közreműködővel való együttműködéshez ugyanazon a jegyzetfüzeten.
A jegyzetfüzet globális eszköztárából érheti el a verzióelőzményeket.
A jegyzetfüzet két módon támogatja az ellenőrzőpontok létrehozását.
Manuális ellenőrzőpont: Manuálisan létrehozhat új verziót a fejlesztési mérföldkövek rögzítéséhez, így rugalmasan kezelheti a jegyzetfüzet verzióit.
Rendszer-ellenőrzőpont: Ezek az ellenőrzőpontok 5 percenként automatikusan jönnek létre a Jegyzetfüzet-rendszer szerkesztési időintervalluma alapján, biztosítva, hogy a munka folyamatosan legyen mentve és verziószámozott. A módosítási rekordokat a rendszer ellenőrzőpont idősorlistájában találja az összes közreműködőtől.
Az ellenőrzőpontra kattintva megnyithatja a diff nézetet, amely kiemeli a kijelölt ellenőrzőpont és az aktuális élő verzió közötti tartalomkülönbségeket, beleértve a cellatartalom, a cellakimenet és a metaadatok különbségeit. Az ellenőrzőpont verziója külön kezelhető "további lehetőségek" menüben.
A verziót az ellenőrzőpont legördülő menüjéből kezelheti. Ha meg szeretné tartani egy korábbi verziót, kattintson a visszaállítás az ellenőrzőpontról lehetőségre, és ezzel felülírja az aktuális jegyzetfüzetet, vagy a mentés másolatként használatával klónozza azt egy új jegyzetfüzetbe.
Feljegyzés
- Ismert korlátozás: Miután a Visszaállítás gombra kattintott, és navigált Vissza a jegyzetfüzethez, a jegyzetfüzet nem lesz azonnal helyreállítva az ellenőrzőpontról. Egy üzenetsáv kéri, hogy tekintse meg a módosításokat. A visszaállítás befejezéséhez kattintson a Módosítások megtekintése gombra, és válassza a Mentett verzió megtartása lehetőséget.
- A rendszer ellenőrzőpontjai 1 év után lejárnak.
Jegyzetfüzet mód kapcsolója
A hálójegyzetfüzetek négy módot támogatnak, amelyek egyszerűen válthatók: Fejlesztés mód, Csak futtatás mód, Szerkesztés mód, és Nézet mód. Minden mód egy adott engedélykombinációra van leképzve. A jegyzetfüzet más csapattagokkal való megosztásakor megfelelő engedélyeket adhat a címzetteknek. A legjobban elérhető jegyzetfüzet módot láthatják az engedélyüknek megfelelően, és válthatnak a megfelelő mód között.
- Fejlesztési mód: Olvasási, végrehajtási és írási engedély szükséges.
- Csak futtatási mód: Olvasási és végrehajtási engedély szükséges.
- Szerkesztési mód: Olvasási és írási engedély szükséges.
- Megtekintési mód: Olvasási engedély szükséges.