Čo je dátové inžinierstvo v službe Microsoft Fabric?
Dátové inžinierstvo v službe Microsoft Fabric umožňuje používateľom navrhovať, vytvárať a udržiavať infraštruktúry a systémy, ktoré umožňujú ich organizáciám zhromažďovať, ukladať, spracovávať a analyzovať veľké objemy údajov.
Microsoft Fabric poskytuje rôzne možnosti dátového inžinierstva, ktoré zabezpečujú, že vaše údaje sú ľahko dostupné, dobre usporiadané a vysokokvalitné. Ak chcete získať prístup k domovskej stránke dátového inžiniera, na navigačnej table vyberte vyťaženia a potom vyberte dlaždicu Data Engineering. Z domovskej stránky dátového inžiniera môžete:
Vytvorenie a spravovanie údajov pomocou služby lakehouse
Navrhujte kanály na kopírovanie údajov do vášho jazera
Použitie definícií úloh spark na odoslanie úlohy dávkového/streamu do klastra Spark
Poznámkové bloky môžete použiť na písanie kódu na príjem, prípravu a transformáciu údajov
Lakehouse
Služby Lakehouses sú údajové architektúry, ktoré umožňujú organizáciám ukladať a spravovať štruktúrované a neštruktúrované údaje na jednom mieste pomocou rôznych nástrojov a rámcov na spracovanie a analýzu týchto údajov. Tieto nástroje a rámce môžu zahŕňať dotazy a analýzy založené na SQL, ako aj strojové učenie a ďalšie techniky pokročilej analýzy.
Definícia úlohy v Apache Spark
Definície úloh spark sú množinou pokynov, ktoré definujú, ako vykonávať úlohu v klastri Spark. Obsahuje informácie, ako sú napríklad vstupné a výstupné zdroje údajov, transformácie a nastavenia konfigurácie pre aplikáciu Spark. Definícia úlohy spark umožňuje odoslať úlohu šarže/streamovania do klastra Spark, použiť inú logiku transformácie na údaje hosťované vo vašom úzovskom jazere spolu s mnohými ďalšími vecami.
Zápisník
Poznámkové bloky predstavujú interaktívne výpočtové prostredie, ktoré umožňuje používateľom vytvárať a zdieľať dokumenty obsahujúce dynamický kód, rovnice, vizualizácie a text rozprávania. Používateľom umožňujú písať a spúšťať kód v rôznych programovacích jazykoch vrátane jazyka Python, R a Scala. Poznámkové bloky môžete použiť na príjem údajov, prípravu, analýzu a iné úlohy súvisiace s údajmi.
Kanál údajov
Kanály údajov predstavujú rad krokov, ktoré dokážu zhromažďovať, spracovávať a transformovať údaje zo svojej nespracovnej formy do formátu, ktorý môžete použiť na analýzu a rozhodovanie. Sú dôležitou zložkou dátového inžinierstva, pretože poskytujú spôsob, ako spoľahlivo, škálovateľným a efektívnym spôsobom presúvať údaje zo zdroja do cieľa.
Pri registrácii do skúšobnej verzie služby Fabricmôžete bezplatne používať dátové inžinierstvo v službe Microsoft Fabric. Môžete si tiež zakúpiť kapacitu služby Microsoft Fabric alebo vyhradenú kapacitu služby Fabric
Súvisiaci obsah
Začíname s dátovým inžinierstvom:
- Ďalšie informácie o jazerách nájdete Čo je jazero v službe Microsoft Fabric?
- Ak chcete začať s jazerom lakehouse, pozrite si vytvorenie jazera v službe Microsoft Fabric.
- Ďalšie informácie o definíciách úloh Apache Spark nájdete v téme Čo je definícia pracovnej úlohy v Apache Spark?
- Ak chcete začať pracovať s definíciou práce v Apache Spark, pozrite si Ako vytvoriť definíciu pracovnej úlohy v Apache Spark v službe Fabric.
- Ďalšie informácie o poznámkových blokoch nájdete v téme Vytváranie a spúšťanie poznámkového.
- Ak chcete začať s aktivitami kopírovania kanála, pozrite si : Ako kopírovať údaje pomocou kopírovania aktivity.