Co je zrcadlení v textiliích?
Zrcadlení v rámci platformy Fabric je nízkonákladové řešení s nízkou latencí, které spojuje data z různých systémů do jedné analytické platformy. Stávající datové úložiště můžete průběžně replikovat přímo do OneLake od Fabricu z různých databází Azure a externích zdrojů dat.
Díky nejaktuálnějším datům v dotazovatelném formátu v OneLake teď můžete používat všechny různé služby ve Fabricu, jako je provádění analýz pomocí Sparku, spouštění poznámkových bloků, datové inženýrství, vizualizace v sestavách Power BI a další.
Zrcadlení v systému Fabric umožňuje uživatelům využívat vysoce integrovaný, komplexní a snadno použitelný produkt, který je navržen tak, aby zjednodušil vaše potřeby analýzy. Díky otevřenosti a spolupráci mezi Microsoftem a technologickými řešeními, která můžou číst formát tabulky Delta Lake s otevřeným zdrojovým kódem, je zrcadlení nízkonákladovým, nízkolatenčním řešením na klíč, které umožňuje vytvoření repliky vašich dat v OneLake, kde je můžete využít pro všechny vaše analytické potřeby.
Tabulky Delta se pak dají používat napříč prostředím Fabric, což uživatelům umožňuje urychlit jejich cestu v rámci platformy Fabric.
Proč používat zrcadlení ve Fabric?
Dnes má mnoho organizací provozní nebo analytické údaje kritické pro misi, které se nacházejí v silech.
Přístup k těmto datům a práce s nimi dnes vyžaduje komplexní kanály ETL (Extrahování, transformace a nahrání), obchodní procesy a rozhodovací sily, které vytvářejí:
- Omezený a omezený přístup k důležitým, někdy měnícím se datům
- Tření mezi lidmi, procesy a technologiemi
- Dlouhé doby čekání při vytváření datových kanálů a procesů na kriticky důležitá data
- Žádná svoboda používat nástroje, které potřebujete k analýze a sdílení přehledů pohodlně
- Nedostatek správných základů sdílení a spolupráce na datech
- Žádné běžné otevřené formáty dat pro všechny analytické scénáře – BI, AI, integrace, inženýrství a dokonce i aplikace
Zrcadlení v systému Fabric poskytuje jednoduché prostředí ke zrychlení dosažení hodnoty z přehledů a rozhodnutí a k odstranění datových sil mezi technologickými řešeními.
- Replikace dat a metadat téměř v reálném čase do datového jezera SaaS s integrovanými analytickými funkcemi pro BI a AI
Platforma Microsoft Fabric je založená na základu softwaru jako služby (SaaS), který zjednodušuje a integraci na zcela novou úroveň. Další informace o Microsoft Fabric najdete v tématu Co je Microsoft Fabric?
Zrcadlení vytvoří v pracovním prostoru Fabric tři položky:
- Zrcadlení spravuje replikaci dat a metadat do OneLake a převod na Parquet v analyticky připraveném formátu. To umožňuje podřízené scénáře, jako jsou datové inženýrství, datové vědy a další.
- Koncový bod analýzy SQL
- Výchozí sémantický model
Kromě editoru dotazů SQL existuje široký ekosystém nástrojů, včetně SQL Server Management Studia (SSMS), rozšíření mssql se sadou Visual Studio Code a dokonce i GitHubu.Copilot
Sdílení umožňuje snadné řízení přístupu a správu, abyste měli jistotu, že můžete řídit přístup k citlivým informacím. Sdílení také umožňuje zabezpečené a demokratizované rozhodování ve vaší organizaci.
Typy zrcadlení
Fabric nabízí tři různé přístupy k přenesení dat do OneLake prostřednictvím zrcadlení.
- Zrcadlení databáze – Zrcadlení databází v Microsoft Fabric umožňuje replikaci celých databází a tabulek, což umožňuje spojit data z různých systémů do jedné analytické platformy.
- Zrcadlení metadat – Zrcadlení metadat v Fabru synchronizuje metadata (například názvy katalogů, schémata a tabulky) místo fyzického přesouvání dat. Tento přístup využívá zkratky a zajišťuje, aby data zůstala ve zdroji a zároveň byla snadno přístupná v rámci systému Fabric.
- Otevřené zrcadlení – Otevřené zrcadlení v prostředí Fabric je navrženo k rozšíření zrcadlení na základě otevřeného formátu tabulky Delta Lake. Tato funkce umožňuje všem vývojářům psát data změny aplikace přímo do zrcadlené databázové položky v Microsoft Fabric na základě přístupu otevřeného zrcadlení a veřejných rozhraní API.
V současné době jsou k dispozici následující externí databáze:
Platforma | Replikace téměř v reálném čase | Typ zrcadlení | Kompletní tutoriál |
---|---|---|---|
Zrcadlené databáze Microsoft Fabric ze služby Azure Cosmos DB (Preview) | Ano | Zrcadlení databáze | Kurz: Azure Cosmos DB |
Zrcadlené databáze Microsoft Fabric z Azure Databricks (náhled) | Ano | Zrcadlení metadat | Kurz: Azure Databricks |
Zrcadlené databáze Microsoft Fabric ze služby Azure SQL Database | Ano | Zrcadlení databáze | Kurz: Azure SQL Database |
Zrcadlené databáze v Microsoft Fabric ze spravované instance Azure SQL (předběžná verze) | Ano | Zrcadlení databáze | Kurz: Azure SQL Managed Instance |
Zrcadlené databáze z Snowflake v Microsoft Fabric | Ano | Zrcadlení databáze | Tutoriál: Snowflake |
Otevřené zrcadlené databáze (Preview) | Ano | Otevřít zrcadlení | Kurz: Otevření zrcadlení |
Zrcadlené databáze Microsoft Fabric z Fabric SQL databáze (Preview) | Ano | Zrcadlení databáze | Automaticky nakonfigurované |
Jak funguje replikace databázového zrcadlení téměř v reálném čase?
Zrcadlení je povoleno vytvořením zabezpečeného připojení k vašemu provoznímu zdroji dat. Rozhodnete se, jestli chcete replikovat celou databázi nebo jednotlivé tabulky a zrcadlení automaticky zajistí synchronizaci vašich dat. Po nastavení se data průběžně replikují do OneLake pro spotřebu analýz.
Toto jsou základní principy zrcadlení:
Povolení zrcadlení ve Fabric je jednoduché a intuitivní, aniž by bylo nutné vytvářet složité kanály ETL, přidělovat další výpočetní prostředky a spravovat pohyb dat.
Zrcadlení ve Fabricu je plně spravovaná služba, takže se nemusíte starat o hostování, údržbu nebo správu replikace zrcadleného připojení.
Jak funguje zrcadlení metadat?
Zrcadlení umožňuje nejen replikaci dat, ale je ho možné také dosáhnout prostřednictvím zástupců nebo zrcadlení metadat místo úplné replikace, což umožňuje zpřístupnění dat bez jejich fyzického přesunutí nebo duplikování. Zrcadlení v tomto kontextu odkazuje na replikaci pouze metadat , jako jsou názvy katalogů, schémata a tabulky, a ne samotná data. Tento přístup umožňuje Fabricu zpřístupnit data z různých zdrojů bez jejich duplikace, což zjednodušuje správu dat a minimalizuje potřebu úložiště.
Například při přístupu k datům registrovaným v katalogu Unity zrcadlí Fabric pouze strukturu katalogu z Azure Databricks, což umožňuje přístup k podkladovým datům prostřednictvím zkratek. Tato metoda zajišťuje, že všechny změny ve zdrojových datech se okamžitě projeví v prostředí Fabric bez nutnosti přesunu dat, čímž se udržuje synchronizace v reálném čase a zvyšuje se efektivita při přístupu k aktuálním informacím.
Jak funguje otevírání zrcadlení?
Kromě zrcadlení, které umožňuje replikaci dat vytvořením zabezpečeného připojení ke zdroji dat, můžete také vybrat existujícího zprostředkovatele dat nebo napsat vlastní aplikaci, která uloží data do zrcadlené databáze. Jakmile vytvoříte otevřenou zrcadlenou databázi prostřednictvím veřejného rozhraní API nebo přes portál Fabric, budete moct získat adresu URL cílové zóny ve OneLake, kde můžete změnit data podle specifikace otevřeného zrcadlení.
Jakmile jsou data v přistávací zóně se správným formátem, replikace začne probíhat a bude řídit složitost sloučení změn s aktualizacemi, vloženími a odstraněními, které se budou reflektovat v delta tabulkách. Tato metoda zajišťuje, že všechna data zapsaná do cílové zóny budou okamžitě zpracována a udržována aktuální v systému Fabric.
Sdílení
Sdílení umožňuje snadné řízení přístupu a správu, zatímco bezpečnostní prvky, jako jsou zabezpečení na úrovni řádků (RLS) a zabezpečení na úrovni objektů (OLS) a další, ujistěte se, že máte kontrolu nad přístupem k citlivým informacím. Sdílení také umožňuje zabezpečené a demokratizované rozhodování ve vaší organizaci.
Sdílením uživatelé udělují jiným uživatelům nebo skupině uživatelů přístup ke zrcadlené databázi bez udělení přístupu k pracovnímu prostoru a zbývajícím jeho položkám. Když někdo sdílí zrcadlenou databázi, udělí také přístup ke koncovému bodu analýzy SQL a přidruženému výchozímu sémantickému modelu.
Další informace najdete v tématu Sdílení zrcadlené databáze a správy oprávnění.
Mezidatabázové dotazy
S daty z zrcadlené databáze uložené v OneLake můžete psát dotazy mezi databázemi, připojovat data ze zrcadlených databází, skladů a koncových bodů analýzy SQL v jednom dotazu T-SQL. Další informace najdete v tématu Zápis dotazu mezi databázemi.
Můžete například odkazovat na tabulku ze zrcadlených databází a skladů pomocí třídílného pojmenování. V následujícím příkladu použijte třídílný název k odkazování na ContosoSalesTable
ve skladu ContosoWarehouse
. U jiných databází nebo skladů je první část standardní tří-částové nomenklatury SQL jméno zrcadlené databáze.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Náklady na zrcadlení
Pro zrcadlení databáze a otevřené zrcadlení jsou výpočetní prostředky Fabric a úložiště OneLake do limitu založeného na kapacitě zdarma.
- Úložiště pro repliky je bezplatné až do limitu na základě velikosti kapacity. Zrcadlení nabízí zdarma jeden terabajt úložiště pro zrcadlení na každou jednotku kapacity (CU), kterou jste zakoupili. Pokud například zakoupíte kapacitu F64, získáte 64 terabajtů úložného prostoru, který je výhradně používán pro zrcadlení. Úložiště OneLake je účtováno při překročení bezplatného limitu úložiště pro zrcadlení nebo při pozastavení kapacity. Další informace najdete v části Ceny Microsoft Fabric.
- Výpočetní prostředky infrastruktury používané k replikaci dat do Fabric OneLake jsou bezplatné a nevyužívají kapacitu. Požadavky na OneLake jako součást procesu zrcadlení spotřebovávají kapacitu stejně jako normální výpočetní spotřebu OneLake. Výpočetní výkon pro dotazování na data pomocí SQL, Power BI nebo Spark se účtuje podle pravidelných sazeb.
Datové inženýrství s vašimi zrcadlenými daty databáze
Microsoft Fabric nabízí různé možnosti přípravy dat, které zajistí, že vaše data budou snadno přístupná, dobře uspořádaná a vysoce kvalitní. Z Data Engineering ve Fabric můžete:
- Vytvořte a spravujte svá data jako Spark pomocí lakehouse
- Navrhněte potrubí pro kopírování dat do vašeho lakehouse
- Použití definic úloh Sparku k odeslání dávkové úlohy nebo úlohy streamování do clusteru Spark
- Použijte poznámkové bloky pro zapisování kódu pro příjem, přípravu a transformaci dat.
Datová věda s vašimi zrcadlenými daty databáze
Microsoft Fabric nabízí Fabric Data Science, který uživatelům umožňuje provádět úplné pracovní postupy datové vědy pro účely obohacení dat a získání obchodních poznatků. Můžete dokončit širokou škálu aktivit v celém procesu datové vědy, a to od průzkumu, přípravy a čištění dat až po experimentování, modelování, hodnocení modelů a poskytování prediktivních přehledů pro sestavy BI.
Uživatelé Microsoft Fabric mají přístup k datově-vědeckým úlohám. Odtud můžou zjišťovat a přistupovat k různým relevantním prostředkům. Můžou například vytvářet experimenty, modely a poznámkové bloky strojového učení. Můžou také importovat existující poznámkové bloky na domovské stránce Datová Věda.
Databáze SQL ve Fabricu
Databázi SQL můžete také přímo vytvořit a spravovat v Microsoft Fabric (Preview) na portálu Fabric. Na základě Azure SQL Database se SQL databáze v prostředí Fabric automaticky zrcadlí pro účely analýzy a umožňuje snadno vytvořit provozní databázi ve stejném prostředí. Databáze SQL je domovem v Fabric pro úlohy OLTP a může se integrovat se správou zdrojového kódu Fabric.