Mi az a tükrözés a szövetben?
A Fabric tükrözés egy alacsony költségű és kisebb késleltetésű megoldás, amely az adatok különböző rendszerekből való összegyűjtését és egyetlen elemzési platformba való összevonását teszi lehetővé. A meglévő adattulajdont folyamatosan replikálhatja közvetlenül a Fabric OneLake-be számos Azure-adatbázisból és külső adatforrásból.
A OneLake-ben lekérdezhető formátumban elérhető legfrissebb adatokkal mostantól a Fabric összes szolgáltatását használhatja, például elemzéseket futtathat a Sparkkal, jegyzetfüzeteket hajthat végre, adatelemzést végezhet, Power BI-jelentéseken keresztül vizualizálhat stb.
A Fabric platformon való tükrözés lehetővé teszi a felhasználók számára, hogy az elemzési igények egyszerűsítése érdekében egy magasan integrált, végpontok közötti és könnyen használható terméket kihasználhassanak. A Microsoft nyitottságára és együttműködésére, valamint a nyílt forráskódú Delta Lake-táblaformátumot olvasó technológiai megoldásokra épülő Tükrözés egy alacsony költségű és alacsony késésű kulcsrakész megoldás, amely lehetővé teszi az adatok replikáját a OneLake-ben, amely minden elemzési igényhez használható.
A Delta-táblák ezután a Fabric minden pontján használhatók, így a felhasználók felgyorsíthatják a Fabricbe való utazást.
Miért érdemes tükrözést használni a Fabricben?
Napjainkban számos szervezet rendelkezik kritikus fontosságú üzemeltetési vagy elemzési adatokat különálló rendszerekben.
Az adatokhoz való hozzáféréshez és az adatok kezeléséhez jelenleg összetett ETL-folyamatokra, üzleti folyamatokra és döntési silókra van szükség, amelyek a következőket hozhatják létre:
- Korlátozott és korlátozott hozzáférés a fontos, folyamatosan változó adatokhoz
- Súrlódás az emberek, a folyamat és a technológia között
- Hosszú várakozási idő az adatfolyamok és folyamatok kritikus fontosságú adatokhoz való létrehozásához
- Nincs szabad használni az elemzéshez és a megállapítások kényelmes megosztásához szükséges eszközöket
- Nincs megfelelő alap az adatok megosztásához és együttműködéséhez
- Nem gyakori, nyílt adatformátumok az összes elemzési forgatókönyvhöz – BI, AI, Integráció, Mérnöki és még Alkalmazások
A Hálóban való tükrözés egyszerű élményt nyújt az elemzések és döntések idő-érték arányának felgyorsításához, valamint az adatsilók technológiai megoldások közötti lebontásához:
- Adatok és metaadatok szinte valós idejű replikálása SaaS adattóba, beépített BI- és AI-elemzéssel.
A Microsoft Fabric platform a szolgáltatott szoftver (SaaS) alapjaira épül, amely teljesen új szintre emeli az egyszerűséget és az integrációt. További információ a Microsoft Fabricről: Mi a Microsoft Fabric?
A tükrözés három elemet hoz létre a Fabric munkaterületen.
- A tükrözés az adatok és metaadatok OneLake-be történő replikálását és Parquet formátumba való átalakítását kezeli, elemzésre kész formátumban. Ez lehetővé teszi a további forgatókönyveket, például az adattudományt, az adatelemzést és egyebeket.
- SQL Analytics-végpont
- Alapértelmezett szemantikai modell
Az SQL-lekérdezésszerkesztő mellett egy széles eszközök ökoszisztémája található, beleértve az SQL Server Management Studio (SSMS)-t, a mssql bővítményt a Visual Studio Code-dal, és még a GitHub Copilot-ot is.
A megosztás lehetővé teszi a könnyű hozzáférés-vezérlést és -kezelést, hogy biztosan szabályozhassa a bizalmas információkhoz való hozzáférést. A megosztás a biztonságos és demokratizált döntéshozatalt is lehetővé teszi a szervezeten belül.
A tükrözés típusai
A Fabric három különböző módszert kínál az adatok tükrözéssel történő bevitelére a OneLake-be.
- Adatbázis-tükrözés – Az adatbázis-tükrözés a Microsoft Fabricben lehetővé teszi a teljes adatbázisok és táblák replikálását, így a különböző rendszerekből származó adatokat egyetlen elemzési platformba hozhatja össze.
- Metaadat-tükrözés – A Metaadat-tükrözés a Hálóban az adatok fizikai áthelyezése helyett szinkronizálja a metaadatokat (például katalógusneveket, sémákat és táblákat). Ez a megközelítés billentyűparancsokat használ, így biztosítva, hogy az adatok a forrásban maradnak, miközben továbbra is könnyen elérhetők legyenek a Fabricen belül.
- Nyitott tükrözés – A nyitott tükrözés a Fabric rendszeren belül úgy lett kialakítva, hogy a tükrözést a nyílt Delta Lake táblaformátum alapján bővítse. Ez a funkció lehetővé teszi, hogy bármely fejlesztő közvetlenül a Microsoft Fabric tükrözött adatbáziselemébe írja az alkalmazás változásadatait a nyílt tükrözési megközelítés és a nyilvános API-k alapján.
Jelenleg a következő külső adatbázisok érhetők el:
Platform | Közel valós idejű replikáció | Tükrözés típusa | Átfogó oktatóanyag |
---|---|---|---|
Microsoft Fabric tükrözött adatbázisok az Azure Cosmos DB-ből (előzetes verzió) | Igen | Adatbázis-tükrözés | Oktatóanyag: Azure Cosmos DB |
Microsoft Fabric tükrözött adatbázisok az Azure Databricksből (előzetes verzió) | Igen | Metaadatok tükrözése | Oktatóanyag: Azure Databricks |
Microsoft Fabric tükrözött adatbázisok az Azure SQL Database-ből | Igen | Adatbázis-tükrözés | Oktatóanyag: Azure SQL Database |
Microsoft Fabric tükrözött adatbázisok felügyelt Azure SQL-példányból (előzetes verzió) | Igen | Adatbázis-tükrözés | Oktatóanyag: Azure SQL Kezelt Példány |
Microsoft Fabric által tükrözött adatbázisok a Snowflake segítségével | Igen | Adatbázis-tükrözés | Oktatóanyag: Snowflake |
Tükrözött adatbázisok megnyitása (előzetes verzió) | Igen | Tükrözés megnyitása | Oktatóanyag: Tükrözés megnyitása |
Microsoft Fabric tükrözött adatbázisai a Fabric SQL-adatbázisból (előzetes verzió) | Igen | Adatbázis-tükrözés | Automatikusan konfigurálva |
Hogyan működik az adatbázis-tükrözés közel valós idejű replikálása?
A tükrözés a működési adatforráshoz való biztonságos kapcsolat létrehozásával engedélyezve van. Ön dönti el, hogy egy teljes adatbázist vagy egyes táblákat szeretne-e replikálni, és a tükrözés automatikusan szinkronizálja az adatokat. A beállítás után az adatok folyamatosan replikálódnak a OneLake-be elemzési felhasználás céljából.
A tükrözés alapvető alapelvei a következők:
A tükrözés engedélyezése a Hálóban egyszerű és intuitív, anélkül, hogy összetett ETL-folyamatokat kellene létrehoznia, más számítási erőforrásokat kellene lefoglalnia, és kezelnie kellene az adatáthelyezést.
A Tükrözés a Hálóban egy teljes mértékben felügyelt szolgáltatás, így nem kell aggódnia a tükrözött kapcsolat replikációjának üzemeltetése, karbantartása vagy kezelése miatt.
Hogyan működik a metaadatok tükrözése?
A tükrözés nem csak az adatreplikációt teszi lehetővé, hanem parancsikonokkal vagy metaadat-tükrözéssel is elérhető a teljes adatreplikáció helyett, így az adatok fizikai áthelyezés és duplikáció nélkül is elérhetők. Ebben a kontextusban a tükrözés csak metaadatok – például katalógusnevek, sémák és táblák – replikálását jelenti, nem pedig magát az adatokat. Ez a megközelítés lehetővé teszi a Fabric számára, hogy a különböző forrásokból származó adatokat a duplikálás nélkül tegye elérhetővé, egyszerűsítve az adatkezelést, és minimalizálja a tárolási igényeket.
A Unity Catalogban regisztrált adatok elérésekor például a Fabric csak az Azure Databricks katalógusstruktúráját tükrözi, így a mögöttes adatok billentyűparancsokkal érhetők el. Ez a módszer biztosítja, hogy a forrásadatok változásai azonnal tükröződjenek a Hálóban anélkül, hogy adatáthelyezésre van szükség, fenntartva a valós idejű szinkronizálást, és növelve a hatékonyságot a naprakész információk elérésében.
Hogyan működik a nyitott tükrözés?
A tükrözésen kívül, amely lehetővé teszi az adatreplikációt az adatforráshoz való biztonságos kapcsolat létrehozásával, kiválaszthat egy meglévő adatszolgáltatót, vagy saját alkalmazást írhat az adatok tükrözött adatbázisba való elhelyezéséhez. Miután nyilvános API-val vagy a Fabric portálon létrehozott egy nyitott tükrözött adatbázist , a OneLake-ben beszerezhet egy kezdőzóna URL-címét, ahol a nyitott tükrözési specifikációk szerint módosíthatja az adatokat.
Ha az adatok a megfelelő formátumú kezdőzónában vannak, a replikáció elkezd futni, és kezelni fogja a módosítások frissítésekkel, beszúrással és törléssel való egyesítésének összetettségét, hogy azok tükröződjenek a változástáblákban. Ez a módszer biztosítja, hogy a kezdőzónába írt adatok azonnal megjelenjenek, és az adatokat folyamatosan naprakészen tartja a Fabricben.
Megosztás
A megosztás egyszerű hozzáférés-vezérlést és felügyeletet tesz lehetővé, míg a biztonsági vezérlők, például a sorszintű biztonság (RLS) és az objektumszintű biztonság (OLS) mellett a bizalmas információkhoz való hozzáférést is szabályozhatja. A megosztás a biztonságos és demokratizált döntéshozatalt is lehetővé teszi a szervezeten belül.
A megosztással a felhasználók hozzáférést biztosítanak más felhasználóknak vagy felhasználók egy csoportjának a tükrözött adatbázishoz anélkül, hogy hozzáférést adnának a munkaterülethez és annak többi eleméhez. Ha valaki megoszt egy tükrözött adatbázist, hozzáférést is biztosít az SQL Analytics-végponthoz és a társított alapértelmezett szemantikai modellhez.
További információ: A tükrözött adatbázis megosztása és az engedélyek kezelése.
Adatbázisközi lekérdezések
A OneLake-ben tárolt tükrözött adatbázis adataival adatbázisközi lekérdezéseket írhat, adatokat illeszthet össze tükrözött adatbázisokból, raktárakból és a Lakehouses SQL Analytics-végpontjaiból egyetlen T-SQL-lekérdezésben. További információ: Adatbázisközi lekérdezés írása.
Például hivatkozhat a három részből álló elnevezés használatával a módon tükrözött adatbázisokból és adattárházakból származó táblára. Az alábbi példában a háromrészes nevet használja a ContosoSalesTable
-re való hivatkozáshoz a ContosoWarehouse
raktárban. Más adatbázisokból vagy raktárakból a szabványos SQL háromrészes elnevezési konvenció első része a tükrözött adatbázis neve.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Tükrözés költsége
Az adatbázis-tükrözéshez és a nyitott tükrözéshez a Fabric compute és a OneLake storage kapacitásalapú korlátig ingyenes.
- A replikák tárhelye a kapacitás méretétől függően legfeljebb korlátig ingyenes. A tükrözés ingyenes terabájtnyi tükrözési tárterületet kínál minden megvásárolt kapacitásegységhez (CU). Ha például F64-kapacitást vásárol, 64 ingyenes terabájtnyi tárterületet kap, amelyet kizárólag tükrözéshez használnak. A OneLake storage-ot akkor számlázzák, ha túllépi az ingyenes tükrözési tárhelykorlátot, vagy ha a kapacitás szüneteltetve van. További információért lásd: Microsoft Fabric díjszabásról.
- Az adatok Fabric OneLake-be való replikálásához használt hálószámítás ingyenes, és nem használ kapacitást. A Tükrözési folyamat részeként a OneLake-nek küldött kérések a kapacitást a szokásos OneLake számítási felhasználásként használják fel. Az SQL, a Power BI vagy a Spark használatával történő adatbekérdezés számítása normál díjszabással történik.
Adatmérnökség a tükrözött adatbázis-adatokkal
A Microsoft Fabric különböző adatmérnöki képességeket biztosít annak érdekében, hogy az adatok könnyen hozzáférhetők, rendezettek és kiváló minőségűek legyenek. A Fabric Data Engineering segítségével megteheti a következőket:
- Adatok létrehozása és kezelése Spark-ként egy lakehouse használatával
- Adatcsővezetékek tervezése az adatok lakehouse-ba másolásához
- Spark-feladatdefiníciók használata köteg-/streamelési feladat Spark-fürtbe való elküldéséhez
- Kód írása adatbetöltéshez, előkészítéshez és átalakításhoz jegyzetfüzetek használatával
Adattudomány a te tükrözött adatbázisadatoddal
A Microsoft Fabric Adattudomány modulja lehetővé teszi a felhasználók számára, hogy teljes végponttól végpontig terjedő adattudományi munkafolyamatokat végezzenek az adatok gazdagítása és üzleti betekintések megszerzése céljából. A teljes adatfeldolgozási folyamat során számos tevékenységet végezhet, az adatfeltárástól, előkészítéstől és tisztítástól kezdve a kísérletezésen, modellezésen, modellek értékelésén át egészen a prediktív elemzések üzleti intelligencia jelentésekhez való kiszolgálásáig.
A Microsoft Fabric felhasználói hozzáférhetnek Adattudomány számítási feladatokhoz. Innen különböző releváns erőforrásokat fedezhetnek fel és érhetnek el. Létrehozhatnak például gépi tanulási kísérleteket, modelleket és jegyzetfüzeteket. A meglévő jegyzetfüzeteket a Adattudomány kezdőlapján is importálhatják.
SQL-adatbázis a Fabricben
Közvetlenül is létrehozhat és kezelhet SQL-adatbázist a Microsoft Fabricben (előzetes verzió) a Fabric portálon. Az Azure SQL Database-en alapuló Fabricbeli SQL adatbázis automatikusan tükrözve van elemzési célokra, és lehetővé teszi, hogy könnyedén létrehozzák a működési adatbázisukat a Fabricben. Az SQL Database az OLTP számítási feladatok otthona a Fabricben, és integrálható a Fabric forrásvezérlési integrációjával.