Mi az a tükrözés a szövetben?

A Fabric tükrözés egy alacsony költségű és kisebb késleltetésű megoldás, amely az adatok különböző rendszerekből való összegyűjtését és egyetlen elemzési platformba való összevonását teszi lehetővé. A meglévő adattulajdont folyamatosan replikálhatja közvetlenül a Fabric OneLake-be számos Azure-adatbázisból és külső adatforrásból.

A OneLake-ben lekérdezhető formátumban elérhető legfrissebb adatokkal mostantól a Fabric összes szolgáltatását használhatja, például elemzéseket futtathat a Sparkkal, jegyzetfüzeteket hajthat végre, adatelemzést végezhet, Power BI-jelentéseken keresztül vizualizálhat stb.

A Fabric platformon való tükrözés lehetővé teszi a felhasználók számára, hogy az elemzési igények egyszerűsítése érdekében egy magasan integrált, végpontok közötti és könnyen használható terméket kihasználhassanak. A Microsoft nyitottságára és együttműködésére, valamint a nyílt forráskódú Delta Lake-táblaformátumot olvasó technológiai megoldásokra épülő Tükrözés egy alacsony költségű és alacsony késésű kulcsrakész megoldás, amely lehetővé teszi az adatok replikáját a OneLake-ben, amely minden elemzési igényhez használható.

A Delta-táblák ezután a Fabric minden pontján használhatók, így a felhasználók felgyorsíthatják a Fabricbe való utazást.

Miért érdemes tükrözést használni a Fabricben?

Napjainkban számos szervezet rendelkezik kritikus fontosságú üzemeltetési vagy elemzési adatokat különálló rendszerekben.

Az adatokhoz való hozzáféréshez és az adatok kezeléséhez jelenleg összetett ETL-folyamatokra, üzleti folyamatokra és döntési silókra van szükség, amelyek a következőket hozhatják létre:

• Korlátozott és korlátozott hozzáférés a fontos, folyamatosan változó adatokhoz
• Súrlódás az emberek, a folyamat és a technológia között
• Hosszú várakozási idő az adatfolyamok és folyamatok kritikus fontosságú adatokhoz való létrehozásához
• Nincs szabad használni az elemzéshez és a megállapítások kényelmes megosztásához szükséges eszközöket
• Nincs megfelelő alap az adatok megosztásához és együttműködéséhez
• Nem gyakori, nyílt adatformátumok az összes elemzési forgatókönyvhöz – BI, AI, Integráció, Mérnöki és még Alkalmazások

A Hálóban való tükrözés egyszerű élményt nyújt az elemzések és döntések idő-érték arányának felgyorsításához, valamint az adatsilók technológiai megoldások közötti lebontásához:

• Adatok és metaadatok szinte valós idejű replikálása SaaS adattóba, beépített BI- és AI-elemzéssel.

A Microsoft Fabric platform a szolgáltatott szoftver (SaaS) alapjaira épül, amely teljesen új szintre emeli az egyszerűséget és az integrációt. További információ a Microsoft Fabricről: Mi a Microsoft Fabric?

A tükrözés három elemet hoz létre a Fabric munkaterületen.

• A tükrözés az adatok és metaadatok OneLake-be történő replikálását és Parquet formátumba való átalakítását kezeli, elemzésre kész formátumban. Ez lehetővé teszi a további forgatókönyveket, például az adattudományt, az adatelemzést és egyebeket.
• SQL Analytics-végpont
• Alapértelmezett szemantikai modell

Az SQL-lekérdezésszerkesztő mellett egy széles eszközök ökoszisztémája található, beleértve az SQL Server Management Studio (SSMS)-t, a mssql bővítményt a Visual Studio Code-dal, és még a GitHub Copilot-ot is.

A megosztás lehetővé teszi a könnyű hozzáférés-vezérlést és -kezelést, hogy biztosan szabályozhassa a bizalmas információkhoz való hozzáférést. A megosztás a biztonságos és demokratizált döntéshozatalt is lehetővé teszi a szervezeten belül.

A tükrözés típusai

A Fabric három különböző módszert kínál az adatok tükrözéssel történő bevitelére a OneLake-be.

• Adatbázis-tükrözés – Az adatbázis-tükrözés a Microsoft Fabricben lehetővé teszi a teljes adatbázisok és táblák replikálását, így a különböző rendszerekből származó adatokat egyetlen elemzési platformba hozhatja össze.
• Metaadat-tükrözés – A Metaadat-tükrözés a Hálóban az adatok fizikai áthelyezése helyett szinkronizálja a metaadatokat (például katalógusneveket, sémákat és táblákat). Ez a megközelítés billentyűparancsokat használ, így biztosítva, hogy az adatok a forrásban maradnak, miközben továbbra is könnyen elérhetők legyenek a Fabricen belül.
• Nyitott tükrözés – A nyitott tükrözés a Fabric rendszeren belül úgy lett kialakítva, hogy a tükrözést a nyílt Delta Lake táblaformátum alapján bővítse. Ez a funkció lehetővé teszi, hogy bármely fejlesztő közvetlenül a Microsoft Fabric tükrözött adatbáziselemébe írja az alkalmazás változásadatait a nyílt tükrözési megközelítés és a nyilvános API-k alapján.

Jelenleg a következő külső adatbázisok érhetők el:

Hogyan működik az adatbázis-tükrözés közel valós idejű replikálása?

A tükrözés a működési adatforráshoz való biztonságos kapcsolat létrehozásával engedélyezve van. Ön dönti el, hogy egy teljes adatbázist vagy egyes táblákat szeretne-e replikálni, és a tükrözés automatikusan szinkronizálja az adatokat. A beállítás után az adatok folyamatosan replikálódnak a OneLake-be elemzési felhasználás céljából.

A tükrözés alapvető alapelvei a következők:

• A tükrözés engedélyezése a Hálóban egyszerű és intuitív, anélkül, hogy összetett ETL-folyamatokat kellene létrehoznia, más számítási erőforrásokat kellene lefoglalnia, és kezelnie kellene az adatáthelyezést.

• A Tükrözés a Hálóban egy teljes mértékben felügyelt szolgáltatás, így nem kell aggódnia a tükrözött kapcsolat replikációjának üzemeltetése, karbantartása vagy kezelése miatt.

Hogyan működik a metaadatok tükrözése?

A tükrözés nem csak az adatreplikációt teszi lehetővé, hanem parancsikonokkal vagy metaadat-tükrözéssel is elérhető a teljes adatreplikáció helyett, így az adatok fizikai áthelyezés és duplikáció nélkül is elérhetők. Ebben a kontextusban a tükrözés csak metaadatok – például katalógusnevek, sémák és táblák – replikálását jelenti, nem pedig magát az adatokat. Ez a megközelítés lehetővé teszi a Fabric számára, hogy a különböző forrásokból származó adatokat a duplikálás nélkül tegye elérhetővé, egyszerűsítve az adatkezelést, és minimalizálja a tárolási igényeket.

A Unity Catalogban regisztrált adatok elérésekor például a Fabric csak az Azure Databricks katalógusstruktúráját tükrözi, így a mögöttes adatok billentyűparancsokkal érhetők el. Ez a módszer biztosítja, hogy a forrásadatok változásai azonnal tükröződjenek a Hálóban anélkül, hogy adatáthelyezésre van szükség, fenntartva a valós idejű szinkronizálást, és növelve a hatékonyságot a naprakész információk elérésében.

Hogyan működik a nyitott tükrözés?

A tükrözésen kívül, amely lehetővé teszi az adatreplikációt az adatforráshoz való biztonságos kapcsolat létrehozásával, kiválaszthat egy meglévő adatszolgáltatót, vagy saját alkalmazást írhat az adatok tükrözött adatbázisba való elhelyezéséhez. Miután nyilvános API-val vagy a Fabric portálon létrehozott egy nyitott tükrözött adatbázist , a OneLake-ben beszerezhet egy kezdőzóna URL-címét, ahol a nyitott tükrözési specifikációk szerint módosíthatja az adatokat.

Ha az adatok a megfelelő formátumú kezdőzónában vannak, a replikáció elkezd futni, és kezelni fogja a módosítások frissítésekkel, beszúrással és törléssel való egyesítésének összetettségét, hogy azok tükröződjenek a változástáblákban. Ez a módszer biztosítja, hogy a kezdőzónába írt adatok azonnal megjelenjenek, és az adatokat folyamatosan naprakészen tartja a Fabricben.

Megosztás

A megosztás egyszerű hozzáférés-vezérlést és felügyeletet tesz lehetővé, míg a biztonsági vezérlők, például a sorszintű biztonság (RLS) és az objektumszintű biztonság (OLS) mellett a bizalmas információkhoz való hozzáférést is szabályozhatja. A megosztás a biztonságos és demokratizált döntéshozatalt is lehetővé teszi a szervezeten belül.

A megosztással a felhasználók hozzáférést biztosítanak más felhasználóknak vagy felhasználók egy csoportjának a tükrözött adatbázishoz anélkül, hogy hozzáférést adnának a munkaterülethez és annak többi eleméhez. Ha valaki megoszt egy tükrözött adatbázist, hozzáférést is biztosít az SQL Analytics-végponthoz és a társított alapértelmezett szemantikai modellhez.

További információ: A tükrözött adatbázis megosztása és az engedélyek kezelése.

Adatbázisközi lekérdezések

A OneLake-ben tárolt tükrözött adatbázis adataival adatbázisközi lekérdezéseket írhat, adatokat illeszthet össze tükrözött adatbázisokból, raktárakból és a Lakehouses SQL Analytics-végpontjaiból egyetlen T-SQL-lekérdezésben. További információ: Adatbázisközi lekérdezés írása.

Például hivatkozhat a három részből álló elnevezés használatával a módon tükrözött adatbázisokból és adattárházakból származó táblára. Az alábbi példában a háromrészes nevet használja a ContosoSalesTable-re való hivatkozáshoz a ContosoWarehouse raktárban. Más adatbázisokból vagy raktárakból a szabványos SQL háromrészes elnevezési konvenció első része a tükrözött adatbázis neve.

SELECT * 
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;

Tükrözés költsége

Az adatbázis-tükrözéshez és a nyitott tükrözéshez a Fabric compute és a OneLake storage kapacitásalapú korlátig ingyenes.

• A replikák tárhelye a kapacitás méretétől függően legfeljebb korlátig ingyenes. A tükrözés ingyenes terabájtnyi tükrözési tárterületet kínál minden megvásárolt kapacitásegységhez (CU). Ha például F64-kapacitást vásárol, 64 ingyenes terabájtnyi tárterületet kap, amelyet kizárólag tükrözéshez használnak. A OneLake storage-ot akkor számlázzák, ha túllépi az ingyenes tükrözési tárhelykorlátot, vagy ha a kapacitás szüneteltetve van. További információért lásd: Microsoft Fabric díjszabásról.
• Az adatok Fabric OneLake-be való replikálásához használt hálószámítás ingyenes, és nem használ kapacitást. A Tükrözési folyamat részeként a OneLake-nek küldött kérések a kapacitást a szokásos OneLake számítási felhasználásként használják fel. Az SQL, a Power BI vagy a Spark használatával történő adatbekérdezés számítása normál díjszabással történik.

Adatmérnökség a tükrözött adatbázis-adatokkal

A Microsoft Fabric különböző adatmérnöki képességeket biztosít annak érdekében, hogy az adatok könnyen hozzáférhetők, rendezettek és kiváló minőségűek legyenek. A Fabric Data Engineering segítségével megteheti a következőket:

• Adatok létrehozása és kezelése Spark-ként egy lakehouse használatával
• Adatcsővezetékek tervezése az adatok lakehouse-ba másolásához
• Spark-feladatdefiníciók használata köteg-/streamelési feladat Spark-fürtbe való elküldéséhez
• Kód írása adatbetöltéshez, előkészítéshez és átalakításhoz jegyzetfüzetek használatával

Adattudomány a te tükrözött adatbázisadatoddal

A Microsoft Fabric Adattudomány modulja lehetővé teszi a felhasználók számára, hogy teljes végponttól végpontig terjedő adattudományi munkafolyamatokat végezzenek az adatok gazdagítása és üzleti betekintések megszerzése céljából. A teljes adatfeldolgozási folyamat során számos tevékenységet végezhet, az adatfeltárástól, előkészítéstől és tisztítástól kezdve a kísérletezésen, modellezésen, modellek értékelésén át egészen a prediktív elemzések üzleti intelligencia jelentésekhez való kiszolgálásáig.

A Microsoft Fabric felhasználói hozzáférhetnek Adattudomány számítási feladatokhoz. Innen különböző releváns erőforrásokat fedezhetnek fel és érhetnek el. Létrehozhatnak például gépi tanulási kísérleteket, modelleket és jegyzetfüzeteket. A meglévő jegyzetfüzeteket a Adattudomány kezdőlapján is importálhatják.

SQL-adatbázis a Fabricben

Közvetlenül is létrehozhat és kezelhet SQL-adatbázist a Microsoft Fabricben (előzetes verzió) a Fabric portálon. Az Azure SQL Database-en alapuló Fabricbeli SQL adatbázis automatikusan tükrözve van elemzési célokra, és lehetővé teszi, hogy könnyedén létrehozzák a működési adatbázisukat a Fabricben. Az SQL Database az OLTP számítási feladatok otthona a Fabricben, és integrálható a Fabric forrásvezérlési integrációjával.

Kapcsolódó tartalom

• Mi az a Microsoft Fabric?
• Modelladatok az alapértelmezett Power BI szemantikai modellben a Microsoft Fabricben
• Mi a lakehouse SQL-elemzési végpontja?
• A Direct Lake áttekintése