Azure Cosmos DB tükrözése (előzetes verzió)
A Microsoft Fabric tükrözése zökkenőmentes, ETL nélküli felületet biztosít a meglévő Azure Cosmos DB-adatok és a Microsoft Fabric többi adatával való integrálásához. Az Azure Cosmos DB-adatokat a rendszer folyamatosan replikálja közvetlenül a Fabric OneLake-be közel valós időben, anélkül, hogy a teljesítmény hatással lenne a tranzakciós számítási feladatokra vagy a kérelemegységek (RU-k) felhasználására.
A OneLake-ben tárolt adatok nyílt forráskódú delta formátumban lesznek tárolva, és automatikusan elérhetővé válnak a Fabric összes elemzési motorja számára.
A beépített Power BI-képességek használatával directLake módban férhet hozzá az adatokhoz a OneLake-ben. A Copilot Fabric fejlesztései révén a generatív AI segítségével kulcsfontosságú elemzéseket kaphat az üzleti adatokról. A Power BI mellett a T-SQL használatával összetett összesítő lekérdezéseket futtathat, vagy használhatja a Sparkot az adatfeltáráshoz. Zökkenőmentesen elérheti az adatokat a jegyzetfüzetekben, és adatelemzéssel gépi tanulási modelleket hozhat létre.
Fontos
Az Azure Cosmos DB tükrözése jelenleg előzetes verzióban érhető el. Az éles környezetben futó számítási feladatok nem támogatottak az előzetes verzióban. Jelenleg csak a NoSQL-fiókokhoz készült Azure Cosmos DB támogatott.
Miért érdemes tükrözést használni a Fabricben?
A tükrözés a Fabricben szolgáltatással nem kell több gyártótól származó különböző szolgáltatásokat összeállítania. Ehelyett élvezheti a rendkívül integrált, végpontok közötti és könnyen használható terméket, amely leegyszerűsíti az elemzési igényeket, és nyitottságra van kialakítva.
Ha az Azure Cosmos DB-ben a működési adatok bi-jelentéseit vagy elemzéseit keresi, a tükrözés a következő lehetőségeket nyújtja:
- Nincs ETL, költséghatékony, közel valós idejű hozzáférés az Azure Cosmos DB-adatokhoz a kérelemegység-használat nélkül
- Az adatok könnyű átvitele a különböző forrásokból a Fabric OneLake-be.
- Delta táblázat optimalizálás v-rendeléssel a villámgyors lekérdezésekért.
- Egykattintásos megoldás a Power BI a Direct Lake és a Copilot integrációjához.
- Gazdag üzleti elemzések különböző forrásokból származó adatok összekapcsolásával
- Gazdagabb alkalmazásintegráció lekérdezésekhez és nézetekhez való hozzáféréshez
A OneLake-adatok nyílt forráskódú Delta Lake formátumban vannak tárolva, így a Microsofton belül és kívül különböző megoldásokkal is használhatja őket. Ez az adatformátum megkönnyíti egyetlen adattulajdon összeállítását az elemzési igényeknek megfelelően.
Milyen elemzési szolgáltatások épülnek fel?
A tükrözött adatbázisok a Fabric Adattárolás elemei, amelyek különböznek a Warehouse-tól és az SQL Analytics végpontjától.
Minden tükrözött Azure Cosmos DB-adatbázis három elemet tartalmaz, amelyekkel a Fabric-munkaterületen kommunikálhat:
- A tükrözött adatbáziselem. A tükrözés az adatok
OneLake-be történő replikációjának és Parquet-formátumba alakításának kezelését jelenti egy elemzésre kész formátumban. Ez lehetővé teszi az adatfeldolgozási forgatókönyveket, mint például az adattudományt, az adatelemzést és egyebeket. - AUTOMATIKUSAN generált SQL Analytics-végpont
- Alapértelmezett szemantikai modell, amely automatikusan létrejön
Tükrözött adatbázis
A tükrözött adatbázis megjeleníti a replikáció állapotát és a replikáció leállítására vagy elindítására szolgáló vezérlőket a Fabric OneLake-ben. A forrásadatbázis írásvédett módban is megtekinthető az Azure Cosmos DB adatfelderítő eszközzel. Az adatböngészővel megtekintheti a tárolókat a saját forrás Azure Cosmos DB-adatbázisában, és lekérdezheti őket. Ezek a műveletek az Azure Cosmos DB-fiókból származó kérelemegységeket (RU-kat) használnak fel. A forrásadatbázis módosításai azonnal megjelennek a Fabric forrásadatbázis-nézetében. A forrásadatbázisba való írás nem engedélyezett a Fabricből, mivel csak az adatokat tekintheti meg.
SQL Analytics-végpont
Minden tükrözött adatbázis rendelkezik egy automatikusan létrehozott SQL Analytics-végponttal, amely gazdag elemzési élményt nyújt a tükrözési folyamat által létrehozott OneLake Delta-táblákon. Olyan ismert T-SQL-parancsokhoz férhet hozzá, amelyek adatobjektumokat definiálhatnak és kérdezhetnek le, de nem módosíthatják az adatokat az SQL-elemzési végponton, mivel az csak olvasható másolat.
Az SQL Analytics-végponton a következő műveleteket hajthatja végre:
- Fedezze fel a Delta Lake-táblákat a T-SQL használatával. Minden tábla egy tárolóra van leképezve az Azure Cosmos DB-adatbázisból.
- Kód nélküli lekérdezéseket és nézeteket hozhat létre, és vizuálisan vizsgálhat meg őket kódsor írása nélkül.
- Adatok összekapcsolása és lekérdezése ugyanazon a munkaterületen lévő más tükrözött adatbázisokban, raktárakban és Lakehouse-okban.
- Az SQL-lekérdezések vagy nézetek alapján egyszerűen vizualizálhat és készíthet BI-jelentéseket.
Az SQL-lekérdezésszerkesztő mellett az eszközök széles ökoszisztémája is rendelkezésre áll. Ezek az eszközök közé tartozik a Visual Studio Code mssql-bővítménye, az SQL Server Management Studio (SSMS) és még a GitHub Copilotis. Felturbózhatja az elemzés és betekintések generálását a választott eszközből.
Szemantikai modell
Az alapértelmezett szemantikai modell egy automatikusan kiépített Power BI szemantikai modell. Ez a funkció lehetővé teszi az üzleti metrikák létrehozását, megosztását és újrafelhasználását. További információ: szemantikai modellek.
Hogyan működik a közel valós idejű replikáció?
Ha engedélyezi a tükrözést az Azure Cosmos DB-adatbázisban, az online tranzakciófeldolgozási (OLTP) adatok beszúrási, frissítési és törlési műveletei folyamatosan replikálódnak a Fabric OneLake-be elemzési felhasználás céljából.
A folyamatos biztonsági mentési funkció a tükrözés előfeltétele. Engedélyezheti a 7 napos vagy 30 napos folyamatos biztonsági mentést az Azure Cosmos DB-fiókjában. Ha kifejezetten tükrözéshez engedélyezi a folyamatos biztonsági mentést, a 7 napos folyamatos biztonsági mentés javasolt, mivel az ingyenes.
Megjegyzés
A tükrözés nem használja az Azure Cosmos DB elemzési tárát vagy változáscsatornáját változásadat-rögzítési forrásként. Ezeket a képességeket továbbra is használhatja egymástól függetlenül, a tükrözéssel együtt.
Eltarthat néhány percig, amíg az Azure Cosmos DB-adatokat replikálja a Fabric OneLake-be. Az adatok kezdeti pillanatképétől vagy a frissítések/törlések gyakoriságától függően a replikáció bizonyos esetekben hosszabb időt is igénybe vehet. A replikáció nem érinti a tranzakciós munkaterhelésekhez lefoglalt kérelemegységeket.
Mit várhatunk a tükrözéstől?
A tükrözés előtt érdemes megfontolni néhány szempontot és támogatott forgatókönyvet.
Beállítási szempontok
Ahhoz, hogy egy adatbázist tükrözzünk, már az Azure-ban kell üzembe helyezni. Előfeltételként engedélyeznie kell a folyamatos biztonsági mentést a fiókon.
- Az egyes adatbázisokat egyszerre csak egyenként tükrözheti. Kiválaszthatja, hogy melyik adatbázist szeretné tükrözni.
- Ugyanazt az adatbázist többször is tükrözheti ugyanazon a munkaterületen belül. Ajánlott eljárásként az adatbázis egyetlen példánya újra felhasználható a tóházakban, raktárakban vagy más tükrözött adatbázisokban. Nem kell több tükrözőt beállítania ugyanarra az adatbázisra.
- Ugyanazt az adatbázist különböző Fabric munkaterületeken vagy társbérlőkben is tükrözheti.
- Az Azure Cosmos DB-tárolók módosításai, például az új tárolók hozzáadása és a meglévők törlése zökkenőmentesen replikálódnak a Fabricbe. Elkezdhet például tárolók nélkül tükrözni egy üres adatbázist, és a tükrözés zökkenőmentesen felveszi a hozzáadott tárolókat egy későbbi időpontban.
Beágyazott adatok támogatása
A beágyazott adatok JSON-sztringként jelennek meg az SQL Analytics végponttábláiban. A OPENJSON, CROSS APPLY és OUTER APPLY elemeket T-SQL lekérdezésekben vagy nézetekben használhatja, hogy ezeket az adatokat szelektíven bontsa ki. Ha Power Queryt használ, a függvényt is alkalmazhatja az ToJson adatok kibontására.
Feljegyzés
A Fabric 8 KB méretű sztringoszlopokra vonatkozó korlátozásokkal rendelkezik. További információkért tekintse meg az adattárház korlátait.
Sémamódosítások kezelése
A tükrözés automatikusan replikálja a tulajdonságokat az Azure Cosmos DB-elemek között sémamódosításokkal. Az elemekben felfedezett új tulajdonságok új oszlopokként jelennek meg, és a hiányzó tulajdonságok (ha vannak ilyenek) null értékként jelennek meg a Hálóban.
Ha átnevez egy tulajdonságot egy elemben, a Fabric táblák megőrzik mind a régi, mind az új oszlopokat. A régi oszlop null értékű lesz, az új pedig a legújabb értéket jeleníti meg az átnevezési művelet után replikált elemek esetében.
Ha módosítja egy tulajdonság adattípusát az Azure Cosmos DB-elemekben, a módosításokat a konvertálható kompatibilis adattípusok támogatják. Ha az adattípusok nem kompatibilisek a Delta-beli átalakítással, null értékként jelennek meg.
Az SQL Analytics végponttáblái T-SQL-adattípusokká alakítják át a Delta-adattípusokat.
Ismétlődő oszlopnevek
Az Azure Cosmos DB támogatja a kis- és nagybetűket nem megkülönböztető oszlopneveket a JSON szabvány alapján. A tükrözés támogatja ezeket az ismétlődő oszlopneveket úgy, hogy hozzáadja _n az oszlop nevét, ahol n numerikus érték lenne.
Például, ha az Azure Cosmos DB elem a addressName és AddressName egyedi tulajdonságokkal rendelkezik, akkor a Fabric táblákban ennek megfelelően addressName és AddressName_1 oszlopok találhatók. További információ: replikációs korlátozások.
Biztonság
A forrásadatbázishoz való kapcsolatok az Azure Cosmos DB-fiókok fiókkulcsán alapulnak. Ha elforgatja vagy újragenerálja a kulcsokat, frissítenie kell a kapcsolatokat a replikáció működésének biztosításához. További információ: kapcsolatok.
A fiókkulcsok nem láthatók közvetlenül a háló többi felhasználója számára a kapcsolat beállítása után. Korlátozhatja, hogy ki férhet hozzá a Hálóban létrehozott kapcsolatokhoz. Az írási műveletek nem engedélyezettek az Azure Cosmos DB-adatbázisba, sem az adatkezelőből, sem az analitikai végponton keresztül a tükrözött adatbázisban.
A tükrözés jelenleg nem támogatja az autentikációt írásvédett fiókkulcsok, az egyszeri bejelentkezés (SSO) használatával Microsoft Entra-azonosítókkal, valamint a szerepköralapú hozzáférés-vezérlést vagy a felügyelt identitásokat.
Miután replikálta az adatokat a Fabric OneLake-be, biztonságosan hozzá kell férnie ezekhez az adatokhoz.
Adatvédelmi funkciók
Granulált biztonsági beállítások konfiguálhatók a Microsoft Fabric tükrözött adatbázisában. További információ: Részletes engedélyek a Microsoft Fabricben.
A Microsoft Fabricben az oszlopszűrőket és a predikátumalapú sorszűrőket a táblákon biztonságossá teheti a szerepkörök és a felhasználók számára:
A nem rendszergazdai felhasználók bizalmas adatait is maszkolhatja dinamikus adatmaszkolással:
Hálózati biztonság
A tükrözés jelenleg nem támogatja a privát végpontokat vagy az ügyfél által felügyelt kulcsokat (CMK) a OneLake-ben. A tükrözés nem támogatott olyan Azure Cosmos DB-fiókok esetében, amelyek hálózati biztonsági konfigurációi kevésbé megengedőek, mint az összes hálózat, szolgáltatásvégpontok használata, privát végpontok használata, IP-címek használata vagy bármely más olyan beállítás használata, amely korlátozhatja a nyilvános hálózati hozzáférést a fiókhoz. Az Azure Cosmos DB-fiókoknak minden hálózat számára nyitva kell lenniük a tükrözés használatához.
Vészhelyreállítás és replikáció késése
A Fabricben a Fabric-bérlő otthoni régiójától eltérő régiókban lévő adatközpontokban helyezhet üzembe tartalmakat. További információ: multi-geo support.
Egy elsődleges írási régióval és több olvasási régióval rendelkező Azure Cosmos DB-fiók esetén a tükrözés a Fabric-kapacitást konfiguráló régióhoz legközelebbi Azure Cosmos DB olvasási régiót választja. Ez a kijelölés segít alacsony késésű replikációt biztosítani a tükrözéshez.
Amikor az Azure Cosmos DB-fiókot helyreállítási régióra váltja, a tükrözés automatikusan újra kiválasztja a legközelebbi Azure Cosmos DB-régiót.
Feljegyzés
A tükrözés nem támogatja a több írási régióval rendelkező fiókokat.
A OneLake-be replikált Cosmos DB-adatokat úgy kell konfigurálni, hogy kezelni tudják a régiószintű kimaradásokat. További információ: vészhelyreállítás a OneLake-ben.
Adatok feltárása tükrözéssel
A tükrözött adatok közvetlenül megtekinthetők és elérhetők a OneLake-ben. A tükrözött adatokhoz további adatáthelyezés nélkül is zökkenőmentesen hozzáférhet.
További információ arról, hogyan érheti el a OneLake-t az ADLS Gen2 API-k vagy az SDK, a OneLake Fájlkezelő és az Azure Storage Explorer használatával.
Az SQL Analytics-végponthoz olyan eszközökről csatlakozhat, mint az SQL Server Management Studio (SSMS), vagy olyan illesztőprogramok használatával, mint a Microsoft Open Database Connectivity (ODBC) és a Java Database Connectivity (JDBC). További információ: SQL Analytics-végpontkapcsolat.
A tükrözött adatokat olyan szolgáltatásokkal is elérheti, mint például:
- Olyan Azure-szolgáltatások, mint az Azure Databricks, az Azure HDInsight vagy az Azure Synapse Analytics
- Fabric Lakehouse az adatmérnöki és adatelemzési eshetőségek rövidítési lehetőségeinek használatával
- Egyéb másolt adatbázisok vagy raktárak a Fabric munkaterületen
Medál architektúramegoldásokat is készíthet, és bronzrétegként megtisztíthatja és átalakíthatja a tükrözött adatbázisba érkező adatokat. További információért lásd a medallion architektúra támogatását a Fabricben.
Díjszabás
A Cosmos DB-adatok Fabric OneLake-be való replikálásához használt hálószámítás ingyenes. A OneLake-ben a tárolás a kapacitás méretétől függően ingyenes. További információ: OneLake tükrözési díjszabása. Az SQL, a Power BI vagy a Spark használatával történő adatbekérdezés számítási kihasználtsága továbbra is a hálókapacitás alapján kerül felszámításra.
Ha a Fabric-tükrözésben használja az adatexplorert, akkor a kérelemegységek (RU) használata alapján költségek merülnek fel a tárolók megtekintéséhez és a forrás Azure Cosmos DB-adatbázis elemeinek lekérdezéséhez. Az Azure Cosmos DB folyamatos biztonsági mentési funkciója a tükrözés előfeltétele: A folyamatos biztonsági mentésre vonatkozó standard díjak érvényesek. A folyamatos biztonsági mentés számlázásának tükrözése nem jár további költségekkel. További információkért tekintse meg az Azure Cosmos DB díjszabását.