OneLake-billentyűparancsok

A Microsoft OneLake billentyűparancsai lehetővé teszik az adatok egyesítését tartományok, felhők és fiókok között egyetlen virtuális adattó létrehozásával a teljes vállalat számára. Minden Fabric-élmény és elemzési motor közvetlenül csatlakozhat meglévő adatforrásaihoz, például az Azure-hoz, az Amazon Web Serviceshez (AWS) és a OneLake-hez egy egységes névtéren keresztül. A OneLake kezeli az összes engedélyt és hitelesítő adatot, így nem kell külön konfigurálnia az egyes Háló-számítási feladatokat az egyes adatforrásokhoz való csatlakozáshoz. Emellett billentyűparancsokkal kiküszöbölheti az adatok élpéldányait, és csökkentheti az adatmásolatokkal és az előkészítéssel járó folyamatkésést.

A parancsikonok olyan objektumok a OneLake-ben, amelyek más tárolási helyekre mutatnak. A hely lehet belső vagy külső a OneLake-ben. Az a hely, ahová egy parancsikon mutat, a parancsikon célútvonalaként ismert. A parancsikon megjelenési helyét a parancsikon elérési útjának nevezzük. A parancsikonok mappákként jelennek meg a OneLake-ben, és a OneLake-hez hozzáféréssel rendelkező számítási feladatok vagy szolgáltatások használhatják őket. A billentyűparancsok szimbolikus hivatkozásokként viselkednek. Ezek a céltól független objektumok. Ha töröl egy parancsikont, a cél nem változik. Ha áthelyez, átnevez vagy töröl egy célelérési utat, a parancsikon megszakadhat.

A lakehouse-ban és Kusto lekérdezésnyelv (KQL-) adatbázisokban billentyűparancsokat hozhat létre. Ezenkívül az ezekben az elemekben létrehozott billentyűparancsok más OneLake-helyekre, az Azure Data Lake Storage -ra (ADLS) Gen2-re, az Amazon S3-tárfiókokra vagy a Dataverse-re is mutathatnak. A helyszíni Háló adatátjáró (OPDG) használatával akár parancsikonokat is létrehozhat a helyszíni vagy a hálózat által korlátozott helyekre .

A Fabric felhasználói felületén interaktív módon hozhat létre billentyűparancsokat, a REST API-val pedig programozott módon hozhat létre billentyűparancsokat.

Ha parancsikonokat hoz létre egy tóházban, ismernie kell az elem mappastruktúráját. A Lakehouses két legfelső szintű mappából áll: a Táblák mappából és a Fájlok mappából. A Táblák mappa a tóház felügyelt részét jelöli, azaz strukturált adathalmazok esetén. Míg a Files mappa a lakehouse nem felügyelt része, azaz strukturálatlan vagy félig strukturált adatokhoz.

A Táblák mappában csak a felső szinten hozhat létre billentyűparancsokat. A Parancsikonok nem támogatottak a Táblák mappa más alkönyvtáraiban. A Táblázatok szakasz billentyűparancsai általában a OneLake belső forrásaira mutatnak, vagy más, a Delta táblaformátumnak megfelelő adategységekhez vannak csatolva. Ha a parancsikon célja Delta\Parquet formátumban tartalmaz adatokat, a lakehouse automatikusan szinkronizálja a metaadatokat, és táblaként felismeri a mappát.

A Fájlok mappában nincsenek korlátozások arra vonatkozóan, hogy hol hozhat létre billentyűparancsokat. A mappahierarchia bármely szintjén létrehozhatja őket. A táblafelderítés nem történik meg a Fájlok mappában. Az itt található billentyűparancsok a belső (OneLake) és a külső tárolórendszerekre mutathatnak, bármilyen formátumú adatokkal.

Amikor létrehoz egy parancsikont egy KQL-adatbázisban, az az adatbázis Parancsikonok mappájában jelenik meg. A KQL-adatbázis külső táblákhoz hasonlóan kezeli a parancsikonokat. A parancsikon lekérdezéséhez használja a external_table Kusto lekérdezésnyelv függvényét.

A OneLake-ben adatokat elérő Fabric- vagy nem Háló-szolgáltatások billentyűparancsokat használhatnak. A parancsikonok transzparensek minden olyan szolgáltatás számára, amely a OneLake API-val fér hozzá az adatokhoz. A parancsikonok csak egy másik mappaként jelennek meg a tóban. Az Apache Spark, az SQL, a Valós idejű intelligencia és az Analysis Services mind használhat billentyűparancsokat az adatok lekérdezéséhez.

Az Apache Spark-jegyzetfüzetek és az Apache Spark-feladatok a OneLake-ben létrehozott billentyűparancsokat használhatják. A relatív fájl elérési útjai segítségével közvetlenül olvashatja be az adatokat a parancsikonokból. Emellett ha létrehoz egy parancsikont a lakehouse Táblák szakaszában, és az Delta formátumban van, akkor az Apache Spark SQL szintaxisával felügyelt táblázatként is elolvashatja.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

A lakehouse Táblák szakaszában billentyűparancsokat is olvashat a lakehouse SQL Analytics-végpontja segítségével. Az SQL Analytics-végpontot a lakehouse módválasztóján vagy az SQL Server Management Studión (SSMS) keresztül érheti el.

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

A KQL-adatbázisok billentyűparancsai külső táblákként vannak felismerve. A parancsikon lekérdezéséhez használja a external_table Kusto lekérdezésnyelv függvényét.

external_table('MyShortcut')
| take 100

A lakehouse táblák szakaszában billentyűparancsokat tartalmazó szemantikai modelleket hozhat létre. Amikor a szemantikai modell Direct Lake módban fut, az Analysis Services közvetlenül a parancsikonból tud adatokat olvasni.

A Fabricen kívüli alkalmazások és szolgáltatások a OneLake API-n keresztül is elérhetik a billentyűparancsokat. A OneLake támogatja az ADLS Gen2 és a Blob Storage API-k egy részét. A OneLake API-val kapcsolatos további információkért lásd : OneLake hozzáférés API-kkal.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

A OneLake parancsikonjai több fájlrendszerbeli adatforrást is támogatnak. Ezek közé tartoznak a belső OneLake-helyek, az Azure Data Lake Storage (ADLS) Gen2, az Amazon S3, az S3 Kompatibilis, a Google Cloud Storage (GCS) és a Dataverse.

A belső OneLake-billentyűparancsok lehetővé teszik a meglévő Hálóelemeken belüli adatok hivatkozását. Ezek közé tartoznak a tóházak, a KQL-adatbázisok és az adattárházak. A parancsikon egy mappa helyére mutathat ugyanazon az elemen belül, az ugyanazon munkaterületen belüli elemekre vagy akár a különböző munkaterületeken lévő elemekre is. Ha elemek között hoz létre parancsikont, az elemtípusoknak nem kell egyeznie. Létrehozhat például egy olyan parancsikont egy lakehouse-ban, amely egy adattárházban lévő adatokra mutat.

Amikor egy felhasználó egy másik OneLake-helyre mutató parancsikonon keresztül fér hozzá az adatokhoz, a rendszer a hívó felhasználó identitásával engedélyezi az adatokhoz való hozzáférést a parancsikon célútvonalán*. A felhasználónak engedéllyel kell rendelkeznie a célhelyen az adatok olvasásához.

Az ADLS Gen2-tárfiókokhoz is létrehozhat billentyűparancsokat. Az ADLS parancsikonjainak létrehozásakor a célútvonal a hierarchikus névtér bármely mappájára mutathat. A célútvonalnak legalább tartalmaznia kell egy tárolónevet.

Az ADLS-parancsikonoknak a tárfiók elosztott fájlrendszerbeli végpontjára kell mutatniuk. Példa: https://accountname.dfs.core.windows.net/

Ha a tárfiókot tároló tűzfal védi, konfigurálhatja a megbízható szolgáltatáshozzáférést. Lásd: Megbízható munkaterület-hozzáférés

Az ADLS-parancsikonok delegált engedélyezési modellt használnak. Ebben a modellben a parancsikon létrehozója megadja az ADLS-parancsikon hitelesítő adatait, és a parancsikonhoz való minden hozzáférés engedélyezve van a hitelesítő adatok használatával. A támogatott delegált típusok a szervezeti fiók, a fiókkulcs, a közös hozzáférésű jogosultságkód (SAS) és a szolgáltatásnév.

• Szervezeti fiók – Storage Blob Data Reader, Storage Blob Data Contributor vagy Storage Blob Data Owner szerepkör kell, hogy legyen a tárfiókban
• Közös hozzáférésű jogosultságkód (SAS) – legalább a következő engedélyeket kell tartalmaznia: Olvasás, Lista és Végrehajtás
• Szolgáltatásnév – Tárolóblobadat-olvasóval, Storage Blob-adatszolgáltatóval vagy Storage Blob-adattulajdonosi szerepkörökkal kell rendelkeznie a tárfiókban
• Munkaterületi identitás – Tárblobadat-olvasóval, Storage Blob-adatszolgáltatóval vagy Storage Blob-adattulajdonosi szerepkörökkal kell rendelkeznie a tárfiókban

Az Amazon S3-fiókokra mutató parancsikonokat is létrehozhat. Amikor az Amazon S3-hoz hoz hoz létre billentyűparancsokat, a célútvonalnak legalább egy gyűjtőnevet kell tartalmaznia. Az S3 natív módon nem támogatja a hierarchikus névtereket, de előtagokkal utánozhatja a címtárstruktúrát. A parancsikon elérési útján előtagokkal tovább szűkítheti a parancsikonon keresztül elérhető adatok hatókörét. Ha S3-parancsikonon keresztül fér hozzá az adatokhoz, az előtagok mappákként jelennek meg.

Az S3-billentyűparancsoknak az S3 gyűjtő https végpontjára kell mutatniuk.

Példa: https://bucketname.s3.region.amazonaws.com/

Az S3-billentyűparancsok delegált engedélyezési modellt használnak. Ebben a modellben a parancsikon létrehozója megadja az S3 parancsikon hitelesítő adatait, és a parancsikonhoz való minden hozzáférés engedélyezve van ezzel a hitelesítő adattal. A támogatott delegált hitelesítő adatok egy kulcs és titkos kulcs egy IAM-felhasználó számára.

Az IAM-felhasználónak a következő engedélyekkel kell rendelkeznie azon a gyűjtőn, amelyre a parancsikon mutat.

• S3:GetObject
• S3:GetBucketLocation
• S3:ListBucket

A GCS-hez készült XML API használatával billentyűparancsok hozhatók létre a Google Cloud Storage(GCS) szolgáltatásban. A Google Cloud Storage parancsikonjainak létrehozásakor a célútvonalnak legalább egy gyűjtőnevet kell tartalmaznia. A parancsikon hatókörét úgy is korlátozhatja, hogy tovább adja meg a tárhierarchián belül mutatni kívánt előtagot/mappát.

Ha egy GCS-parancsikonhoz konfigurálja a kapcsolatot, megadhatja a tárolási szolgáltatás globális végpontjait, vagy használhat egy gyűjtőspecifikus végpontot.

• Példa globális végpontra: https://storage.googleapis.com
• Példa gyűjtőspecifikus végpontra: https://<BucketName>.storage.googleapis.com

A GCS-parancsikonok delegált engedélyezési modellt használnak. Ebben a modellben a parancsikon létrehozója megadja a GCS-parancsikon hitelesítő adatait, és a parancsikonhoz való minden hozzáférés engedélyezve van a hitelesítő adatok használatával. A támogatott delegált hitelesítő adatok egy szolgáltatásfiókhoz vagy felhasználói fiókhoz tartozó HMAC-kulcs és titkos kulcs.

A fióknak engedéllyel kell rendelkeznie a GCS-gyűjtőn belüli adatok eléréséhez. Ha a parancsikonhoz a gyűjtőspecifikus végpontot használták, a fióknak a következő engedélyekkel kell rendelkeznie:

• storage.objects.get
• stoage.objects.list

Ha a parancsikonhoz a globális végpontot használta a kapcsolat, a fióknak a következő engedéllyel is rendelkeznie kell:

• storage.buckets.list

A Dataverse és a Microsoft Fabric közvetlen integrációja lehetővé teszi a szervezetek számára, hogy a Dynamics 365 nagyvállalati alkalmazásaikat és üzleti folyamataikat kiterjesszék a Fabricbe. Ez az integráció billentyűparancsokkal történik, amelyek kétféleképpen hozhatók létre: a PowerApps maker portálon vagy közvetlenül a Fabricen keresztül.

A jogosult PowerApps-felhasználók hozzáférhetnek a PowerApps maker portáljához, és használhatják a Hivatkozás a Microsoft Fabricre funkciót. Ebből az egyetlen műveletből létrejön egy Lakehouse a Fabricben, és a dataverse-környezet minden táblája automatikusan létrehozza a parancsikonokat. További információ: Dataverse– közvetlen integráció a Microsoft Fabricdel.

A hálófelhasználók a Dataverse parancsikonjait is létrehozhatják. A létrehozási parancsikonok UX-jából a felhasználók kiválaszthatják a Dataverset, megadhatja a környezet URL-címét, és tallózhatnak az elérhető táblák között. Ez a felület lehetővé teszi, hogy a felhasználók szelektíven választják ki, hogy mely táblákat érdemes bevinni a Hálóba ahelyett, hogy minden táblát behoznak.

A dataverse-parancsikonok delegált engedélyezési modellt használnak. Ebben a modellben a parancsikon létrehozója megadja a Dataverse parancsikon hitelesítő adatait, és a parancsikonhoz való minden hozzáférés engedélyezve van ezzel a hitelesítő adatokkal. A támogatott delegált hitelesítő adatok típusa szervezeti fiók (OAuth2). A szervezeti fióknak rendszergazdai engedéllyel kell rendelkeznie az adatokhoz való hozzáféréshez a Dataverse Managed Lake-ben.

A parancsikon-gyorsítótárazással csökkenthetők a felhőközi adathozzáféréssel kapcsolatos kimenő költségek. Mivel a fájlok egy külső parancsikonon keresztül vannak beolvasva, a fájlok a Fabric-munkaterület gyorsítótárában vannak tárolva. A rendszer a későbbi olvasási kérelmeket a gyorsítótárból kézbesíti, nem pedig a távoli tárolószolgáltatótól. A gyorsítótárazott fájlok megőrzési ideje 24 óra. A fájl minden egyes elérésekor alaphelyzetbe állítja a megőrzési időtartamot. Ha a távoli társzolgáltatóban lévő fájl frissebb, mint a gyorsítótárban lévő fájl, a kérést a távoli társzolgáltató kézbesíti, és a frissített fájl a gyorsítótárban lesz tárolva. Ha egy fájl 24 óránál hosszabb ideje nem érhető el, akkor az törlődik a gyorsítótárból. Az 1 GB-nál nagyobb fájlok nem gyorsítótárazhatók.

A parancsikonok gyorsítótárazásának engedélyezéséhez nyissa meg a Munkaterület beállításai panelt. Válassza a OneLake lapot. Állítsa be a gyorsítótár-beállítást Be állásba, és válassza a Mentés lehetőséget.

Az ADLS- és S3-parancsikon-engedélyezés a felhőkapcsolatok használatával delegálható. Amikor új ADLS- vagy S3-parancsikont hoz létre, vagy új kapcsolatot hoz létre, vagy kiválaszt egy meglévő kapcsolatot az adatforráshoz. A parancsikonok kapcsolatának beállítása kötési művelet. A kötési műveletet csak a kapcsolat engedélyével rendelkező felhasználók hajthatják végre. Ha nincs engedélye a kapcsolatra, nem hozhat létre új parancsikonokat a kapcsolat használatával.

A billentyűparancsok kezeléséhez és használatához bizonyos engedélyek szükségesek. A OneLake parancsikon-biztonsága megvizsgálja a parancsikonok létrehozásához és az adatokhoz való hozzáféréshez szükséges engedélyeket.

A billentyűparancsok nem hajtanak végre kaszkádolt törléseket. Ha parancsikonon végez törlési műveletet, csak a parancsikonobjektumot törli. A parancsikon-cél adatai változatlanok maradnak. Ha azonban egy parancsikonon belül végez törlési műveletet egy fájlon vagy mappán, és rendelkezik a parancsikon célhelyén a törlési művelet végrehajtásához szükséges engedélyekkel, a rendszer törli a fájlokat és/vagy mappákat a célhelyen. Az alábbi példa ezt a pontot szemlélteti.

Az A felhasználó rendelkezik egy tóházzal, benne a következő elérési úttal:

MyLakehouse\Files\MyShortcut\Foo\Bar

A MyShortcut parancsikon a Foo\Bar könyvtárakat tartalmazó ADLS Gen2-fiókra mutat.

Az A felhasználó a következő útvonalon hajt végre törlési műveletet:

MyLakehouse\Files\MyShortcut

Ebben az esetben a MyShortcut törlődik a lakehouse-ból. A billentyűparancsok nem hajtanak végre kaszkádolt törléseket, ezért az ADLS Gen2-fiók Foo\Bar fájljai és könyvtárai változatlanok maradnak.

Az A felhasználó a következő útvonalon hajt végre törlési műveletet:

MyLakehouse\Files\MyShortcut\Foo\Bar

Ebben az esetben, ha az A felhasználó írási engedélyekkel rendelkezik az ADLS Gen2-fiókban, a sávkönyvtár törlődik az ADLS Gen2-fiókból.

Ha egy munkaterületen belül több Hálóelem között hoz létre billentyűparancsokat, a munkaterület vonalas nézetén keresztül vizualizálhatja a parancsikonkapcsolatokat. Válassza a Munkaterület-kezelő jobb felső sarkában található Vonalas nézet gombot ( ).

• Hálóelemenként a billentyűparancsok maximális száma 100 000. Ebben a kontextusban az elem kifejezés a következőre vonatkozik: alkalmazások, lakehouse-k, raktárak, jelentések stb.
• Egyetlen OneLake-útvonal billentyűparancsainak maximális száma 10.
• A billentyűparancsokra mutató közvetlen hivatkozások maximális száma 5.
• Az ADLS és az S3 billentyűparancs-célútvonalai nem tartalmazhatnak fenntartott karaktereket az RFC 3986 2.2 szakaszából. Az engedélyezett karaktereket az RFC 3968 2.3. szakaszában találja.
• A OneLake parancsikonnevei, szülőútvonalai és célútvonalai nem tartalmazhatnak "%" vagy "+" karaktereket.
• A billentyűparancsok nem támogatják a nem latin karaktereket.
• A Blob API másolása nem támogatott az ADLS-hez vagy az S3-billentyűparancsokhoz.
• A Másolás függvény nem működik olyan billentyűparancsokon, amelyek közvetlenül az ADLS-tárolókra mutatnak. Ajánlott olyan ADLS-parancsikonokat létrehozni egy olyan könyvtárhoz, amely legalább egy szinttel a tároló alatt van.
• További billentyűparancsok nem hozhatók létre az ADLS-ben vagy az S3-billentyűparancsokban.
• Az adattárházak és szemantikai modellek parancsikonjainak származási vonala jelenleg nem érhető el.
• A Fabric parancsikon szinte azonnal szinkronizálódik a forrással, de a propagálási idő az adatforrás teljesítménye, a gyorsítótárazott nézetek vagy a hálózati kapcsolat problémái miatt változhat.
• Akár egy percig is eltarthat, amíg a Table API felismeri az új parancsikonokat.
• A OneLake-parancsikonok még nem támogatják az ADLS Gen2-tárfiókokhoz való csatlakozást felügyelt privát végpontok használatával. További információ: Fabric felügyelt privát végpontjai.

• OneLake-parancsikon létrehozása
• OneLake-parancsikonok HASZNÁLATA REST API-k