Mi az a Delta-megosztás?
Ez a cikk bemutatja a Delta Sharingt az Azure Databricksben, a biztonságos adatmegosztási platformon, amellyel adatokat és AI-eszközöket oszthat meg az Azure Databricksben a szervezeten kívüli felhasználókkal, függetlenül attól, hogy ezek a felhasználók használják-e a Databrickset. A Delta Sharing az Databricks Marketplace, az adattermékek cseréjének nyílt fóruma és Tiszta szobákalapja, egy biztonságos és adatvédelemmel foglalkozó környezet, ahol több fél is együttműködhet a bizalmas vállalati adatokon.
A Delta Sharing nyílt forráskódú projektként is elérhető, amellyel más platformokról is megoszthatja a Delta-táblákat.
Feljegyzés
Ha meg szeretné tudni, hogyan férhet hozzá a Delta Sharing használatával az Önnel megosztott adatokhoz, olvassa el a Az Önnel megosztott adatok elérése a Delta Sharinggel (címzettek számára)útmutatót.
Hogyan működik a Delta Sharing?
A Delta Sharing egy nyílt protokoll , amelyet a Databricks fejlesztett ki a más szervezetekkel való biztonságos adatmegosztáshoz, függetlenül attól, hogy milyen számítási platformokat használnak.
Az adatok megosztásának három módja van a Delta Sharing használatával:
A Databricks-to-Databricks megosztó protokoll, amellyel adatokat és AI-objektumokat oszthat meg a Unity catalog-kompatibilis munkaterületről olyan felhasználókkal, akik szintén hozzáférnek a Unity Catalog-kompatibilis Databricks-munkaterülethez.
Ez a megközelítés az Azure Databricksbe beépített Delta Sharing-kiszolgálót használja. Olyan Delta-megosztási funkciókat támogat, amelyek nem szerepelnek a többi protokollban, beleértve a jegyzetfüzet-megosztást, a Unity Catalog mennyiségi megosztását, a Unity Catalog AI-modell megosztását, a Unity Catalog adatszabályozását, a naplózást és a használatkövetést mind a szolgáltatók, mind a címzettek számára. A Unity Catalog integrációja leegyszerűsíti a szolgáltatók és a címzettek beállítását és szabályozását, és javítja a teljesítményt.
A Databricks nyílt megosztási protokoll, amellyel táblázatos adatokat oszthat meg, amelyeket egy Unity Catalog-kompatibilis Databricks-munkaterületen kezelhet bármely számítási platform felhasználóival.
Ez a megközelítés az Azure Databricksbe beépített Delta Sharing-kiszolgálót használja, amely akkor hasznos, ha a Unity Catalog használatával kezeli az adatokat, és meg szeretné osztani azokat olyan felhasználókkal, akik nem használják a Databricks szolgáltatást, vagy nem rendelkeznek hozzáféréssel a Unity Catalog-kompatibilis Databricks-munkaterületekhez. A Unity Catalog szolgáltatói oldallal való integrációja leegyszerűsíti a szolgáltatók beállítását és szabályozását.
Lásd: Adatok megosztása a Delta Sharing nyílt megosztási protokolllal (szolgáltatók számára).
A nyílt forráskódú Delta Sharing-kiszolgáló ügyfél által felügyelt implementációja, amellyel bármilyen platformról megosztható bármilyen platformon, akár a Databricks, akár nem.
Az Azure Databricks dokumentációja nem tartalmazza a saját Delta Sharing-kiszolgáló beállítására vonatkozó utasításokat. Lásd: github.com/delta-io/delta-sharing.
megosztások, szolgáltatók és címzettek
Az Azure Databricksben a deltamegosztás alapvető fogalmai a megosztások, a szolgáltatókés a címzettek.
Mi az a megosztás?
A Delta Sharingben a share olyan táblák és táblapartíciók csak olvasható gyűjteménye, amelyeket a szolgáltató meg szeretne osztani egy vagy több címzettel. Ha a címzett Unity Catalog-kompatibilis Databricks-munkaterületet használ, jegyzetfüzetfájlokat, nézeteket (beleértve a sor- és oszlopszintű hozzáférést korlátozó dinamikus nézeteket), a Unity Catalog-köteteket és a Unity Catalog-modelleket is belefoglalhatja egy megosztásba.
Táblákat, nézeteket, köteteket, modelleket és jegyzetfüzetfájlokat bármikor hozzáadhat vagy eltávolíthat egy megosztásból, és bármikor hozzárendelheti vagy visszavonhatja az adatátvevők hozzáférését egy megosztáshoz.
Egy Unity Catalog-kompatibilis Azure Databricks-munkaterületen a megosztás egy, a Unity Catalogban regisztrált biztonságos objektum. Ha eltávolít egy megosztást a Unity Catalog-metaadattárból, a megosztás minden címzettje elveszíti a hozzáférés képességét.
Lásd: Megosztások létrehozása és kezelése a Delta Sharing számára.
Mi az a szolgáltató?
A szolgáltató olyan entitás, amely adatokat oszt meg egy címzettel. Ha Ön szolgáltató, és ki szeretné használni a beépített Databricks Delta Sharing-kiszolgálót, és a Unity Catalog használatával szeretné kezelni a megosztásokat és a címzetteket, legalább egy Olyan Azure Databricks-munkaterületre van szüksége, amely engedélyezve van a Unity Cataloghoz. Nem kell az összes meglévő munkaterületet a Unity Catalogba migrálnia. Egyszerűen létrehozhat egy új Unity Catalog-kompatibilis munkaterületet a Delta Sharing igényeinek megfelelően.
Ha a címzett egy Unity Catalog-kompatibilis Databricks-munkaterületen található, a szolgáltató egyben egy Unity Catalog biztonságos objektum is, amely a szolgáltató szervezetét képviseli, és a szervezetet egy megosztáskészlettel társítja.
Mi az a címzett?
A címzett olyan entitás, amely megosztásokat fogad egy szolgáltatótól. A Unity Catalogban a megosztás egy biztonságos objektum, amely egy szervezetet jelöl, és egy hitelesítő vagy biztonságos megosztási azonosítóval társítja, amely lehetővé teszi a szervezet számára egy vagy több megosztás elérését.
Adatszolgáltatóként (megosztóként) több címzettet is meghatározhat egy adott Unity Catalog-metaadattárhoz, de ha több metaadattárból szeretne adatokat megosztani egy adott felhasználóval vagy felhasználói csoporttal, minden metaadattárhoz külön kell meghatároznia a címzettet. A címzettek több megosztáshoz is hozzáférhetnek.
Ha egy szolgáltató töröl egy címzettet a Unity Catalog metaadattárából, az adott címzett elveszíti a hozzáférést az összes olyan megosztáshoz, amelyhez korábban hozzáférhetett.
Lásd: Adatátvevők létrehozása és kezelése a Delta Sharingszámára.
Nyílt megosztás versus Databricks közötti megosztás
Ez a szakasz a Unity Cataloghoz engedélyezett Databricks-munkaterületről való megosztás két protokollt ismerteti.
Feljegyzés
Ez a szakasz feltételezi, hogy a szolgáltató unitykatalógus-kompatibilis Azure Databricks-munkaterületen található. Ha tudni szeretné, hogyan állíthat be nyílt forráskódú Delta Sharing-kiszolgálót egy nem Databricks-platformról vagy nem Unity Catalog-munkaterületről való megosztásra, tekintse meg github.com/delta-io/delta-sharing.
Az, hogy egy szolgáltató hogyan használja a Delta Sharingt az Azure Databricksben, attól függ, hogy kivel oszt meg adatokat:
- A nyílt megosztás lehetővé teszi az adatok megosztását bármely felhasználóval, függetlenül attól, hogy rendelkeznek-e hozzáféréssel az Azure Databrickshez.
- Databricks-to-Databricks megosztás lehetővé teszi az adatok megosztását olyan Azure Databricks-felhasználókkal, akiknek a munkaterülete az Önétől eltérő Unity Catalog-metaadattárhoz van csatolva. A Databricks-to-Databricks támogatja a jegyzetfüzetek, kötetek és modellek megosztását is, amelyek nem érhetők el a nyílt megosztásban.
Mi az „nyitott Delta Sharing”?
Ha az Azure Databricks-munkaterületen kívüli felhasználókkal szeretne adatokat megosztani, függetlenül attól, hogy a Databricks-et használják-e, az adatok biztonságos megosztásához használhatja a deltamegosztást. Adatszolgáltatóként létrehoz egy tokent, és biztonságosan megosztja azt a címzettel. A token-t azonosításra használják, és olvasási hozzáférést kapnak azokhoz a táblákhoz, amelyeket a megosztott hozzáféréseken keresztül biztosított nekik.
A címzettek számos számítástechnikai eszköz és platform használatával férhetnek hozzá a megosztott adatokhoz, például:
- Azure Databricks
- Apache Spark
- Pandák
- Power BI
A Delta Sharing-összekötők teljes listáját és a használatukkal kapcsolatos információkat a Delta Sharing dokumentációjában találja.
Lásd még: Adatok megosztása a Delta Sharing nyílt megosztási protokolllal (szolgáltatók számára).
Mi az a Databricks-to-Databricks deltamegosztás?
Ha olyan felhasználókkal szeretne adatokat megosztani, akik rendelkeznek olyan Databricks-munkaterülettel, amely engedélyezett a Unity Catalogszámára, használhatja a Databricks-to-Databricks deltamegosztást. A Databricks-to-Databricks megosztással adatokat oszthat meg más Databricks-fiókok felhasználóival, függetlenül attól, hogy az AWS-en, az Azure-on vagy a GCP-n vannak-e. Emellett nagyszerű módja az adatok biztonságos megosztásának a saját Databricks-fiókjában található Unity Catalog-metaadattárak között. Vegye figyelembe, hogy nem szükséges a Delta Sharing használatával megosztani az adatokat az ugyanazon Unity Catalog-metaadattárhoz csatolt munkaterületek között, mert ebben a forgatókönyvben a Unity Catalog használatával kezelheti az adatokhoz való hozzáférést a munkaterületeken.
A Databricks–Databricks megosztás egyik előnye, hogy a megosztás címzettjének nincs szüksége jogkivonatra a megosztás eléréséhez, és a szolgáltatónak nem kell kezelnie a címzett jogkivonatait. A megosztási kapcsolat biztonságát – beleértve az összes identitás-ellenőrzést, hitelesítést és naplózást – teljes egészében a Delta Sharing és a Databricks platform kezeli. Egy másik előny a Databricks-jegyzetfüzetfájlok, nézetek, Unity Catalog-kötetek és Unity Catalog-modellek megosztása.
Hogyan állíthatják be a szolgáltatói rendszergazdák a Delta Sharingt?
Ez a szakasz áttekintést nyújt arról, hogy a szolgáltatók hogyan engedélyezhetik a Delta-megosztást, és hogyan kezdeményezhetnek megosztást a Unity Catalog-kompatibilis Azure Databricks-munkaterületről. A nyílt forráskódú deltamegosztásról lásd: github.com/delta-io/delta-sharing.
A Databricks-to-Databricks megosztás az ugyanezen fiókban található Unity Catalog metastore-ok között mindig engedélyezve van. Ha Ön olyan szolgáltató, aki engedélyezni szeretné, hogy a Delta Sharing más fiókokban vagy nem Databricks-ügyfeleken lévő Databricks-munkaterületekkel ossza meg az adatokat, az Azure Databricks-fiók rendszergazdája vagy a metaadattár-rendszergazda a következő telepítési lépéseket hajtja végre (magas szinten):
Engedélyezze a Delta-megosztást a megosztani kívánt adatokat kezelő Unity Catalog-metaadattárhoz.
Feljegyzés
Nem kell engedélyeznie a Delta-megosztást a metaadattárban, ha a Delta Sharing használatával csak a fiókjában lévő más Unity Catalog-metaadattárak felhasználóival kíván adatokat megosztani. A metatárolók közötti megosztás egyetlen Azure Databricks-fiókon belül alapértelmezés szerint engedélyezett.
Lásd a Delta-megosztás engedélyezése metaadattáron témakört.
Hozzon létre egy megosztást, amely tartalmazza a Unity Catalog metaadattárában regisztrált adategységeket.
Ha nem Databricks-felhasználóval (más néven nyílt adatmegosztás keretében) oszt meg adatokat, a táblákat Delta vagy Parquet formátumban megoszthatja. Ha a Databricks-to-Databricks megosztást kíván használni, nézeteket, Unity Catalog-köteteket, Unity Catalog-modelleket és jegyzetfüzetfájlokat is hozzáadhat egy megosztáshoz.
Lásd: Megosztások létrehozása és kezelése a Delta Sharing számára.
Hozzon létre egy címzettet.
Lásd: Adatátvevők létrehozása és kezelése a Delta Sharingszámára.
Ha a címzett nem Databricks-felhasználó, vagy nem rendelkezik hozzáféréssel a Unity Cataloghoz engedélyezett Databricks-munkaterülethez, nyílt megosztásikell használnia. A rendszer tokenalapú hitelesítő adatokat hoz létre a címzett számára.
Ha a címzett rendelkezik hozzáféréssel egy Unity Cataloghoz engedélyezett Databricks-munkaterülethez, használhatja a Databricks-to-Databricks megosztási lehetőséget, és nincs szükség jogkivonatalapú hitelesítő adatokra. Kér egy megosztási azonosítót a címzetttől, és használja azt a biztonságos kapcsolat létrehozásához.
Tipp.
Használja magát teszt címzettként a beállítási folyamat kipróbálásához.
Adjon hozzáférést a címzettnek egy vagy több megosztáshoz.
Lásd: A Delta-megosztási adatmegosztásokhoz való hozzáférés kezelése (szolgáltatók számára).
Feljegyzés
Ezt a lépést egy nem rendszergazdai felhasználó is végrehajthatja a
USE SHARE
,USE RECIPIENT
ésSET SHARE PERMISSION
jogosultságokkal. Lásd Unity Catalog-jogosultságokat és biztonságos objektumokat.Küldje el a címzettnek a megosztáshoz való csatlakozáshoz szükséges információkat (csak nyílt megosztás esetén).
Lásd: A címzett kapcsolati adatainak elküldése.
A nyílt megosztáshoz használjon biztonságos csatornát a címzettnek egy aktiválási hivatkozás elküldéséhez, amely lehetővé teszi számukra a jogkivonat-alapú hitelesítő adatok letöltését.
A Databricks–Databricks-megosztás esetében a megosztásban szereplő adatok azonnal elérhetővé válnak a címzett Databricks-munkaterületén, amint hozzáférést ad nekik a megosztáshoz.
A címzett mostantól hozzáférhet a megosztott adatokhoz.
Hogyan férnek hozzá a címzettek a megosztott adatokhoz?
A címzettek csak olvasható formátumban férnek hozzá a megosztott adatokhoz. A megosztott jegyzetfüzetfájlok írásvédettek, de klónozásuk, majd módosításuk és futtatásuk a címzett munkaterületen ugyanúgy történik, mint bármely más jegyzetfüzetben.
A biztonságos hozzáférés a megosztási modelltől függ:
- Nyílt megosztás (a címzett nem rendelkezik a Unity Cataloghoz engedélyezett Databricks-munkaterületekkel): A címzett minden alkalommal megadja a hitelesítő adatokat, amikor a választott eszközében fér hozzá az adatokhoz, beleértve az Apache Sparkot, a pandast, a Power BI-t, a Databrickset és még sok mást. Lásd: Megosztott adatok olvasása a Delta Sharing nyílt megosztással (címzettek számára).
- Databricks-to-Databricks (ha a címzett munkaterülete engedélyezve van a Unity Catalog használatára): A címzett a Databricks segítségével fér hozzá az adatokhoz. A Unity Catalog használatával hozzáférést biztosíthatnak és megtagadhatnak a Databricks-fiókjuk többi felhasználójához. Lásd: Azon adatok olvasása, amelyeket Databricks-to-Databricks Delta megosztással osztottak meg (címzetteknek).
Amikor az adatszolgáltató frissíti az adattáblákat vagy köteteket a saját Databricks-fiókjában, a frissítések közel valós időben jelennek meg a címzett rendszerében.
Hogyan követheti nyomon, hogy ki oszt meg és fér hozzá a megosztott adatokhoz?
A Unity Catalog-kompatibilis Azure Databricks-munkaterületek adatszolgáltatói az Azure Databricks naplózási és rendszertáblái segítségével figyelhetik a megosztások és a címzettek létrehozását és módosítását, valamint figyelhetik a megosztások címzettjeinek tevékenységét. Lásd: Adatmegosztás naplózása és monitorozása.
A Databricks-munkaterületeken megosztott adatokat használó adat címzettjei a Databricks naplózási és rendszertáblái segítségével megismerhetik, hogy ki fér hozzá az adatokhoz. Lásd: Adatmegosztás naplózása és monitorozása.
Kötetek megosztása
A köteteket a Databricks-to-Databricks megosztási folyamat segítségével oszthatja meg. Lásd: Kötetek hozzáadása a megosztáshoz (szolgáltatók számára) és Databricks-to-Databricks Delta megosztással megosztott adatok olvasása (címzettek számára).
Modellek megosztása
Modelleket a Databricks-to-Databricks megosztási folyamattal oszthat meg. Lásd: Modellek hozzáadása egy megosztáshoz (szolgáltatók számára) és Databricks-to-Databricks Delta-megosztással megosztott adatok olvasása (címzettek esetén) (címzettek esetén).
Jegyzetfüzetek megosztása
A Delta Sharing segítségével megoszthat jegyzetfüzetfájlokat a Databricks közötti megosztási folyamat használatával. Lásd: Jegyzetfüzetfájlok hozzáadása megosztási (szolgáltatók számára) és Megosztott jegyzetfüzetek olvasása (címzettek számára).
A hozzáférés korlátozása a sor- és oszlopszinten
Olyan dinamikus nézeteket oszthat meg, amelyek bizonyos táblaadatokhoz való hozzáférést a címzett tulajdonságai alapján korlátozzák. A dinamikus nézetmegosztáshoz a Databricks–Databricks megosztási folyamat szükséges. Lásd: Dinamikus nézetek hozzáadása megosztáshoz sorok és oszlopok szűréséhez.
Delta-megosztás és streamelés
A Delta Sharing támogatja a Spark strukturált streamelését. A szolgáltató megoszthat egy táblát az előzményekkel, hogy a címzett strukturált streamforrásként használhassa, és a megosztott adatokat növekményesen, alacsony késéssel dolgozza fel. A címzettek Delta Lake időutazási lekérdezéseket is végrehajthatnak, olyan táblázatokon, amelyeket az előzményekkel osztottak meg.
Ha szeretné megtudni, hogyan oszthat meg táblákat, amelyek tartalmazzák az előzményeket, olvassa el a Táblák hozzáadása a megosztáshozcímű témakört. Ha meg szeretné tudni, hogyan használhat megosztott táblákat streamforrásként, olvassa el Tábla lekérdezése apache Spark strukturált streamelési (a Databricks-to-Databricks-megosztás címzettjei számára) vagy Megosztott táblák elérése a Spark Strukturált streamelési használatával (a nyílt megosztási adatok címzettjei számára).
Lásd még : Streamelés az Azure Databricksben.
Delta Lake-funkciók támogatási mátrixa
A Delta Sharing a delta Lake legtöbb funkcióját támogatja tábla megosztásakor. Ez a támogatási mátrix a következő listákat tartalmazza:
- A Databricks Runtime meghatározott verzióit, a nyílt forráskódú Delta Sharing Spark-összekötőt vagy a nyílt forráskódú Delta Sharing Python-összekötőt igénylő Delta-funkciók.
- Részben támogatott funkciók.
Funkció | Szolgáltató | Databricks-címzett | Nyílt forráskódú címzett |
---|---|---|---|
Törlési vektorok | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. |
|
|
Oszlopok leképezése | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. |
|
|
Egységes formátum | A táblák megosztása ezzel a funkcióval nyilvános előzetes verzióban érhető el. |
|
|
V2 ellenőrzőpont | Korlátozásokkal támogatott | Korlátozásokkal támogatott | Korlátozásokkal támogatott |
IdőbélyegNTZ | Támogatott | Databricks Runtime 14.1+ | Delta Sharing Spark-összekötő 3.3+ |
Folyékony fürtözés | Korlátozásokkal támogatott | Korlátozásokkal támogatott | Korlátozásokkal támogatott |
Delta-megosztás – gyakori kérdések
A Delta-megosztással kapcsolatos gyakori kérdések az alábbiak.
Szükségem van a Unity Katalógusra a Delta Sharing használatához?
Nem, nincs szüksége a Unity Katalógusra a megosztáshoz (szolgáltatóként) vagy a megosztott adatok (címzettként) használatához. A Unity Catalog azonban olyan előnyöket biztosít, mint a nem táblázatos és AI-eszközök megosztásának támogatása, a beépített szabályozás, az egyszerűség és a lekérdezési teljesítmény.
A szolgáltatók kétféleképpen oszthatnak meg adatokat:
Helyezze a megosztani kívánt eszközöket a Unity Catalog felügyelete alá, és ossza meg őket a beépített Azure Databricks Delta Sharing-kiszolgálóval.
Nem kell minden eszközt áttelepítenie a Unity Catalogba. Csak egy Olyan Azure Databricks-munkaterületre van szüksége, amely engedélyezve van a Unity Catalog számára a megosztani kívánt objektumok kezeléséhez. Egyes fiókokban az új munkaterületek automatikusan engedélyezve vannak a Unity Cataloghoz. Lásd Unity Catalogautomatikus engedélyezését.
Implementálja a nyitott Delta Sharing-kiszolgálót az adatok megosztásához anélkül, hogy feltétlenül az Azure Databricks-fiókját használaná.
A címzettek kétféleképpen használhatják fel az adatokat:
Databricks-munkaterület nélkül. Használjon nyílt forráskódú Delta-megosztás-összekötőket, amelyek számos adatplatformhoz elérhetők, mint például a Power BI, a pandas és a nyílt forráskódú Apache Spark. Lásd: A Delta Sharing nyílt megosztással megosztott adatok olvasása (címzettek számára) és a Delta Sharing nyílt forráskódú projekt .
Databricks-munkaterületen. A címzett munkaterületeket nem kell engedélyezni a Unity Cataloghoz, de az irányításnak, az egyszerűségnek és a teljesítménynek vannak előnyei, ha vannak.
Az ilyen előnyöket igénylő címzett szervezeteknek nem kell minden eszközt áttelepíteniük a Unity Catalogba. Csak egy Azure Databricks-munkaterületre van szüksége, amely engedélyezve van a Unity Catalog számára az Önnel megosztott objektumok kezeléséhez. Egyes fiókokban az új munkaterületek automatikusan engedélyezve vannak a Unity Cataloghoz. Lásd Unity Catalogautomatikus engedélyezését.
Lásd: A Delta Sharing nyílt megosztással megosztott adatok olvasása (címzettek számára) és A Databricks-to-Databricks Delta Sharing használatával megosztott adatok olvasása (címzettek számára).
Databricks-ügyfélnek kell lennem a Delta-megosztás használatához?
Nem, a Delta-megosztás egy nyílt protokoll. A nem Databricks-adatokat bármely adatplatformon megoszthatja a címzettekkel. A szolgáltatók konfigurálhatnak egy nyitott Delta Sharing-kiszolgálót, hogy bármely számítási platformról megosszanak. A címzettek számos adattermékhez használhatják a megosztott adatokat nyílt forráskódú Delta Sharing-összekötőkkel, beleértve a Power BI-t, a pandast és a nyílt forráskódú Sparkot.
A Delta Sharing használata azonban az Azure Databricksen, különösen a Unity katalógusbarát munkaterületről való megosztás számos előnnyel jár.
A részletekért lásd a GYIK első kérdését.
A Delta-megosztás kimenő adatforgalmi költségekkel jár?
Régión belüli Delta Sharing nem jár kimenő költséggel. Más adatmegosztási platformoktól eltérően a Delta-megosztás nem igényel adatreplikációt. Ennek a modellnek számos előnye van, de ez azt jelenti, hogy az Ön felhőszolgáltatója kimenő adatforgalmi díjakat számíthat fel, ha Ön adatokat oszt meg felhők vagy régiók között. Az Azure Databricks támogatja a Cloudflare R2-ről való megosztást, amely nem jár kimenő díjakkal, és egyéb eszközöket és javaslatokat biztosít a kimenő díjak figyeléséhez és elkerüléséhez. Lásd: A Delta megosztás kimenő költségeinek monitorozása és kezelése a szolgáltatók számára.
Visszavonhatják a szolgáltatók a címzettek hozzáférését?
Igen, a címzettek hozzáférése igény szerint és meghatározott részletességi szinten visszavonható. Megtagadhatja a címzettek hozzáférését adott megosztásokhoz és adott IP-címekhez, szűrheti a címzett táblázatos adatait, visszavonhatja a címzett jogkivonatait, és teljes egészében törölheti a címzetteket. Lásd: Címzett hozzáférés visszavonása egy megosztáshoz és Adatátvevők létrehozása és kezelése Delta megosztáshoz.
Nem kockázatos előre aláírt URL-címeket használni?
A Delta-megosztás előre aláírt URL-címekkel biztosít ideiglenes hozzáférést egy objektumtárolóban lévő fájlhoz. Ezeket csak azok a címzettek kapják meg, akik már rendelkeznek hozzáféréssel a megosztott adatokhoz. Biztonságosak, mert rövid élettartamúak, és nem bővítik a hozzáférés szintjét a címzettek által már megadott szintnél.
Biztonságosak a Delta-megosztás nyílt megosztási protokollban használt tokenek?
Mivel a Delta-megosztás lehetővé teszi a platformfüggetlen megosztást – más elérhető adatmegosztási platformokkal ellentétben –, a megosztási protokollhoz nyílt tokenre van szükség. A szolgáltatók a jogkivonat élettartamának konfigurálásával, a hálózati vezérlők beállításával és a hozzáférés igény szerinti visszavonásával biztosíthatják a jogkivonatok biztonságát. Emellett a token nem bővíti a hozzáférési szintet azon túl, amit a címzettek már megkaptak. Lásd A tokenek biztonsági megfontolásai témakört.
Ha inkább nem szeretné jogkivonatokat használni a címzettmegosztásokhoz való hozzáférés kezeléséhez, használja a Databricks-to-Databricks megosztást, vagy alternatív megoldásért forduljon a Databricks-fiók csapatához.
Támogatja a Delta Sharing a nézetmegosztást?
Igen, a Delta Sharing támogatja a nézetmegosztást. Lásd: Nézetek hozzáadása egy megosztáshoz.
A megosztás megtekintéséhez tervezett fejlesztésekről a Databricks-fiók csapatához fordulhat.
Korlátozások
- A táblázatos adatoknak
Delta táblaformátumban kell lenniük. A Parquet-táblákat egyszerűen átalakíthatja Delta-ra – és vissza. Lásd CONVERT TO DELTA. - A Delta Sharing az alábbi korlátozásokkal támogatja a folyékony fürtözést és a V2-ellenőrzőpontot alkalmazó táblákat:
- A címzettek csak pillanatkép-lekérdezéseket futtathatnak. Nem futtathatnak változásadatcsatornát (CDF) vagy streamelési lekérdezéseket.
- A szolgáltatók nem oszthatják meg a táblát partíciószűréssel.
- A szolgáltatók nem oszthatják meg az R2-táblákat a „liquid clustering” és a V2 ellenőrzőpont használata mellett.
- táblakorlátozások (elsődleges és idegenkulcs-korlátozások) nem érhetők el a megosztott táblákban.
- A megosztható nézeteket Delta-táblákon vagy más megosztható nézeteken kell definiálni. Lásd: Nézetek hozzáadása megosztáshoz (szolgáltatók számára) és Megosztott nézetek olvasása (címzettek számára).
- A jegyzetfüzetek megosztása csak a Databricks-to-Databricks megosztásban támogatott. Lásd: Jegyzetfüzetfájlok hozzáadása a megosztáshoz és A Databricks-to-Databricks Delta Megosztás segítségével megosztott adatok olvasása (címzettek számára).
- A kötetmegosztás csak a Databricks–Databricks megosztásban támogatott. Lásd: Kötetek hozzáadása egy megosztáshoz (szolgáltatók számára) és A Databricks-to-Databricks Delta Sharinggel megosztott adatok olvasása (címzettek számára).
- A modellek megosztása csak a Databricks–Databricks megosztásban támogatott. Lásd: Modellek hozzáadása a megosztáshoz (szolgáltatók számára) és Adatok olvasása a Databricks-to-Databricks Delta Sharing segítségével történő megosztásból (fogadók számára).
- A megosztott táblákhoz engedélyezett metaadatokban lévő fájlok száma korlátozott. További információ: Erőforráskorlát túllépett hibák.
- A
information_schema
nevű sémák nem importálhatók Unity Catalog-metaadattárba, mert ez a sémanév a Unity Catalogban van fenntartva. - A Delta Sharing nem támogatja a
SHALLOW CLONE
táblák megosztását. Az Azure Databricks nem támogatja az abszolút elérési utakra hivatkozó Delta-naplók előjeles URL-címeit.
Lásd még a Delta Lake szolgáltatástámogatási mátrixát.
Erőforráskvóták
Az Azure Databricks erőforráskvótákat kényszerít ki az összes biztonságos Delta-megosztási objektumra. Ezek a kvóták az erőforráskorlátokban vannak felsorolva. Ha várhatóan túllépi ezeket az erőforráskorlátokat, forduljon az Azure Databricks-fiók csapatához.
A kvótahasználatot a Unity Catalog erőforráskvóta API-kkal figyelheti. Lásd: Unity Catalog-erőforráskvóták használatának figyelése.
Következő lépések
- Engedélyezze a Databricks-fiókját a Delta megosztáshoz
- Megosztások létrehozása
- Címzettek létrehozása
- További információ a nyílt megosztásról és a Databricks-to-Databricks megosztómodellekről
- Megtudhatja, hogyan férnek hozzá a címzettek a megosztott adatokhoz