Mi az az asztal?
A táblák egy sémában találhatók, és adatsorokat tartalmaznak. Az Azure Databricksben létrehozott összes tábla alapértelmezés szerint a Delta Lake-t használja. A Delta Lake által támogatott táblákat Delta-tábláknak is nevezik.
A Delta-táblák fájlkönyvtárként tárolják az adatokat a felhőobjektum-tárolóban, és regisztrálják a tábla metaadatait a katalógusban és a sémában lévő metaadattárba. A Unity Catalog által felügyelt és streamelő táblák mindegyike Delta-táblák. A Unity Catalog külső táblái lehetnek Delta-táblák, de nem kötelezőek.
Olyan táblákat is létrehozhat a Databricksen, amelyek nem használják a Delta Lake-t. Ezek a táblák nem biztosítják a Delta-táblák tranzakciós garanciáit vagy optimalizált teljesítményét.
A táblák adatsorokat tárolnak. A táblák egy sémában találhatók, és adatsorokat tartalmaznak. Az alábbi példa egy olyan táblázatot mutat be, prod.people_ops_employees, amely öt alkalmazott adatait tartalmazza. A metaadatok regisztrálva lesznek a Unity Katalógusban, és az adatok a felhőbeli tárolóban lesznek tárolva.
Alapvető táblaengedélyek
Tábla létrehozásához a felhasználóknak CREATE TABLE
és USE SCHEMA
engedélyekkel kell rendelkezniük a sémához, és rendelkezniük kell a szülőkatalógus USE CATALOG
engedélyével. A táblák lekérdezéséhez a felhasználóknak rendelkezniük kell a tábla SELECT
engedélyével, a szülőséma USE SCHEMA
engedélyével és a szülőkatalógus USE CATALOG
engedélyével.
A Unity Catalog engedélyekkel kapcsolatos további információkért lásd: Jogosultságok kezelése a Unity Catalog.
Táblák a Unity Katalógusban
A Unity Catalogban a táblák a háromszintű névtér harmadik szintjén (catalog.schema.table
) találhatók az alábbi táblázatban látható módon. A Unity Catalog külső táblái lehetnek Delta-táblák, de nem kötelezőek.
-ra összpontosít
Delta-táblák
A Delta Lake által támogatott Delta-tábla fájlok könyvtáraként tárolja az adatokat a felhőobjektum-tárolóban, és regisztrálja a táblázat metaadatait a katalógusban és a sémában lévő metaadattárba. Mivel a Databricksben a Delta-táblák az alapértelmezettek, a táblákra mutató hivatkozások többsége a Delta-táblák viselkedését írja le, hacsak másként nem szerepel. A Unity Catalog által felügyelt és streamelő táblák mindegyike Delta-táblák. Lásd : Mi az a Delta Lake?.
A Databricks azt javasolja, hogy fájlelérési utak helyett mindig teljes értékű táblaneveket használva használja a Delta-táblákat.
Felügyelt táblák
A felügyelt táblák a metaadattár-regisztráció mellett kezelik a mögöttes adatfájlokat. A Databricks azt javasolja, hogy minden új tábla létrehozásakor használjon felügyelt táblákat. A Unity Catalog által felügyelt táblák az alapértelmezettek, amikor táblákat hoz létre az Azure Databricksben. Mindig Delta Lake-t használnak. Lásd: Felügyelt táblákkal való munka.
Külső táblák
Külső táblák, más néven nem felügyelt táblák, külső tárolórendszerben, például felhőobjektum-tárolóban a Databricksen kívül tárolt adatokra hivatkoznak. Leválasztják a mögöttes adatfájlok kezelését a metaadattár-regisztrációról. A Unity Catalog >számos formátumban támogatja a külső táblákat, köztük a Delta Lake-t is. A Unity Catalog külső táblái a külső rendszerek által olvasható általános formátumok használatával tárolhatják az adatfájlokat. Lásd Munka külső táblákkal.
Adatfolyam táblák
A folyamatosan frissülő táblák elsősorban pótlólagos adatok feldolgozására használt Delta-táblák. A streamelési táblák legtöbb frissítése frissítési műveletekkel történik.
Streamelési táblákat regisztrálhat a Unity Catalogban a Databricks SQL használatával, vagy definiálhatja őket egy DLT-folyamat részeként. Lásd A streamelési táblák működése, Adatok betöltése streamtáblákkal a Databricks SQL- és Mi az a DLT?.
Külső táblák
A külföldi táblák az Azure Databrickshez a Lakehouse Federationen keresztül csatlakoztatott külső rendszerekben tárolt adatokat jelölik. Az idegen táblák csak olvashatóak az Azure Databricksben. Lásd : Mi az a Lakehouse Federation?.
Funkciótáblák
A Unity Catalog által kezelt, elsődleges kulccsal rendelkező Delta-táblák funkciótáblák. Igény szerint konfigurálhatja a funkciótáblákat az online Szolgáltatástár használatával alacsony késésű használati esetekhez. Lásd: Funkciótáblák használata a Munkaterület funkciótárolójában (örökölt).
Hive-táblák (örökölt)
A Hive-táblák két különböző fogalmat írnak le az Azure Databricksben, amelyek mindegyike örökölt minták, és nem ajánlottak.
Az örökölt Hive metaadattár használatával regisztrált táblák alapértelmezés szerint az örökölt DBFS-gyökérben tárolják az adatokat. A Databricks azt javasolja, hogy migrálja az összes táblát az örökölt HMS-ből a Unity Catalogba. Tekintse meg az adatbázis-objektumokat az örökölt Hive-metaadattárban.
Az Apache Spark támogatja a Hive-táblák regisztrálását és lekérdezését, de ezek a kodekek nem az Azure Databrickshez vannak optimalizálva. A Databricks azt javasolja, hogy hive-táblákat csak a külső rendszerek által írt adatokkal kapcsolatos lekérdezések támogatásához regisztráljon. Lásd Hive táblázat (régi).
Élő táblák (elavult)
Az élő táblák kifejezés a funkció egy korábbi implementációjára utal, amely materializált nézetként lett implementálva. Az élő táblákra hivatkozó régi kódokat frissíteni kell a materializált nézetek szintaxisának használatához. Lásd Mi az a DLT? és Használjon materializált nézeteket a Databricks SQL-ben.