Lakehouse és Delta Lake táblák
A Microsoft Fabric Lakehouse egy adatarchitektúra-platform a strukturált és strukturálatlan adatok egyetlen helyen történő tárolására, kezelésére és elemzésére. A Microsoft Fabric összes számítási motorjának zökkenőmentes adathozzáférése érdekében a Delta Lake lesz az egységes táblaformátum.
Az adatok Delta formátumban történő mentése a Lakehouse-ban olyan funkciók használatával történik, mint a Betöltés táblákba, vagy a Opciók a Fabric Lakehouse-ba történő adatbejutáshoz-ban ismertetett módszerek.
A Delta Lake táblázatformátumának átfogóbb bemutatásához kövesse a Következő lépések szakaszban található hivatkozásokat.
Big data, Apache Spark és régebbi táblaformátumok
Az Apache Sparkhoz készült Microsoft Fabric Runtime ugyanazzal az alapokkal rendelkezik, mint az Apache Sparkhoz készült Azure Synapse Analytics-futtatókörnyezet, de fontos különbségeket tartalmaz a Microsoft Fabric szolgáltatás összes motorjának egyszerűbb működése érdekében. A Microsoft Fabricben a fő teljesítményfunkciók alapértelmezés szerint be vannak kapcsolva. A speciális Apache Spark-felhasználók visszaállíthatják a konfigurációkat a korábbi értékekre, hogy jobban igazodjanak az adott forgatókönyvekhez.
A Microsoft Fabric Lakehouse és az Apache Spark motor minden táblatípust támogat, mind felügyelt, mind nem felügyelt; ez magában foglalja a nézeteket és a hagyományos nem Delta Hive táblázatformátumokat. A PARQUET, CSV, AVRO, JSON és bármely Apache Hive-kompatibilis fájlformátum használatával definiált táblák a várt módon működnek.
A Lakehouse Explorer felhasználói felülete a tábla típusától függően változik. A Lakehouse Explorer jelenleg csak táblaobjektumokat jelenít meg.
Konfigurációs különbségek az Azure Synapse Analyticsszel
Az alábbi táblázat az Azure Synapse Analytics és az Apache SparkHoz készült Microsoft Fabric Runtime közötti konfigurációs különbségeket tartalmazza.
Apache Spark-konfiguráció | Microsoft Fabric-érték | Azure Synapse Analytics értéke | Jegyzetek |
---|---|---|---|
spark.sql.sources.default | delta | parketta | Alapértelmezett táblázatformátum |
spark.sql.parquet.vorder.default | igaz | n/a | V-Order író |
spark.sql.parquet.vorder.dictionaryPageSize | 2 GB | n/a | Szótár oldalméretkorlátja a V-Orderhez |
spark.databricks.delta.optimizeWrite.enabled | igaz | unset (false) | Írás optimalizálása |
Táblák automatikus felderítése
A Lakehouse Explorer a Microsoft Fabric Lakehouse elem objektumainak faszerű nézetét biztosítja. Kulcsfontosságú képességgel rendelkezik a metaadattárban és a OneLake Storage-ban leírt táblák felderítésére és megjelenítésére. A táblahivatkozások a Tables
Lakehouse explorer felhasználói felületének részében jelennek meg. Az automatikus felderítés a OneLake-billentyűparancsokon definiált táblákra is vonatkozik.
Táblázatok billentyűparancsok felett
A Microsoft Fabric Lakehouse támogatja a OneLake parancsikonokon definiált táblákat, hogy a lehető legnagyobb kompatibilitást biztosítsa, és elkerülje az adatmozgást. Az alábbi táblázat az egyes elemtípusokra vonatkozó ajánlott forgatókönyveket tartalmazza a parancsikonok használata során.
Parancsikon célhelye | Hol hozzunk létre parancsikont | Ajánlott eljárások |
---|---|---|
Delta Lake-tábla |
Tables szakasz |
Ha több tábla is található a célhelyen, hozzon létre táblázatonként egy parancsikont. |
Mappák fájlokkal |
Files szakasz |
Az Apache Spark használatával közvetlenül a célhelyet használhatja relatív elérési utak használatával. Töltse be az adatokat a Lakehouse natív Delta-tábláiba a maximális teljesítmény érdekében. |
Örökölt Apache Hive-táblák |
Files szakasz |
Az Apache Spark használatával közvetlenül a célhelyet használhatja relatív elérési utak használatával, vagy metaadatkatalógus-referenciát hozhat létre szintaxis használatával CREATE EXTERNAL TABLE . Töltse be az adatokat a Lakehouse natív Delta-tábláiba a maximális teljesítmény érdekében. |
Betöltés táblákba
A Microsoft Fabric Lakehouse kényelmes és hatékony felhasználói felületet biztosít az adatok Delta-táblákba való betöltésének leegyszerűsítéséhez. A Betöltés a táblázatokba funkció lehetővé teszi, hogy a vizuális élmények betöltsék a gyakori fájlformátumokat Delta formátumba az elemzési hatékonyság növelése érdekében az összes személy számára. Ha részletesebben szeretne többet megtudni a Táblák betöltése funkcióról, olvassa el a Lakehouse Load to Tables referenciadokumentációját.
Delta Lake-táblaoptimalizálás
A táblázatok alakzatban tartása az elemzési forgatókönyvek széles köréhez nem kis bravúr. A Microsoft Fabric Lakehouse aktívan lehetővé teszi, hogy a fontos paraméterek minimalizálják a big data-táblákkal kapcsolatos gyakori problémákat, például a tömörítést és a kis fájlméreteket, és maximalizálják a lekérdezési teljesítményt. Ennek ellenére számos olyan forgatókönyv van, ahol ezeknek a paramétereknek módosításra van szükségük. A Delta Lake-táblaoptimalizálásról és a V-Orderről szóló cikk néhány kulcsfontosságú forgatókönyvet tartalmaz, és részletes útmutatót nyújt a Delta-táblák maximális teljesítményhez való hatékony fenntartásához.