Delta Lake-táblaformátum együttműködési képessége
A Microsoft Fabricben a Delta Lake táblaformátum az elemzések szabványa. Delta Lake egy nyílt forráskódú tárolási réteg, amely ACID-tranzakciókat (atomiság, konzisztencia, elkülönítés, tartósság) hoz a big data- és elemzési számítási feladatokhoz.
Minden Fabric-élmény Delta Lake-táblákat hoz létre és használ fel, ami az együttműködési képességet és az egységes termékélményt eredményezi. Az egyik számítási motor, például a Fabric Data Warehouse vagy a Synapse Spark által létrehozott Delta Lake-táblákat bármely más motor, például a Power BI is felhasználhatja. Amikor adatokat ad meg a Fabricbe, a Fabric alapértelmezés szerint Delta-táblákként tárolja őket. A Delta Lake-táblákat tartalmazó külső adatokat egyszerűen integrálhatja OneLake-billentyűparancsokkal.
Delta Lake-funkciók és Fabric-élmények
Az interoperabilitás érdekében az összes Fabric környezet a Delta Lake funkcióihoz és a Fabric képességeihez igazodik. Egyes élmények csak Delta Lake-táblákba írhatnak, míg mások olvashatnak belőle.
- Írók: Adattárházak, eseménystreamek és exportált Power BI szemantikai modellek a OneLake-be
- olvasók: SQL Analytics-végpont és Power BI közvetlen tó szemantikai modellek
- Írók és olvasók: Fabric Spark-futtatókörnyezet, adatfolyamok, adatelőkészítő folyamatok és Kusto Query Language (KQL)-adatbázisok
Az alábbi mátrix a Delta Lake főbb funkcióit és azok támogatását mutatja be az egyes Fabric-képességekhez.
| Szövetkapacitás | Névalapú oszlopleképezések | Törlési vektorok | V-alakú írás | Táblázatoptimalizálás és -karbantartás | Partíciók írása | Partíciók olvasása | Folyékony klaszterezés | TIMESTAMP_NTZ | Delta olvasó/író verzió és alapértelmezett táblázat jellemzők |
|---|---|---|---|---|---|---|---|---|---|
| Adattárház – Delta Lake-exportálás | Nem | Igen | Igen | Igen | Nem | Igen | Nem | Nem | Olvasó: 3 Író: 7 Törlési vektorok |
| SQL Analytics-végpont | Igen | Igen | N/A (nem alkalmazható) | N/A (nem alkalmazható) | N/A (nem alkalmazható) | Igen | Igen | Nem | N/A (nem alkalmazható) |
| Fabric Spark Runtime 1.3 | Igen | Igen | Igen | Igen | Igen | Igen | Igen | Igen | Olvasó: 1 Író: 2 |
| Fabric Spark Runtime 1.2 | Igen | Igen | Igen | Igen | Igen | Igen | Igen, csak olvasható | Igen | Olvasó: 1 Író: 2 |
| Fabric Spark Runtime 1.1 | Igen | Nem | Igen | Igen | Igen | Igen | Igen, csak olvasható | Nem | Olvasó: 1 Író: 2 |
| Adatfolyamok | Igen | Igen | Igen | Nem | Igen | Igen | Igen, csak olvasható módban | Nem | Olvasó: 1 Író: 2 |
| Adatfolyamok | Nem | Nem | Igen | Nem | Igen, csak felülírás | Igen | Igen, csak olvasható | Nem | Olvasó: 1 Író: 2 |
| Power BI közvetlen tó szemantikai modellek | Igen | Igen | N/A (nem alkalmazható) | N/A (nem alkalmazható) | N/A (nem alkalmazható) | Igen | Igen | Nem | N/A (nem alkalmazható) |
| Power BI szemantikai modellek exportálása a OneLake-be | Igen | N/A (nem alkalmazható) | Igen | Nem | Igen | N/A (nem alkalmazható) | Nem | Nem | Olvasó: 2 Író: 5 |
| KQL-adatbázisok | Igen | Igen | Nem | Nincs* | Igen | Igen | Nem | Nem | Olvasó: 1 Író: 1 |
| Eseményadatfolyamok | Nem | Nem | Nem | Nem | Igen | N/A (nem alkalmazható) | Nem | Nem | Olvasó: 1 Író: 2 |
* KQL-adatbázisok bizonyos táblakarbantartási képességeket biztosítanak, például megőrzési. Az adatok a megőrzési időszak végén törlődnek a OneLake-ből. További információ: Egy logikai másolat.
Jegyzet
- A Fabric alapértelmezés szerint nem ír névalapú oszlopleképezéseket. Az alapértelmezett Fabric élmény olyan táblákat hoz létre, amelyek kompatibilisek a szolgáltatásban. A harmadik féltől származó szolgáltatások által létrehozott Delta Lake táblafunkciói összeegyeztethetetlenek lehetnek.
- Egyes Fabric-funkciók nem rendelkeznek örökölt táblázat-optimalizálási és karbantartási képességekkel, például a bin-tömörítéssel, a V-rendezéssel és a régi, nem hivatkozott fájlok eltávolításával. Annak érdekében, hogy a Delta Lake-táblák optimálisak maradjanak az elemzéshez, kövesse a Táblakarbantartási funkcióval kezelheti a Delta-táblákat a Fabric az ilyen szolgáltatásokkal betöltött táblákhoz.
Jelenlegi korlátozások
A Fabric jelenleg nem támogatja ezeket a Delta Lake-funkciókat:
- Delta Lake 3.x Uniform
- Identitásoszlopok írása (saját Databricks-funkció)
- Delta Live Tables (saját Databricks-funkció)
- Az ellenőrzőpont-fájlban már engedélyezve van az RLE (futási hossz kódolása)
Kapcsolódó tartalom
- Mi az a Delta Lake?
- További információ Delta Lake-táblákról, a Fabric Lakehouse-ban és a Synapse Sparkban.
- Tudnivalók a Direct Lake-ről a Power BI-ban és a Microsoft Fabric.
- További információ a táblák lekérdezéséről a Warehouse-ból a közzétett Delta Lake Logskeresztül.