Jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?

Delta Lake je nezávislý opensourcový projekt v rámci zásad správného řízení Linux Foundation. Databricks zavádí podporu nových funkcí a optimalizací Delta Lake, které vycházejí z Delta Lake ve verzích Databricks Runtime.

Optimalizace Azure Databricks, které využívají funkce Delta Lake, respektují protokoly používané v OSS Delta Lake kvůli kompatibilitě.

Mnoho optimalizací Azure Databricks vyžaduje povolení funkcí Delta Lake v tabulce. Funkce Delta Lake jsou vždy zpětně kompatibilní, takže tabulky napsané nižší verzí Databricks Runtime je možné vždy číst a zapisovat vyšší verzí Databricks Runtime. Povolení některých funkcí narušuje dopřednou kompatibilitu s úlohami spuštěnými v nižší verzi Databricks Runtime. U funkcí, které přeruší kompatibilitu vpřed, musíte aktualizovat všechny úlohy, které odkazují na upgradované tabulky, aby používaly kompatibilní verzi Databricks Runtime.

Jaké funkce Delta Lake vyžadují upgrady Databricks Runtime?

Následující funkce Delta Lake narušují dopřednou kompatibilitu. Funkce jsou povolené u každé jednotlivé tabulky. Tato tabulka uvádí nejnižší verzi databricks Runtime, kterou Azure Databricks stále podporuje.

Viz poznámky k verzím a kompatibilitě Databricks Runtime.

Co je specifikace protokolu tabulky?

Každá tabulka Delta má specifikaci protokolu, která označuje sadu funkcí, které tabulka podporuje. Specifikace protokolu používají aplikace, které čtou nebo zapisují tabulku, k určení, jestli dokážou zpracovat všechny funkce, které tabulka podporuje. Pokud aplikace neví, jak zpracovat funkci, která je uvedena jako podporovaná v protokolu tabulky, pak tato aplikace nemůže tuto tabulku číst ani zapisovat.

Specifikace protokolu je oddělena do dvou součástí: protokol pro čtení a protokol zápisu.

Protokol pro čtení

Protokol pro čtení obsahuje seznam všech funkcí, které tabulka podporuje, a že aplikace musí pochopit, aby mohla tabulku správně číst. Upgrade protokolu čtení tabulky vyžaduje, aby všechny aplikace pro čtení podporovaly přidané funkce.

Zapsat protokol

Protokol zápisu obsahuje seznam všech funkcí, které tabulka podporuje a kterým musí aplikace rozumět, aby do tabulky správně zapisovala. Upgrade protokolu zápisu tabulky vyžaduje, aby všechny aplikace pro zápis podporovaly přidané funkce. Nemá vliv na aplikace jen pro čtení, pokud není upgradován také protokol pro čtení.

Které protokoly je potřeba upgradovat?

Některé funkce vyžadují upgrade protokolu čtení i protokolu zápisu. Jiné funkce vyžadují pouze upgrade protokolu zápisu.

Například podpora CHECK omezení je funkcí protokolu zápisu: pouze zapisovací aplikace potřebují vědět o CHECK omezeních a vynucovat je.

Naproti tomu mapování sloupců vyžaduje upgrade protokolů pro čtení i zápis. Vzhledem k tomu, že data jsou uložená odlišně v tabulce, musí aplikace pro čtení pochopit mapování sloupců, aby mohly data správně číst.

Minimální verze čtečky a zapisovače

Když povolíte funkce Delta v tabulce, protokol tabulky se automaticky upgraduje. Databricks nedoporučuje měnit vlastnosti tabulky minReaderVersion a minWriterVersion. Změna těchto vlastností tabulky nezabrání upgradu protokolu. Nastavení těchto hodnot na nižší hodnotu tabulku neodgraduje. Podívejte se na funkce tabulky Drop Delta .

Co jsou funkce tabulky?

V Databricks Runtime 12.2 LTS a novějších verzích zavádí funkce tabulky Delta Lake podrobné příznaky určující, které funkce jsou podporovány danou tabulkou. V Databricks Runtime 11.3 LTS a níže byly funkce Delta Lake povoleny v balíčcích označovaných jako verze protokolu. Funkce tabulek jsou následníkem verzí protokolu a jsou navrženy s cílem zlepšit flexibilitu pro klienty, kteří čtou a zapisují Delta Lake. Podívejte se na co je verze protokolu.

Funkce tabulky Delta je značka, která označuje, že tabulka podporuje konkrétní funkci. Každá funkce je buď funkcí protokolu zápisu (což znamená, že upgraduje pouze protokol zápisu), nebo funkcí protokolu pro čtení a zápis (což znamená, že se upgraduje jak protokol čtení, tak protokol zápisu).

Další informace o podporovaných funkcích tabulek v Delta Lake najdete v protokolu Delta Lake.

Mění funkce tabulek způsob, jak se povolují funkce Delta Lake?

Pokud pracujete jenom s tabulkami Delta prostřednictvím Azure Databricks, můžete dál sledovat podporu funkcí Delta Lake s využitím minimálních požadavků na Databricks Runtime. Azure Databricks podporuje čtení tabulek Delta, které byly upgradovány na funkce tabulek ve všech verzích LTS modulu Databricks Runtime, pokud jsou v této verzi podporované všechny funkce používané tabulkou.

Pokud čtetete a zapisujete z tabulek Delta pomocí jiných systémů, možná budete muset zvážit, jak funkce tabulek ovlivňují kompatibilitu, protože existuje riziko, že systém nerozuměl upgradovaným verzím protokolu.

Co je verze protokolu?

Verze protokolu je číslo protokolu, které označuje konkrétní seskupení funkcí tabulky. V Databricks Runtime 11.3 LTS a níže nemůžete povolit funkce tabulek jednotlivě. Verze protokolu seskupují sadu funkcí.

Tabulky Delta určují samostatnou verzi protokolu pro čtení a zápis. Transakční protokol pro tabulku Delta obsahuje informace o správě verzí protokolu, které podporují vývoj Delta Lake. Podívejte se na Podrobnosti tabulky Delta Lake s podrobným popisem.

Verze protokolu sbalí všechny funkce z předchozích protokolů. Viz Funkce podle verze protokolu.

Funkce podle verze protokolu

Následující tabulka uvádí minimální verze protokolu vyžadované pro funkce Delta Lake.