Konfigurace Delta Lake pro řízení velikosti datového souboru

Delta Lake poskytuje možnosti pro ruční nebo automatickou konfiguraci cílové velikosti souboru pro zápisy a operace OPTIMIZE . Azure Databricks automaticky naladí mnoho z těchto nastavení a umožňuje funkce, které automaticky zlepšují výkon tabulky hledáním souborů správné velikosti.

Pokud používáte SQL Warehouse nebo Databricks Runtime 11.3 LTS nebo novější, databricks pro spravované tabulky Unity většinu těchto konfigurací automaticky naladí.

Pokud upgradujete úlohu z Databricks Runtime 10.4 LTS nebo nižší, přečtěte si téma Upgrade na automatické komprese na pozadí.

Kdy spustit OPTIMIZE

Automatické komprimace a optimalizované zápisy zmenšují malé problémy se soubory, ale nejsou úplnou náhradou za OPTIMIZE. Databricks doporučuje zejména pro tabulky větší než 1 TB spouštět OPTIMIZE podle plánu pro další konsolidaci souborů. Azure Databricks automaticky nespouští ZORDER na tabulkách, proto musíte použít OPTIMIZE společně s ZORDER k aktivaci pokročilého přeskakování dat. Podívejte se na vynechávání dat pro Delta Lake.

Co je automatická optimalizace v Azure Databricks?

Termín automatická optimalizace se někdy používá k popisu funkčnosti řízené nastaveními delta.autoOptimize.autoCompact a delta.autoOptimize.optimizeWrite. Tento termín byl vyřazen ve prospěch popisu každého nastavení jednotlivě. Viz Automatické spojování pro Delta Lake v Azure Databricks a Optimalizované zápisy pro Delta Lake v Azure Databricks.

Automatická komprimace pro Delta Lake na Azure Databricks

Automatické komprimace kombinuje malé soubory v rámci oddílů tabulky Delta, aby se automaticky snížily malé problémy se soubory. Automatické komprimace nastane po úspěšném zápisu do tabulky a synchronně se spustí v clusteru, který provedl zápis. Automatické komprimace zkomprimuje pouze soubory, které nebyly dříve komprimovány.

Velikost výstupního souboru můžete řídit nastavením konfigurace Spark. Databricks doporučuje používat automatické ladění na základě úloh nebo velikosti tabulky. Viz Automatické ladění velikosti souboru na základě úloh a Automatické ladění velikosti souboru na základě velikosti tabulky.

Automatické komprimace se aktivuje jenom pro oddíly nebo tabulky, které mají alespoň určitý počet malých souborů. Volitelně můžete změnit minimální počet souborů potřebných k aktivaci automatické komprimace nastavením spark.databricks.delta.autoCompact.minNumFiles.

Automatické komprimování lze povolit na úrovni tabulky nebo sezení pomocí následujících nastavení.

• Vlastnost tabulky: delta.autoOptimize.autoCompact
• Nastavení SparkSession: spark.databricks.delta.autoCompact.enabled

Tato nastavení přijímají následující možnosti:

Optimalizované zápisy pro Delta Lake v Azure Databricks

Optimalizované zápisy zlepšují velikost souboru při zápisu dat a zlepšují následná čtení v tabulce.

Optimalizované zápisy jsou nejúčinnější pro dělené tabulky, protože snižují počet malých souborů zapsaných do každého oddílu. Zápis méně velkých souborů je efektivnější než zápis mnoha malých souborů, ale stále se může zobrazit zvýšení latence zápisu, protože data se před zápisem zahazují.

Následující obrázek ukazuje, jak optimalizované zápisy fungují:

Optimalizované zápisy jsou ve výchozím nastavení povolené pro následující operace v Databricks Runtime 9.1 LTS a vyšší:

• MERGE
• UPDATE s poddotazy
• DELETE s poddotazy

Optimalizované zápisy jsou také povoleny pro CTAS příkazy a INSERT operace při použití SQL Warehouse. Ve službě Databricks Runtime 13.3 LTS a vyšší mají všechny tabulky Delta zaregistrované v Unity Catalog povolené optimalizované zápisy pro příkazy CTAS a operace INSERT u particionovaných tabulek.

Optimalizované zápisy je možné povolit na úrovni tabulky nebo relace pomocí následujících nastavení:

• Nastavení tabulky: delta.autoOptimize.optimizeWrite
• Nastavení SparkSession: spark.databricks.delta.optimizeWrite.enabled

Tato nastavení přijímají následující možnosti:

Nastavení cílové velikosti souboru

Pokud chcete vyladit velikost souborů v tabulce Delta, nastavte vlastnost tabulky delta.targetFileSize na požadovanou velikost. Pokud je tato vlastnost nastavená, všechny operace optimalizace rozložení dat se pokusí vygenerovat soubory se zadanou velikostí. Mezi příklady patří optimalizace nebo Z-řád, automatická komprimacea optimalizované zápisy.

U existujících tabulek můžete nastavit a zrušit nastavení vlastností pomocí příkazu SQL ALTER TABLESET vlastnosti TBL. Tyto vlastnosti můžete také nastavit automaticky při vytváření nových tabulek pomocí konfigurací relace Sparku. Podrobnosti najdete v referenčních informacích o vlastnostech tabulky Delta .

Velikost souboru Autotune na základě pracovní zátěže

Databricks doporučuje nastavit vlastnost tabulky delta.tuneFileSizesForRewrites na hodnotu true pro všechny tabulky, na které cílí mnoho operací MERGE nebo DML, bez ohledu na Databricks Runtime, Unity Catalog nebo jiné optimalizace. Při nastavení na trueje cílová velikost souboru tabulky nastavená na mnohem nižší prahovou hodnotu, která zrychluje operace náročné na zápis.

Pokud není explicitně nastavená, Azure Databricks automaticky zjistí, jestli 9 z posledních 10 předchozích operací v tabulce Delta byly MERGE operace a nastaví tuto vlastnost tabulky na true. Tuto vlastnost musíte explicitně nastavit na false, aby se zabránilo tomuto chování.

U existujících tabulek můžete nastavit a zrušit nastavení vlastností pomocí příkazu SQL ALTER TABLESET vlastnosti TBL. Tyto vlastnosti můžete také nastavit automaticky při vytváření nových tabulek pomocí konfigurací relace Sparku. Podrobnosti najdete v referenčních informacích o vlastnostech tabulky Delta .

Automaticky upravit velikost souboru podle velikosti tabulky

Aby se minimalizovala potřeba ručního ladění, Azure Databricks automaticky naladí velikost souboru tabulek Delta na základě velikosti tabulky. Azure Databricks použije menší velikosti souborů pro menší tabulky a větší velikosti souborů pro větší tabulky, aby se počet souborů v tabulce nezvětšil příliš velký. Azure Databricks automaticky nenastavuje ladění tabulek, které jste naladili s konkrétní cílovou velikostí nebo na základě zátěže s častými přepisy.

Cílová velikost souboru je založená na aktuální velikosti tabulky Delta. U tabulek menších než 2,56 TB je velikost automaticky vyladěného cílového souboru 256 MB. U tabulek s velikostí mezi 2,56 TB a 10 TB se cílová velikost bude lineárně zvětšovat z 256 MB na 1 GB. U tabulek větších než 10 TB je cílová velikost souboru 1 GB.

Při přírůstkovém zápisu tabulky se cílové velikosti souborů a počty souborů v závislosti na velikosti tabulky blíží následujícím číslům. Počty souborů v této tabulce jsou pouze příkladem. Skutečné výsledky se budou lišit v závislosti na mnoha faktorech.

Omezení řádků zapsaných v datovém souboru

V některých případech můžou tabulky s úzkými daty narazit na chybu, kdy počet řádků v daném datovém souboru překračuje limity podpory formátu Parquet. Chcete-li se této chybě vyhnout, můžete pomocí konfigurace relace SQL spark.sql.files.maxRecordsPerFile určit maximální počet záznamů pro zápis do jednoho souboru pro tabulku Delta Lake. Určení hodnoty nuly nebo záporné hodnoty představuje žádný limit.

V Databricks Runtime 11.3 LTS a vyšší můžete také použít možnost DataFrameWriter maxRecordsPerFile při použití rozhraní API datového rámce k zápisu do tabulky Delta Lake. Po specifikaci maxRecordsPerFile se hodnota konfigurace relace SQL spark.sql.files.maxRecordsPerFile ignoruje.

Upgrade na automatickou komprimaci na pozadí

Automatická kompaktace na pozadí je k dispozici pro spravované tabulky Katalogu Unity v Databricks Runtime 11.3 LTS a vyšších. Při migraci starší verze úlohy nebo tabulky postupujte takto:

• Odeberte konfiguraci Sparku spark.databricks.delta.autoCompact.enabled z nastavení konfigurace clusteru nebo konfigurace poznámkového bloku.
• Pro každou tabulku spusťte ALTER TABLE <table_name> UNSET TBLPROPERTIES (delta.autoOptimize.autoCompact), abyste odebrali všechna starší nastavení automatické komprimace.

Po odebrání těchto starších konfigurací byste měli vidět automatické komprimace na pozadí aktivované automaticky pro všechny spravované tabulky Katalogu Unity.