Databricks Runtime 4.1 (EoS)

Databricks vydala tuto verzi v květnu 2018.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 4.1, který využívá Apache Spark.

Delta Lake

Databricks Runtime verze 4.1 přidává do Delta Lake zásadní vylepšení a funkce pro zvýšení kvality. Databricks důrazně doporučuje, aby všichni zákazníci Delta Lake upgradovali na nový modul runtime. Tato verze zůstává ve verzi Private Preview, ale představuje kandidátské vydání v očekávání nadcházející verze obecné dostupnosti (GA).

Delta Lake je teď také k dispozici ve verzi Private Preview pro uživatele Azure Databricks. Obraťte se na svého správce účtů nebo se zaregistrujte na adrese https://databricks.com/product/databricks-delta.

Změny způsobující chyby

• Databricks Runtime 4.1 zahrnuje změny transakčního protokolu, které umožňují nové funkce, jako je například ověření. Tabulky vytvořené pomocí Databricks Runtime 4.1 automaticky používají novou verzi a starší verze Databricks Runtime je nedají zapsat. Abyste mohli tato vylepšení využít, musíte upgradovat existující tabulky. Pokud chcete upgradovat existující tabulku, nejprve před upgradováním upgradujte všechny úlohy, které do tabulky zapisují. Pak spusťte tyto příkazy:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Další informace najdete v tématu Jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?

• Zápisy se teď ověřují oproti aktuálnímu schématu tabulky místo automatického přidávání sloupců, které chybí v cílové tabulce. Chcete-li povolit předchozí chování, nastavte možnost mergeSchema na true.

• Pokud používáte starší verze Databricks Delta, musíte před použitím Databricks Runtime 4.1 upgradovat všechny úlohy. Pokud se zobrazí některé z těchto chyb, upgradujte na Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tabulky už nemůžou obsahovat sloupce, které se liší pouze velikostí písmen.

• Konfigurace tabulek pro Delta nyní musí mít předponu delta.

Nové funkce

• cs-CZ: správa schématu – Databricks Delta nyní ověřuje přidání a přepsání k existující tabulce, aby se zajistilo, že zapisované schéma odpovídá stávajícímu schématu.

  • Databricks Delta nadále podporuje automatický vývoj schémat.
  • Databricks Delta teď podporuje následující DDL k explicitní úpravě schématu:
    • ALTER TABLE ADD COLUMN přidání nových sloupců do tabulky
    • ALTER TABLE CHANGE COLUMNS změnit řazení sloupců
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Podrobnosti najdete v části Prosazování schématu.

• rozšířená podpora DDL a tabulek

  • Úplná podpora pro tabulky DDL a saveAsTable(). save() a saveAsTable() teď mají identickou sémantiku.
  • Všechny příkazy DDL a DML podporují název tabulky i delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Podrobné informace o tabulce – Aktuální verze tabulky pro čtení a zápis můžete zobrazit spuštěním DESCRIBE DETAIL. Viz Jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?.
  • Podrobnosti o tabulce – Informace o provenience jsou nyní k dispozici pro každý zápis do tabulky. Boční panel dat také zobrazuje podrobné informace o tabulce a historii tabulek Databricks Delta. Viz Kontrola podrobností tabulky Delta Lake s popisem podrobností.
  • Streamované tabulky – Streamované datové rámce je možné vytvořit pomocí spark.readStream.format("delta").table("<table-name>").
  • Tabulky jen pro připojení – Databricks Delta teď podporuje základní zásady správného řízení dat. Odstranění a úpravy tabulky můžete blokovat nastavením vlastnosti tabulky delta.appendOnly=true.
  • MERGE INTO zdroj - přidává komplexnější podporu specifikace zdrojového MERGEdotazu . Můžete například zadat LIMITORDER BY a INLINE TABLE ve zdroji.
  • Úplná podpora ACL pro tabulky

Zlepšení výkonu

• Snížení režie při shromažďování statistik – Efektivita kolekce statistik byla vylepšena a statistiky se teď shromažďují jenom pro konfigurovatelný počet sloupců nastavených ve výchozím nastavení na 32. Výkon zápisu Databricks Delta byl vylepšen až o 2x kvůli snížení režijních nákladů na shromažďování statistik. Chcete-li nakonfigurovat počet sloupců, nastavte vlastnost tabulkydelta.dataSkippingNumIndexedCols=<number-of-columns>.
• Podpora pro prosazení limitu – Statistiky se používají k omezení počtu prohledávaných souborů pro dotazy, které mají LIMIT a predikáty v oddílových sloupcích. To platí pro dotazy v poznámkových blocích z důvodu implicitního limit=1000 účinku pro všechny příkazy poznámkového bloku.
• Odsdílení filtru ve zdroji streamování – Dotazy streamování teď při spouštění nového datového proudu používají dělení, aby se přeskočí irelevantní data.
• Vylepšený paralelismus pro OPTIMIZE - OPTIMIZE tuto chvíli běží jako jedna úloha Sparku a bude používat veškerý paralelismus dostupný v clusteru (dříve bylo omezeno na 100 komprimovaných souborů najednou).
• Data se přeskočí v DML – UPDATEDELETE, a MERGE teď se používají statistiky při hledání souborů, které je potřeba přepsat.
• Snížení uchovávání kontrolních bodů – kontrolní body se teď uchovávají po dobu dvou dnů (historie se stále uchovává po dobu 30), aby se snížily náklady na úložiště pro transakční protokol.

Chování rozhraní API

• Chování insertInto(<table-name>) v Databricks Delta je stejné jako u jiných zdrojů dat.
  • Pokud není zadán žádný režim nebo mode je ErrorIfExists, Ignorenebo Append, připojí data v datovém rámci k tabulce Databricks Delta.
  • Pokud je modeOverwrite, odstraní všechna data v existující tabulce a vloží data z datového rámce do tabulky Databricks Delta.
• Pokud je uložena v mezipaměti, musí být cílová tabulka MERGE ručně odstraněna z mezipaměti.

Vylepšení použitelnosti

• Ověření migrace úloh – Běžné chyby při migraci úloh do Databricks Delta teď místo selhání vyvolává výjimku:
  • Použití format("parquet") ke čtení nebo zápisu tabulky.
  • Čtení nebo zápis přímo do oddílu (tj. /path/to/delta/part=1).
  • Čištění podadresářů tabulky.
  • INSERT OVERWRITE DIRECTORY použití Parquet na tabulce.
• Konfigurace nerozlišující malá a velká písmena – Možnosti čtečky/zapisovače DataFrame a vlastnosti tabulky nyní nerozlišují velká a malá písmena (včetně cesty ke čtení i cesty k zápisu).
• Názvy sloupců – Názvy sloupců tabulky teď můžou obsahovat tečky.

Známé problémy

• Vkládání příkazů s více vloženími jsou v různých pracovních jednotkách, a ne ve stejné transakci.

Opravy chyb

• Byla opravena nekonečná smyčka při spuštění nového datového proudu na rychle aktualizující se tabulce.

Zastaralé

Strukturované streamování nezpracuje vstup, který není připojením, a vyvolá výjimku, pokud dojde k nějakým změnám v tabulce, která se používá jako zdroj. Dříve jste toto chování mohli přepsat příznakem ignoreFileDeletion , ale tento příznak je teď zastaralý. Místo toho použijte ignoreDeletes nebo ignoreChanges. Podívejte se na tabulku Delta jako zdroj.

Další změny a vylepšení

• Služba Watchdog pro dotazy je povolená pro všechny clustery pro všechny účely vytvořené pomocí uživatelského rozhraní.
• Vylepšený výkon na straně ovladače pro mezipaměť DBIO
• Vylepšený výkon dekódování Parquet prostřednictvím nového nativního dekodéru Parquet
• Zlepšení výkonu pro běžné odstranění dílčích výrazů
• Vylepšení výkonu přeskakování dat při spojování velkých tabulek s malými tabulkami (spojení tabulek faktů a dimenzí)
• display() teď vykresluje sloupce obsahující datové typy obrázků jako formátovaný formát HTML.
• Vylepšení protokolů, načítání a registrace modelů MLflow
  • Upgrade dbml-local na nejnovější verzi 0.4.1
  • Oprava chyby u modelů exportovaných se zadaným parametrem threshold
  • Přidání podpory pro export OneVsRestModel, GBTClassificationModel
• Upgradovali jste některé nainstalované knihovny Pythonu:
  • pip: od 9.0.1 do 10.0.0b2
  • instalační nástroje: od 38.5.1 do 39.0.1
  • tornado: 4.5.3 až 5.0.1
  • kolo: 0.30.0 až 0.31.0
• Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
• Upgradovali jsme sadu AZURE Data Lake Store SDK z verze 2.0.11 na verzi 2.2.8.
• Upgradovali jsme CUDA na 9.0 z 8.0 a CUDNN na 7.0 z 6.0 pro clustery GPU.

Apache Spark

Databricks Runtime 4.1 zahrnuje Apache Spark 2.3.0. Tato verze zahrnuje všechny opravy a vylepšení zahrnutá v Databricks Runtime 4.0 (EoS) a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-24007][SQL] EqualNullSafe pro FloatType a DoubleType může vygenerovat nesprávný výsledek pomocí codegenu.
• [SPARK-23942][PYTHON][SQL] Shromažďování v PySpark jako akce pro naslouchací proces exekutoru dotazu
• [SPARK-23815][CORE] Režim přepsání dynamického oddílu zapisovače Sparku může selhat při zápisu výstupu do víceúrovňového oddílu.
• [SPARK-23748][SS] Oprava průběžného procesu SS nepodporuje problém s subqueryAlias
• [SPARK-23963][SQL] Správně zpracovat velký počet sloupců v dotazu na textovou tabulku Hive
• [SPARK-23867][SCHEDULER] použití funkce droppedCount v logWarningu
• [SPARK-23816][JÁDRO] Zabité úkoly by měly ignorovat FetchFailures.
• [SPARK-23809][SQL] Aktivní SparkSession by měl být nastaven metodou getOrCreate
• [SPARK-23966][SS] Refaktoring veškeré logiky zápisu souboru kontrolního bodu do společného rozhraní CheckpointFileManager
• [SPARK-21351][SQL] Aktualizace možnosti null na základě výstupu podřízených položek
• [SPARK-23847][PYTHON][SQL] Přidání asc_nulls_first, asc_nulls_last do PySpark
• [SPARK-23822][SQL] Zlepšení chybové zprávy kvůli neshodám schématu Parquet
• [SPARK-23823][SQL] Zachování původu v transformExpressionu
• [SPARK-23838][WEBI] Spuštěný dotaz SQL se na kartě SQL zobrazí jako dokončený.
• [SPARK-23802][SQL] Rozšíření PropagateEmptyRelation může ponechat plán dotazu v nevyřešeném stavu.
• [SPARK-23727][SQL] Podpora pro nabízení filtrů pro DateType v parquet
• [SPARK-23574][SQL] Sestava SinglePartition v DataSourceV2ScanExec, pokud existuje přesně 1 objekt pro čtení dat.
• [SPARK-23533][SS] Přidání podpory pro změnu startOffset třídy ContinuousDataReader
• [SPARK-23491][SS] Odebrat explicitní zrušení úlohy z překonfigurování ContinuousExecution
• [SPARK-23040][JÁDRO] Vrátí přerušitelný iterátor pro čtečku náhodného prohazování.
• [SPARK-23827][SS] StreamingJoinExec by měl zajistit, aby vstupní data byla rozdělena na určitý počet oddílů.
• [SPARK-23639][SQL] Získání tokenu před klientem inicializačního metastoru v rozhraní příkazového řádku SparkSQL
• [SPARK-23806]Broadcast.unpersist může způsobit závažnou výjimku při použití...
• [SPARK-23599][SQL] Použití RandomUUIDGeneratoru ve výrazu Uuid
• [SPARK-23599][SQL] Přidání generátoru UUID z pseudonáhodných čísel
• [SPARK-23759][UŽIVATELSKÉ ROZHRANÍ] Nejde vytvořit vazbu uživatelského rozhraní Sparku na konkrétní název hostitele nebo IP adresu
• [SPARK-23769][CORE] Odeberte komentáře, které zbytečně zakazují kontrolu Scalastyle.
• [SPARK-23614][SQL] Oprava nesprávného opakovaného použití výměny při použití mezipaměti
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs by měl správně uložit nebo obnovit stav csE
• [SPARK-23729][JÁDRO] Respektování fragmentu identifikátoru URI při překladu globů
• [SPARK-23550][JÁDRO] Vyčištění nástrojů
• [SPARK-23288][SS] Oprava výstupních metrik s využitím jímky Parquet
• [SPARK-23264][SQL] Opravte scalu. MatchError in literals.sql.out
• [SPARK-23649][SQL] Vynechání znaků nepovolené v UTF-8
• [SPARK-23691][PYTHON] Pokud je to možné, použijte v testech PySpark sql_conf util.
• [SPARK-23644][JÁDRO][UŽIVATELSKÉ ROZHRANÍ] Použití absolutní cesty pro volání REST v SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) by měl v PySparku vytvořit hodnotu None
• [SPARK-23623][SS] Vyhněte se souběžnému používání příjemců uložených v mezipaměti v CachedKafkaConsumer
• [SPARK-23670][SQL] Oprava nevracení paměti ve SparkPlanGraphWrapperu
• [SPARK-23608][JÁDRO][WEBI] Přidání synchronizace v SHS mezi funkce attachSparkUI a detachSparkUI, aby se zabránilo souběžným problémům s úpravami obslužných rutin Jetty
• [SPARK-23671][JÁDRO] Oprava podmínky pro povolení fondu vláken SHS
• [SPARK-23658][SPOUŠTĚČ] InProcessAppHandle používá nesprávnou třídu v getLoggeru.
• [SPARK-23642][DOCS] Podtřída akumulátoruV2 jezero scaladoc fix
• [SPARK-22915][MLLIB] Testy streamování pro funkci spark.ml., od N do Z
• [SPARK-23598][SQL] Vytváření metod ve veřejné vyrovnávací pamětiRowIterator, aby se zabránilo chybě za běhu pro velký dotaz
• [SPARK-23546][SQL] Refaktoring bezstavových metod/hodnot v CodegenContext
• [SPARK-23523][SQL] Oprava nesprávného výsledku způsobeného pravidlem OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] Zlepšení chybové zprávy chybějícího pole v StructType
• [SPARK-23624][SQL] Revize dokumentace metod pushFilters ve zdroji dat V2
• [SPARK-23173][SQL] Vyhněte se vytváření poškozených souborů Parquet při načítání dat z JSON
• [SPARK-23436][SQL] Odvodit oddíl jako datum pouze pokud jej lze převést na datum.
• [SPARK-23406][SS] Povolení samoobslužných spojení streamů
• [SPARK-23490][SQL] Kontrola identifikátoru storage.locationUri s existující tabulkou v CreateTable
• [SPARK-23524]Velké místní bloky náhodného náhodného prohazování by neměly být kontrolovány poškození.
• [SPARK-23525][SQL] Podpora ALTER TABLE CHANGE COLUMN COMMENT pro externí tabulku Hive
• [SPARK-23434][SQL] Spark by neměl varovat adresář metadat pro cestu k souboru HDFS
• [SPARK-23457][SQL] První registrace naslouchacích procesů dokončení úkolů v ParquetFileFormat
• [SPARK-23329][SQL] Oprava dokumentace k trigonometrickým funkcím
• [SPARK-23569][PYTHON] Povolit pandas_udf pracovat s funkcemi typu a poznámkami ve stylu Python3
• [SPARK-23570][SQL] Přidání Sparku 2.3.0 v HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Nastavte _pyspark.util. exception_message vytvořit trasování z Javy vedle Py4JJavaError
• [SPARK-23508][JÁDRO] Oprava BlockmanagerId v případě, že blockManagerIdCache způsobuje oom
• [SPARK-23448][SQL] Objasnění chování analyzátoru JSON a CSV v dokumentu
• [SPARK-23365][JÁDRO] Při zabíjení nečinných exekutorů neupravujte num exekutory.
• [SPARK-23438][DSTREAMS] Oprava ztráty dat DStreams s WAL při chybovém ukončení ovladače
• [SPARK-23475][UŽIVATELSKÉ ROZHRANÍ] Zobrazit také přeskočené fáze
• [SPARK-23518][SQL] Vyhněte se přístupu k metastoru, když uživatelé chtějí jen číst a zapisovat datové rámce.
• [SPARK-23406][SS] Povolení samoobslužných spojení streamů
• [SPARK-23541][SS] Povolit zdroji Kafka čtení dat s větším paralelismu než počet oddílů článku
• [SPARK-23097][SQL][SS] Migrace zdroje textových soketů do V2
• [SPARK-23362][SS] Migrace zdroje Microbatch Kafka na verzi 2
• [SPARK-23445]Refaktoring ColumnStat
• [SPARK-23092][SQL] Migrace MemoryStream do rozhraní API DataSourceV2
• [SPARK-23447][SQL] Šablona cleanup codegen pro literál
• [SPARK-23366]Zlepšení cesty čtení za chodu v ReadAheadInputStream
• [SPARK-22624][PYSPARK] Zveřejnění náhodného prohazování oddílů rozsahu

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 4.1.

Prostředí systému

• Operační systém: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3.
• R: R verze 3.4.4 (2018-03-15)
• Clustery GPU: Nainstalují se následující knihovny NVIDIA GPU:
  • Ovladač Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)