Databricks Runtime 10.1 (EoS)

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.1 a Databricks Runtime 10.1 Photon s využitím Apache Sparku 3.2.0. Databricks vydala tuto verzi v listopadu 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

• Nastavení nové tabulky Delta pro komprimace malých souborů
• Metriky nové skupiny řádků pro prohledávání dotazů Parquet
• Trigger.AvailableNow pro dotazy na streamování zdroje Delta
• Trigger.AvailableNow pro automatický zavaděč
• Podpora delta pro konfigurace systému souborů Hadoop, které se předávají prostřednictvím možností datového rámce
• Asynchronní vytváření kontrolních bodů stavu se teď podporuje v stavových úlohách streamování (Public Preview)
• Sparklyr s předáváním přihlašovacích údajů
• Data nástrojů Databricks shrnují ovládací prvek přesnosti (Public Preview)
• Poznámkové bloky Azure Databricks je teď možné použít s jádrem IPython.
• Nové funkce ve Spark SQL

Nové nastavení tabulky Delta pro komprimace malých souborů

Vlastnost tabulky Delta delta.autoOptimize.autoCompact nyní přijímá nové hodnoty auto a legacy kromě existujících hodnot true a false. Pokud je nastavená hodnota auto (doporučeno), automatické komprimace používá lepší výchozí hodnoty, například nastavení 32 MB jako cílovou velikost souboru (i když se v budoucnu můžou změnit výchozí chování). Při nastavení na legacy nebo trueautomatická komprimace používá 128 MB jako cílovou velikost souboru.

Místo nastavení této vlastnosti pro jednotlivé tabulky můžete nastavit konfiguraci spark.databricks.delta.autoCompact.enabled na auto, legacynebo true a povolit tak automatické komprimace pro všechny tabulky Delta. Tato konfigurace má přednost před vlastností související tabulky během aktuální relace.

Cílovou velikost souboru pro automatické komprimace lze řídit pomocí spark.databricks.delta.autoCompact.maxFileSize konfigurace.

Další informace o automatickém komprimování najdete v tématu Automatické komprimace pro Delta Lake v Azure Databricks.

Metriky nové skupiny řádků pro prohledávání dotazů Parquet

Dotazy s kontrolou Parquet teď v uživatelském rozhraní Sparku naskenují metriky skupiny řádků. Mezi tyto metriky skupin řádků patří:

• celkový počet skupin řádků parquet
• Počet přečtených skupin řádků parquet

Trigger.AvailableNow pro dotazy na streamování zdroje Delta

Tato změna podporuje nový typ triggeru pro dotazy na streamování zdroje Delta v jazyce Scala: Trigger.AvailableNow. Je to jako Trigger.Once, který zpracovává všechna dostupná data pak zastaví dotaz. Poskytuje Trigger.AvailableNow ale lepší škálovatelnost, protože data je možné zpracovávat v několika dávkách, nikoli v jedné. Tato změna nezavádí nové rozhraní; implementuje existující rozhraní Spark API. Tento trigger také podporuje všechny možnosti omezování rychlosti, které už Delta podporuje jako zdroj.

Příklad:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Podívejte se na pokrytí v části Trigger.AvailableNowCo je automatický zavaděč?.

Trigger.AvailableNow pro automatický zavaděč

Trigger.AvailableNow je nový režim triggeru streamování podobný Trigger.Once. Trigger.Once zpracuje všechna dostupná data a pak dotaz zastaví. Trigger.AvailableNow má lepší škálovatelnost, protože data je možné zpracovávat v několika dávkách, nikoli v jedné. Automatický zavaděč teď podporuje Trigger.AvailableNow režimy výpisu adresáře i oznámení o souborech pro Scala. Podívejte se na pokrytí v části Trigger.AvailableNowCo je automatický zavaděč?.

Podpora delta pro konfigurace systému souborů Hadoop, které se předávají prostřednictvím možností datového rámce

Podobně jako Parquet nyní Delta podporuje čtení konfigurací souborového systému Hadoop pomocí možností DataFrameReader a DataFrameWriter při čtení nebo zápisu tabulky, za použití DataFrameReader.load(path) nebo DataFrameWriter.save(path). Viz Konfigurace přihlašovacích údajů k úložišti Delta.

Asynchronní vytváření kontrolních bodů stavu se teď podporuje v stavových úlohách streamování (Public Preview)

Asynchronní vytváření kontrolních bodů stavu je nová funkce, která potenciálně snižuje latenci mikrobatchu v stavových úlohách streamování s velkými aktualizacemi stavu. Viz Asynchronní vytváření kontrolních bodů stavu pro stavové dotazy.

Sparklyr s předáváním přihlašovacích údajů

Pomocí rozhraní API sparklyr teď můžete číst a zapisovat data do a z cloudového úložiště pomocí předávání přihlašovacích údajů. Tato funkce je omezená na standardní clustery s přístupem jednoho uživatele. Viz Přístup ke službě Azure Data Lake Storage pomocí předávání přihlašovacích údajů Microsoft Entra ID (starší verze).

Data nástrojů Databricks shrnují ovládací prvek přesnosti (Public Preview)

Nový precise parametr pro dbutils.data.summarize řízení přesnosti souhrnných výsledků. Pokud je precise nastavená na false (výchozí), vrátí souhrn přibližné výsledky pro počet jedinečných položek, percentil a časté počty položek. Je-li precise nastavena na true, souhrny se nyní počítají s přesným počtem jedinečných položek a častými počty položek, s přesnějšími odhady percentilu. Viz příkaz summarize (dbutils.data.summarize).

Poznámkové bloky Azure Databricks je teď možné použít s jádrem IPython.

Teď můžete nakonfigurovat cluster Azure Databricks tak, aby ke spouštění kódu Pythonu používal jádro IPython. Použití jádra IPython v Azure Databricks přidává podporu pro nástroje IPython pro zobrazení a výstup. Jádro IPython také zachycuje výstupy stdout a stderr podřízených procesů vytvořených poznámkovým blokem, což umožňuje zahrnout tento výstup do výsledků příkazů poznámkového bloku.

Další informace najdete v tématu Jádro IPython.

Nové funkce ve Spark SQL

Byly přidány následující objekty a příkazy pro práci s daty v Unity Catalog (Preview):

• Externí umístění
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTER LOCATION
• CREATE CATALOG
• VYTVOŘIT UMÍSTĚNÍ
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• POPIŠTE UMÍSTĚNÍ
• DROP CATALOG
• DROP CREDENTIAL
• UMÍSTĚNÍ PŘETAŽENÍ
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• ZOBRAZIT UMÍSTĚNÍ
• USE CATALOG

ProDelta Sharing (Preview) byly přidány následující příkazy, které umožňují sdílet data jen pro čtení s příjemci mimo vaši organizaci:

• Sdílení
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT SDÍLET
• REVOKE SDÍLET
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Opravy chyb

• Opravili jsme stav časování, který mohl způsobit selhání dotazu, IOException například No FileSystem for scheme nebo to mohlo způsobit, že se změny sparkContext.hadoopConfiguration neprojeví v dotazech.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock od 3.0.12 do 3.3.1
  • koalas od 1.8.1 do 1.8.2
  • vykreslit od 5.1.0 do 5.3.0
• Upgradované knihovny jazyka R:
  • bslib od 0.3.0 do 0.3.1
  • stříšku od 6.0-88 do 6.0-90
  • cpp11 od 0.3.1 do 0.4.0
  • data.table od 1.14.0 do 1.14.2
  • desc od 1.3.0 do 1.4.0
  • rozdílobj od 0.3.4 do 0.3.5
  • digest od 0.6.27 do 0.6.28
  • generics from 0.1.0 to 0.1.1
  • hms od 1.1.0 do 1.1.1
  • pletení od 1.34 do 1.36
  • lattice od 0.20-44 do 0.20-45
  • životní cyklus od 1.0.0 do 1.0.1
  • lubridate od 1.7.10 do 1.8.0
  • mgcv od 1,8-37 do 1,8-38
  • mime od 0.11 do 0.12
  • pkgload od 1.2.2 do 1.2.3
  • progressr from 0.8.0 to 0.9.0
  • rcmdcheck od 1.3.3 do 1.4.0
  • readr od 2.0.1 do 2.0.2
  • recepty od 0.1.16 do 0.1.17
  • vzdáleně od 2.4.0 do 2.4.1
  • rlang od 0.4.11 do 0.4.12
  • rvest od 1.0.1 do 1.0.2
  • lesklý od 1.6.0 do 1.7.1
  • stringi od 1.7.4 do 1.7.5
  • test ze 3.0.4 do 3.1.0
  • tidyr od 1.1.3 do 1.1.4
  • tinytex od 0,33 do 0,34
  • usethis from 2.0.1 to 2.1.2
  • xfun od 0.26 do 0.27
• Upgradované knihovny Java:
  • com.zaxxer.HikariCP od 3.1.0 do 4.0.3

Apache Spark

Databricks Runtime 10.1 zahrnuje Apache Spark 3.2.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 10.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-37037] [SQL] Zlepšení řazení bajtů podle unify compareTo funkce UTF8String a ByteArray
• [SPARK-37091] [R] SystemRequirements to include Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: Podpora SSL (Secure-Socket-Layer) pro HMS
• [SPARK-37098] [SQL] Změna vlastností tabulky by měla zneplatnit mezipaměť.
• [SPARK-36992] [SQL] Zlepšení výkonu řazení bajtů pomocí unify getPrefix funkce UTF8String a ByteArray
• [SPARK-37047] [SQL] Přidání funkcí lpad a rpad pro binární řetězce
• [SPARK-37076] [SQL] Implementace StructType.toString explicitně pro Scala 2.13
• [SPARK-37075] [SQL] Přesun sestavení výrazu UDAF z sql/catalyst do sql/core
• [SPARK-37084] [SQL] Nastavení spark.sql.files.openCostInBytes na bytesConf
• [SPARK-37088] [PYSPARK][SQL] Vlákno zápisu nesmí získat přístup ke vstupu po vrácení naslouchacího procesu dokončení úkolu
• [SPARK-37069] [SQL] Správně náhradní, pokud hive.getWithoutRegisterFns není k dispozici
• [SPARK-37050] [PYTHON] Aktualizace pokynů k instalaci Conda
• [SPARK-37067] [SQL] Použití ZoneId.of() ke zpracování řetězce časového pásma v DatetimeUtils
• [SPARK-35925] [SQL] Podpora DayTimeIntervalType ve funkci width-bucket
• [SPARK-35926] [SQL] Přidání podpory YearMonthIntervalType pro width_bucket
• [SPARK-35973] [SQL] Příkaz Přidat SHOW CATALOGS
• [SPARK-36922] [SQL] Funkce SIGN/SIGNUM by měly podporovat intervaly ANSI.
• [SPARK-37078] [JÁDRO] Podpora starých konstruktorů jímky se 3 parametry
• [SPARK-37061] [SQL] Oprava vlastních metrik při použití vnitřních tříd
• [SPARK-35918] [AVRO] Sjednocení zpracování neshod schématu pro čtení a zápis a vylepšení chybových zpráv
• [SPARK-36871] [SQL]Migrace příkazu CreateViewStatement do v2
• [SPARK-36898] [SQL] Udělat faktor náhodného spojení hash konfigurovatelným
• [SPARK-36921] [SQL] Podpora intervalů ANSI podle DIV
• [SPARK-36794] [SQL] Ignorujte duplicitní klíče spojení při sestavování relace pro SEMI/ANTI shuffled hash join.
• [SPARK-36867] [SQL] Oprava chybové zprávy s aliasem GROUP BY
• [SPARK-36914] [SQL] Implementace dropIndex a listIndexes v JDBC (dialekt MySQL)
• [SPARK-35531] [SQL] Při volání getPartitions přímo předejte tabulku Hive do HiveClient, aby se předešlo zbytečnému převodu z HiveTable –> CatalogTable – –> HiveTable
• [SPARK-36718] [SQL] Sbalit projekty pouze v případě, že nezdvojíme nákladné výrazy.
• [SPARK-37046] [SQL]: Změna zobrazení nezachová velikost písmen ve sloupcích
• [SPARK-36978] [SQL] Pravidlo Odvození omezení by mělo vytvořit omezení IsNotNull v přístupovém vnořeném poli místo kořenového vnořeného typu.
• [SPARK-37052] [JÁDRO] Spark by měl předat do hlavní třídy pouze příkazový argument, pokud je prostředí SQL Shell.
• [SPARK-37017] [SQL] Snižte rozsah synchronizovaných, aby se zabránilo možnému vzájemnému zablokování.
• [SPARK-37032] [SQL] Oprava nefunkčního odkazu na syntaxi SQL na stránce s referenčními informacemi SQL
• [SPARK-36905] [SQL] Oprava čtení zobrazení Hive bez explicitních názvů sloupců
• [SPARK-36678] Migrovat SHOW TABLES k použití příkazu V2 ve výchozím nastavení
• [SPARK-36943] [SQL] Zlepšení čitelnosti chybějící chybové zprávy sloupce
• [SPARK-36980] [SQL] Vložení podpůrného dotazu pomocí CTE
• [SPARK-37001] [SQL] Zákaz dvou úrovní mapování pro konečnou agregaci hash ve výchozím nastavení
• [SPARK-36970] [SQL] Ruční zakázaný formát B funkce pro zajištění kompatibility date_format Javy 17 s Javou 8
• [SPARK-36546] [SQL] Přidání podpory pole do sjednocení podle názvu
• [SPARK-36979] [SQL] Přidání pravidla RewriteLateralSubquery do nonExcludableRules
• [SPARK-36949] [SQL] Zakázat tabulky zprostředkovatele Hive s intervaly ANSI
• [SPARK-36849] [SQL] Migrace rozhraní příkazového řádku UseStatement do v2
• [SPARK-36868] [SQL] Migrace CreateFunctionStatement do příkazového rozhraní v2
• [SPARK-36841] [SQL] Přidat set catalog xxx syntaxe ANSI pro změnu aktuálního katalogu
• [SPARK-36821] [SQL] Make class ColumnarBatch extendable - addendum
• [SPARK-36963] [SQL] Přidání max_by/min_by do sql.functions
• [SPARK-36913] [SQL] Implementace createIndex a IndexExists v DS V2 JDBC (dialekt MySQL)
• [SPARK-36848] [SQL] Migrace Architektury příkazů ShowCurrentNamespaceStatement do architektury příkazů v2
• [SPARK-36526] [SQL] Podpora indexu DSV2: Přidání rozhraní supportsIndex
• [SPARK-36960] [SQL] Přesouvání filtrů s ANSI časovými intervaly do ORC
• [SPARK-36929] [SQL] Odebrat nepoužívanou metodu RemoveSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat ORC
• [SPARK-34980] [SQL] Podpora sjednocení oddílů prostřednictvím sjednocení v AQE
• [SPARK-36809] [SQL] Odebrání broadcastování pro InSubqueryExec použité v DPP
• [SPARK-36813] [SQL][PYTHON] Navrhnout infrastrukturu pro spojování as-of a implementaci ps.merge_asof
• [SPARK-36918] [SQL] Ignorovat typy při porovnávání struktur pro unionByName
• [SPARK-36891] [SQL] Refaktoring SpecificParquetRecordReaderBase a přidání dalšího pokrytí vektorizované dekódování Parquet
• [SPARK-36920] [SQL] Podpora intervalů ANSI podle ABS()
• [SPARK-36888] [SQL] Přidání testovacích případů pro funkci sha2
• [SPARK-36889] [SQL] Respekt spark.sql.parquet.filterPushdown podle v2 parquet scan builder
• [SPARK-36830] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat JSON
• [SPARK-36870] [SQL] Představení třídy chyb INTERNAL_ERROR
• [SPARK-36831] [SQL] Podpora čtení a zápisu intervalů ANSI z/do zdrojů dat CSV
• [SPARK-36550] [SQL] Příčina šíření v případě selhání odrazu UDF
• [SPARK-36866] [SQL] Prosazení filtrů s intervalovými hodnotami ANSI do formátu Parquet
• [SPARK-33832] [SQL] Vynutit zjednodušení a vylepšení kódu nerovnoměrné distribuce
• [SPARK-36642] [SQL] Přidání rozhraní df.withMetadata pyspark API
• [SPARK-35765] [SQL] Odlišné agregace nejsou duplicitní.
• [SPARK-36825] [SQL] Datové rámce pro čtení a zápis s intervaly ANSI z/do souborů parquet
• [SPARK-36829] [SQL] Refaktoring kontroly NULL pro collectionOperátory
• [SPARK-32712] [SQL] Podpora zápisu kbelíkové tabulky Hive (formáty souborů Hive s hashováním Hive)
• [SPARK-36797] [SQL] Sjednocení by mělo vyřešit vnořené sloupce jako sloupce v nejvyšší úrovni.
• [SPARK-36838] [SQL] Vylepšení výkonu vygenerovaného kódu vygenerované v sadě InSet
• [SPARK-36683] [SQL] Přidání nových integrovaných funkcí SQL: SEC a CSC
• [SPARK-36721] [SQL] Zjednodušení logických rovná se, pokud je jedna strana literálová
• [SPARK-36760] [SQL] Přidání rozhraní SupportsPushDownV2Filters
• [SPARK-36652] [SQL] Výběr dynamického spojení AQE by se neměl uplatnit na nerovnostní spojení
• [SPARK-36745] [SQL] ExtractEquiJoinKeys by měl vrátit původní predikáty na spojovací klíče
• [SPARK-36107] [SQL] Refaktoring první sady 20 chyb při provádění dotazů pro využití tříd chyb
• [SPARK-32709] [SQL] Podpora zápisu tabulky s kontejnery Hive (formát Parquet/ORC s hodnotou hash Hive)
• [SPARK-36735] [SQL] Úprava režie vztahu mezipamětí pro DPP
• [SPARK-33832] [SQL] Podpora optimalizace nerovnoměrného spojení i v případě, že zavádí nadbytečné prohozy
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec by měl místo podmínky bez koňovitých použít všechny podmínky.
• [SPARK-35221] [SQL] Přidejte kontrolu podporovaných tipů pro připojení.
• [SPARK-36814] [SQL] Make class ColumnarBatch extendable
• [SPARK-36663] [SQL] Podpora názvů sloupců jen pro čísla ve zdrojích dat ORC
• [SPARK-36751] [SQL][PYTHON][R] Přidání bitových/octet_length rozhraní API do Scala, Pythonu a R
• [SPARK-36733] [SQL] Oprava problému s výkonem ve SchématuPruning, pokud má struktura mnoho polí
• [SPARK-36724] [SQL] Podpora timestamp_ntz jako typ časového sloupce pro SessionWindow
• [SPARK-36556] [SQL] Přidání filtrů DSV2
• [SPARK-36687] [SQL][JÁDRO] Přejmenování tříd chyb s příponou _ERROR
• [SPARK-35803] [SQL] Podpora DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Přidání df.withMetadata: syntaxe suger pro aktualizaci metadat datového rámce

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.1.

Prostředí systému

• Operační systém: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-10-26.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)