Databricks Runtime 10.2 (EoS)

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.2 a Databricks Runtime 10.2 Photon s využitím Apache Sparku 3.2.0. Databricks vydala tuto verzi v prosinci 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

• Použití souborů v reposech se streamováním Sparku
• Databricks Utility přidává příkaz pro aktualizaci připojení
• Delta Lake podporuje přejmenování sloupců (Public Preview)
• Historie tabulek Delta Lake přidává informace o verzi Databricks Runtime
• Nástroje Databricks přidávají informace o čase poslední úpravy, když jsou uvedeny adresáře
• Spark SQL přidá approx_top_k funkci, která vrátí nejvyšší položky a jejich počty.
• Trigger.AvailableNow je teď k dispozici v Pythonu a také v jazyce Scala
• Automatický Zavaděč nyní podporuje vývoj schématu pro Avro (Public Preview)

Použití souborů v reposech se streamováním Sparku

K souborům v repos teď můžete přistupovat ze streamování Sparku.

Nástroje Databricks přidávají příkaz update mount

Nový dbutils.fs.updateMount příkaz je podobný dbutils.fs.mount, ale tento nový příkaz aktualizuje existující přípojný bod místo vytvoření nového. Viz příkaz updateMount (dbutils.fs.updateMount).

Delta Lake podporuje přejmenování sloupců (Public Preview)

Delta Lake teď podporuje přejmenování sloupců. Pokud chcete přejmenovat sloupec tabulky Delta, musíte upgradovat verzi tabulky Delta a pak nastavit režim mapování sloupců na mapování názvů. Viz Přejmenování a vyřazení sloupců s mapováním sloupců Delta Lake.

Historie tabulek Delta Lake obsahuje informace o verzi Databricks Runtime.

Při zápisu do tabulky Delta se zaznamenávají také informace o verzi Databricks Runtime, která zápis provedla. Informace o verzi získáte spuštěním příkazu DESCRIBE HISTORY v tabulce a následným zobrazením sloupce engineInfo ve výstupu. Viz DESCRIBE HISTORY a Práce s historií tabulek Delta Lake.

Nástroje Databricks přidávají informace o čase poslední úpravy, když jsou uvedeny adresáře

Příkaz dbutils.fs.ls pro výpis obsahu adresáře teď vypíše modificationTime pole. Toto pole obsahuje nejnovější čas úprav pro každý uvedený soubor nebo adresář. Viz příkaz ls (dbutils.fs.ls).

Spark SQL přidá approx_top_k funkci, která vrátí nejvyšší položky a jejich počty.

Nová funkce approx_top_k vrací nejčastěji se vyskytující hodnoty položek spolu s jejich přibližnými počty pro zadaný výraz. Mezi některé příklady patří:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Výsledkem spuštění některého příkladu je:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Viz approx_top_k agregační funkce.

Trigger.AvailableNow je teď k dispozici v Pythonu a také v jazyce Scala

Tato změna podporuje dotazy Trigger.AvailableNow na streamování zdroje Delta v Pythonu i Scala. Databricks Runtime 10.1 zavedl podporu tohoto triggeru v jazyce Scala. Databricks Runtime 10.2 teď podporuje i tento trigger v Pythonu. Podívejte se na pokrytí v části Trigger.AvailableNowCo je automatický zavaděč?.

Auto Loader teď podporuje vývoj schématu pro Avro (Public Preview)

Viz Konfigurace odvození schématu a vývoje v Auto Loaderu.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock from 3.3.1 to 3.4.0
  • vykreslovat od 5.3.0 do 5.3.1
• Upgradované knihovny jazyka R:
  • základ od 4.1.1 do 4.1.2
  • kompilátor z verze 4.1.1 do 4.1.2
  • datové sady od 4.1.1 do 4.1.2
  • grafika od 4.1.1 do 4.1.2
  • grDevices od 4.1.1 do 4.1.2
  • mřížka od 4.1.1 do 4.1.2
  • metody od 4.1.1 do 4.1.2
  • paralelní od 4.1.1 do 4.1.2
  • Rserve od 1.8-8 do 1.8-10
  • splines from 4.1.1 to 4.1.2
  • Statistiky od 4.1.1 do 4.1.2
  • Statistiky 4 od 4.1.1 do 4.1.2
  • tcltk od 4.1.1 do 4.1.2
  • nástroje od 4.1.1 do 4.1.2
  • nástroje od 4.1.1 do 4.1.2
  • backporty od 1.2.1 do 1.4.0
  • koště od 0.7.9 do 0.7.10
  • cli from 3.0.1 to 3.1.0
  • cpp11 od 0.4.0 do 0.4.1
  • crayon od 1.4.1 do 1.4.2
  • přihlašovací údaje od 1.3.1 do 1.3.2
  • budoucí od 1.22.1 do 1.23.0
  • gert od 1.4.1 do 1.4.3
  • glmnet od 4.1-2 do 4.1-3
  • připevnění z 1.4.2 na 1.5.0
  • memoise od 2.0.0 do 2.0.1
  • paralelně od 1.28.1 do 1.29.0
  • readr od 2.0.2 do 2.1.0
  • sessioninfo od 1.1.1 do 1.2.1
  • stringi od 1.7.5 do 1.7.6
  • tibble od 3.1.5 do 3.1.6
  • tinytex od 0,34 do 0,35
  • tzdb od 0.1.2 do 0.2.0
  • usethis from 2.1.2 to 2.1.3
  • uuid od 0.1-4 do 1.0-3
  • vroom od 1.5.5 do 1.5.6
  • xfun od 0.27 do 0.28
• Upgradované knihovny Java:
  • com.fasterxml.jackson od 2.12.2 do 2.12.3
  • io.airlift.aircompressor od 0.19 do 0.21
  • io.netty.netty-all od 4.1.63.Final do 4.1.68.Final
  • joda-time.joda-time od 2.10.5 do 2.10.10
  • org.apache.commons.commons-compress from 1.20 to 1.21
  • org.apache.orc od 1.6.10 do 1.6.12
  • org.eclipse.jetty od 9.4.40.v20210413 do 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 od 1.0 do 1.2
  • org.scalanlp.breeze_2.12 od 1.0 do 1.2
  • org.org.typelevel.algebra_2.12 od 2.0.0 do 2.0.1
  • org.typelevel.cats-kernel_2.12 od 2.0.0 do 2.0.1

Apache Spark

Databricks Runtime 10.2 zahrnuje Apache Spark 3.2.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 10.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-37447] [SQL] Výsledkem cache LogicalPlan.isStreaming() je opožděná hodnota
• [SPARK-37468] [SQL] Podpora intervalů ANSI a timestampNTZ pro UnionEstimation
• [SPARK-37464] [SQL] SCHEMA a DATABASE by měly být jednoduše aliasy NAMESPACE
• [SPARK-37452] [SQL] Znak a Varchar přeruší zpětnou kompatibilitu mezi verzemi 3.1 a v2
• [SPARK-36861] [SQL] Použijte yyyy-MM-dd jako vzor data při zjišťování oddílů.
• [SPARK-37456] [SQL] CREATE NAMESPACE by měl určit umístění pro příkaz v2.
• [SPARK-37357] [SQL] Přidání malého faktoru pro vyvážení oddílů
• [SPARK-37446] [SQL] Použití reflexe pro getWithoutRegisterFns k povolení různých verzí Hive pro sestavování
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET UMÍSTĚNÍ by mělo konzistentně zpracovávat prázdné umístění napříč příkazem v1 a v2.
• [SPARK-36357] [SQL] Podpora časového razítka posunu bez časového pásma pro orc
• [SPARK-36346] [SQL] Podpora typu TimestampNTZ ve zdroji souborů Orc
• [SPARK-36646] [SQL] Propustit seskupování podle sloupce oddílu pro agregaci
• [SPARK-34960] [SQL] Agregace posunu dolů pro ORC
• [SPARK-37386] [SQL] Zjednodušení funkce OptimizeSkewedJoin, aby nespustí vyhodnocovače nákladů
• [SPARK-36073] [SQL] Opravy a vylepšení ekvivalentních výrazů
• [SPARK-35352] [SQL] Přidání generování kódu pro úplné vnější sloučení seřazeného spojení
• [SPARK-37292] [SQL] Odebere vnější spojení, pokud má pouze DISTINCT na streamované straně s aliasem.
• [SPARK-37371] [SQL] UnionExec by měl podporovat sloupcový sloupec, pokud všechny podřízené sloupce podporují
• [SPARK-36645] [SQL] Agregace (Min/Max/Count) pro Parquet
• [SPARK-37379] [SQL] Přidání vzorek stromu vyřazování do pravidla CTESubstitution
• [SPARK-37332] [SQL] Povolit intervaly ANSI v ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Optimalizace cesty zápisu u poskytovatele úložiště stavů RocksDB
• [SPARK-37304] [SQL] Povolit intervaly ANSI ve verzi 2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] PŘETYPOVÁNÍ mezi intervaly ANSI a IntegralType
• [SPARK-37289] [SQL] Odebrání funkce partitionSchemaOption
• [SPARK-37270] [SQL] Oprava skládacího vložení do větví CaseWhen, pokud je elseValue prázdný
• [SPARK-35345] [SQL] Přidání testů Parquet do BloomFilterBenchmark
• [SPARK-37341] [SQL] Vyhněte se zbytečnému vyrovnávání a kopírování v úplném vnějším spojení pomocí řazení a slučování
• [SPARK-37266] [SQL] Text zobrazení mohou být pouze SELECT dotazy.
• [SPARK-37288] [PYTHON][3.2] Backport po aktualizaci anotací
• [SPARK-37262] [SQL] Nezaprohledat prázdné agregace a seskupení podle v nástroji JDBCScan
• [SPARK-37283] [SQL] Nepokoušejte se uložit tabulku V1, která obsahuje intervaly ANSI ve formátu kompatibilním s Hivem.
• [SPARK-37221] [SQL] Rozhraní API podobné shromažďování ve SparkPlanu by mělo podporovat sloupcový výstup.
• [SPARK-37202] [SQL] Použití AnalysisContext ke sledování odkazových dočasných funkcí
• [SPARK-37023] [JÁDRO] Vyhněte se načítání stavu sloučení, pokud je při opakování shuffleMergeEnabled false pro shuffleDependency
• [SPARK-37307] [JÁDRO] Nezískute připojení JDBC pro prázdné oddíly
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions podporuje optimalizaci ne-kořenového uzlu
• [SPARK-36799] [SQL] Předání názvu queryExecution v rozhraní příkazového řádku
• [SPARK-37261] [SQL] Povolit přidávání oddílů s intervaly ANSI v DSv2
• [SPARK-37203] [SQL] Oprava notSerializableException při sledování s TypedImperativeAggregate
• [SPARK-37199] [SQL] Přidání deterministického pole do QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback by nemělo selhat, pokud tb_frame.f_lineno je žádná
• [SPARK-37214] [SQL] Selhání analýzy dotazů dříve s neplatnými identifikátory
• [SPARK-37240] [SQL] Zpracování intervalů ANSI podle ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Použití výrazů k filtrování oddílů Hive na straně klienta
• [SPARK-32940] [SQL] Funkce collect, first and last by měly být deterministické agregační funkce.
• [SPARK-37231] [SQL] Dynamické zápisy a čtení oddílů intervalů ANSI
• [SPARK-37038] [SQL] Ukázka DSV2 – posun dolů
• [SPARK-36665] [SQL] Přidání dalších zjednodušení operátoru Not
• [SPARK-37150] [SQL] Migrace oboru názvů DESCRIBE pro použití příkazu V2 ve výchozím nastavení
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale failed return null
• [SPARK-37212] [SQL] Vylepšete implementaci agregovaného odsdílení změn.
• [SPARK-37190] [SQL] Vylepšení chybových zpráv pro přetypování v režimu ANSI
• [SPARK-37161] [SQL] RowToColumnConverter podporuje AnsiIntervalType
• [SPARK-37160] [SQL] Přidání konfigurace pro volitelné zakázání odsazení pro typ znaku
• [SPARK-36554] [SQL][PYTHON] Zveřejnění výrazu make_date ve functions.scala
• [SPARK-37200] [SQL] Index vyřazení podpory pro zdroj dat V2
• [SPARK-37179] [SQL] Režim ANSI: Přidání konfigurace pro povolení přetypování mezi datem a časem a číselným kódem
• [SPARK-37168] [SQL] Vylepšení chybových zpráv pro funkce a operátory SQL v režimu ANSI
• [SPARK-36935] [SQL] Rozšíření ParquetSchemaConverter na výpočetní úroveň opakování a definice Parquet
• [SPARK-37066] [SQL] Zlepšení chybové zprávy, aby se zobrazila cesta k souboru, když se nepovedlo přečíst další soubor
• [SPARK-32567] [SQL] Přidání generování kódu pro úplné vnější spojení pomocí náhodného hashování
• [SPARK-37176] [SQL] Synchronizace logiky zpracování výjimek metody JsonInferSchema#infer s metodou JacksonParser#parse
• [SPARK-37149] [SQL] Vylepšení chybových zpráv pro aritmetické výjimky přetečení v režimu ANSI
• [SPARK-37136] [SQL] Odebrání kódu o integrované funkci Hive, ale nejsou implementovány ve Sparku
• [SPARK-16280][SPARK-37082] [SQL] Implementuje histogram_numeric agregační funkci, která podporuje částečnou agregaci.
• [SPARK-36975] [SQL] Oprava metrik volání klienta Hive v HiveClientImpl

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.2.

Prostředí systému

• Operační systém: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 30. 11. 2021.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)