Databricks Runtime 11.2 (EoS)

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 11.2, který využívá Apache Spark 3.3.0. Databricks vydala tuto verzi v září 2022.

Nové funkce a vylepšení

• Změna oprávnění ALTER TABLE v řízení přístupu k tabulce (přístupové seznamy k tabulce)
• Dynamické vyřezávání pro MERGE INTO
• Vylepšené zjišťování konfliktů v Delta s dynamickým vyřezáváním souborů
• Nová karta s open source integrací na domovských stránkách DSE/SQL
• vylepšení detekce oddílů CONVERT TO DELTA
• Schémata tabulek teď podporují výchozí hodnoty pro sloupce.
• Nové geoprostorové funkce H3
• Nová závislost Databricks Runtime
• Používání vlastního klíče: Šifrování přihlašovacích údajů Gitu
• SQL: Nová agregační funkce any_value
• Příkazy systému souborů Databricks Utilities povolené u více typů clusterů
• Oprávnění CREATE je teď možné udělit u metastorů pro katalog Unity.
• Optimalizované zápisy pro nerozdělené tabulky v clusterech s podporou Photon
• Podpora Photon pro další zdroje dat
• SQL: ALTER SHARE nyní podporuje START VERSION

Změna oprávnění ALTER TABLE v ovládacích prvcích přístupu k tabulce (tabulkové ACL)

Nyní uživatelé potřebují MODIFY oprávnění pouze ke změně schématu nebo vlastností tabulky pomocí ALTER TABLE. Vlastnictví se stále vyžaduje k udělení oprávnění k tabulce, změně jeho vlastníka a umístění nebo k jeho přejmenování. Díky této změně je model oprávnění pro ACL tabulek konzistentní s Unity Catalog. Viz ALTER TABLE.

Dynamické prořezávání pro MERGE INTO

Při použití výpočetních prostředků MERGE INTO s podporou Photon teď používá dynamické vyřezávání souborů a oddílů, pokud je to vhodné ke zlepšení výkonu, například při sloučení malé zdrojové tabulky do větší cílové tabulky.

Vylepšené zjišťování konfliktů v Delta s dynamickým vyřezáváním souborů

Při kontrole potenciálních konfliktů během potvrzení nyní detekce konfliktů zohledňuje soubory, které jsou odstraněny dynamickým prořezáváním souborů, ale nebyly by odstraněny statickými filtry. Výsledkem je snížení počtu neúspěšných transakcí.

Nová karta s open source integrací na domovských stránkách DSE/SQL

Představujeme novou kartu Open Source Integrations na domovských stránkách DSE/SQL, která zobrazuje možnosti open source integrace, jako je DLT a dbt Core.

vylepšení detekce oddílu CONVERT TO DELTA

CONVERT TO DELTA automaticky odvodí schéma oddílů pro tabulky Parquet zaregistrované v metastoru Hive nebo v katalogu Unity, a odstraňuje potřebu zadat klauzuli PARTITIONED BY.

CONVERT TO DELTA Využívá informace o oddílech z metastoru ke zjišťování souborů pro tabulku Parquet místo výpisu celé základní cesty, čímž zajistí, že se vyřazené oddíly nepřidají do tabulky Delta.

Viz Převod na Delta Lake.

Schémata tabulek teď podporují výchozí hodnoty pro sloupce.

Schémata tabulek teď podporují nastavení výchozích hodnot pro sloupce. INSERT, UPDATEa DELETE příkazy pro tyto sloupce mohou odkazovat na tyto hodnoty pomocí klíčového DEFAULT slova. Například CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET následuje INSERT INTO t VALUES (1, DEFAULT), což připojí řádek (1, 42). Toto chování se podporuje u zdrojů dat CSV, JSON, Orc a Parquet.

Nové geoprostorové funkce H3

Nyní můžete použít 28 nových integrovaných výrazů H3 pro geoprostorové zpracování v clusterech s podporou Photon, které jsou dostupné v SQL, Scala a Pythonu. Viz geoprostorové funkce H3.

Nová závislost Databricks Runtime

Databricks Runtime nyní závisí na knihovně H3 Java verze 3.7.0.

Používání vlastního klíče: Šifrování přihlašovacích údajů Gitu

Azure Key Vault můžete použít k šifrování tokenu PAT (Personal Access Token) Gitu nebo jiných přihlašovacích údajů Gitu.

Viz Nastavení složek Gitu (Repos) v Databricks.

SQL: Nová agregační funkce any_value

Nová any_value agregační funkce vrátí libovolnou náhodnou hodnotu expr pro skupinu řádků. Viz agregační funkci any_value.

Příkazy systému souborů Databricks Utilities povolené u více typů clusterů

dbutils.fs Příkazy (s výjimkou příkazů souvisejících s připojením) jsou nyní povoleny na clusterech s izolací uživatelů s katalogem Unity, stejně jako na clusterech starších tabulek s řízením přístupu (ACL), pokud má uživatel ANY FILE oprávnění.

Oprávnění CREATE je teď možné udělit u metastorů pro katalog Unity.

oprávnění CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENTa CREATE PROVIDER je teď možné udělit v metastorech katalogu Unity.

Optimalizované zápisy pro nerozdělené tabulky v clusterech s podporou Photon

Spravované tabulky v Katalogu Unity teď automaticky uchovávají soubory dobře vyladěné velikosti z nesedělených tabulek, aby se zlepšila rychlost dotazů a optimalizoval výkon.

Podpora Photon pro další zdroje dat

Photon teď podporuje více zdrojů dat, včetně SOUBORŮ CSV a Avro, a je také kompatibilní s datovými snímky uloženými v mezipaměti. Kontrola těchto zdrojů dat dříve znamenala, že celý dotaz nelze fotonizovat bez ohledu na operátory nebo výrazy dotazu. Dotazy, které skenují tyto zdroje dat, teď mohou být fotonizovány, což umožňuje výrazná zlepšení latence a celkových nákladů na vlastnictví.

Tato funkce je ve výchozím nastavení povolená v spark.databricks.photon.photonRowToColumnar.enabled konfiguraci.

Omezení:

• Schémata s vnořenými typy nejsou v této verzi podporována (tj. pole, mapy a struktury).
• Zdroje ORC, RDD, Kinesis, Kafka a EventHub nejsou v této verzi podporované.

SQL: ALTER SHARE nyní podporuje VERZI START

Příkaz ALTER SHARE teď podporuje START VERSION, což umožňuje poskytovatelům sdílet data od konkrétní verze tabulky. Viz ALTER SHARE.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • distlib od 0.3.4 do 0.3.5
  • filelock z 3.7.1 na 3.8.0
  • vykreslovat od 5.8.2 do 5.9.0
  • protobuf od 4.21.2 do 4.21.5
• Upgradované knihovny jazyka R:
  • broom z verze 0.8.0 na 1.0.0
  • bslib od 0.3.1 do 0.4.0
  • callr z verze 3.7.0 na verzi 3.7.1
  • caret od 6.0-92 do 6.0-93
  • dbplyr od 2.2.0 do 2.2.1
  • devtools od 2.4.3 do 2.4.4
  • hodnotit od 0,15 do 0,16
  • farver od 2.1.0 do 2.1.1
  • fontawesome od 0.2.2 do 0.3.0
  • aktualizace z verze 1.26.1 na 1.27.0
  • generika od 0.1.2 do 0.1.3
  • gert od 1.6.0 do 1.7.0
  • globals from 0.15.1 to 0.16.0
  • googlesheets4 od 1.0.0 do 1.0.1
  • hardhat od 1.1.0 do 1.2.0
  • htmltools od 0.5.2 do 0.5.3
  • paralelně od 1.32.0 do 1.32.1
  • pilíř od 1.7.0 do 1.8.0
  • pkgload od 1.2.4 do 1.3.0
  • processx od 3.6.1 do 3.7.0
  • Rcpp od 1.0.8.3 do 1.0.9
  • recepty od 0.2.0 do 1.0.1
  • rlang od 1.0.2 do 1.0.4
  • roxygen2 od 7.2.0 do 7.2.1
  • RSQLite od 2.2.14 do 2.2.15
  • sass od 0.4.1 do 0.4.2
  • lesklý od 1.7.1 do 1.7.2
  • stringi od 1.7.6 do 1.7.8
  • tibble od 3.1.7 do 3.1.8
  • Tidyverse od 1.3.1 do 1.3.2
  • timeDate od 3043.102 do 4021.104
  • xfun od 0.31 do 0.32
• Upgradované knihovny Java:
  • org.apache.orc.orc-core od 1.7.4 do 1.7.5
  • org.apache.orc.orc-mapreduce od verze 1.7.4 na verzi 1.7.5
  • org.apache.orc.orc-shims od 1.7.4 do 1.7.5

Apache Spark

Databricks Runtime 11.2 zahrnuje Apache Spark 3.3.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 11.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Vrácení širších typů intervalů ANSI z funkcí percentilu
• [SPARK-40054] [SQL] Obnovení syntaxe zpracování chyb try_cast()
• [SPARK-39489] [JÁDRO] Vylepšení výkonu protokolování událostí JsonProtocol pomocí Jacksona místo Json4s
• [SPARK-39319] [CORE][sql] Vytvořte kontexty dotazů jako součást SparkThrowable
• [SPARK-40085] [SQL] K označení chyb použijte třídu chyb INTERNAL_ERROR místo IllegalStateException.
• [SPARK-40001] [SQL] Zápisy NULL do výchozích sloupců JSON zapisují 'null' do úložiště.
• [SPARK-39635] [SQL] Podpora metrik ovladačů ve vlastním rozhraní API metrik DS v2
• [SPARK-39184] [SQL] Řešení podrozměrného pole výsledků v sekvencích datumů a časových razítek
• [SPARK-40019] [SQL] Refaktoring komentáře pro "containsNull" z ArrayType a úprava nelogických konstrukcí ve výrazu collectionOperator o containsNull.
• [SPARK-39989] [SQL] Podpora odhadu statistiky sloupců, pokud je výraz skládací
• [SPARK-39926] [SQL] Oprava chyby v podpoře DEFAULT sloupce pro nevektorizované skenování Parquet
• [SPARK-40052] [SQL] Zpracování přímých byte bufferů v VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Oprava typu cílového intervalu v chybách přetypování přetečení
• [SPARK-39835] [SQL] Oprava EliminovatŘazení eliminovat globální řazení pod místním řazením
• [SPARK-40002] [SQL] Neposouvejte limit dolů přes okno pomocí ntile
• [SPARK-39976] [SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
• [SPARK-39985] [SQL] Povolení implicitních výchozích hodnot sloupců v vkládání z datových rámců
• [SPARK-39776] [SQL] podrobný řetězec by měl přidat typ spojování
• [SPARK-38901] [SQL] DS V2 podporuje prosazování různých funkcí
• [SPARK-40028] [SQL][followup] Vylepšení příkladů řetězcových funkcí
• [SPARK-39983] [CORE][sql] Neukládejte na driver neserializované vysílané relace do mezipaměti
• [SPARK-39812] [SQL] Zjednodušení kódu, který konstruuje AggregateExpression s toAggregateExpression
• [SPARK-40028] [SQL] Přidání binárních příkladů pro řetězcové výrazy
• [SPARK-39981] [SQL] Vyvolá výjimku QueryExecutionErrors.castingCauseOverflowErrorInTableInsert v castu
• [SPARK-40007] [PYTHON][sql] Přidání režimu do funkcí
• [SPARK-40008] [SQL] Podpora přetypování integrálů do intervalů ANSI
• [SPARK-40003] [PYTHON][sql] Přidat ‘medián’ do funkcí
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand by měl znovu uložit do mezipaměti výsledkový vztah
• [SPARK-39951] [SQL] Aktualizace sloupcové kontroly Parquet V2 pro vnořená pole
• [SPARK-33236] [shuffle] Backport do DBR 11.x: Povolení služby přerozdělování založené na push pro uložení stavu v databázi na úrovni NM k zachování práce při restartu
• [SPARK-39836] [SQL] Zjednodušení nástroje V2ExpressionBuilder extrahováním běžné metody
• [SPARK-39873] [SQL] Odebrání OptimizeLimitZero a sloučení do EliminateLimits
• [SPARK-39961] [SQL] Ds V2 push-down přeložit přetypování, pokud je přetypování bezpečné
• [SPARK-39872] [SQL] Změnit použití BytePackerForLong#unpack8Values s API pro vstup pole v VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Odebrání zbytečných AliasHelper nebo PredicateHelper u některých pravidel
• [SPARK-39900] [SQL] Řešení částečné nebo negované podmínky v predikátu pro binární formát
• [SPARK-39904] [SQL] Přejmenovat inferDate na prefersDate a objasnit sémantiku této možnosti v CSV zdroji dat.
• [SPARK-39958] [SQL] Přidání protokolu upozornění při nemožnosti načíst vlastní objekt metriky
• [SPARK-39932] [SQL] WindowExec by měl vymazat konečnou vyrovnávací paměť oddílu.
• [SPARK-37194] [SQL] Vyhněte se zbytečnému řazení při zápisu v1, pokud se nejedná o dynamické rozdělení
• [SPARK-39902] [SQL] Přidat podrobnosti skenování do uzlu skenování plánu Sparku ve SparkUI
• [SPARK-39865] [SQL] Zobrazení správných chybových zpráv při chybách přetečení při vkládání do tabulky
• [SPARK-39940] [SS] Aktualizace tabulky katalogu při dotazu streamování pomocí jímky DSv1
• [SPARK-39827] [SQL] Použití třídy ARITHMETIC_OVERFLOW chyb v přetečení int add_months()
• [SPARK-39914] [SQL] Přidání filtru DS V2 do převodu filtru V1
• [SPARK-39857] [SQL] Ruční zpětný port DBR 11.x; V2ExpressionBuilder používá nesprávný datový typ LiteralValue pro predikát In #43454
• [SPARK-39840] [SQL][python] Vyčlenit PythonArrowInput jako souměrnost k PythonArrowOutput
• [SPARK-39651] [SQL] Vyřazení podmínky filtru, pokud je porovnání s randem deterministické
• [SPARK-39877] [PYTHON] Přidat unpivot do rozhraní API datového rámce PySpark
• [SPARK-39909] [SQL] Uspořádání kontroly odsdílení informací pro JDBCV2Suite
• [SPARK-39834] [SQL][ss] Zahrňte statistiky původu a omezení pro LogickéRDD, pokud pochází z datového rámce.
• [SPARK-39849] [SQL] Dataset.as(StructType) vyplní chybějící nové sloupce s hodnotou null.
• [SPARK-39860] [SQL] Další výrazy by měly rozšířit predikát
• [SPARK-39823] [SQL][python] Přejmenujte Dataset.as jako Dataset.to a přidejte DataFrame.to v PySparku.
• [SPARK-39918] [SQL][podverze] Nahraďte v chybové zprávě slovo "un-comparable" slovem "incomparable" (nekompatibilní).
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder používá nesprávný datový typ LiteralValue pro predikát In
• [SPARK-39862] [SQL] Ruční backport pro PR 43654, zaměřený na DBR 11.x: Aktualizace SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS k umožnění/zakázání ALTER TABLE ... Přidejte příkazy COLUMN jednotlivě.
• [SPARK-39844] [SQL] Ruční backport pro PR 43652 zaměřený na DBR 11.x
• [SPARK-39899] [SQL] Oprava předávání parametrů zprávy do InvalidUDFClassException
• [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec dědí AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Podpora typu CharType v PySpark
• [SPARK-38864] [SQL] Přidání operace unpivot / melt do Dataset
• [SPARK-39864] [SQL] Lazily zaregistrovat ExecutionListenerBus
• [SPARK-39808] [SQL] Podpora režimu agregační funkce MODE
• [SPARK-39875] [SQL] Změna protected metody v konečné třídě na private nebo package-visible
• [SPARK-39731] [SQL] Oprava potíží se zdroji dat CSV a JSON při analýze kalendářních dat ve formátu yyyyMDd pomocí zásad analyzátoru opravených času
• [SPARK-39805] [SS] Vyřazení triggeru.once a zvýšení úrovně triggeru.AvailableNow
• [SPARK-39784] [SQL] Po překladu Catalyst Expression do filtru zdroje dat vložte hodnoty literálu na pravou stranu filtru zdroje dat.
• [SPARK-39672] [SQL][3.1] Oprava odebrání projektu před filtrováním s korelovaným poddotazem
• [SPARK-39552] [SQL] Sjednocení v1 a v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists by měl zpracovávat vnořený obor názvů
• [SPARK-37287] [SQL] Vytáhněte dynamické oddíly a třídění podle kbelíků z FileFormatWriter
• [SPARK-39469] [SQL] Odvození typu data pro odvození schématu CSV
• [SPARK-39148] [SQL] Prosazení agregace DS V2 může fungovat s OFFSET nebo LIMIT
• [SPARK-39818] [SQL] Oprava chyby v polích ARRAY, STRUCT, MAP s výchozími hodnotami s poli NULL
• [SPARK-39792] [SQL] Přidat DecimalDivideWithOverflowCheck pro desetinný průměr
• [SPARK-39798] [SQL] Nahraďte toSeq.toArray pomocí .toArray[Any] v konstruktoru GenericArrayData.
• [SPARK-39759] [SQL] Implementujte funkci listIndexes v JDBC (dialekt H2)
• [SPARK-39385] [SQL] Podporuje funkci push down REGR_AVGX a REGR_AVGY
• [SPARK-39787] [SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
• [SPARK-39760] [PYTHON] Podpora Varchar v PySpark
• [SPARK-39557] [SQL] Ruční backport do DBR 11.x: Podpora typů ARRAY, STRUCT, MAP jako výchozí hodnoty
• [SPARK-39758] [SQL][3.3] Oprava NPE z funkcí regexp u neplatných vzorů
• [SPARK-39749] [SQL] Režim ANSI SQL: Použití prostého řetězcového vyjádření při přetypování typu Decimal na řetězec
• [SPARK-39704] [SQL] Implementace createIndex &dropIndex &indexExists v JDBC (dialekt H2)
• [SPARK-39803] [SQL] Používejte LevenshteinDistance místo StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Podpora typu TimestampNTZ ve zdroji dat JDBC
• [SPARK-39781] [SS] Přidání podpory pro poskytování max_open_files poskytovateli úložiště stavů rocksdb
• [SPARK-39719] [R] Implementace databaseExists/getDatabase v SparkR podporuje 3L obor názvů
• [SPARK-39751] [SQL] Přejmenování metriky agregovaných klíčů hash
• [SPARK-39772] [SQL] Obor názvů by měl mít hodnotu null, pokud je databáze ve starých konstruktorech null.
• [SPARK-39625] [SPARK-38904][sql] Add Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilace integrovaných agregačních funkcí lineární regrese pro dialekt JDBC
• [SPARK-39720] [R] Implementace tableExists/getTable v SparkR pro obor názvů 3L
• [SPARK-39744] [SQL] REGEXP_INSTR Přidání funkce
• [SPARK-39716] [R] Upravte currentDatabase/setCurrentDatabase/listCatalogs v SparkR tak, aby podporovaly obor názvů 3L.
• [SPARK-39788] [SQL] Přejmenovat catalogName na dialectName pro JdbcUtils
• [SPARK-39647] [JÁDRO] Registrace exekutoru v ESS před registrací BlockManageru
• [SPARK-39754] [CORE][sql] Odebrání nepoužívaných import nebo zbytečných {}
• [SPARK-39706] [SQL] Nastavení chybějícího sloupce s hodnotou defaultValue jako konstantou v ParquetColumnVector
• [SPARK-39699] [SQL] Vylepšit funkci CollapseProject v souvislosti s výrazy pro vytváření kolekcí
• [SPARK-39737] [SQL] PERCENTILE_CONT a PERCENTILE_DISC měl by podporovat agregační filtr.
• [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunction/functionExists kompatibilní s třístupňovým oborem názvů
• [SPARK-39627] [SQL] Pushdown JDBC V2 by měl sjednotit rozhraní API pro kompilaci.
• [SPARK-39748] [SQL][ss] Zahrňte originální logický plán pro LogicalRDD, pokud pochází z datového rámce.
• [SPARK-39385] [SQL] Překlad agregačních funkcí lineární regrese pro optimalizaci
• [SPARK-39695] [SQL] REGEXP_SUBSTR Přidání funkce
• [SPARK-39667] [SQL] Přidání dalšího alternativního řešení, pokud není dostatek paměti pro sestavení a vysílání tabulky
• [SPARK-39666] [ES-337834][sql] K dodržení spark.sql.codegen.factoryMode v ExpressionEncoder použijte UnsafeProjection.create.
• [SPARK-39643] [SQL] Zákaz výrazů poddotazů v hodnotách DEFAULT
• [SPARK-38647] [SQL] Přidat rozhraní SupportsReportOrdering jako mix-in pro Scan (DataSourceV2)
• [SPARK-39497] [SQL] Vylepšení výjimky analýzy chybějícího sloupce s klíčem mapy
• [SPARK-39661] [SQL] Vyhněte se vytváření nepotřebného protokolovacího nástroje SLF4J
• [SPARK-39713] [SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
• [SPARK-38899] [SQL]DS V2 podporuje funkce push down datetime
• [SPARK-39638] [SQL] Změna použití ConstantColumnVector k ukládání sloupců oddílů do OrcColumnarBatchReader
• [SPARK-39653] [SQL] Vyčištění ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) z ColumnVectorUtils
• [SPARK-39231] [SQL] Použijte ConstantColumnVector místo On/OffHeapColumnVector pro ukládání sloupců oddílů do VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog by neměl vyvolat NoSuchDatabaseException v loadNamspaceMetadata
• [SPARK-39447] [SQL] Vyhnout se AssertionError v AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Přepracovat MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec by měl respektovat řazení podřízených výstupů.
• [SPARK-39606] [SQL] Použití podřízených statistik k odhadu operátoru objednávky
• [SPARK-39611] [PYTHON][ps] Oprava nesprávných aliasů v array_ufunc
• [SPARK-39656] [SQL][3.3] Opravit nesprávný obor názvů v DescribeNamespaceExec
• [SPARK-39675] [SQL] Přepnutí konfigurace spark.sql.codegen.factoryMode z testovacího účelu na interní účel
• [SPARK-39139] [SQL] DS V2 podporuje funkci push down DS V2 UDF.
• [SPARK-39434] [SQL] Poskytnutí kontextu dotazu při chybě za běhu, když je index pole mimo hranice
• [SPARK-39479] [SQL] DS V2 podporuje prosazování matematických funkcí (ne-ANSI).
• [SPARK-39618] [SQL] REGEXP_COUNT Přidání funkce
• [SPARK-39553] [JÁDRO] Při použití Scaly 2.13 by odregistrování shuffle ve více vláknech nemělo vyvolat výjimku Null Pointer Exception (NPE).
• [SPARK-38755] [PYTHON][3.3] Přidání souboru k řešení chybějících obecných funkcí knihovny pandas
• [SPARK-39444] [SQL] Přidat OptimizeSubqueries do seznamu nonExcludableRules
• [SPARK-39316] [SQL] Sloučit PromotePrecision a CheckOverflow do desítkové binární aritmetiky
• [SPARK-39505] [UŽIVATELSKÉ ROZHRANÍ] Upravit obsah logu vykreslený v uživatelském rozhraní
• [SPARK-39448] [SQL] Přidat ReplaceCTERefWithRepartition do nonExcludableRules seznamu
• [SPARK-37961] [SQL] Přepsání maxRows/maxRowsPerPartition u některých logických operátorů
• [SPARK-35223] Vrátit zpět Přidání IssueNavigationLink
• [SPARK-39633] [SQL] Podpora časového razítka v sekundách pro TimeTravel pomocí voleb datového rámce
• [SPARK-38796] [SQL] Aktualizace dokumentace pro číselné formátovací řetězce pomocí funkcí {try_}to_number
• [SPARK-39650] [SS] Oprava nesprávného schématu hodnot v deduplikaci streamu se zpětnou kompatibilitou
• [SPARK-39636] [CORE][ui] Oprava více chyb v JsonProtocol, které ovlivňují úrovně úložiště mimo haldu a požadavky na prostředky úloh/Executorů
• [SPARK-39432] [SQL] Vrátit ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
• [SPARK-39349] Přidání centralizované metody CheckError pro zajištění kvality chybového procesu
• [SPARK-39453] [SQL] DS V2 podporuje prosazení různých neagregačních funkcí (ne-ANSI).
• [SPARK-38978] [SQL] DS V2 podporuje operátor pro posouvání dolů OFFSET
• [SPARK-39567] [SQL] Podpora intervalů ANSI ve funkcích percentilu
• [SPARK-39383] [SQL] Podporují výchozí sloupce ve zdrojích dat ALTER TABLE ALTER COLUMNS až V2.
• [SPARK-39396] [SQL] Oprava výjimky přihlášení LDAP s kódem chyby 49 – neplatné přihlašovací údaje
• [SPARK-39548] [SQL] CreateView příkaz s dotazem s klauzulí okna narazil na problém s nenalezenou nesprávnou definicí okna
• [SPARK-39575] [AVRO] přidání ByteBuffer#rewind po ByteBuffer#get v Avr...
• [SPARK-39543] Možnost DataFrameWriterV2 by měla být předána vlastnostem úložiště, pokud dojde k přechodu na verzi v1.
• [SPARK-39564] [SS] Zpřístupnění informací o tabulce katalogu logickému plánu v dotazu pro streamování
• [SPARK-39582] [SQL] Oprava ukazatele "Od" pro array_agg
• [SPARK-39388] [SQL] Opakované použití orcSchema při aplikaci predikátů Orc na nižší úrovni
• [SPARK-39511] [SQL] Zlepšení prosazení místního limitu 1 pro pravou stranu levého semi/anti spojení, pokud je podmínka spojení prázdná.
• [SPARK-38614] [SQL] Nepřenášejte limit skrze okno, které používá percent_rank
• [SPARK-39551] [SQL] Přidat kontrolu neplatného plánu pro AQE
• [SPARK-39383] [SQL] Podpora výchozích sloupců v ALTER TABLE PŘIDÁNÍ COLUMNS do zdrojů dat V2
• [SPARK-39538] [SQL] Vyhněte se vytváření nepotřebného SLF4J Loggeru
• [SPARK-39383] [SQL] Ruční backport do DBR 11.x: Refaktoring podpory výchozího sloupce tak, aby se vyhnul nutnosti předávat primární analyzátor
• [SPARK-39397] [SQL] Relax AliasAwareOutputExpression pro podporu aliasu s výrazem
• [SPARK-39496] [SQL] Zpracování struktury null v Inline.eval
• [SPARK-39545] [SQL] Přepsat metodu concat ve verzi jazyka Scala 2.13 za účelem zlepšení výkonu.
• [SPARK-39340] [SQL] Agregace DS v2 by měla umožňovat tečky v názvu sloupců nejvyšší úrovně.
• [SPARK-39488] [SQL] Zjednodušení zpracování chyb tempResolvedColumn
• [SPARK-38846] [SQL] Přidání explicitního mapování dat mezi číselným typem Teradata a počtem desetinných míst Sparku
• [SPARK-39520] [SQL] Přepsání metody -- pro ExpressionSet ve Scala 2.13
• [SPARK-39470] [SQL] Podpora přetypování intervalů ANSI na desetinná místa
• [SPARK-39477] [SQL] Odebrání informací o počtu dotazů ze zlatých souborů SQLQueryTestSuite
• [SPARK-39419] [SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
• [SPARK-39061] [SQL] Správně nastavit hodnotu null pro Inline výstupní atributy
• [SPARK-39320] [SQL] Podpora agregační funkce MEDIAN
• [SPARK-39261] [JÁDRO] Vylepšení formátování nového textu pro chybové zprávy
• [SPARK-39355] [SQL] Jeden sloupec používá označení v uvozovkách k vytvoření UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE by mělo redigovat vlastnosti
• [SPARK-37623] [SQL] Podpora agregační funkce ANSI: regr_intercept
• [SPARK-39374] [SQL] Zlepšení chybové zprávy pro seznam sloupců zadaných uživatelem
• [SPARK-39255] [SQL][3.3] Vylepšení chybových zpráv
• [SPARK-39321] [SQL] Přetvoření TryCast na použití RuntimeReplaceable
• [SPARK-39406] [PYTHON] Přijmout pole NumPy v createDataFrame
• [SPARK-39267] [SQL] Vyčištění nepotřebného symbolu dsl
• [SPARK-39171] [SQL] Sjednocení výrazu přetypování
• [SPARK-28330] [SQL] Podpora ANSI SQL: klauzule posunu výsledku ve výrazu dotazu
• [SPARK-39203] [SQL] Úprava umístění tabulky na absolutní URI podle URI databáze
• [SPARK-39313] [SQL] toCatalystOrdering pokud V2Expression nejde přeložit, by mělo selhat
• [SPARK-39301] [SQL][python] Využijte LocalRelation a respektujte velikost dávky Arrow v objektu createDataFrame s optimalizací Arrow
• [SPARK-39400] [SQL] Spark-sql by měl ve všech případech odebrat adresář prostředků Hive.

Aktualizace údržby

Podívejte se na aktualizace údržby pro Databricks Runtime 11.2.

Prostředí systému

• Operační systém: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R jsou instalovány z Microsoft CRAN snímku k datu 15. srpna 2022.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)