Databricks Runtime 12.2 LTS

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 12.2 LTS, který využívá Apache Spark 3.3.2.

Databricks vydala tuto verzi v březnu 2023.

Změny chování

[Zásadní změna] Nová verze Pythonu vyžaduje aktualizaci klientů Databricks Connect V1 Python.

Pokud chcete použít požadované opravy zabezpečení, upgraduje se verze Pythonu v Databricks Runtime 12.2 LTS z verze 3.9.5 na verzi 3.9.19. Vzhledem k tomu, že tyto změny můžou způsobit chyby v klientech, kteří používají konkrétní funkce PySpark, musí být všechny klienty používající Databricks Connect V1 pro Python s Modulem Databricks Runtime 12.2 LTS aktualizovány na Python 3.9.7 nebo novější.

Nové funkce a vylepšení

• Python upgradoval z verze 3.9.19 na verzi 3.9.21
• vývoj schématu Delta Lake podporuje zadávání zdrojových sloupců v příkazech sloučení
• Úlohy strukturovaného streamování se podporují v clusterech s režimem sdíleného přístupu.
• Nové funkce prediktivních vstupně-výstupních operací
• podpora implicitního laterálního aliasování sloupců
• Nová funkce forEachBatch
• Standardizované možnosti připojení pro federaci dotazů
• Rozšířená knihovna funkcí SQL pro správu polí
• Nová funkce masky pro anonymizaci řetězců
• Běžné chybové stavy teď vrací funkce SQLSTATEs.
• Vyvolání funkcí generátoru v klauzuli FROM
• Podpora vyrovnávacích pamětí protokolu je obecně dostupná
• Přechod k definici proměnných a funkcí poznámkového bloku
• Rychlá oprava poznámkového bloku pro knihovny automatického importu
• Opravy chyb

Python upgradovaný z verze 3.9.19 na verzi 3.9.21

Verze Pythonu v Databricks Runtime 12.2 LTS se aktualizuje z verze 3.9.19 na 3.9.21.

Vývoj schématu Delta Lake podporuje zadávání zdrojových sloupců v příkazech sloučení.

Nyní můžete zadat sloupce, které jsou přítomné pouze ve zdrojové tabulce, a to v akcích vložení nebo aktualizace pro příkazy sloučení, pokud je povolen vývoj schématu. V Databricks Runtime 12.1 a níže je možné použít pouze INSERT * nebo UPDATE SET * akce pro vývoj schématu při sloučení. Viz Automatický vývoj schématu pro slučování Delta Lake.

Úlohy strukturovaného streamování se podporují v clusterech s režimem sdíleného přístupu.

Strukturované streamování teď můžete použít k interakci s katalogem Unity na výpočetních prostředcích se standardním režimem přístupu. Platí některá omezení. Podívejte se na Jaké funkce strukturovaného streamování podporuje katalog Unity?.

Nové funkce prediktivních vstupně-výstupních operací

Podpora Photon pro jímku Foreachbatch je nyní k dispozici. Úlohy, které streamují ze zdroje a sloučí do tabulek Delta nebo zapisují do několika jímek, teď můžou těžit z fotonizované Foreachbatch jímky.

Podpora implicitního laterálního aliasingu sloupců

Azure Databricks teď ve výchozím nastavení podporuje implicitní laterální aliasy sloupců. Teď můžete použít výraz zadaný dříve ve stejném seznamu SELECT. Například , SELECT 1 AS aa + 1 AS ba in a + 1 lze přeložit jako dříve definované .1 AS a Další podrobnosti v pořadí překladu najdete v překladu . Pokud chcete tuto funkci vypnout, můžete nastavit spark.sql.lateralColumnAlias.enableImplicitResolution na false.

Nová funkce forEachBatch

Photon se teď podporuje při zápisu foreachBatch do datové jímky.

Standardizované možnosti připojení pro federaci dotazů

Teď můžete použít jednotnou sadu možností (hostitel, port, databáze, uživatel, heslo) pro připojení ke zdrojům dat podporovaným ve federaci dotazů. Port je volitelné a používá výchozí číslo portu pro každý zdroj dat, pokud není zadáno.

Rozšířená knihovna funkcí SQL pro správu polí

Nyní můžete odebrat všechny prvky NULL z pole pomocí array_compact. Pokud chcete k poli připojit prvky, použijte array_append.

Nová funkce masky pro anonymizaci řetězců

Vyvolání funkce masky k anonymizaci citlivých řetězcových hodnot.

Běžné chybové stavy teď vrací funkce SQLSTATEs.

Většina chybových podmínek, které Databricks Runtime nyní obsahuje, má zdokumentované hodnoty SQLSTATE, jež lze použít k testování chyb způsobem, který je v souladu se standardem SQL.

Vyvolání funkcí generátoru v klauzuli FROM

Nyní můžete použít generátorové funkce vracející tabulkové hodnoty, jako je explode, v běžném použití v klauzuli FROM dotazu. Tím se zarovná vyvolání funkce generátoru s jinými integrovanými a uživatelem definovanými funkcemi tabulky.

Podpora vyrovnávacích pamětí protokolu je obecně dostupná

Pomocí funkcí from_protobuf a to_protobuf funkcí můžete vyměňovat data mezi binárními a strukturami. Viz Vyrovnávací paměti protokolu pro čtení a zápis.

Přechod k definici proměnných a funkcí poznámkového bloku

V poznámkovýchbloch %run

Rychlá oprava poznámkového bloku pro knihovny automatického importu

Poznámkové bloky Databricks teď nabízejí funkci Rychlá oprava pro knihovny automatického importu. Pokud zapomenete importovat knihovnu, jako je pandas, najeďte myší na upozornění na podtrženou syntaxi a potom klikněte na Rychlá oprava, tyto funkce vyžadují, aby byl v pracovním prostoru povolený Pomocník pro Databricks.

Opravy chyb

• Vylepšená konzistence chování rozdílového potvrzení pro prázdné transakce související s update, deletea merge příkazy. Na WriteSerializable úrovni izolace teď příkazy, které nemají žádné změny, teď vytvoří prázdné potvrzení. Serializable Na úrovni izolace teď takové prázdné transakce nevytvoří potvrzení.

Změny chování

Změny chování s novou funkcí aliasu laterálního sloupce

Nová funkce aliasu bočního sloupce zavádí změny chování v následujících případech během řešení názvů.

• Alias laterálního sloupce teď má přednost před korelovanými odkazy se stejným názvem. Například pro tento dotaz SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), c1 ve vnitřní c1 AS c2 byl vyřešen na korelovaný odkaz t.c1, ale nyní se změní na lateral column alias 1 AS c1. Dotaz nyní vrátí NULL.
• Alias laterálního sloupce teď má přednost před parametry funkce se stejným názvem. Například pro funkci CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xse x v těle funkce přeložil na parametr funkce x, ale ve funkci došlo ke změnám týkajícím se aliasu laterálního sloupce x + 1 v těle funkce. Dotaz SELECT * FROM func(1) nyní vrátí 2, 2.
• Pokud chcete funkci aliasu laterálního sloupce vypnout, nastavte spark.sql.lateralColumnAlias.enableImplicitResolution na false. Další informace najdete v tématu Překlad názvů.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock od 3.8.2 do 3.9.0
  • joblib od 1.1.0 do 1.1.1
  • platformdirs from 2.6.0 to 2.6.2
  • whatthepatch from 1.0.3 to 1.0.4
• Upgradované knihovny jazyka R:
  • třída od 7.3-20 do 7.3-21
  • codetools od 0.2-18 do 0.2-19
  • HMOTNOST od 7.3-58 do 7.3-58.2
  • nlme od 3.1-160 do 3.1-162
  • Rserve od 1.8-11 do 1.8-12
  • SparkR od 3.3.1 do 3.3.2

Změny chování

• Uživatelé teď musí mít při vytváření schématu s definovaným umístěním oprávnění k SELECT a MODIFY k libovolnému souboru.

Apache Spark

Databricks Runtime 12.2 zahrnuje Apache Spark 3.3.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 12.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-42416] [SC-123205][sc-122851][SQL] Operace datové sady by neměly znovu vyřešit analyzovaný logický plán.
• [SPARK-41848] Revert "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Oprava nadplánování úkolu pomocí TaskResourceProfile"
• [SPARK-42162] [SC-122711][es-556261] Zavedení výrazu MultiCommutativeOp jako optimalizace paměti pro kanonizaci velkých stromů komutativních výrazů
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Oprava rekurzivního nastavení hloubky pro funkce Protobuf
• [SPARK-42002] [SC-122476][connect][PYTHON] Implementace třídy DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Přejmenujte _catalog_to_pandas na _execute_and_fetch v Katalogu
• [SPARK-41490] [SC-121774][sql] Přiřaďte jméno _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Zrealizovat Catalog.cacheTable, isCached a zrušení cache
• [SPARK-42191] [SC-121990][sql] Podpora udf 'luhn_check'
• [SPARK-42253] [SC-121976][python] Přidání testu pro detekci duplicitní třídy chyb
• [SPARK-42268] [SC-122251][connect][PYTHON] Přidat UserDefinedType v Protos
• [SPARK-42231] [SC-121841][sql] Převod MISSING_STATIC_PARTITION_COLUMN na internalError
• [SPARK-42136] [SC-122554] Refaktoring výpočtu dělení výstupu BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][sql] Integrace _LEGACY_ERROR_TEMP_1003 do FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Migrace chyby type z pyspark/sql/dataframe.py do PySparkTypeError
• [SPARK-35240] Vrátit “[SC-118242][ss] Použít CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Přiřadit název _LEGACY_ERROR_TEMP_1176 (a 1177)
• [SPARK-42232] [SC-122267][sql] Přejmenovat třídu chyb: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Přepsat jedinečné agregace po sloučení poddotazů
• [SPARK-42306] [SC-122539][sql] Integrace _LEGACY_ERROR_TEMP_1317 do UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Přejmenování třídy chyby: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Ignorujte IOException v handleBlockRemovalFailure, pokud je SparkContext zastavený.
• [SPARK-41295] [SC-122442][spark-41296][SQL] Přejmenování tříd chyb
• [SPARK-42320] [SC-122478][sql] Přiřadit název _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][connect] SparkConnectClient nyní podporuje RetryPolicies
• [SPARK-38728] [SC-116723][sql] Otestujte třídu chyb: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Samostatné příklady v PySparku
• [SPARK-39347] [SC-122457][ss] Oprava chyby výpočtu časového okna, když je čas události < 0
• [SPARK-42336] [SC-122458][core] Místo contains() v ResourceAllocatoru použijte getOrElse().
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF in Spark Connect
• [SPARK-42217] [SC-122263][sql] Podpora implicitního laterálního aliasu sloupců v dotazech s Oknem
• [SPARK-35240] [SC-118242][ss] Použijte CheckpointFileManager pro manipulaci s kontrolními soubory kontrolního bodu
• [SPARK-42294] [SC-122337][sql] Zahrnout výchozí hodnoty sloupců ve výstupu DESCRIBE pro tabulky V2
• [SPARK-41979] Vrátit změnu „Vrátit zpět „[12.x][sc-121190][SQL] Přidat chybějící tečky pro chybové zprávy ve třídách chyb.““
• [SPARK-42286] [SC-122336][sql] Záložní cesta k předchozímu kódu codegen pro komplexní výraz s CAST
• [SPARK-42275] [SC-122249][connect][PYTHON] Vyhněte se použití vestavěného seznamu, slovníku ve statickém typování
• [SPARK-41985] [SC-122172][sql] Centralizace dalších pravidel pro rozlišení sloupců
• [SPARK-42126] [SC-122330][python][CONNECT] Přijímání návratového typu v řetězcích DDL pro skalární UDF funkce v Pythonu ve Spark Connect.
• [SPARK-42197] [SC-122328][sc-121514][CONNECT] Znovu použije inicializaci JVM a samostatné skupiny konfigurace, které se nastaví ve vzdáleném místním režimu.
• [SPARK-41575] [SC-120118][sql] Přiřadit název _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Zrušit “[SC-122172][sql] Centralizovat další pravidla překladu sloupců”
• [SPARK-42123] [SC-122234][sc-121453][SQL] Zahrnout výchozí hodnoty sloupců ve výstupu DESCRIBE a SHOW CREATE TABLE
• [SPARK-41985] [SC-122172][sql] Centralizace dalších pravidel řešení sloupců
• [SPARK-42284] [SC-122233][connect] Před spuštěním testů klienta se ujistěte, že server pro připojení je sestaven.
• [SPARK-42239] [SC-121790][sql] Integrace MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] Pushdown DS V2 podporuje podporu dialektů JDBC kompilovaných SortOrder samy
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics by se měly postarat o Python UDAF
• [SPARK-41979] Vrátit zpět "[12.x][sc-121190][SQL] Přidat chybějící tečky pro chybové zprávy ve třídách chyb."
• [SPARK-42224] [12.x][sc-121708][CONNECT] Migrace typeError do chybové architektury pro funkce Spark Connect
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migrujte chyby Spark Connect do architektury chyb PySpark.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Přidat integrované tabulkou hodnotové funkce inline a inline_outer
• [SPARK-41489] [SC-121713][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Představuje chybu PySparkValueError a PySparkTypeError
• [SPARK-42081] [SC-121723][sql] Vylepšení ověřování změn plánu
• [SPARK-42225] [12.x][sc-121714][CONNECT] Přidejte SparkConnectIllegalArgumentException ke zpracování chyby Spark Connect přesněji.
• [SPARK-42044] [12.x][sc-121280][SQL] Oprava nesprávné chybové zprávy pro MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Povolit parametr sloupců při vytváření datového rámce se řadou.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Migrovat chyby vyvolané JVM do PySparkException.
• [SPARK-42133] [12.x][sc-121250] Přidání základních metod rozhraní API datové sady do klienta SparkConnect Scala
• [SPARK-41979] [12.x][sc-121190][SQL] Přidejte chybějící tečky pro chybové zprávy ve třídách chyb.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF in Spark Connect
• [SPARK-42051] [SC-121994][sql] Podpora codegenu pro HiveGenericUDF
• [SPARK-42257] [SC-121948][core] Odebrání nepoužívané proměnné externího řazení
• [SPARK-41735] [SC-121771][sql] Pro SparkListenerSQLExecutionEnd použijte MINIMÁLNÍ místo STANDARD.
• [SPARK-42236] [SC-121882][sql] Upřesnit NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Zlepšení chybové zprávy pro PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Migrace SparkCoreErrors do tříd chyb
• [SPARK-42163] [SC-121839][sql] Oprava vyřazování schématu pro neskládaný index pole nebo mapový klíč
• [SPARK-40711] [SC-119990][sql] Přidání metrik velikosti přelití pro okno
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Umožnit createDataFrameAtomicType -> StringType převod
• [SPARK-42202] [SC-121837][connect][Test] Vylepšení logiky zastavení testovacího serveru E2E
• [SPARK-41167] [SC-117425][sql] Zlepšení výkonu operátoru LIKE s více podmínkami vytvořením vyváženého predikátu výrazového stromu
• [SPARK-41931] [SC-121618][sql] Lepší chybová zpráva pro neúplnou definici komplexního typu
• [SPARK-36124] [SC-121339][sc-110446][SQL] Podpora poddotazů s korelací prostřednictvím UNION
• [SPARK-42090] [SC-121290][3.3] Zavedení počtu opakování sasl v RetryingBlockTransferoru
• [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR by měl poskytovat plánovač FAIR
• [SPARK-41572] [SC-120772][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][sql] Přejmenování & zlepšení chybové zprávy pro NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Zlepšení chybové zprávy pro INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] Přiřazování stavu SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Opakování požadavků SASL
• [SPARK-38591] [SC-121018][sql] Přidání flatMapSortedGroups a cogroupSorted
• [SPARK-41975] [SC-120767][sql] Zlepšení chybové zprávy pro INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Přidání chybějících možností pro funkce Protobuf
• [SPARK-41984] [SC-120769][sql] Přejmenování & zlepšení chybové zprávy pro RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Oprava NPE pro třídy chyb: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Oprava nesprávného názvu sloupce v souboru doctest withField
• [SPARK-41283] [SC-121175][connect][PYTHON] Přidání array_append k připojení
• [SPARK-41960] [SC-120773][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][sql] Oprava getPartitionFiltersAndDataFilters() pro zpracování filtrů bez odkazovaných atributů
• [SPARK-42096] [SC-121012][connect] Vyčištění kódu pro modul connect
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Oprava count(*) a count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] V režimu ANSI SQL by měly funkce Round/Bround vrátit chybu při přetečení celého čísla.
• [SPARK-42043] [SC-120968][connect] Výsledek klienta Scala s testy E2E
• [SPARK-41884] [SC-121022][connect] Podpora naivní n-tice jako vnořená struktura
• [SPARK-42112] [SC-121011][sql][SS] Přidání kontroly null před ukončením funkce ContinuousWriteRDD#computedataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Literál by měl vyvolat chybu TypeError pro nepodporovaný datový typ
• [SPARK-42108] [SC-120898][sql] Transformace Analyzátoru Count(*) na Count(1)
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Poskytování podpory pro parametrizované SQL sql()
• [SPARK-40599] [SC-120930][sql] Uvolnit typ pravidla multiTransform, aby alternativy mohly být jakýmkoli druhem Seq.
• [SPARK-41574] [SC-120771][sql] Aktualizace _LEGACY_ERROR_TEMP_2009 jako INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Přiřadit název _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][sql] Převod INCORRECT_END_OFFSET na INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] Přejmenování MedianHeap na PercentileMap a podpora percentilu
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Oprava reprezentace řetězců pro třídu sloupců
• [SPARK-42084] [SC-120775][sql] Vyhněte se úniku omezení jen pro kvalifikovaný přístup
• [SPARK-41973] [SC-120765][sql] Přiřaďte název _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][sql] SPJ: Odstranit možnost v KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][connect][PYTHON] Přejmenování zpráv proto pro toDF a withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Oprava problémů s názvy proměnných ve vnořených funkcích lambda
• [SPARK-41982] [SC-120604][sql] Oddíly typu řetězce by neměly být považovány za číselné typy.
• [SPARK-40599] [SC-120620][sql] Přidání metod multiTransform do TreeNode pro generování alternativ
• [SPARK-42085] [SC-120556][connect][PYTHON] Umožnit from_arrow_schema podporovat vnořené typy
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Oprava způsobu zpracování výjimky ve generování zpráv o chybách.
• [SPARK-41586] [12.x][všechny testy][SC-120544][python] Představuje pyspark.errors a třídy chyb pro PySpark.
• [SPARK-41903] [SC-120543][connect][PYTHON Literal] by měl podporovat 1-dim ndarray
• [SPARK-42021] [SC-120584][connect][PYTHON] Vytvořit podporu createDataFrame pro array.array
• [SPARK-41896] [SC-120506][sql] Filtrování podle indexu řádků vrátí prázdné výsledky.
• [SPARK-41162] [SC-119742][sql] Oprava anti- a semijoinu pro samo spojení s agregacemi
• [SPARK-41961] [SC-120501][sql] Podpora tabulkových funkcí s LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Seskupit vnořené spouštění pod kořenovým spuštěním
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literál by měl podporovat datové typy Numpy
• [SPARK-42028] [SC-120344][connect][PYTHON] Zkrácení časových razítek nanosekund
• [SPARK-42011] [SC-120534][connect][PYTHON] Implementace DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Použijte FieldReference.column místo apply v převodu filtru V1 na V2.
• [SPARK-39217] [SC-120446][sql] Umožňuje DPP podporovat prořezávání na straně sjednocení
• [SPARK-42076] [SC-120551][connect][PYTHON] Factor data conversion arrow -> rows out to conversion.py
• [SPARK-42074] [SC-120540][sql] Povolení KryoSerializer v TPCDSQueryBenchmark k vynucení registrace třídy SQL
• [SPARK-42012] [SC-120517][connect][PYTHON] Implement DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Oprava DataFrame.unionByName, přidání možnosti allow_missing_columns
• [SPARK-38651] [SC-120514] [SQL] Přidat spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert by měl přijmout ExpressionProxy jako potomek
• [SPARK-41232] [SC-120073][sql][PYTHON] Přidání funkce array_append
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader by měl podporovat seznam cest.
• [SPARK-42071] [SC-120533][core] Registrace scala.math.Ordering$Reverse do KryoSerializeru
• [SPARK-41986] [SC-120429][sql] Zavedení náhodného prohazování u singlePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Povolit testy související s vnořeným sloupcem
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader by měl podporovat schéma StructType.
• [SPARK-42031] [SC-120389][core][SQL] Vyčištění remove metod, které není třeba přepsat
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Umožnit, aby createDataFrame(rows/lists/tuples/dicts) podporoval vnořené typy
• [SPARK-41437] [SC-117601][SQL][VŠECHNY TESTY] Neoptimalizovat vstupní dotaz dvakrát pro záložní zápis v1
• [SPARK-41840] [SC-119719][connect][PYTHON] Přidání chybějícího aliasu groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Povolení doctestů pro okenní funkce
• [SPARK-41914] [SC-120094][sql] FileFormatWriter materializuje plán AQE před přístupem k outputOrdering.
• [SPARK-41805] [SC-119992][sql] Opakované použití výrazů v WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range by měl přijímat jako argumenty hodnoty typu float.
• [SPARK-42029] [SC-120336][connect] Přidat pravidla shadingu Guava do connect-common k zabránění selhání spuštění
• [SPARK-41989] [SC-120334][python] Vyhněte se narušení konfigurace logování způsobené modulem pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Omezení duplicitního kódu v ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Oprava skupiny podle všech zpráv o chybách
• [SPARK-41047] [SC-120291][sql] Vylepšení dokumentace pro zaokrouhlování
• [SPARK-41822] [SC-120122][connect] Nastavení připojení gRPC pro klienta Scala/JVM
• [SPARK-41879] [SC-120264][connect][PYTHON] Umožnit DataFrame.collect podporu vnořených typů
• [SPARK-41887] [SC-120268][connect][PYTHON] Upravit DataFrame.hint, aby přijal parametr typu seznam
• [SPARK-41964] [SC-120210][connect][PYTHON] Přidání seznamu nepodporovaných vstupně-výstupních funkcí
• [SPARK-41595] [SC-120097][sql] Podpora generátorové funkce explode/explode_outer v klauzuli FROM
• [SPARK-41957] [SC-120121][connect][PYTHON] Umožnit doctest pro DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect výstup doctestu má jiné pořadí
• [SPARK-41442] [SC-117795][sql][VŠECHNY TESTY] Aktualizujte hodnotu METRIKY SQL pouze v případě sloučení s platnou metrikou.
• [SPARK-41944] [SC-120046][connect] Předat konfigurace, když je zapnutý lokální vzdálený režim
• [SPARK-41708] [SC-119838][sql] Pull v1write information to WriteFiles
• [SPARK-41780] [SC-120000][sql] By měl vyvolat INVALID_PARAMETER_VALUE. PATTERN, pokud jsou parametry regexp neplatné
• [SPARK-41889] [SC-119975][sql] Připojení původní příčiny k neplatné chyběPatternError & refaktoring tříd chyb INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][sql] Vytváření tříd případů AvroScanBuilder a JsonScanBuilder
• [SPARK-41945] [SC-120010][connect][PYTHON] Python: Připojení dat ztracených sloupců klienta s pyarrow. Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Nezávislé kodéry
• [SPARK-41354] [SC-119995][connect][PYTHON] Implementace RepartitionByExpression
• [SPARK-41581] [SC-119997][sql] Aktualizace _LEGACY_ERROR_TEMP_1230 jako INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Přidejte nepodporovaný seznam pro functions
• [SPARK-41933] [SC-119980][connect] Zadejte místní režim, který automaticky spustí server.
• [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame by měl respektovat schéma DDL poskytnuté uživatelem.
• [SPARK-41936] [SC-119978][connect][PYTHON] Znovu použijte withMetadata k přepracování withColumns proto
• [SPARK-41898] [SC-119931][connect][PYTHON] Kontrola typů parametrů Window.rowsBetween, Window.rangeBetween shodná s pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Přidání nepodporovaného seznamu pro funkce catalog
• [SPARK-41924] [SC-119946][connect][PYTHON] Umožnit StructType podporu pro metadata a implementaci DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Přidejte nepodporovaný seznam funkcí pro session
• [SPARK-41875] [SC-119969][connect][PYTHON] Přidání testovacích případů pro Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Ignorovat doctest pro vysvětlení funkce connect
• [SPARK-41880] [SC-119959][connect][PYTHON] Upravte funkci from_json k přijetí neliterálního schématu
• [SPARK-41927] [SC-119952][connect][PYTHON] Přidejte nepodporovaný seznam pro GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Přidání funkce array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] Upravte GroupBy tak, aby přijímal seznam sloupců
• [SPARK-41925] [SC-119905][sql] Ve výchozím nastavení povolte spark.sql.orc.enableNestedColumnVectorizedReader
• [SPARK-41831] [SC-119853][connect][PYTHON] DataFrame.select dovolit přijmutí seznamu sloupců
• [SPARK-41455] [SC-119858][connect][PYTHON] DataFrame.collect zahoďte informace o časovém pásmu.
• [SPARK-41923] [SC-119861][connect][PYTHON] Přidání DataFrame.writeTo do nepodporovaného seznamu
• [SPARK-41912] [SC-119837][sql] Poddotaz by neměl ověřovat CTE
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Zajistit, aby createDataFrame podporovalo prázdný datový rámec
• [SPARK-41905] [SC-119848][connect] Podpora názvů jako řetězců ve slice
• [SPARK-41869] [SC-119845][connect] Odmítnout jeden řetězec v dropDuplicates
• [SPARK-41830] [SC-119840][connect][PYTHON] DataFrame.sample přijmout stejné parametry jako PySpark
• [SPARK-41849] [SC-119835][connect] Implement DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Upravte v2 ScanBuilders, aby build() vracel typovaný scan.
• [SPARK-41825] [SC-119710][connect][PYTHON] Povolení doctestů souvisejících s DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Zajistit správné zpracování None/NaN popisovačem createDataFrame
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Zajistit, aby DataFrame.collect správně zpracovával None/NaN/Array/Binary.
• [SPARK-39318] [SC-119713][sql] Odstranit soubory tpch-plan-stability se statistikami golden files
• [SPARK-41791] [SC-119745] Přidání nových typů sloupců metadat zdroje souborů
• [SPARK-41790] [SC-119729][sql] Nastavte správně formát čtečky TRANSFORM a zapisovače.
• [SPARK-41829] [SC-119725][connect][PYTHON] Přidejte chybějící parametr řazení v Sort a sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][connect][PYTHON] Oprava doctestu pro DataFrame.describe
• [SPARK-41871] [SC-119714][connect] Parametr nápovědy datového rámce může být str, float nebo int.
• [SPARK-41720] [SC-119076][sql] Přejmenovat unresolvedFunc na UnresolvedFunctionName
• [SPARK-41573] [SC-119567][sql] Přiřadit název _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][sql] Oprava chyby správnosti související s výchozími hodnotami v čtečce Orc
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Opakované použití INVALID_TYPED_LITERAL místo _LEGACY_ERROR_TEMP_0022

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 12.2.

Prostředí systému

• Operační systém: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.21
• R: 4.2.2
• Delta Lake: 2.2.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 11.11.2022. Snímek už není k dispozici.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)