Databricks Runtime 12.1 (EoS)

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 12.1, který využívá Apache Spark 3.3.1.

Databricks vydala tuto verzi v lednu 2023.

Nové funkce a vylepšení

• Funkce tabulek Delta Lake podporované pro správu protokolů
• Prediktivní vstupně-výstupní operace pro aktualizace jsou ve verzi Public Preview
• Průzkumník katalogu je teď dostupný pro všechny osoby.
• Podpora více stavových operátorů v jednom dotazu streamování
• Podpora Protocol Buffers je ve veřejné ukázce
• Podpora ověřování registru schématu Confluent
• Podpora sdílení historie tabulky pomocí Delta Sharing shares
• Podpora streamování s podíly Delta Sharing
• Verze tabulky využívající časové razítko se teď podporuje pro tabulky Delta Sharing v katalogech.
• podpora funkce WHEN NOT MATCHED BY SOURCE pro MERGE INTO
• optimalizované shromažďování statistik pro CONVERT TO DELTA
• Podpora katalogu Unity pro rozbalení tabulek

Funkce tabulek Delta Lake podporované pro správu protokolů

Služba Azure Databricks zavedla podporu funkcí tabulek Delta Lake, která zavádí podrobné příznaky určující, které funkce jsou podporovány danou tabulkou. Viz Jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?.

Prediktivní vstupně-výstupní operace pro aktualizace jsou ve verzi Public Preview

Prediktivní vstupně-výstupní operace nyní urychlují DELETEMERGEa UPDATE operace pro tabulky Delta s vektory odstranění povolenými na výpočetních prostředcích s podporou Photon. Podívejte se na co je prediktivní I/O?

Průzkumník katalogu je teď dostupný pro všechny osoby.

Průzkumník katalogu je nyní k dispozici pro všechny osoby Azure Databricks při použití Databricks Runtime 7.3 LTS a vyšší.

Podpora více stavových operátorů v jednom dotazu streamování

Uživatelé teď můžou zřetězovat stavové operátory s přidávacím režimem v streamovacím dotazu. Ne všechny operátory jsou plně podporované. Připojení časových intervalů streamů a flatMapGroupsWithState neumožňuje propojení s jinými stavovými operátory.

Podpora pro Protocol Buffers je ve veřejné preview.

Pomocí funkcí from_protobuf a to_protobuf můžete vyměňovat data mezi binárními typy a strukturami. Viz Vyrovnávací paměti protokolu pro čtení a zápis.

Podpora ověřování registru schématu Confluent

Integrace Azure Databricks s Confluent Schema Registry teď podporuje adresy externího registru schématu s ověřováním. Tato funkce je k dispozici pro from_avro, to_avro, from_protobuf a to_protobuf funkce. Viz Protobuf nebo Avro.

Podpora pro sdílení historie tabulek s Delta Sharing shares

Nyní můžete sdílet tabulku s úplnou historií pomocí Delta Sharing, což příjemcům umožňuje provádět dotazy s časovým cestováním a dotazovat se na tabulku pomocí Spark Structured Streaming. WITH HISTORY je doporučeno místo CHANGE DATA FEED, i když ta je nadále podporována. Viz ALTER SHARE a Přidání tabulek do sdílení.

Podpora streamování pomocí sdílení Delta

Strukturované streamování Sparku teď funguje s formátem deltasharing zdrojové tabulky Delta Sharing, která byla sdílena pomocí WITH HISTORY.

Verze tabulky využívající časové razítko se teď podporuje pro tabulky Delta Sharing v katalogech.

Syntaxi TIMESTAMP AS OF SQL teď můžete použít v SELECT příkazech k určení verze tabulky Delta Sharing, která je připojená v katalogu. Tabulky musí být sdíleny pomocí WITH HISTORY.

Podpora funkcí WHEN NOT MATCHED BY SOURCE pro MERGE INTO

Nyní můžete přidat WHEN NOT MATCHED BY SOURCE klauzule do MERGE INTO k aktualizaci nebo odstranění řádků ve zvolené tabulce, které nemají shodu ve zdrojové tabulce na základě podmínky sloučení. Nová klauzule je dostupná v JAZYCE SQL, Python, Scala a Java. Viz MERGE INTO.

Optimalizovaná kolekce statistik pro CONVERT TO DELTA

Shromažďování statistik pro CONVERT TO DELTA operaci je teď mnohem rychlejší. Tím se sníží počet úloh, které by mohly použít NO STATISTICS pro efektivitu.

Podpora katalogu Unity pro rozbalení tabulek

Tato funkce byla původně vydána ve verzi Public Preview. Je v obecné dostupnosti od 25. října 2023.

Vyřazenou spravovanou nebo externí tabulku teď můžete vrátit zpět do existujícího schématu během sedmi dnů od vyřazení. Podívejte se na UNDROP a SHOW TABLES DROPPED.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock od 3.8.0 do 3.8.2
  • platformdirs od 2.5.4 do 2.6.0
  • instalační nástroje od 58.0.4 do 61.2.0
• Upgradované knihovny jazyka R:
• Upgradované knihovny Java:
  • io.delta.delta-sharing-spark_2.12 od 0.5.2 do 0.6.2
  • org.apache.hive.hive-storage-api od 2.7.2 do 2.8.1
  • org.apache.parquet.parquet-column od 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common od 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding od 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop od 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson od 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.tukaani.xz od 1.8 do 1.9

Apache Spark

Databricks Runtime 12.1 zahrnuje Apache Spark 3.3.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 12.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-41405] [SC-119769][12.1.0] Vrátit zpět "[SC-119411][sql] Centralizace logiky rozlišení sloupců" a "[SC-117170][spark-41338][SQL] Vyřešit vnější odkazy a běžné sloupce ve stejné sekvenci analyzátoru"
• [SPARK-41405] [SC-119411][sql] Centralizace logiky řešení sloupců
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand by měl správně nastavit příznak přepsání.
• [SPARK-41659] [SC-119526][connect][12.X] Povolení doctestů v pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Oprava regrese výkonu čtečky ORC způsobené funkcí výchozí hodnoty
• [SPARK-41807] [SC-119399][core] Odeberte neexistující třídu chyb: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Přiřadit název _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Přiřadit název _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Odvození názvů ze seznamu slovníků ve SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Přesunout dokumentaci a skript Spark Connect do dev/ a dokumentace k Pythonu
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Počáteční klientský modul pro Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] Stránka uživatelského rozhraní fází se nepodaří načíst pro proxy server v konkrétním prostředí yarn.
• [SPARK-41481] [SC-118150][core][SQL] Opakované použití INVALID_TYPED_LITERAL místo _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Přehodnotit práci se stavovými výrazy
• [SPARK-41726] [SC-119248][sql] Odebrat OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Podpora parametrizovaných dotazů SQL sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementovat DataFrame.sampleBy a DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][všechny testy] Odsunout zápis v1 do WriteFiles
• [SPARK-41565] [SC-118868][sql] Přidání třídy chyb UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] Funkce DECODE vrátí nesprávné výsledky při předání hodnoty NULL.
• [SPARK-41554] [SC-119274] Oprava změny desítkového měřítka při zmenšení měřítka o m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementovat DataFrame.freqItems a DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Znovu povolit testy dokumentace a přidání chybějícího aliasu sloupce do count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementovat DataFrame.approxQuantile a DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] from_json podpora schématu datových typů
• [SPARK-41804] [SC-119382][sql] Volba správné velikosti prvku v InterpretedUnsafeProjection pro pole UDT
• [SPARK-41786] [SC-119308][connect][PYTHON] Odstranění duplicit pomocných funkcí
• [SPARK-41745] [SC-119378][spark-41789][12.X] createDataFrame podpora seznamu řádků
• [SPARK-41344] [SC-119217][sql] Zpřehlednění chyby, když není nalezena tabulka v katalogu SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Přidání chybějící funkce log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Nastavení možností podpory funkcí JSON
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Vytvořte __getitem__ filtr podpory a vyberte
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Umožněte operaci sloupce podporovat None
• [SPARK-41440] [SC-119279][connect][PYTHON] Vyhněte se operátoru mezipaměti pro náhodný vzorek.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementovat GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Podpora rozšíření protokolu v rámci relace a výrazu
• [SPARK-41417] [SC-118000][core][SQL] Přejmenování _LEGACY_ERROR_TEMP_0019 na INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Správné zpracování chyb pro Spark Connect Server / klient
• [SPARK-41292] [SC-119357][connect][12.X] Okno podpory v oboru názvů pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Nastavení možností podpory funkcí CSV
• [SPARK-39591] [SC-118675][ss] Sledování asynchronního průběhu
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementace Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementovat DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Povolení doctestů ve sloupci pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Mix ClientId v mezipaměti SparkSession.
• [SPARK-41354] [SC-119194][connect] Přidejte RepartitionByExpression do proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Přidat chybějící __rmod__ ve sloupci
• [SPARK-41778] [SC-119262][sql] Přidání aliasu "reduce" do ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementovat DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Nastavení interního názvu operace řetězce v souladu s FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Přidání nadřazené zprávy pro katalog
• [SPARK-41742] [SC-119263] Podpora df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Oprava aritmetických operací: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Přejmenování UNSUPPORTED_CORRELATED_REFERENCE na CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Oprava Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementujte funkci unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implementovat GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Oprava Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Podpora implicitního řešení aliasů laterálních sloupců v agregaci
• [SPARK-41529] [SC-119207][connect][12.X] Implementovat SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Přejmenování _LEGACY_ERROR_TEMP_0011 na UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Odstranění duplicitních dat a repr_html ve společnosti LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementovat Column.name
• [SPARK-41733] [SC-119163][sql][SS] Aplikace prořezávání na základě stromových vzorů pro pravidlo ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Uplatnění prořezávání založeného na stromovém vzoru pro pravidlo SessionWindowing
• [SPARK-41498] [SC-119018] Šíření metadat prostřednictvím sjednocení
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementace přístupového objektu sloupce
• [SPARK-41736] [SC-119161][connect][PYTHON] by měl pyspark_types_to_proto_types podporovat ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementujte funkci format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implementujte API katalogu v rámci Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementovat Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON] Vyšší řádové funkce: implementace array_compact
• [SPARK-41518] [SC-118453][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementace funkce sequence
• [SPARK-41703] [SC-119060][connect][PYTHON] Kombinování typu NullType a typed_null v literálu
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementace 3 chybějících funkcí časových oken
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementace transformačních funkcí particí
• [SPARK-41413] [SC-118968][sql] Vyhněte se náhodnému přeskupení v příkazu Storage-Partitioned Join v případě, že se klíče oddílů neshodují, ale výrazy spojení jsou kompatibilní.
• [SPARK-41700] [SC-119046][connect][PYTHON] Odebrat FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] by měl pyspark_types_to_proto_types podporovat MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Přidání neplatných operací sloupců
• [SPARK-41660] [SC-118866][sql] Šíření sloupců metadat pouze v případě jejich použití
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementujte akumulátor pro shromažďování metrik počtu řádků mapovače.
• [SPARK-41647] [SC-119064][connect][12.X] Odstraňte duplicitní dokumentační řetězce v pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Umožnit podporu operací se sloupci decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementovat rollup, cube a pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Odstranění duplicitních dat v pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Přesun výrazů do expressions.py
• [SPARK-41687] [SC-118949][connect] Deduplikace docstringů ve skupině pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Odstranění duplicitních docstringů v pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Uspořádat GroupedData do group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementace funkcí Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Umožnit podporu operací sloupců datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Povolení zastaralých funkcí
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementovat Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementace funkce broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Odstranění duplicitních dat v souboru pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Odstranit duplicitní docstringy v pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Odstranění duplicitních dat ve sloupci pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementujte zbývající funkce Lambda.
• [SPARK-41441] [SC-118557][sql] Podpora generování bez potřebného podřízeného výstupu pro hostování vnějších odkazů
• [SPARK-41669] [SC-118923][sql] Předčasné vyřazování v canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Odebrání ScalaReflectionLock ze SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementovat DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Počáteční implementace LambdaFunction
• cs-CZ: [SPARK-41539] [SC-118802][sql] Přemapování statistik a omezení pro výstup v logickém plánu logického RDD
• [SPARK-41396] [SC-118786][SQL][PROTOBUF] Podpora pro pole OneOf a rekurzivní kontroly
• [SPARK-41528] [SC-118769][connect][12.X] Sloučení oboru názvů rozhraní Spark Connect a PySpark API
• [SPARK-41568] [SC-118715][sql] Přiřaďte název _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implement DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Přidání Spark Connect a protobuf do setup.py se specifikací závislostí
• [SPARK-27561] [SC-101081][12.x][SQL] Podpora implicitního vyhodnocení aliasů laterálního sloupce v projekci
• [SPARK-41535] [SC-118645][sql] Nastavte správně hodnotu null pro pole intervalu kalendáře v InterpretedUnsafeProjection a InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Podpora maskování dat předdefinované funkce Maska
• [SPARK-41520] [SC-118440][sql] Rozdělení AND_OR TreePattern, aby byla oddělena TreePatterns pro AND a OR.
• [SPARK-41349] [SC-118668][connect][PYTHON] Implementace datového rámce.hint
• [SPARK-41546] [SC-118541][connect][PYTHON pyspark_types_to_proto_types] by měl podporovat typ struktury.
• [SPARK-41334] [SC-118549][connect][PYTHON] Přesun SortOrder proto z relací do výrazů
• [SPARK-41387] [SC-118450][ss] Ověřit aktuální koncovou posun z Kafka datového zdroje pro Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Přejmenování _LEGACY_ERROR_TEMP_1180 na UNEXPECTED_INPUT_TYPE a odebrání _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementujte sloupec. {when, otherwise} a when funkce s UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Oprava volání nesprávné podřízené metody v SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementovat DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Přidáníspark.sql.json.enablePartialResults pro povolení nebo zakázání částečných výsledků JSON
• [SPARK-41437] Vrátit zpět “[SC-117601][sql] Neoptimalizovat vstupní dotaz dvakrát pro záložní zápis v1”
• [SPARK-41472] [SC-118352][connect][PYTHON] Implementujte zbývající řetězcové/binární funkce.
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementovat Column.isin
• [SPARK-32170] [SC-118384] [JÁDRO] Zlepšení spekulace pomocí metriky úkolů fáze.
• [SPARK-41524] [SC-118399][ss] Rozlišení mezi SQLConf a extraOptions v rámci StateStoreConf pro jejich použití v rámci RocksDBConf
• [SPARK-41465] [SC-118381][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1235
• cs-CZ: [SPARK-41511] [SC-118365][sql] Podpora LongToUnsafeRowMap ignoruje duplicitní klíč
• [SPARK-41409] [SC-118302][core][SQL] Přejmenování _LEGACY_ERROR_TEMP_1043 na WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementovat DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Neoptimalizovat vstupní dotaz dvakrát pro záložní zápis v1
• [SPARK-41314] [SC-117172][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refaktoring LiteralExpression pro podporu datového typu
• [SPARK-41448] [SC-118046] Zajištění konzistentních ID úloh MR v FileBatchWriter a FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Zlepšení výkonu try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementace funkcí collection: P~Z
• [SPARK-41478] [SC-118167][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Přepracovat chybovou zprávu pro NUM_COLUMNS_MISMATCH, aby bylo obecnější
• [SPARK-41404] [SC-118016][sql] Upravit ColumnVectorUtils#toBatch, aby ColumnarBatchSuite#testRandomRows testoval více primitivní datové typy
• [SPARK-41468] [SC-118044][sql] Oprava zpracování PlanExpression v EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Oprava duplicitních položek popisu pro prohledávání souborů V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementace funkcí MISC
• [SPARK-41459] [SC-118005][sql] Oprava problému, kdy je výstup protokolu operací serveru Thrift prázdný.
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection by měl použít setDecimal k nastavení hodnot null pro desetinná místa v nebezpečném řádku.
• [SPARK-41376] [SC-117840][core][3.3] Oprava logiky kontroly Netty preferDirectBufs při spuštění exekutoru
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementujte collection funkce: E~M
• [SPARK-41389] [SC-117426][core][SQL] Opětovné použití WRONG_NUM_ARGS namísto _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Datový typ a časové razítko mohou být převedeny na TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Změna volání invalidFunctionArgumentsError pro curdate(), pokud expressions není prázdná
• [SPARK-41187] [SC-118030][core] LiveExecutor MemoryLeak v AppStatusListener při spuštění executorLost
• [SPARK-41360] [SC-118083][core] Pokud dojde ke ztrátě exekutoru, vyhněte se opětovné registraci nástroje BlockManager.
• [SPARK-41378] [SC-117686][sql] Statistiky sloupců podpory v DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Přepsat prettyName u StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementace funkcí data a časového razítka
• [SPARK-41329] [SC-117975][connect] Řešení cyklických importů v nástroji Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Správně odvodí datový typ literálových celých čísel.
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Zajistit, aby createDataFrame podporoval schémata a více typů vstupních datových sad
• [SPARK-41475] [SC-117997][connect] Oprava chyby příkazu lint-scala a překlepu
• [SPARK-38277] [SC-117799][ss] Vymažte dávku zápisu po potvrzení stavového úložiště RocksDB
• [SPARK-41375] [SC-117801][ss] Vyhněte se prázdnému nejnovějšímu KafkaSourceOffset
• [SPARK-41412] [SC-118015][connect] Implementovat Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementace DataFrame.melt a DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refaktorování testů souvisejících se sloupcem na test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Sloupec by měl podporovat operátor !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Přidání zarovnání znaků na straně čtení pro zajištění kompatibility s externími datovými soubory
• [SPARK-41349] [SC-117594][connect][12.X] Implementace datového rámce.hint
• [SPARK-41338] [SC-117170][sql] Řešení vnějších odkazů a normálních sloupců ve stejné fázi analyzátoru
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementace funkcí collection: A~C
• [SPARK-41445] [SC-117802][connect] Implement DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char by měl vrátit hodnotu null, pokud má formát hodnotu null.
• [SPARK-41444] [SC-117796][connect] podpora read.json()
• [SPARK-41398] [SC-117508][sql] Uvolnění omezení připojení Storage-Partitioned Join, když se klíče oddílů po filtrování za běhu neshodují
• [SPARK-41228] [SC-117169][sql] Přejmenovat & a zlepšit chybovou zprávu pro COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementace funkcí count_distinct a sum_distinct
• [SPARK-41433] [SC-117596][connect] Umožnění konfigurovatelnosti Max Arrow BatchSize
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementace části řetězcových/binárních funkcí
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementujte funkci product
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementovat DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() by měl být kompatibilní
• [SPARK-41369] [SC-117584][connect] Přidání "Connect Common" do stínovaného jaru serverů
• [SPARK-41411] [SC-117562][ss] Oprava chyby podpory vodoznaku vícestavového operátora
• [SPARK-41176] [SC-116630][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementace agregačních funkcí
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementace normálních funkcí
• [SPARK-41305] [SC-117411][připojit] Zlepšit dokumentaci pro příkaz proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Implementace DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Poskytnutí naklonované relace Spark v rámci DataFrame v uživatelské funkci pro jímku foreachBatch v PySparku.
• [SPARK-41373] [SC-117405][SQL][ERROR] Změna názvu z CAST_WITH_FUN_SUGGESTION na CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refaktorovat ColumnVectorUtils#populate metodu pro použití PhysicalDataType místo DataType
• [SPARK-41355] [SC-117423][sql] Náhradní řešení problému s ověřením názvu tabulky Hive
• [SPARK-41390] [SC-117429][sql] Aktualizujte skript použitý ke generování funkce register v UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Přejmenujte třídu chyb _LEGACY_ERROR_TEMP_1233 na COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementace matematických funkcí
• [SPARK-40970] [SC-117308][connect][PYTHON] Podpora seznamu[Sloupec] pro argument operace JOIN
• [SPARK-41345] [SC-117178][connect] Přidat nápovědu k Connect Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refaktoring typů Sparku zavedením fyzických typů
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Přidání základní podpory pro DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Přidání přetypování do proto výrazu
• [SPARK-41323] [SC-117128][sql] Podpora current_schema
• [SPARK-41339] [SC-117171][sql] Zavření dávky zápisu a její opětovné vytvoření v RocksDB místo pouhého vymazání
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementovat křížové spojení datového rámce
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementace funkcí asc a desc
• [SPARK-41343] [SC-117166][connect] Přesunutí parsování názvu funkce na straně serveru
• [SPARK-41321] [SC-117163][connect] Cílové pole podpory pro UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Znovu použijte třídu chyb UNSUPPORTED_DATATYPE pro _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Opakované použití INVALID_SCHEMA.NON_STRING_LITERAL místo _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optimalizace použití konstruktoru StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Podpora IsNull a IsNotNull v rámci sloupce
• [SPARK-41332] [SC-117131][connect][PYTHON] Oprava nullOrdering v SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Oprava chybějícího průměru() pro GroupBy nad DF
• [SPARK-41327] [SC-117137][core] Oprava SparkStatusTracker.getExecutorInfos pomocí přepínání informací On/OffHeapStorageMemory
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementujte DataFrame.replace a DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Přidání logického a řetězcového rozhraní API do sloupce
• [SPARK-41331] [SC-117127][connect][PYTHON] Přidání orderBy a drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal by se měl zajistit, aby byl zámek bez odkladu odemknutý.
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Upravit „Column“ pro kompatibilitu rozhraní API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementace datového rámce.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Přidání třídy chyb INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Opakované použití INVALID_SCHEMA místo _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Přetypování instancí NumPy na primitivní typy Pythonu v aktualizaci GroupState
• [SPARK-41174] [SC-116609][core][SQL] Rozšíření třídy chyb pro uživatele kvůli neplatnému formatto_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Podpora literálů více datových typů
• [SPARK-41326] [SC-116972] [CONNECT] Opravit chybějící vstup deduplikace
• [SPARK-41316] [SC-116900][sql] Povolit koncovou rekurzi, kdykoli je to možné
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Podpora řetězcových výrazů ve filtru
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementace datového rámce.withColumn
• [SPARK-41182] [SC-116632][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrace chyb možností mapování do tříd chyb
• [SPARK-40940] [SC-115993][12.x] Odeberte kontroly vícestavových operátorů pro streamované dotazy.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementace datového rámce.toDF
• [SPARK-41179] [SC-116631][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti neaktualizuje numOutputRows, pokud je zakázáno generování kódu
• [SPARK-41148] [SC-116878][connect][PYTHON] Implementace DataFrame.dropna a DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Přidání třídy chyb FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Vylepšení DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogenizace chování sparkSession.range()
• [SPARK-41306] [SC-116860][connect] Vylepšení dokumentace protokolu Connect Expression
• [SPARK-41280] [SC-116733][connect] Implementovat DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Nenastavené schéma se interpretuje jako schéma.
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Přejmenovat RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] – datový rámec. toPandas by neměly vracet volitelný datový rámec pandas
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain by se mělo vytisknout a vrátit None
• [SPARK-41278] [SC-116732][connect] Vyčistí nevyužitý atribut QualifiedAttribute ve výrazu.proto.
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Odebrání redundantního převodu kolekce na základě kódu Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Oprava problému pro applyInPandasWithState, pokud sloupce klíčů seskupení nejsou umístěné v pořadí od nejstaršího
• [SPARK-40872] [SC-116717][3.3] Návrat k původnímu přeskupovacímu bloku, pokud je sloučený přeskupovací blok nulové velikosti
• [SPARK-41114] [SC-116628][connect] Podpora lokálních dat pro LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementovat DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Podpora více předdefinovaných datových typů
• [SPARK-41230] [SC-116674][connect][PYTHON] Odstranit str z typu agregačního výrazu
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Optimalizovaná implementace shromažďování na základě šipky pro streamování ze serveru do klienta
• [SPARK-41222] [SC-116625][connect][PYTHON] Sjednocení definic typování
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Zakažte nepodporované funkce.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementace DataFrame.SelectExpr v klientovi Pythonu
• [SPARK-41203] [SC-116258] [CONNECT] Podpora objektu Dataframe.tansform v klientovi Pythonu
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementovat DataFrame.__repr__ a DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementovat DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migrace nejednoznačné chyby ref do třídy chyb
• [SPARK-41122] [SC-116141][connect] Vysvětlit rozhraní API může podporovat různé režimy.
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Zlepšení odvození typu PySpark v metodě _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogenizovat verzi protobuf napříč serverem pro připojení Sparku, aby používala stejnou hlavní verzi.
• [SPARK-35531] [SC-116409][sql] Aktualizace statistik tabulek Hive bez zbytečného převodu
• [SPARK-41154] [SC-116289][sql] Nesprávné ukládání relací do mezipaměti pro dotazy se specifikací časového cestování
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementovat DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Přejmenování UNSUPPORTED_EMPTY_LOCATION na INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Přidat rozhraní API pro rozšíření pro normalizaci plánů pro ukládání do mezipaměti
• [SPARK-41054] [SC-116447][ui][CORE] Podpora RocksDB jako KVStore v živém uživatelském rozhraní
• [SPARK-38550] [SC-115223]Vrátit zpět “[SQL][core] Použijte úložiště založené na disku k uložení dalších informací o ladění pro živé uživatelské rozhraní”
• [SPARK-41173] [SC-116185][sql] Přesunutí require() z konstruktorů řetězcových výrazů
• [SPARK-41188] [SC-116242][core][ML] Nastavení exekutorEnv OMP_NUM_THREADS na spark.task.cpus ve výchozím nastavení pro procesy JVM exekutoru Sparku
• [SPARK-41130] [SC-116155][sql] Přejmenování OUT_OF_DECIMAL_TYPE_RANGE na NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Omezení převodu kolekce při vytváření AtributMap
• [SPARK-41139] [SC-115983][sql] Zlepšení třídy chyb: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Vyžadování stínování pro soubor JAR třídy Java, zlepšení zpracování chyb
• [SPARK-40999] [SC-116168] Šíření nápovědy do poddotazů
• [SPARK-41017] [SC-116054][sql] Podpora vyřazování sloupců s několika nedeterministickými filtry
• [SPARK-40834] [SC-114773][sql] Ke sledování konečného stavu SQL v uživatelském rozhraní použijte SparkListenerSQLExecutionEnd.
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number by měl vrátit null, pokud je formát null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Zobrazení rozhraní katalogu
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Vyhněte se vkládání Spark Connect v binární verzi Apache Sparku.
• [SPARK-41048] [SC-116043][sql] Vylepšení dělení a řazení výstupu pomocí mezipaměti AQE
• [SPARK-41198] [SC-116256][ss] Oprava metrik v dotazu streamování s zdrojem streamování CTE a DSv1
• [SPARK-41199] [SC-116244][ss] Oprava problému s metrikami, když se zdroj streamování DSv1 a zdroj streamování DSv2 používají společně
• [SPARK-40957] [SC-116261][sc-114706] Přidání mezipaměti paměti v HDFSMetadataLog
• [SPARK-40940] Vrátit zpět “[SC-115993] Odstranění kontrol vícestavových operátorů pro streamovací dotazy.”
• [SPARK-41090] [SC-116040][sql] Vyvolání výjimky pro db_name.view_name při vytváření dočasného zobrazení rozhraním DATASET API
• [SPARK-41133] [SC-116085][sql] Integrovat UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION do NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Souhrn kódu 9 potvrzení
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect jako modul plug-in ovladače se stínovanými závislostmi
• [SPARK-41096] [SC-115812][sql] Podpora čtení typu parquet FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Přejmenujte třídu chyb _LEGACY_ERROR_TEMP_2440 na INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Neshoda mezi FileSourceScanExec a Orc a ParquetFileFormat při vytváření sloupcového výstupu
• [SPARK-41155] [SC-115991][sql] Přidejte chybovou zprávu k SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Odstraňte kontrolní mechanismy vícestavových operátorů pro dotazy streamování.
• [SPARK-41098] [SC-115790][sql] Přejmenování GROUP_BY_POS_REFERS_AGG_EXPR na GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Přechod chyb kontroly typu při formátování čísel na třídy chyb
• [SPARK-41059] [SC-115658][sql] Přejmenování _LEGACY_ERROR_TEMP_2420 na NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Převést DATATYPE_MISMATCH.UNSPECIFIED_FRAME na INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Přejmenování _LEGACY_ERROR_TEMP_0055 na UNCLOSED_BRACKETED_COMMENT

Aktualizace údržby

Podívejte se na aktualizace údržby pro Databricks Runtime 12.1.

Prostředí systému

• Operační systém: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R jsou nainstalovány ze snímku Microsoft CRAN z 2022-11-11.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)