Databricks Runtime 16.1

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 16.1, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v prosinci 2024.

Změny chování

zásadní změna: Zpracování regulárních výrazů Photon je teď konzistentní s Apache Spark

Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou.

Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje nepárovanou složenou závorku a byl dříve přijat Photonem, nyní neuspěje. Pokud chcete tento výraz opravit, můžete použít escape na znak závorky: split(str_col, '\\{').

Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících znakům, které nejsou ASCII. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.

Datový typ VARIANT už nejde použít s operacemi, které vyžadují porovnání.

Ve službě Databricks Runtime 16.1 a novějších není možné v dotazech, které obsahují datový typ VARIANT, použít následující klauzule ani operátory:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Kromě toho nemůžete použít tyto funkce datového rámce:

• df.dropDuplicates()
• df.repartition()

Tyto operace provádějí porovnání a porovnání, která používají datový typ VARIANT, vytvářejí nedefinované výsledky a nejsou podporovány v Databricks. Pokud ve svých úlohách nebo tabulkách Azure Databricks používáte typ VARIANT, doporučuje Databricks následující změny:

• Aktualizujte dotazy nebo výrazy tak, aby explicitně přetypovály hodnoty VARIANT na datové typy, které nejsouVARIANT.
• Pokud máte pole, která je nutné použít s některou z výše uvedených operací, extrahujte tato pole z datového typu VARIANT a uložte je pomocí datových typů, které nejsouVARIANT.

Pro více informací, viz data variant dotazování.

Nové funkce a vylepšení

• Podpora třídění v Apache Spark je ve verzi Veřejná ukázka
• Podpora kolací v Delta Lake je ve verzi Public Preview
• LITE režim pro vakuum je ve verzi Public Preview
• Podpora parametrizace klauzule USE CATALOG with IDENTIFIER
• podpora COMMENT ONCOLUMN pro tabulky a zobrazení
• nové funkce SQL
• vyvolání pojmenovaného parametru pro více funkcí
• parametr SYNC METADATA příkazu REPAIR TABLE podporuje metastor Hive
• vylepšená integrita dat pro komprimované dávky Apache Arrow
• Přidána podpora pro metody Scala na výpočetních prostředcích ve sdíleném přístupovém režimu katalogu Unity
• integrovaný ovladač Teradata JDBC
• Podpora StreamingQueryListener pro Scala
• integrovaný ovladač Oracle JDBC
• Podrobnější chyby u tabulek Delta, které jsou přístupné pomocí cest

Podpora kolací v Apache Sparku je ve verzi Public Preview.

Teď můžete ke sloupcům a výrazům STRING přiřazovat kolace rozlišující jazyk, nerozlišující malá a velká písmena a nerozlišující přístup. Tato seřazení se používají v porovnání řetězců, řazení, operacích seskupování a mnoha řetězcových funkcích. Viz kolace.

Podpora kolací v Delta Lake je ve verzi Public Preview.

Při vytváření nebo změně tabulky Delta teď můžete definovat kolace pro sloupce. Podívejte se na podporu uspořádání pro Delta Lake.

režim LITE pro vakuum je ve verzi Public Preview.

Nyní můžete použít VACUUM table_name LITE k provedení lehčího čištění, které využívá metadata v transakčním protokolu Delta. Viz plnohodnotný režim vs. odlehčený režim a VACUUM.

Podpora parametrizace klauzule USE CATALOG with IDENTIFIER

V Databricks Runtime 16.1 a novějších je pro příkaz USE CATALOG podporovaná klauzule IDENTIFIER. S touto podporou můžete parametrizovat aktuální katalog pomocí řetězcové proměnné nebo značky parametru.

podpora COMMENT ONCOLUMN pro tabulky a zobrazení

V Databricks Runtime 16.1 a novějším podporuje příkaz COMMENT ON změny komentářů pro sloupce zobrazení a tabulky.

Nové funkce SQL

Ve službě Databricks Runtime 16.1 a novějších jsou k dispozici následující integrované funkce SQL:

• dayname(výraz) vrátí třípísmennou anglickou zkratku pro den v týdnu daného data.
• uniform(výraz1, výraz2 [,generátor]) vrátí náhodnou hodnotu s nezávisle a identicky distribuovanými hodnotami v zadaném rozsahu čísel.
• randstr(length) vrátí náhodný řetězec skládající se z length alfanumerických znaků.

Vyvolání pojmenovaného parametru pro další funkce

V Databricks Runtime 16.1 a novějších podporují následující funkce volání pojmenovaných parametrů:

• varianta_explode
• variant_explode_outer
• vložené
• inline_outer
• posexplode
• posexplode_outer

Metastore Hive podporuje parametr SYNC METADATA příkazu REPAIR TABLE.

V Databricks Runtime 16.1 a novějších můžete pomocí parametru SYNC METADATA s příkazem REPAIR TABLE aktualizovat metadata spravované tabulky metastoru Hive. Viz REPAIR TABLE.

Vylepšená integrita dat pro komprimované dávky Apache Arrow

V Databricks Runtime 16.1 a novějších nyní každá LZ4 komprimovaná dávka Arrow obsahuje kontrolní součty obsahu a bloků LZ4, aby poskytovala lepší ochranu proti poškození dat. Viz popis formátu rámce LZ4 .

Přidání podpory pro metody Scala ve výpočetním režimu sdíleného přístupu katalogu Unity

Ve výpočetním režimu sdíleného přístupu v Unity Catalogu v Databricks Runtime 16.1 a novějších byla přidána podpora pro následující metody Scaly: Dataset.flatMapGroups(), Dataset.mapGroups()a DataStreamWriter.foreach().

Integrovaný ovladač Teradata JDBC

V Databricks Runtime 16.1 a novějších je ovladač Teradata JDBC integrovaný do Azure Databricks. Pokud používáte ovladač JDBC ve formátu JAR, který jste nahráli přes DriverManager, je nutné přepsat skripty tak, aby explicitně používaly tento vlastní soubor JAR. V opačném případě se použije integrovaný ovladač. Tento ovladač podporuje pouze Federaci Lakehouse. Pro jiné případy použití musíte poskytnout vlastní ovladač.

Podpora StreamQueryListener pro Scala

Teď můžete použít StreamingQueryListener v jazyce Scala na výpočetních prostředcích nakonfigurovaných pomocí režimu sdíleného přístupu.

Integrovaný ovladač Oracle JDBC

V Databricks Runtime 16.1 a novějších je ovladač Oracle JDBC integrovaný do Azure Databricks. Pokud používáte ovladač JDBC ve formátu JAR, který jste nahráli přes DriverManager, je nutné přepsat skripty tak, aby explicitně používaly tento vlastní soubor JAR. V opačném případě se použije integrovaný ovladač. Tento ovladač podporuje pouze Federaci Lakehouse. Pro jiné případy použití musíte poskytnout vlastní ovladač.

Podrobnější přehled chyb pro tabulky Delta přístupné prostřednictvím cest

K dispozici je nové prostředí pro zobrazení chybových zpráv pro tabulky Delta, k nimž se přistupuje pomocí cest. Všechny výjimky se teď předávají uživateli. Výjimka DELTA_MISSING_DELTA_TABLE je teď vyhrazena, když se podkladové soubory nedají číst jako tabulka Delta.

Další změny

Přejmenovány chybové kódy pro zdroj strukturovaného streamování cloudFiles

Tato verze obsahuje změnu pro přejmenování následujících kódů chyb:

• _LEGACY_ERROR_TEMP_DBR_0143 se přejmenuje na CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 se přejmenuje na CF_INCORRECT_BATCH_USAGE .

Opravy chyb

Vnořené typy nyní správně přijímají omezení na NULL.

Tato verze opravuje chybu, která ovlivňuje některé sloupce vygenerované Deltou u vnořených typů, například STRUCT. Tyto sloupce by někdy nesprávně odmítaly výrazy na základě omezení NULL nebo NOT NULL ve vnořených polích. Toto bylo opraveno.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • ipyflow-core od 0.0.198 do 0.0.201
  • pyccolo od 0.0.52 do 0.0.65
• Upgradované knihovny jazyka R:
• Upgradované knihovny Java:
  • io.delta.delta-sharing-client_2.12 od 1.2.1 do 1.2.2
  • org.lz4.lz4-java od 1.8.0 do 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.2-linux-x86_64 do 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 16.0a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-50482] [SC-182879][CORE] Zastaralá konfigurace no-op spark.shuffle.spill
• [SPARK-50032] [SC-182706][SQL][16.x] Povolit použití plně kvalifikovaného názvu kolace
• [SPARK-50467] [SC-182823][PYTHON] Přidání __all__ pro předdefinované funkce
• [SPARK-48898] [SC-182828][SQL] Oprava chyby rozkladu varianty
• [SPARK-50441] [SC-182668][SQL] Oprava parametrizovaných identifikátorů, které nefungují při odkazování na identifikátory CTE
• [SPARK-50446] [SC-182639][PYTHON] Souběžná úroveň v UDF optimalizované pro šipky
• [SPARK-50430] [SC-182536][CORE] Použít standardní Properties.clone místo ručního klonování.
• [SPARK-50471] [SC-182790][PYTHON] Podpora zapisovače zdroje dat Pythonu založeného na šipkách
• [SPARK-50466] [SC-182791][PYTHON] Zpřesnění dokumentačního řetězce pro funkce pracující s řetězci – část 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrace nového rozhraní API časovače a rozhraní API počátečního stavu s časovačem
• [SPARK-50437] [SC-182586][SS] Snížení režie při vytváření deserializerů v TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Přidat podporu pro řetězení o...
• [SPARK-49294] [SC-182730][UI] Přidání atributu šířky pro zaškrtávací políčko shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Vyhněte se vyhledávání statických zdrojů dat v Pythonu při použití předdefinovaných nebo java zdrojů dat
• [SPARK-48356] [SC-182603][SQL] Podpora příkazu FOR
• [SPARK-50333] [SC-182136][SQL] Podpora codegen pro CsvToStructs (vyvoláním & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Metriky pro potvrzení do instancí StagedTable
• [SPARK-50081] [SC-182344][SQL] Podpora Codegen pro XPath*(vyvoláním & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refaktor attributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Podpora generování kódu pro SchemaOfCsv (pomocí Invoke & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] oprava selhání po sloučení při testování chyb
• [SPARK-50118] [SC-181259][CONNET] Resetování izolované stavové mezipaměti při spuštění úloh
• [SPARK-49873] [SC-178577][SQL] Přiřazení správné třídy chyb pro _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Podpora spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Přidání funkce DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Přidání vlastních metrik stavu pro TransformWithStateInPandas
• [SPARK-50118] Vrátit zpět [SC-181259][CONNET] Resetovat izolovanou mezipaměť stavu při spuštění úloh
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Přidání rozhraní API datového rámce pro funkce s hodnotami tabulky
• [SPARK-49470] [SC-175736][UI] Aktualizace šablon stylů datových tabulek a javascriptů z verze 1.13.5 na 1.13.11
• [SPARK-50235] Vrátit zpět “[SC-180786][SQL] Vyčištění prostředku ColumnVector po zpracování všech řádků v ColumnarToRowExecu”
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame triggeruje Config RPC nejvýše jednou
• [SPARK-50387] [SC-182441][SS] Podmínka aktualizace pro vypršení platnosti časovače a relevantní test
• [SPARK-50287] [SC-182400][SQL] Možnosti sloučení tabulek a relací při vytváření nástroje WriteBuilder v FileTable
• [SPARK-50066] [SC-181484][SQL] Podpora codegenu pro SchemaOfXml (vyvoláním & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Oprava chování konektoru PostgreSQL pro multidimenzionální pole
• [SPARK-50318] [SC-181641][SQL] Přidat IntervalUtils.makeYearMonthInterval k odstranění duplicitního kódu mezi interpretovaným a codegenem
• [SPARK-50312] [SC-181646][SQL] SparkThriftServer chyba při předávání parametrů v createServer, pokud je kerberos aktivní
• [SPARK-50246] [SC-181468][SQL] Přiřaďte příslušné chybové podmínky pro _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Z json/xml by se v daném schématu neměly měnit kolace.
• [SPARK-50250] [SC-181466][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Resetování izolované stavové mezipaměti při spuštění úloh
• [SPARK-50235] [SC-180786][SQL] Vyčištění prostředku ColumnVector po zpracování všech řádků ve ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integrace _LEGACY_ERROR_TEMP_2113 do UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integrace _LEGACY_ERROR_TEMP_0028 do UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Codegen Support for StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Přidání alternativního příkazu TryMakeInterval
• [SPARK-50397] [SC-182367][CORE] Odebrání zastaralých --ip a -i argumentů z Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Přidání podpory variant v UDF/UDTFs/UDAFs PySpark a UDF UC v Pythonu
• [SPARK-50079] [SC-179830][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXAMPLE] Příklad přidání submit-sql.sh rozhraní REST API
• [SPARK-49966] [SC-179501][SQL] K implementaci Invoke(JsonToStructs) použijte from_json.
• [SPARK-50302] [SC-182518][SS] Ujistěte se, že sekundární velikosti indexů jsou stejné jako velikosti primárních indexů pro stavové proměnné TransformWithState pomocí hodnoty TTL.
• [SPARK-50301] [SC-182241][SS][16.x] Metriky Make TransformWithState odrážejí jejich intuitivní významy.
• [SPARK-50175] [SC-182140][SQL] Změna výpočtu precedence řazení
• [SPARK-50148] [SC-180292][SQL] Upravte StaticInvoke tak, aby byl kompatibilní s metodou, která vyvolává výjimku.
• [SPARK-50280] [SC-181214][PYTHON] Refaktoring řazení výsledků a vyplnění prázdného intervalu compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Odebrání přímé závislosti Numpy z Histogramu
• [SPARK-50382] [SC-182368][CONNECT] Přidání dokumentace pro obecné informace o vývoji aplikací a rozšíření Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Vyhněte se použití class property ve vláknovém fondu pro klienta Python Connect
• [SPARK-49566] [SC-182239][SQL] Přidání syntaxe kanálu SQL pro operátor EXTEND
• [SPARK-50036] [SC-179533][CORE][PYTHON] Zahrnout SPARK_LOG_SCHEMA v kontextu prostředí REPL
• [SPARK-49859] [SC-178259][CONNECT] Nahrazení multiprocessing.ThreadPool s ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] lpad a rpad přijmout argumenty typu sloupce
• [SPARK-50379] [SC-182142][SQL] Oprava zpracování DayTimeIntevalType v WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Podpora Codegen pro SchemaOfJson (vyvoláním & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Pro 0 použití ve skriptech Sparku použijte --help ExitCode.
• [SPARK-50377] [SC-182238][SQL] Povolit vyhodnocení skládacího modulu RuntimeReplaceable
• [SPARK-50241] [SC-181444][SQL] Nahraďte NullIntolerant Mixin metodou Expression.nullIntolerant
• [SPARK-50084] [SC-179672][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrace _LEGACY_ERROR_TEMP_0039 do UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Přidejte vlastní metriku pro sledování času stráveného při počátečním stavu v transformWithState
• [SPARK-50029] [SC-179531][SQL] Udělat StaticInvoke kompatibilním s metodou, která vrací Any
• [SPARK-49990] [SC-179497][SQL] Zlepšení výkonu randStr
• [SPARK-50048] [SC-179528][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Převod _LEGACY_ERROR_TEMP_2104 na INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Podpora trimování kolace pro řetězcové funkce
• [SPARK-48549] [SC-176472][SQL][PYTHON] Vylepšení funkce SQL sentences
• [SPARK-50022] [SC-179503][CORE][UI] Opravit MasterPage, aby se skryly odkazy uživatelského rozhraní, když je uživatelské rozhraní zakázané
• [SPARK-50087] [SC-182152] Robustní zpracování logických výrazů v CASE WHEN pro MsSqlServer a budoucí konektory
• [SPARK-49991] [SC-179481][SQL] Make HadoopMapReduceCommitProtocol respect 'mapreduce.output.basename' pro generování názvů souborů
• [SPARK-50038] [SC-179521][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Oprava ApplicationPage skrytí odkazů uživatelského rozhraní aplikace, když je uživatelské rozhraní zakázané
• [SPARK-49911] [SC-179111][SQL] Oprava sémantiky podpory binární rovnosti
• [SPARK-50025] [SC-179496][SQL] Integrovat _LEGACY_ERROR_TEMP_1253 do EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Oprava chyby optimalizace při přidávání vstupu do úložiště stavů ve spojení stream-stream
• [SPARK-50004] [SC-179499][SQL] Integrace _LEGACY_ERROR_TEMP_3327 do FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] Změna pořadí AsociativníOperator by měla respektovat kontrakt v ConstantFoldingu.
• [SPARK-50340] [SC-181859][SQL] Rozbalení UDT ve vstupním dotazu INSERT
• [SPARK-50237] [SC-181660][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Oprava problému se změněným pořadím výstupních sloupců po optimalizaci AQE
• [SPARK-49773] [SC-178369][SQL] Nezachycená výjimka Javy z make_timestamp() s chybným časovým pásmem
• [SPARK-49977] [SC-179265][SQL] Použijte iterativní výpočet pomocí zásobníku, abyste se vyhnuli vytváření velkého množství objektů Scala List pro stromy hlubokých výrazů.
• [SPARK-50153] [SC-181591][SQL] Přidání name do RuleExecutor, aby byl tisk protokolů QueryExecutionMetricsjasnější
• [SPARK-50320] [SC-181668][CORE] Udělat z --remote oficiální možnost odstraněním upozornění experimental
• [SPARK-49909] [SC-179492]Vrátit "[SQL] Oprava hezkého názvu některých výrazů"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Přidání nápověd k řazení a uzlům okna
• [SPARK-50364] [SC-182003][SQL] Implementace serializace pro typ LocalDateTime v Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Podpora funkce deleteIfExists pro TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Podpora výrazu IDENTIFIER v příkazu SETCATALOG
• [SPARK-50315] [SC-181886][SQL] Podpora vlastních metrik pro zápisy V1Fallback
• [SPARK-42838] [SC-181509][SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refaktorizace ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] Příprava skriptování SQL pro přidání architektury Execution Framework
• [SPARK-49345] [SC-174786][CONNECT] Ujistěte se, že používáte aktuální spuštěnou relaci Sparku.
• [SPARK-49925] [SC-178882][SQL] Přidání testů pro řazení pomocí kompletovaných řetězců
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Zlepšení vykreslování chybových zpráv a importů PySpark
• [SPARK-49368] [SC-174999][CONNECT] Vyhněte se přímému přístupu k třídám protobuf lite
• [SPARK-50056] [SC-181378][SQL] Podpora generování kódu pro analýzu URL (vyvoláním & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Podpora počátečního zpracování stavu pro TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Řešení omezení výpočtů metrik se zdroji streamování DSv1
• [SPARK-49874] [SC-178303][SQL] Odeberte specifikátory pro trim a ltrim, které se týkají kolace.
• [SPARK-49513] [SC-180339][SS] Přidání podpory časovače v transformWithStateInPandas API
• [SPARK-49119] [SC-175607][SQL] Oprava nekonzistence syntaxe show columns mezi v1 a v2
• [SPARK-49206] [SC-173704][CORE][UI] Přidat tabulku Environment Variables do Master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Přidání implicitního přetypování pro přístup ke kompletované mapě pomocí literálu
• [SPARK-50049] [SC-181659][SQL] Podpora vlastních metrik ovladačů při zápisu do tabulky v2
• [SPARK-50171] [SC-180295][PYTHON] Udělat numpy volitelnou pro vykreslení KDE
• [SPARK-49962] [SC-179320][SQL] Zjednodušení hierarchie tříd AbstractStringTypes
• [SPARK-50226] [SC-181483][SQL] Oprava MakeDTInterval a MakeYMInterval pro zachycení výjimek Javy
• [SPARK-48775] [SC-170801][SQL][STS] Nahraďte SQLContextu SparkSessionem v STS.
• [SPARK-49015] [SC-175688][CORE] Connect Server by měl respektovat spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Rozlišení funkce pro opětovné použití v analyzátoru s jedním průchodem
• [SPARK-49995] [SC-180762][SQL] Přidání podpory pojmenovaných argumentů do dalších souborů TVF
• [SPARK-49268] [SC-174903][CORE] Protokolování výjimek vstupně-výstupních operací u poskytovatele historie SHS
• [SPARK-48123] [SC-164989][Core] Zadejte schéma konstantní tabulky pro dotazování strukturovaných protokolů.
• [SPARK-49217] [SC-174904][CORE] Podpora samostatné konfigurace velikosti vyrovnávací paměti v UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Rozlišení aliasů pro opětovné použití v analyzátoru s jedním průchodem
• [SPARK-50322] [SC-181665][SQL] Oprava parametrizovaného identifikátoru v dílčím dotazu
• [SPARK-48400] [SC-175283][CORE] Zvýšení úrovně PrometheusServlet na DeveloperApi
• [SPARK-50118] Vrátit zpět [SC-181259][CONNET] Resetovat izolovanou mezipaměť stavu při spuštění úloh
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Podpora Pythonu 3.13 ve Spark Connect
• [SPARK-50152] [SC-181264][SS] Podpora funkce handleInitialState se čtečkou zdroje dat o stavu
• [SPARK-50260] [SC-181271][CONNECT] Refaktorování a optimalizace Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrace logInfo s proměnnými do architektury strukturovaného protokolování
• [SPARK-49312] [SC-174672][PYTHON] Zlepšení chybové zprávy pro assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Oprava hezkého názvu výrazu FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Oprava chování konektoru PostgreSQL pro multidimenzionální pole
• [SPARK-49913] [SC-181565][SQL] Přidání kontroly jedinečných názvů štítků ve vnořených oborech štítků
• [SPARK-49563] [SC-181465][SQL] Přidání syntaxe kanálu SQL pro operátor WINDOW
• [SPARK-49661] [SC-179021][SQL] Implementujte hashování a porovnání kolace oříznutí.
• [SPARK-38912] [SC-181543][PYTHON] Odeberte komentář týkající se classmethod a vlastnosti.
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Vylepšení správy mapování souborů SST RocksDB a oprava problému s opětovným načtením stejné verze s existujícím snímkem
• [SPARK-49002] Zrušit změnu “[SC-172846][SQL] Konzistentně zpracovávat neplatná umístění ve WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][SQL] Implementace podpory kompletačních klíčů pro kolaci oříznutí
• [SPARK-50262] [SC-181193][SQL] Zakázat specifikaci komplexních typů během změny kolace
• [SPARK-48898] [SC-181435][SQL] Přidat funkce variantového shreddingu
• [SPARK-48273] [SC-181381]Vrátit “[SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier”
• [SPARK-50222] [SC-180706][CORE] Podpora spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Podpora spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Nahrazení funkcí IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 by mělo být necitlivé na null hodnoty
• [SPARK-50247] [SC-180962][CORE] Definujte BLOCK_MANAGER_REREGISTRATION_FAILED jako ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Zjednodušení TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Povolení operátoru TransformWithState pro použití kódování Avro
• [SPARK-50267] [SC-181180][ML] Vylepšení TargetEncoder.fit s využitím rozhraní API datového rámce
• [SPARK-37178] [SC-180939][ML] Přidat cílové kódování do ml.feature
• [SPARK-50118] [SC-181259][CONNET] Resetování izolované stavové mezipaměti při spuštění úloh
• [SPARK-50085] [CHOVÁNÍ-176][SC-179809][PYTHON] lit(ndarray) s np.int8 respektujte datový typ numpy.
• [SPARK-50256] [SC-181048][SQL] Přidání zjednodušeného ověření pro kontrolu, jestli se logický plán po každém pravidlu optimalizátoru nevyřeší
• [SPARK-50196] [SC-180932][CONNECT] Oprava kontextu chyby Pythonu pro použití správného kontextu
• [SPARK-50274] [SC-181181][CORE] Ochrana před použitím po uzavření v DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Podpora volitelného parametru 'sloupec' v krabicových, hustotních a histogramových grafech
• [SPARK-50273] [SC-181178][SS] Vylepšení protokolování pro případy získání a vydání zámku RocksDB
• [SPARK-50033] [SC-180720][SC-180659][SQL] Přidejte nápovědu k uzlu logical.Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Oprava extra uvolnění zámku RocksDB kvůli posluchači dokončení
• [SPARK-50253] [SC-180969][SS] Stream-Stream Připojení by nemělo načítat ID kontrolního bodu, pokud není podporováno.
• [SPARK-50255] [SC-180964][PYTHON] Vyhněte se zbytečnému přetypování v compute_hist
• [SPARK-50228] [SC-180780][SQL] Přesunutí pravidla RewriteCollationJoin do FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Upravte, aby „přesnost“ byla součástí kwargs pro krabicové grafy.
• [SPARK-49637] [SC-180160][SQL] Změněna chybová zpráva pro INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][PYTHON] Získání aktivní relace z datových rámců
• [SPARK-50195] [SC-180654][CORE] Oprava StandaloneRestServer šíření spark.app.name na správné SparkSubmit
• [SPARK-50229] [SC-180773] Snižte využití paměti u ovladačů pro široká schémata snížením životnosti objektů AttributeReference vytvořených během logického plánování.
• [SPARK-50231] [SC-180815][PYTHON] Umožnit funkci instr přijímat sloupec substring
• [SPARK-49854] [SC-179812][16.x][SQL] Naklonování správce artefaktů během klonování relace
• [SPARK-50219] [SC-180694][SQL] Refaktorovat ApplyCharTypePadding, aby pomocné metody mohly být použity v překladači s jedním průchodem.
• [SPARK-50077] [SC-179827][SQL] Zavedení nového objektu vzoru pro LogicalRelation, který pomáhá vyhnout se výchozímu vzoru úplného vzoru parametrů
• [SPARK-50128] [Backport][16x][SC-180677][SS] Přidání rozhraní API pro zpracování stavového procesoru pomocí implicitních kodérů v jazyce Scala
• [SPARK-50061] [SC-179961][SQL] Povolení analýzy tabulek pro kompletované sloupce
• [SPARK-49993] [SC-180084][SQL] Zlepšení chybových zpráv pro součet a průměr
• [SPARK-49638] [SC-179665][SQL] Odstranění návrhu konfigurace ANSI v INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Oddělit HiveTableRelation překlad cesty čtení
• [SPARK-50193] [SC-180651][SS] Oprava zpracování výjimek pro ověřování časových režimů
• [SPARK-50179] [SC-180342][CORE] Volitelná vlastnost spark.app.name v rozhraní REST API
• [SPARK-50068] [SC-180300][SQL] Přepracování TypeCoercion a AnsiTypeCoercion pro oddělení transformací s jedním uzlem
• [SPARK-49411] [SC-179483][SS] Komunikace ID kontrolního bodu úložiště stavu mezi ovladačem a stavovými operátory
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET by měly zachovat pořadí dat.
• [SPARK-49506] [SC-180165][SQL] Optimalizace ArrayBinarySearch pro pole, které lze skládat
• [SPARK-50097] [SC-179908][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Přidání try_make_timestamp(_ltz a _ntz) a souvisejících testů
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Podpora grafů histogramů
• [SPARK-50015] [SC-179964][SQL] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Přesunutí souborů scala a Java do výchozích složek
• [SPARK-49980] [SC-180353][CORE][SQL] Oprava potenciálního úniku datových proudů souborů způsobených přerušením zrušených úloh
• [SPARK-49010] [SC-172304][SQL][XML] Přidání jednotkových testů pro odvození schématu XML s ohledem na citlivost na velká a malá písmena
• [SPARK-49562] [SC-180211][SQL] Přidání syntaxe kanálu SQL pro agregaci
• [SPARK-49663] [SC-180239][SQL] Povolení návrhů RTRIM ve výrazech kolace
• [SPARK-48965] [SC-175926][SQL] Použijte správné schéma v Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Vylepšení čtečky datových zdrojů Pythonu s přímou podporou Arrow Batch pro lepší výkon
• [SPARK-49734] [SC-180226][PYTHON] Přidání argumentu seed pro funkci shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Factor out UnresolvedCatalogRelation resolution
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Podpora grafů kde/hustota
• [SPARK-49805] [SC-180218][SQL][ML] Odebrání privátních[xxx] funkcí z function.scala
• [SPARK-49808] [SC-179490][SQL] Oprava zablokování v provádění poddotazů kvůli opožděným valům
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Diagramy podpůrných boxů
• [SPARK-50008] [SC-179290][PS][CONNECT] Vyhněte se zbytečným operacím v attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Refaktorování volání interní funkce
• [SPARK-49683] [SC-178341][SQL] Blokovat kolaci oříznutí
• [SPARK-49939] [SC-178941][SQL] Podpora codegenu pro json_object_keys pomocí vyvolání & RuntimeReplaceable
• [SPARK-50031] [SC-179582][SQL] Přidání výrazu TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Codegen Support for json_array_length (podle Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] K výpočtu vodoznaku použijte stabilní pořadí uzlu EventTimeWatermark.
• [SPARK-49540] [SC-180145][PS] Sjednocení využití distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Zakázán převod mezi různými kompletovanými typy v TypeCoercion a AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Pro interní funkce rozhraní API sloupců použijte samostatný registr.
• [SPARK-49811] [SC-177888][SQL]Přejmenovat StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Použít ArrayBinarySearch pro histogram
• [SPARK-49203] [SC-175734][SQL] Přidání výrazu pro java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Oprava nesprávného hlášení fatálních chyb jako nezachycených výjimek v SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Kolace, které používají ICU, by měly mít verzi používané knihovny ICU.
• [SPARK-49985] [SC-179644][SQL] Odebrání podpory pro typy intervalů ve Variant
• [SPARK-49103] [SC-173066][CORE] Podpora spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refaktorujte ResolveBinaryArithmetic, aby oddělil transformaci na jednotlivé uzly
• [SPARK-49902] [SC-179650][SQL] Zachytávání základních chyb běhového prostředí v RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Přesun definice konfigurace spark.history.ui.maxApplications do History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Lepší chybová zpráva při použití profileru paměti v editorech bez čísel řádků
• [SPARK-50062] [SC-179835][SQL] Podpora kolací podle InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Přidání podpory pro explicitní funkci handleExpiredTimer v části stavového procesoru
• [SPARK-49982] [SC-179814][SQL] Oprava negativního ukládání do mezipaměti v InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Rozšíření povýšení typů v AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refaktorovat UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Přidání podpory pro čtení kanálu změn pro typy map a seznamů používaných ve stavových procesorech
• [SPARK-49846] [SC-179506][SS] Přidání metrik numUpdatedStateRows a numRemovedStateRows pro použití s operátorem transformWithState
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Umožněte, aby lit přijal typy str a bool numpy ndarray
• [SPARK-49821] [SC-179527][SS][PYTHON] Implementace hodnoty MapState a TTL pro TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Přidání syntaxe kanálu SQL pro LIMIT/OFFSET a ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Upravit canPlanAsBroadcastHashJoin tak, aby respektoval nápovědy pro shuffle join
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Umožnit, aby lit fungoval s prázdným numpy ndarray
• [SPARK-50018] [SC-179488][SQL] Učinit AbstractStringType serializovatelný
• [SPARK-50016] [SC-179491][SQL] Zlepšení chyby explicitní neshody kolace
• [SPARK-50010] [SC-179487][SQL] Rozšíření chyby implicitní neshody kolace
• [SPARK-48749] [SC-170116][SQL] Zjednodušení UnaryPositive a odstranění jeho katalytických pravidel pomocí RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Přidání úrovně uložení do rozhraní API datové sady localCheckpoint
• [SPARK-50058] [SC-179538][SQL] Vyjmout normalizační funkce plánu pro pozdější využití při testování analyzátoru s jedním průchodem
• [SPARK-50052] [SC-179535][PYTHON][16.X] Umožnění, aby NumpyArrayConverter podporoval prázdný řetězec ndarray
• [SPARK-47261] [SC-173665][SQL] Přiřaďte lepší název chyb _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 a _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Označte KryoRegistrator s rozhraním DeveloperApi
• [SPARK-48949] [SC-173070][SQL] SPJ: Filtrování oddílů modulu runtime
• [SPARK-50044] [SC-179523][PYTHON] Upřesněte docstring několika matematických funkcí.
• [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver mají explicitní konstruktory
• [SPARK-50037] [SQL] Refaktorování AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Přidání podpory pro provádění procedur v katalogech
• [SPARK-49057] [SC-173081][SQL] Neblokujte smyčku AQE při odesílání fází dotazu.
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Syntaxe přidání sloupce identity SQL
• [SPARK-48773] [SC-170773] Konfigurace dokumentu Spark.default.parallelism podle architektury tvůrce konfigurace
• [SPARK-48735] [SC-169810][SQL] Zlepšení výkonu pro funkci BIN
• [SPARK-48900] [SC-172433] Přidejte pole reason pro všechna interní volání pro zrušení úlohy/fáze
• [SPARK-48488] [SC-167605][CORE] Oprava metod log[info|warning|error] v SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Odebrání tří nepotřebných registrací typů z KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] Python API pro funkce ověřování řetězců
• [SPARK-49979] [SC-179264][SQL] Oprava problému se zaseknutím AQE při opakovaném shromažďování na neúspěšném plánu
• [SPARK-48729] [SC-169795][SQL] Přidání rozhraní UserDefinedFunction pro reprezentaci funkce SQL
• [SPARK-49997] [SC-179279][SQL] Integrace _LEGACY_ERROR_TEMP_2165 do MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Vytváření oddílů na základě velikosti během čtení Kafka
• [SPARK-48129] [SC-165006][PYTHON] Poskytnutí schématu konstantní tabulky v PySparku pro dotazování strukturovaných protokolů
• [SPARK-49951] [SC-179259][SQL] Přiřazení správného chybového stavu pro LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integrace _LEGACY_ERROR_TEMP_1252 do EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Zbavit se globálních zámků ze služby Spark Connect Service
• [SPARK-49957] [SC-179202][SQL] Scala API pro funkce ověřování řetězců
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener by neměl mít vliv na Spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Sloučení _LEGACY_ERROR_TEMP_2042 do ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Oprava ColumnarArray.copy() pro čtení hodnot null ze správného offsetu
• [SPARK-49956] Vrátit zpět "[SC-179070] Zakázané kolace s výrazem collect_set"
• [SPARK-49987] [SC-179180][SQL] Oprava výzvy k chybě při nepřekládání seedExpression v randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Přidání parametru "přesnost" do knihovny pandas v krabicových grafech Sparku
• [SPARK-49970] [SC-179167][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Vyvolá odpovídající výjimku pro neshodu typů mezi typem ColumnType a datovým typem v některých řádcích
• [SPARK-49956] [SC-179070] Zakázaná kolace s výrazem collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Přesunout resolveRelations(...) z Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Přiřazení názvů k chybovým stavům pro chyby intervalu
• [SPARK-47430] [SC-173679][SQL] Přepracování seskupení podle typu mapy pro opravu výjimky při referenci na vazbu
• [SPARK-49067] [SC-172616][SQL] Přesun literálu utf-8 do interních metod třídy UrlCodec
• [SPARK-49955] [SC-178989][SQL] hodnota null neznamená poškozený soubor při analýze řetězce JSON RDD.
• [SPARK-49393] [SC-175212][SQL] Selhání ve výchozím nastavení v zastaralých rozhraních API modulu plug-in katalogu
• [SPARK-49952] [SC-178985][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Omezení znakových sad v JsonOptions
• [SPARK-49892] [SC-178975][SQL] Přiřazení správné třídy chyb pro _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_105[3-4] a _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Zpracování nul a jednotek v ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][CORE] Použijte přístup jen pro čtení ke konfiguraci tam, kde je to vhodné SparkContext.
• [SPARK-49666] [SC-177891][SQL] Přidání příznaku funkce pro funkci kolace oříznutí
• [SPARK-48885] [SC-171050][SQL] Upravte některé podtřídy RuntimeReplaceable, aby nahrazovaly metodu lazy val při prvním použití
• [SPARK-49932] [SC-178931][CORE] Použijte tryWithResource vydané JsonUtils#toJsonString prostředky, abyste se vyhnuli nevráceným paměti.
• [SPARK-49949] [SC-178978][PS] Vyhněte se zbytečným úlohám analýzy v attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Zachovat containsNull po nahrazení ArrayCompact
• [SPARK-49121] [SC-174787][SQL] Podpora from_protobuf a to_protobuf pro funkce SQL
• [SPARK-47496] [SC-160529][SQL] Podpora rozhraní Java SPI pro dynamické registraci dialektu JDBC
• [SPARK-49359] [SC-174895][SQL] Povolit implementacím StagedTableCatalog návrat k neatomickému zápisu
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Zlepšení chyby při výskytu koncové čárky v klauzuli SELECT
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Dokumentace mapování datových typů Spark SQL z Microsoft SQL Server a přidání testů
• [SPARK-46037] [SC-175495][SQL] Oprava správnosti pro sestavení shuffled hash Join doleva bez codegenu
• [SPARK-47813] [SC-162615][SQL] Nahradit getArrayDimension funkcí updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Chyba vyhodnocení výjimky transformace oddílu
• [SPARK-47172] [SC-169537][CORE] Přidání podpory pro AES-GCM pro šifrování RPC
• [SPARK-47666] [SC-161476][SQL] Oprava NPE při čtení bitového pole MySQL jako LongType
• [SPARK-48947] [SC-174239][SQL] Použijte název znakové sady malými písmeny ke snížení chybějící mezipaměti v Charset.forName.
• [SPARK-49909] [SC-178552][SQL] Oprava hezkého názvu některých výrazů
• [SPARK-47647] [SC-161377][SQL] Umožňuje, aby zdroj dat MySQL mohl číst bit (n>1) jako BinaryType, jako je Postgres
• [SPARK-46622] [SC-153004][CORE] Přepsat metodu toString pro o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Nastavení pojmenování parametrů PySparkException v souladu s JVM
• [SPARK-49889] [SC-178474][PYTHON] Přidání argumentu trim pro funkcetrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] Oprava mapování datových typů chyb na konektoru MySQL/J
• [SPARK-47628] [SC-161257][SQL] Oprava problému s bitovým polem Postgres – Nelze převést na booleovskou hodnotu
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Opravit změnu komentáře u sloupců char/varchar
• [SPARK-49549] [SC-178764][SQL] Přiřazení názvu k chybovému stavu _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][SQL] Udělat DelegatingCatalogExtension více rozšiřitelné
• [SPARK-49559] [SC-178551][SQL] Přidání rourkové syntaxe SQL pro množinové operace
• [SPARK-49906] [SC-178536][SQL] Zavedení a použití chyby "CONFLICTING_DIRECTORY_STRUCTURES" pro PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Změna podpisu funkce classifyException: přidání argumentu isRuntime
• [SPARK-47501] [SC-160532][SQL] Přidat funkci convertDateToDate podobně jako existující convertTimestampToTimestamp pro JdbcDialect.
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType by měl vrátit potomek při chybě
• [SPARK-47462] [SC-160460][SQL] Zarovnání mapování jiných nepodepsaných číselných typů s TINYINT v MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Oprava problému s přetečením MySQL UNSIGNED TINYINT způsobeným SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Vylepšení chyby parametrů v dotazu CACHE TABLE a CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Přiřazení názvů ke starším podmínkám _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Oprava výzvy, když je ascendingOrderDataTypeMismatch v SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Odebrání nadbytečných blank space po show v klientech Scala a Connect
• [SPARK-47258] [SC-175032][SQL] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Přidání syntaxe kanálu SQL pro operátor JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Oprava pravděpodobně přerušeného dotazu při zadání okna nebo funkce session_window
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Zpracování mapování časových razítek SQL pro Postgres a MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Podpora výsečových grafů
• [SPARK-49824] [SC-178251][SS][CONNECT] Vylepšení protokolování v SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Upřesněte řetězcovou reprezentaci operací polí sloupců.
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Podpora plošných grafů
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Podpora rozptylových grafů
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementace podpory TTL pro ListState v TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Přesunutí TransportCipherUtil do samostatného souboru, aby se eliminovala upozornění kompilace Java
• [SPARK-49866] [SC-178353][SQL] Vylepšení chybové zprávy pro popis tabulky s partičními sloupci
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Vylepšete chybovou zprávu, když je index mimo rozsah při volání GetColumnByOrdinal
• [SPARK-49607] [SC-177373][PYTHON] Aktualizujte přístup vzorkování pro vzorkované grafy.
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Podpora vodorovných a svislých pruhových grafů
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Podpora čárového grafu s backendem plotly
• [SPARK-49444] [SC-177692][ES-1203248][SQL] Upravená funkce UnivocityParser kvůli vyvolání výjimek modulu runtime způsobených arrayIndexOutOfBounds s více uživateli orientovanými zprávami
• [SPARK-49870] [SC-178262][PYTHON] Přidání podpory Pythonu 3.13 ve Spark Classic
• [SPARK-49560] [SC-178121][SQL] Přidání syntaxe kanálu SQL pro operátor TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Vylepšit zprávu BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Zobecnění chyb v NamedParametersSupport pro zpracování funkcí a procedur
• [SPARK-49358] [SC-178158][SQL] Mód výrazu pro typy map s seřazenými řetězci
• [SPARK-47341] [SC-178157][SQL] Oprava nepřesné dokumentace modulu RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Podpora příkazu LOOP
• [SPARK-49845] [SC-178059][CORE] appArgs a environmentVariables volitelné v rozhraní REST API
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable by měl indikovat, jestli se jedná o zápis.
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Přidána podpora naslouchacího procesu na straně klienta pro Scalu
• [SPARK-48700] [SC-177978][SQL] Výraz pro režim u složitých typů (všechna seřazení)
• [SPARK-48196] [SC-177899][SQL] Převést "lazy val" plány v QueryExecution na LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Změna úrovně protokolu pro ladění v BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Přidání syntaxe kanálu SQL pro operátory PIVOT a UNPIVOT
• [SPARK-49823] [SC-177885][SS] Vyhněte se flush během vypínání v uzavírací cestě rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Změna raise IOError na raise OSError
• [SPARK-49653] [SC-177266][SQL] Jedno spojení pro korelované skalární poddotazy
• [SPARK-49552] [SC-177477][PYTHON] Přidání podpory rozhraní DATAFrame API pro nové funkce randstr a Uniform SQL
• [SPARK-48303] [16.x][SC-166251][CORE] Změna uspořádání klíčů protokolu
• [SPARK-49656] [16x][Backport][SS] Přidání podpory proměnných stavu s typy kolekcí stavových hodnot a možnostmi čtecího kanálu změn
• [SPARK-48112] [SC-165129][CONNECT] Zveřejnění relace ve SparkConnectPlanneru pro moduly plug-in
• [SPARK-48126] [16.x][SC-165309][Core] Zprovoznit funkčnost spark.log.structuredLogging.enabled
• [SPARK-49505] [SC-176873][SQL] Vytvoření nových funkcí SQL "randstr" a "uniform" pro generování náhodných řetězců nebo čísel v rozsahech
• [SPARK-49463] [SC-177474] Podpora ListState pro TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Sjednocení mdc.taskName a task_name klíčů MDC
• [SPARK-49557] [SC-177227][SQL] Přidání syntaxe kanálu SQL pro operátor WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Přesunutí MockObserveru z testovací složky Serveru Spark Connect Serveru do hlavní složky Serveru
• [SPARK-49745] [SC-177501][SS] Přidání změny pro čtení registrovaných časovačů prostřednictvím čtečky zdroje dat stavu
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Odeberte columnFamilyOptions a přidejte konfigurace přímo do dbOptions v RocksDB.

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgrade (stáhnout ODBC, stáhnout JDBC).

Viz Aktualizace údržby Databricks Runtime 16.1.

Systémové prostředí

• operační systém: Ubuntu 24.04.1 LTS
• java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Nainstalované knihovny Pythonu

nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN balíčkového manažera Posit na datum 2024-08-04.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)