Databricks Runtime 13.1 (EoS)

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 13.1, který využívá Apache Spark 3.4.0.

Databricks vydala tuto verzi v květnu 2023.

Nové funkce a vylepšení

• Podpora clusteru pro JDK 17 (Public Preview)
• Přidat, změnit nebo odstranit data ve streamování tables
• Čtení Kafka s SQL
• Nové integrované funkce SQL
• Podpora Unity Catalog pro knihovny Pythonu v rámci clustru
• rozšířené výchozí povolení pro optimalizované zápisy v Unity Catalog
• Pokročilá podpora stavových operátorů v úlohách strukturovaného streamování
• klon Delta pro Unity Catalog je ve veřejné ukázce
• Podpora pub/sub pro strukturované streamování
• Odstranění duplicit do vodoznaků ve strukturovaném streamování
• rozšířená podpora převodů Delta z Icebergu tables se zkrácenými partitioncolumns
• Stream schema změny s mapováním column v Delta Lake
• Remove VERZE START
• Nové výrazy H3 dostupné v Pythonu

Podpora clusteru pro JDK 17 (Public Preview)

Databricks teď poskytuje podporu clusteru pro Sadu Java Development Kit (JDK) 17. Viz Databricks SDK pro Javu.

Přidání, změna nebo odstranění dat ve streamování tables

Teď můžete použít příkazy DML k úpravě streamovaných tables publikovaných v Unity Catalog pipelinech Delta Live Tables. Viz Přidat, změnit nebo odstranit data ve streamovaném table a Přidat, změnit nebo odstranit data v cílovém streamovaném table. Příkazy DML můžete také použít k úpravě streamování tables vytvořených v Databricks SQL.

Čtení Kafka s SQL

Teď můžete funkci SQL použít read_kafka ke čtení dat Kafka. Streamování s SQL je podporováno pouze v Delta Live Tables nebo u streamování tables v Databricks SQL. Viz read_kafka tablefunkce s hodnotou.

Nové integrované funkce SQL

Byly přidány následující funkce:

• array_prepend(matice, elem) Vrátí předpended array podle elem.
• try_aes_decrypt(výraz, klíč [; režim [; odsazení]]) Dešifruje binární soubor vytvořený pomocí šifrování AES a vrátí NULL , pokud dojde k chybě.
• sql_keywords() Vrátí table klíčových slov SQL služby Azure Databricks.

Podpora Unity Catalog pro knihovny Pythonu s klastrovým rozsahem

Unity Catalog má určitá omezení používání knihovny. Ve službě Databricks Runtime 13.1 a novějších se podporují knihovny Pythonu s oborem clusteru, včetně souborů kol Pythonu, které se nahrávají jako soubory pracovního prostoru. Knihovny odkazované pomocí cest k souborům DBFS se nepodporují bez ohledu na to, jestli jsou v kořenovém adresáři DBFS nebo v externím umístění připojeném k DBFS. Podporují se jenom knihovny Pythonu. Viz Knihovny clusterů.

V prostředí Databricks Runtime 13.0 a dřívějších nejsou knihovny na úrovni clusteru podporovány u clusterů, které používají režim sdíleného přístupu v pracovním prostoru s podporou Unity Catalog.

Rozšířené výchozí povolení optimalizovaných zápisů v Unity Catalog

Výchozí optimalizovaná podpora zápisu pro Delta tables zaregistrovaná v Unity Catalog se rozšířila tak, aby zahrnovala příkazy CTAS a operace INSERT pro dělené tables. Toto chování odpovídá výchozím nastavením ve skladech SQL. Viz Optimalizované zápisy pro Delta Lake v Azure Databricks.

Pokročilá podpora stavových operátorů v úlohách strukturovaného streamování

Nyní můžete zřetězovat více stavových operátorů, což znamená, že můžete předat výstup operace, jako je například agregace s oknem, do jiné stavové operace, například join. Podívejte se, co je stavové streamování?

Delta clone pro Unity Catalog je ve verzi Public Preview

Teď můžete pomocí mělkých klonů vytvořit nové spravované Unity tablesCatalog ze spravovaného Unity Catalogtables. Viz mělký klon pro Unity Catalogtables.

Podpora pub/sub pro strukturované streamování

Teď můžete použít integrovaný konektor k přihlášení k odběru Google Pub/Sub se strukturovaným streamováním. Viz Přihlášení k odběru Google Pub/Sub.

Odstranění duplicit do vodoznaků ve strukturovaném streamování

Nyní můžete použít dropDuplicatesWithinWatermark v kombinaci se zadanou prahovou hodnotou watermark k odstranění duplicitních dat záznamů ve strukturovaném streamování. Viz Odstranění duplicit v rámci watermark.

Rozšířená podpora převodů Delta z tables Icebergu s zkrácenými partitioncolumns

Nyní můžete použít CLONE a CONVERT TO DELTA s Iceberg tables, které mají oddíly definované na zkrácených columns typu int, longa string. Zkrácené columns typu decimal nejsou podporovány.

Změny proudu schema s mapováním column v Delta Lake

Nyní můžete zadat sledovací umístění schema, které umožní streamování z Delta tables s aktivovaným mapováním column. Viz Streamování s mapováním column a změnami schema.

Remove START VERZE

START VERSION je nyní zastaralá pro ALTER SHARE.

Nové výrazy H3 dostupné v Pythonu

Výrazy h3_coverash3 a h3_coverash3string výrazy jsou k dispozici v Pythonu.

Opravy chyb

Parquet failOnUnknownFields už bezobslužně nezahazují data při neshodě typů.

Pokud byl soubor Parquet přečten pouze s možností failOnUnknownFields nebo s automatickým zavaděčem v režimu vývoje failOnNewColumnsschema, columns, které mají různé datové typy, nyní dochází k selhání a doporučuje se použití rescuedDataColumn. Auto Loader teď správně čte a už neschová celočíselné, krátké nebo bajtové typy, pokud je k dispozici některý z těchto datových typů. Soubor Parquet navrhuje jeden z dalších dvou typů.

Změny způsobující chyby

Upgrade verze sqlite-jdbc na verzi 3.42.0.0 na adresu CVE-2023-32697

Upgradujte verzi sqlite-jdbc z verze 3.8.11.2 na 3.42.0.0. Rozhraní API verze 3.42.0.0 nejsou plně kompatibilní s verzí 3.8.11.2. Pokud v kódu používáte sqlite-jdbc, podrobnosti najdete v sestavě kompatibility sqlite-jdbc. Pokud migrujete na verzi 13.1 a použijete sqlite, potvrďte své metody a návratový typ ve verzi 3.42.0.0.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • facets-overview from 1.0.2 to 1.0.3
  • filelock od 3.10.7 do 3.12.0
  • pyarrow od 7.0.0 do 8.0.0
  • 8.0.1 až 8.1.0
• Upgradované knihovny jazyka R:
• Upgradované knihovny Java:
  • com.github.ben-manes.kofein.kofein od 2.3.4 do 2.9.3
  • io.delta.delta-sharing-spark_2.12 od 0.6.8 do 0.6.4
  • net.snowflake.snowflake-jdbc od 3.13.29 do 3.13.22
  • org.checkerframework.checker-qual od 3.5.0 do 3.19.0
  • org.scalactic.scalactic_2.12 od 3.0.8 do 3.2.15
  • org.scalatest.scalatest_2.12 od 3.0.8 do 3.2.15
  • org.xerial.sqlite-jdbc od 3.8.11.2 do 3.42.0.0

Apache Spark

Databricks Runtime 13.1 zahrnuje Apache Spark 3.4.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 13.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-42719] [DBRRM-199][SC-131578] Vrátit "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][JÁDRO] Vrátit [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] Přidání Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] Rozšíření ChannelBuilderu pro SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PYTHON] Oprava prvku DataFrame.toPandas s povolenou šipkou pro správné zpracování výjimek
• [SPARK-42940] [SC-129896][SS][CONNECT] Vylepšení správy relací pro dotazy streamování
• [SPARK-43032] [SC-125756] [CONNECT][SS] Přidání správce dotazů streamování
• [SPARK-16484] [SC-129975][SQL] Přidání podpory pro Datasketches HllSketch
• [SPARK-43260] [SC-129281][PYTHON] Migrujte chyby typu šipky Knihovny pandas Spark SQL do třídy chyb.
• [SPARK-41766] [SC-129964][JÁDRO] Zpracování požadavku vyřazení z provozu odeslaného před registrací exekutoru
• [SPARK-43307] [SC-129971][PYTHON] Migrace chyb hodnot PandasUDF do třídy chyb
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() include stack trace
• [SPARK-43311] [SC-129905][SS] Přidání vylepšení správy paměti zprostředkovatele stavu RocksDB
• [SPARK-43237] [SC-129898][JÁDRO] Zpracování zprávy o výjimce null v protokolu událostí
• [SPARK-43320] [SC-129899][SQL][HIVE] Přímé volání rozhraní API Hive 2.3.9
• [SPARK-43270] [SC-129897][PYTHON] Implementujte __dir__() v pyspark.sql.dataframe.DataFrame tak, aby zahrnoval columns
• [SPARK-43183] Vrátit zpět "[SC-128938][SS] Zavést nový zpětné volání "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][SQL] Nahraďte třídu chyb _LEGACY_ERROR_TEMP_2022 vnitřní chybou.
• [SPARK-43198] [SC-129470][CONNECT] Oprava "Nelze inicializovat třídu ammonite..." chyba při použití filtru
• [SPARK-43165] [SC-129777][SQL] Přesunout canWrite do DataTypeUtils
• [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf s skalárním vstupem selže s velikostí dávky jedné
• [SPARK-43298] [SC-129700]Vrácení predict_batch_udf [PYTHON][ML] s skalárním vstupem selže s velikostí dávky 1"
• [SPARK-43052] [SC-129663][JÁDRO] Zpracování trasování zásobníku s názvem souboru null v protokolu událostí
• [SPARK-43183] [SC-128938][SS] Zavedení nového zpětného volání onQueryIdle pro StreamingQueryListener
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migrace chyb výrazu do třídy chyb
• [SPARK-42151] [SC-128754][SQL] Zarovnání přiřazení UPDATE s atributy table
• [SPARK-43134] [SC-129468] [CONNECT] [SS] Rozhraní API pro klienty JVM StreamingQuery
• [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf s skalárním vstupem selže s velikostí dávky jedné
• [SPARK-43248] [SC-129660][SQL] Nepotřebná serializace/deserializace cesty při paralelním shromažďování partition statistiky
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Představit PySparkNotImplementedError
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implementace dychtivého vyhodnocení pro opětovné obnovení a repr_html
• [SPARK-42953] [SC-129469][Připojit][Zpracovat] Oprava testovacího sestavení Mavenu pro testy UDF klienta Scala
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][CONNECT] Přidání funkcí groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] Oprava COUNT(*) is null chyby v korelovaném skalárním poddotazu
• [SPARK-43046] [SC-129110] [SS] [Připojit] Implementované rozhraní PYTHON API dropDuplicatesWithinWatermark pro Spark Connect
• [SPARK-43199] [SC-129467][SQL] Nastavení idempotentního inlineCTE
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only by se mělo ignorovat v běžném columns
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migrace chyb Spark Connect Window do třídy chyb
• [SPARK-43174] [SC-129109][SQL] Oprava completeru SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Přidání podpory applyInPandasWithState pro připojení Sparku
• [SPARK-43119] [SC-129040][SQL] Podpora Get klíčových slov SQL dynamicky přes rozhraní JDBC API a TVF
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] Definované uživatelem Pythonu optimalizované šipkami v nástroji Spark Connect
• [SPARK-43085] [SC-128432][SQL] Podpora column VÝCHOZÍ přiřazení pro názvy table s více částmi
• [SPARK-43226] [LC-671] Definování extraktorů pro metadata konstanty souboru
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] Představit PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] Metriky na straně ovladače pro LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Oprava konzistentního selhání ReplE2ESuite s JDK 17
• [SPARK-43268] [SC-129249][SQL] Použití správných tříd chyb při vytváření výjimek se zprávou
• [SPARK-43142] [SC-129299] Oprava výrazů DSL u atributů se speciálními znaky
• [SPARK-43129] [SC-128896] Základní rozhraní API Scala pro streamování Spark Connect
• [SPARK-43233] [SC-129250] [SS] Přidání protokolování pro batchové čtení Kafka pro téma partition, rozsah offset a ID úlohy
• [SPARK-43249] [SC-129195][CONNECT] Oprava chybějících statistik pro příkaz SQL
• [SPARK-42945] [SC-129188][CONNECT] Podpora PYSPARK_JVM_STACKTRACE_ENABLED ve Spark Connectu
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migrace chyb UDF do architektury chyb PySpark
• [SPARK-43123] [SC-128494][SQL] Do catalogs by neměla dojít k úniku interních metadat polí
• [SPARK-43217] [SC-129205] Správně zařadíte do vnořených map a polí v findNestedField.
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] Přidání parametru úrovně pro tiskSchema pro Python
• [SPARK-43230] [SC-129191][CONNECT] Zjednodušit DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] Respekt vyžadujeDistributionAndOrdering v CTAS/RTAS
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migrace ValueError z datového rámce Conect do třídy chyb
• [SPARK-43212] [SC-129187][SS][PYTHON] Migrace chyb strukturovaného streamování do třídy chyb
• [SPARK-43239] [SC-129186][PS] Removenull_counts z informací()
• [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput by měl být konzistentní s podřízeným výstupem.
• [SPARK-43191] [SC-128924][JÁDRO] Nahrazení reflexe w/ přímé volání pro Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] Remove alternativní řešení pro HADOOP-12074
• [SPARK-42657] [SC-128621][CONNECT] Podpora vyhledání a přenosu souborů tříd REPL na straně klienta na server jako artefakty
• [SPARK-43098] [SC-77059][SQL] Oprava chyby POČET správnosti, pokud skalární poddotaz obsahuje klauzuli group by
• [SPARK-43213] [SC-129062][PYTHON] Přidat DataFrame.offset do vanilla PySpark
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] Oprava createDataFrame, aby respektovala danou schema ddl
• [SPARK-43124] [SC-129011][SQL] Dataset.show projects CommandResults místně
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] Oprava objektu DataFrame.collect se strukturou null
• [SPARK-41498] [SC-125343]Vrátit zpět "Šíření metadat prostřednictvím sjednocení"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Přidání rozhraní API await_termination() a exception() pro dotaz streamování v Pythonu
• [SPARK-42552] [SC-128824][SQL] Oprava strategie dvoufázové analýzy analyzátoru antlr
• [SPARK-43207] [SC-128937][CONNECT] Přidání pomocných funkcí pro extrakci hodnoty z literálového výrazu
• [SPARK-43186] [SC-128841][SQL][HIVE] Remove alternativní řešení pro FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] Kontejnery v join použité na straně streamu všesměrového vysílání join
• [SPARK-43195] [SC-128922][CORE] Remove zbytečné serializovatelné obálky v HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] Vylepšete ArrayInsert, pokud je pozice skládací a pozitivní.
• [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith outer-join by měla vrátit nulovou hodnotu pro řádek bez porovnání
• [SPARK-43042] [SC-128602] [SS] [Connect] Podpora rozhraní API pro přidání table() pro DataStreamReader
• [SPARK-43153] [SC-128753][CONNECT] Přeskočit spouštění Sparku, když je datový rámec místní
• [SPARK-43064] [SC-128496][SQL] Karta SQL CLI sparku SQL by se měla zobrazit jenom jednou.
• [SPARK-43126] [SC-128447][SQL] Označení dvou výrazů UDF Hive jako stavových
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Sloučení vnořených if příkazů do jednoduchých if příkazů
• [SPARK-43113] [SC-128749][SQL] Vyhodnocení proměnných na straně datového proudu při generování kódu pro vázanou podmínku
• [SPARK-42895] [SC-127258][CONNECT] Vylepšení chybových zpráv pro zastavené relace Sparku
• [SPARK-42884] [SC-126662][CONNECT] Přidání integrace Ammonite REPL
• [SPARK-43168] [SC-128674][SQL] metoda Removeget PhysicalDataType z třídy Datatype
• [SPARK-43121] [SC-128455][SQL] Používejte místo ručního kopírování v 'HiveInspectors.BytesWritable.copyBytes
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog udržuje na straně čtení meta Char/Varchar
• [SPARK-43050] [SC-128550][SQL] Oprava agregačních výrazů konstruktoru nahrazením funkcí seskupení
• [SPARK-43095] [SC-128549][SQL] Vyhýbejte se idempotenci strategie pro dávku: Infer Filters
• [SPARK-43130] [SC-128597][SQL] Přesun InternalType do physicalDataType
• [SPARK-43105] [SC-128456][CONNECT] Zkrácené bajty a řetězce v proto zprávě
• [SPARK-43099] [SC-128596][SQL] Použití getName místo getCanonicalName k get názvu třídy tvůrce při registraci udf do FunctionRegistry
• [SPARK-42994] [SC-128586][ML][CONNECT] PyTorch Distributor podporuje místní režim
• [SPARK-42859] Vrátit zpět "[SC-127935][CONNECT][PS] Základní podpora rozhraní PANDAS API ve Spark Connectu
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin nefunguje při použití AQE
• [SPARK-43125] [SC-128477][CONNECT] Oprava, že Connect Server nemůže zpracovat výjimku s nulovou zprávou
• [SPARK-43147] [SC-128594] oprava llake8 lint pro místní kontrolu
• [SPARK-43031] [SC-128360] [SS] [Připojit] Povolení testování jednotek a testování dokumentů pro streamování
• [SPARK-43039] [LC-67] Podpora vlastních polí ve zdrojovém _metadata columnsouboru .
• [SPARK-43120] [SC-128407][SS] Přidání podpory pro sledování připnutých bloků využití paměti pro úložiště stavů RocksDB
• [SPARK-43110] [SC-128381][SQL] Přesun asIntegral na PhysicalDataType
• [SPARK-43118] [SC-128398][SS] Remove nepotřebný asert pro UninterruptibleThread v KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] Podpora duplicitních vnořených názvů polí
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable umožní zadat úroveň úložiště.
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] Oprava elementu createDataFrame pro dodržování konfigurací SQL
• [SPARK-39696] [SC-127830][JÁDRO] Oprava rasy dat v přístupu k TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] Přesunutí integrálu na physicalDataType
• [SPARK-42741] [SC-125547][SQL] Nevybalit přetypování v binárním porovnání, pokud je literál null
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrace chyb Spark Connect Column do třídy chyb
• [SPARK-42859] [SC-127935][CONNECT][PS] Základní podpora rozhraní PANDAS API ve Službě Spark Connect
• [SPARK-43013] [SC-127773][PYTHON] Migrace ValueError z datového rámce do PySparkValueError.
• [SPARK-43089] [SC-128051][CONNECT] Redact debug string in UI
• [SPARK-43028] [SC-128070][SQL] Přidání SQL_CONF_NOT_FOUND třídy chyb
• [SPARK-42999] [SC-127842][Připojit] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] Přidání testu pro dropDuplicates v JavaDatasetSuite
• [SPARK-43075] [SC-127939][CONNECT] Změňte gRPC na grpcio , když není nainstalovaný.
• [SPARK-42953] [SC-127809][Připojit] Typový filtr, mapa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][SQL] Podpora rozbalení typu data na typ časového razítka
• [SPARK-42931] [SC-127933][SS] Zavedení dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][CONNECT] Přidání konstant datových typů proto
• [SPARK-43077] [SC-128050][SQL] Vylepšení chybové zprávy UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][Připojit] Rozhraní API třídy DataStreamReader
• [SPARK-43049] [SC-127846][SQL] Místo VARCHAR(255) použijte cloB pro StringType pro Oracle JDBC.
• [SPARK-43018] [SC-127762][SQL] Oprava chyby pro příkazy INSERT s literály časového razítka
• [SPARK-42855] [SC-127722][SQL] Použití kontrol hodnoty runtime null v TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] Odstranění duplicitních dat pomocí columns metadat
• [SPARK-42993] [SC-127829][ML][CONNECT] Zajištění kompatibility distributora PyTorch s aplikací Spark Connect
• [SPARK-43058] [SC-128072][SQL] Přesunutí číselného a zlomkového typu do fyzického datového typu
• [SPARK-43056] [SC-127946][SS] Potvrzení úložiště stavů RocksDB by mělo pokračovat v práci na pozadí pouze v případě, že je pozastaveno.
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migrace TypeError z datového rámce (Čtenář|Zapisovač) do třídy chyb
• [SPARK-43071] [SC-128018][SQL] Podpora SELECT DEFAULT s ORDER BY, LIMIT, OFFSET pro zdrojový vztah INSERT
• [SPARK-43061] [SC-127956][JÁDRO][SQL] Zavedení funkce PartitionEvaluator pro spouštění operátoru SQL
• [SPARK-43067] [SC-127938][SS] Oprava umístění souboru prostředků třídy chyb v konektoru Kafka
• [SPARK-43019] [SC-127844][SQL] Přesunutí pořadí na physicalDataType
• [SPARK-43010] [SC-127759][PYTHON] Migrace chyb Column do třídy chyb
• [SPARK-42840] [SC-127782][SQL] Změna _LEGACY_ERROR_TEMP_2004 chyby na vnitřní chybu
• [SPARK-43041] [SC-127765][SQL] Restore konstruktory výjimek kvůli kompatibilitě v rozhraní API konektoru
• [SPARK-42939] [SC-127761][SS][CONNECT] Základní streamování rozhraní Python API pro Spark Connect
• [SPARK-42844] [SC-127766][SQL] Update třída chyby _LEGACY_ERROR_TEMP_2008INVALID_URL
• [SPARK-42316] [SC-127720][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migrace chyb datového rámce Spark Connect do třídy chyb
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] Oprava prvku createDataFrame pro správné zpracování pole numpy s 0 dim
• [SPARK-42955] [SC-127476][SQL] Přeskočit klasifikaciException a zabalit AnalysisException pro SparkThrowable
• [SPARK-42949] [SC-127255][SQL] Zjednodušení kódu pro NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert by mělo selhat s indexem 0
• [SPARK-42974] [SC-127487][CORE] RestoreUtils.createTempDir použít ShutdownHookManager a vyčistit metodu JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' znamená, že table již existuje.
• [SPARK-42978] [SC-127351][SQL] Derby&PG: Nelze přejmenovat qualify nový názevtable-Name s schema-Name
• [SPARK-37980] [SC-127668][SQL] Přístup k row_index prostřednictvím _metadata, pokud je to možné v testech
• [SPARK-42655] [SC-127591][SQL] Nesprávná nejednoznačná column referenční chyba
• [SPARK-43009] [SC-127596][SQL] Parametrizované sql() s Any konstantami
• [SPARK-43026] [SC-127590][SQL] Použití AQE s table mezipamětí bez exchange
• [SPARK-42963] [SC-127576][SQL] Rozšíření SparkSessionExtensionExtension Pro vložení pravidel do optimalizátoru fáze dotazu AQE
• [SPARK-42918] [SC-127357] Generalizace zpracování atributů metadat v FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Přidání Catalog podpory
• [SPARK-42997] [SC-127535][SQL] TableOutputResolver musí používat správné cesty column v chybových zprávách pro pole a mapy.
• [SPARK-43006] [SC-127486][PYSPARK] Oprava překlepu ve službě StorageLevel eq()
• [SPARK-43005] [SC-127485][PYSPARK] Oprava překlepu v pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][JÁDRO] Oprava překlepu v ResourceRequest.equals()
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implementace funkcí Avro
• [SPARK-42979] [SC-127272][SQL] Definování konstruktorů literálů jako klíčových slov
• [SPARK-42946] [SC-127252][SQL] Redact sensitive data, která jsou vnořena nahrazováním proměnných
• [SPARK-42952] [SC-127260][SQL] Zjednodušení parametru pravidla analyzátoru PreprocessTableCreation a DataSourceAnalysis
• [SPARK-42683] [LC-75] Automaticky přejmenovat konfliktní metadata columns
• [SPARK-42853] [SC-126101][Sledovat] Oprava konfliktů
• [SPARK-42929] [SC-126748][CONNECT] make mapInPandas / mapInArrow podpora "is_barrier"
• [SPARK-42968] [SC-127271][SS] Přidání možnosti pro přeskočení koordinátoru potvrzení v rámci rozhraní API StreamingWrite pro zdroje a jímky DSv2
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] Přidání YearMonthIntervalType do klienta PySpark a Spark Connect Pythonu
• [SPARK-41359] [SC-127256][SQL] Místo PhysicalDataType datového typu v nezabezpečeném objektu
• [SPARK-42873] [SC-127262][SQL] Definování typů Spark SQL jako klíčových slov
• [SPARK-42808] [SC-126302][JÁDRO] Vyhněte se získání dostupnýchprocesorů při každém spuštění MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries by měl setInSubqueryExec#shouldBroadcast na true
• [SPARK-42896] [SC-126729][SQL][PYTHON] Provedení mapInPandas / mapInArrow režimu bariéry podpory
• [SPARK-42874] [SC-126442][SQL] Povolení nové architektury pro testování zlatých souborů pro analýzu pro všechny vstupní soubory
• [SPARK-42922] [SC-126850][SQL] Přechod z náhodného na SecureRandom
• [SPARK-42753] [SC-126369] Opakované použitíexchange odkazuje na neexistující uzly.
• [SPARK-40822] [SC-126274][SQL] Stabilní odvozené column aliasy
• [SPARK-42908] [SC-126856][PYTHON] Vyvolání chyby runtime v případě, že se vyžaduje SparkContext, ale není inicializován
• [SPARK-42779] [SC-126042][SQL] Povolit zápisům v2 indikovat velikost partition poradcem prohazovat
• [SPARK-42914] [SC-126727][PYTHON] Opakované použití transformUnregisteredFunction pro DistributedSequenceID.
• [SPARK-42878] [SC-126882][CONNECT] Rozhraní API table v DataFrameReader může také přijímat možnosti.
• [SPARK-42927] [SC-126883][JÁDRO] Změna rozsahu o.a.spark.util.Iterators#size přístupu na private[util]
• [SPARK-42943] [SC-126879][SQL] Pro efektivní délku použijte longTEXT místo TEXTU pro StringType.
• [SPARK-37677] [SC-126855][JÁDRO] Rozbalení může zachovat oprávnění k souborům
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implementace rozhraní API pro mapování CoGrouped
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implementace objektu DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][JÁDRO][SQL] Změna rozsahu ProtobufSerDe přístupu souvisejících implementací na private[protobuf]
• [SPARK-42819] [SC-125879][SS] Přidání podpory pro nastavení max_write_buffer_number a write_buffer_size pro RocksDB používané při streamování
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Objasnění komentáře parametrizovaných arg SQL
• [SPARK-42748] [SC-126455][CONNECT] Správa artefaktů na straně serveru
• [SPARK-42816] [SC-126365][CONNECT] Podpora maximální velikosti zprávy až 128 MB
• [SPARK-42850] [SC-126109][SQL] Remove duplikované pravidlo CombineFilters v Optimalizátoru
• [SPARK-42662] [SC-126355][CONNECT][PS] Přidání zprávy proto pro rozhraní PANDAS API ve výchozím indexu Sparku
• [SPARK-42720] [SC-126136][PS][SQL] Používá výraz pro výchozí index distribuované sekvence místo plánu.
• [SPARK-42790] [SC-126174][SQL] Abstrahujte vyloučenou metodu pro lepší test pro testy dockeru JDBC.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] Oprava elementu createDataFrame pro dodržování odvození a názvů column
• [SPARK-42917] [SC-126657][SQL] Oprava getUpdateColumnNullabilityQuery pro DerbyDialect
• [SPARK-42684] [SC-125157][SQL] v2 catalog by neměla ve výchozím nastavení povolit výchozí hodnotu column
• [SPARK-42861] [SC-126635][SQL] Používejte místo chráněného[sql] privátní[sql] a vyhněte se generování dokumentace k rozhraní API.
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] Povolení testů pro UDF s UDT
• [SPARK-42791] [SC-126617][SQL] Vytvoření nové architektury pro testování zlatých souborů pro analýzu
• [SPARK-42911] [SC-126652][PYTHON] Zavedení dalších základních výjimek
• [SPARK-42904] [SC-126634][SQL] Podpora char/varchar pro Catalog JDBC
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] Přesunutí StorageLevel do samostatného souboru, abyste se vyhnuli potenciálnímu file recursively imports
• [SPARK-42894] [SC-126451][CONNECT] Podpora cache/persist/unpersist/storageLevelklienta jvm pro připojení Sparku
• [SPARK-42792] [SC-125852][SS] Přidání podpory pro WRITE_FLUSH_BYTES pro RocksDB používané ve stavových operátorech streamování
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] Přidání array_prepend do klienta Spark Connect Pythonu
• [SPARK-42681] [SC-125149][SQL] Uvolnění constraint pro ALTER TABLE ADD|NAHRADIT popisovač column
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implementace mezipaměti, zachování, nepersistování a úrovně úložiště
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] Zadejte jasnou chybovou zprávu pro nepodporované atributy JVM.
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implementace seskupené mapového rozhraní API
• [SPARK-42892] [SC-126454][SQL] Přesunutí sameType a relevantních metod z dataType
• [SPARK-42827] [SC-126126][CONNECT] Podpora functions#array_prepend klienta Scala Connect
• [SPARK-42823] [SC-125987][SQL] spark-sql Shell podporuje vícedílné obory názvů pro inicializaci.
• [SPARK-42817] [SC-125960][JÁDRO] Protokolování názvu služby náhodného prohazování jednou v ApplicationMasteru
• [SPARK-42786] [SC-126438][Connect] Typed Select
• [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] Implementace funkce ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] Podpora Codegenu pro HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PYTHON] Přidání array_prepend funkce
• [SPARK-42864] [SC-126268][ML][3.4] Nastavit IsotonicRegression.PointsAccumulator jako soukromé
• [SPARK-42876] [SC-126281][SQL] Hodnota physicalDataType datového typu by měla být privátní[sql]
• [SPARK-42101] [SC-125437][SQL] Podpora AQE InMemoryTableScanExec
• [SPARK-41290] [SC-124030][SQL] Podpora vygenerovaných výrazů ALWAYS AS pro columns v příkazech create/replace table
• [SPARK-42870] [SC-126220][CONNECT] Přesunout toCatalystValue na connect-common
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] Oprava funkce UserDefinedFunction, aby měla returnType
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] Oprava toPandas pro správné zpracování timezone a typů mapování
• [SPARK-42757] [SC-125626][CONNECT] Implementace textového souboru pro DataFrameReader
• [SPARK-42803] [SC-126081][JÁDRO][SQL][ML] Místo getParameterTypes.length použijte funkci getParameterCount.
• [SPARK-42833] [SC-126043][SQL] Refaktoring applyExtensions v SparkSession
• [SPARK-41765] Vrátit zpět [SC-1235550][SQL] Vyžádat metriky zápisu v1...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implementace Tabulky DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] Podpora UserDefinedType v nástroji Spark Connect
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implementace třídy DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][CONNECT] Přidání client_type do zprávy AddArtifactsRequest protobuf
• [SPARK-42772] [SC-125860][SQL] Změna výchozí hodnoty možností JDBC o posunu dolů na true
• [SPARK-42771] [SC-125855][SQL] Refaktoring HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro: Psaní složitých sjednocení
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] Povolení importu pandas_udf z pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][JÁDRO] MapOutputTracker#getMapLocation by měla respektovat spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] Zlepšení výkonu oddílů vyřazení
• [SPARK-42689] [SC-125195][JÁDRO][SHUFFLE] Povolení funkce ShuffleDriverComponent deklarovat, jestli jsou data náhodného prohazování spolehlivě uložená
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implementovat DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] Stažení metrik zápisu do WriteFiles v1
• [SPARK-41171] [SC-124191][SQL] Odvozovat a propagovat windowlimit skrze window, pokud je partitionSpec prázdný
• [SPARK-42686] [SC-125292][JÁDRO] Odložit formátování pro ladicí zprávy v TaskMemoryManager
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] Pomocná funkce pro převod proto literálu na hodnotu v klientovi Pythonu
• [SPARK-42793] [SC-125627][CONNECT] connect modul vyžaduje build_profile_flags
• [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() Přidání funkce
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame nefunguje s nenulovou možností schema
• [SPARK-42733] [SC-125542][CONNECT][Followup] Zapsat bez určení cesty nebo table
• [SPARK-42777] [SC-125525][SQL] Podpora převodu statistik časového razítka catalog na plánování statistik
• [SPARK-42770] [SC-125558][CONNECT] Přidání truncatedTo(ChronoUnit.MICROS) , které provedete SQLImplicitsTestSuite v javě 17 každodenních testovacích úloh GA
• [SPARK-42752] [SC-125550][PYSPARK][SQL] Nastavení výjimek PySpark pro tisk během inicializace
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Podpora metody getActiveSession relace spark connect
• [SPARK-42755] [SC-125442][CONNECT] Převod hodnoty literálu faktoru na connect-common
• [SPARK-42747] [SC-125399][ML] Oprava nesprávného interního stavu LoR a AFT
• [SPARK-42740] [SC-125439][SQL] Oprava chyby, která offset pushdownu nebo stránkování je pro některé předdefinované dialekty neplatná
• [SPARK-42745] [SC-125332][SQL] Vylepšené AliasAwareOutputExpression funguje s DSv2
• [SPARK-42743] [SC-125330][SQL] Podpora analýzy TimestampNTZ columns
• [SPARK-42721] [SC-125371][CONNECT] Zachytávání protokolování RPC
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implementace Dataset.smanticHash
• [SPARK-42688] [SC-124922][CONNECT] Přejmenování client_id žádosti o připojení na session_id
• [SPARK-42310] [SC-122792][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] Optimize Utils.bytesToString routines
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] Make LiteralExpression podporuje parametry pole
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] Podpora parametrizovaného dotazu v poddotazech a CTE
• [SPARK-42697] [SC-125189][WEBI] Oprava /api/v1/applications pro vrácení celkové doby provozu místo 0 pro pole doby trvání
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] Oprava funkce DataFrameWriter.save pro práci bez parametru cesty
• [SPARK-42376] [SC-124928][SS] Zavedení watermark propagace mezi operátory
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] Přejmenujte proto FrameMap na MapPartitions
• [SPARK-37099] [SC-123542][SQL] Zavedení skupinového limitWindow pro filtr založený na pořadí pro optimize výpočty top-k
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] Zavedení unparsedDataType a zpoždění parsování řetězce DDL, dokud není k dispozici SparkConnectClient
• [SPARK-42690] [SC-125193][CONNECT] Implementace funkcí analýzy CSV/JSON pro klienta Scala
• [SPARK-42709] [SC-125172][PYTHON] Remove předpokladu, že je k dispozici __file__
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] Přiřadit název LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] Podpora formátu JSON datového typu analyzátoru "timestamp_ltz" jako TimestampType
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() by neměl ukládat schema
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] Registrace uživatelem definovaných funkcí Javy (agregace)
• [SPARK-42656] [SC-125177][CONNECT][Zpracovat] Oprava skriptu spark-connect
• [SPARK-41516] [SC-123899] [SQL] Povolit dialektům jdbc přepsat dotaz použitý k vytvoření table
• [SPARK-41725] [SC-124396][CONNECT] Dychtivá realizace DF.sql()
• [SPARK-42687] [SC-124896][SS] Lepší chybová zpráva pro nepodporovanou pivot operaci ve streamování
• [SPARK-42676] [SC-124809][SS] Zápis dočasných kontrolních bodů pro dotazy streamování do místního systému souborů, i když je výchozí fs set jinak
• [SPARK-42303] [SC-122644][SQL] Přiřazení názvu k _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] Ujistěte se, že po "intervalu" alespoň jednu časovou jednotku.
• [SPARK-42649] [SC-124576][CORE] Remove standardní hlavička licence Apache ze začátku zdrojových souborů třetích stran
• [SPARK-42611] [SC-124395][SQL] Insert kontroly délky znaků/varchar pro vnitřní pole během řešení
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrujte do architektury chyb pro rozhraní SPARK Connect Column API.
• [SPARK-42637] [SC-124522][CONNECT] Přidání SparkSession.stop()
• [SPARK-42647] [SC-124647][PYTHON] Změna aliasu pro zastaralé a odebrané typy
• [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver zavře pouze spuštěnou relaci HiveState
• [SPARK-42593] [SC-124405][PS] Vyřazení & remove rozhraní API, která budou odebrána v knihovně pandas 2.0.
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] Oprava createDataFrame pro zpracování duplicitních názvů column
• [SPARK-42569] [SC-124379][CONNECT] Vyvolání výjimek pro nepodporované rozhraní API relace
• [SPARK-42631] [SC-124526][CONNECT] Podpora vlastních rozšíření v klientovi Scala
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] Oprava prvku createDataFrame pro podporu doby trvání
• [SPARK-42572] [SC-124171][SQL][SS] Oprava chování StateStoreProvider.validateStateRowFormat

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 13.1.

Prostředí systému

• Operační systém: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 2023-02-10.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)