Databricks Runtime 14.3 LTS

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.3 LTS, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v únoru 2024.

Nové funkce a vylepšení

• podpora systému souborů pracovního prostoru v PySpark User-Defined Functions (UDF) v clusterech se standardním režimem přístupu (dříve sdílený režim přístupu)
• Podpora optimalizací vektorů pro odstranění bez Photonu
• rozhraní API katalogu Sparku jsou teď plně podporovaná v režimu standardního přístupu
• Delta UniForm je teď obecně dostupný.
• nová funkce SQL EXECUTE IMMEDIATE
• Přepočítat statistiky pro přeskakování dat v tabulkách Delta
• Informace o stavu pro stavové streamovací dotazy
• Použití Microsoft Entra ID pro ověřování Kafky na standardních clusterech
• přidání podpory pro vyřezávání souborů a oddílů za účelem zlepšení výkonu dotazů
• Deklarace dočasných proměnných v relaci SQL
• aktualizace thriftserveru pro odebrání nepoužívaných funkcí
• Používat soubory úložiště certifikátů a úložiště klíčů ve svazcích Unity Catalogu
• Podpora nativního formátu souborů XML (Public Preview)
• Podpora úložiště Cloudflare R2 (Public Preview)
• Přístup Spark a dbutils k souborům pracovního prostoru podporují clustery Unity Catalog s přístupem na standardní úrovni
• Podpora skriptů pro inicializaci a knihoven clusterů v clusterech Unity Catalog s běžným přístupem

Podpora systému souborů pracovního prostoru v PySpark User-Defined Functions (UDF) v clusterech se standardním režimem přístupu (dříve sdílený režim přístupu)

Funkce PySpark UDF na standardních clusterech teď může importovat moduly Pythonu z složek Gitu, souborů pracovního prostorunebo svazků UC.

Další informace o práci s moduly ve složkách Gitu nebo souborech pracovních prostorů najdete v tématu Práce s moduly Pythonu a R.

Podpora optimalizace vektorů odstranění bez použití Photonu

Photon se už nevyžaduje pro operace MERGE, které využívají optimalizace vektorů odstranění. Podívejte se, co jsou to vektory odstranění?

Rozhraní API katalogu Spark jsou nyní ve standardním režimu přístupu plně podporována.

Teď můžete použít všechny funkce v rozhraní API spark.catalog jak v Pythonu, tak v jazyce Scala na výpočetních prostředcích nakonfigurovaných pomocí standardního režimu přístupu.

Delta UniForm je teď obecně dostupný.

UniForm je nyní obecně dostupný a používá funkci tabulky IcebergCompatV2. U existujících tabulek teď můžete povolit nebo upgradovat UniForm. Viz Čtení tabulek Delta s klienty Iceberg.

Nová funkce SQL EXECUTE IMMEDIATE

Pomocí syntaxe EXECUTE IMMEDIATE teď můžete podporovat parametrizované dotazy v SQL. Viz EXECUTE IMMEDIATE.

Přepočítejte statistiky vynechávání dat pro tabulky Delta

Statistiky uložené v protokolu Delta teď můžete přepočítat po změně sloupců používaných pro přeskakování dat. Viz Určení sloupců statistiky delta.

Informace o stavu dotazů pro stavové streamovací dotazy

Teď se můžete dotazovat na data stavu strukturovaného streamování a metadata. Viz Přečtěte si informace o stavu strukturovaného streamování.

Použijte Microsoft Entra ID pro ověřování v Kafce na standardních clusterech.

Služby Event Hubs teď můžete ověřovat prostřednictvím OAuth s ID Microsoft Entra na výpočetních prostředcích nakonfigurovaných pomocí standardního režimu přístupu. Viz Autentizace principála služby pomocí ID Microsoft Entra a Azure Event Hubs.

Přidání podpory pro vyřazení souborů a oddílů za účelem zlepšení výkonu dotazů

Abychom urychlili některé dotazy, které v JOIN podmínkách spoléhají na nulovou-tolerantní rovnost, nyní podporujeme DynamicFilePruning a DynamicPartitionPruning pro operátor EqualNullSafe v JOINech.

Deklarovat dočasné proměnné v SQL relaci

Tato verze zavádí možnost deklarovat dočasné proměnné v relaci, které lze nastavit a na které lze poté v dotazech odkazovat. Viz proměnné.

Aktualizace thriftserveru pro odebrání nepoužívaných funkcí

Kód serveru Thrift byl aktualizován tak, aby odebral kód pro zastaralé funkce. Vzhledem k těmto změnám se už nepodporují následující konfigurace:

• Pomocné JAR soubory Hive nakonfigurované pomocí vlastnosti hive.aux.jars.path už nejsou podporované pro připojení hive-thriftserver.
• Globální inicializační soubor Hive (.hiverc), jehož umístění je nakonfigurováno pomocí vlastnosti hive.server2.global.init.file.location nebo proměnné prostředí HIVE_CONF_DIR, se už nepodporuje pro připojení hive-thriftserver.

Použití souborů úložiště důvěryhodnosti a úložiště klíčů ve svazcích katalogu Unity

Můžete nyní použít soubory truststore a keystore ve svazcích Unity Catalog k ověřování pomocí Confluent Schema Registry pro data ve formátu Avro nebo Protocol Buffer. Podívejte se do dokumentace pro avro nebo protocol buffers.

Podpora nativního formátu souborů XML (Public Preview)

Podpora nativního formátu souborů XML je teď ve verzi Public Preview. Podpora formátu souboru XML umožňuje příjem dat, dotazování a analýzu dat XML pro dávkové zpracování nebo streamování. Dokáže automaticky odvodit a vyvíjet schémata a datové typy, podporuje výrazy SQL, jako je from_xml, a může generovat dokumenty XML. Nevyžaduje externí soubory JAR a bezproblémově funguje s Automatickým zavaděčem, read_files, COPY INTOa DLT. Viz Čtení a zápis souborů XML.

Podpora úložiště Cloudflare R2 (Public Preview)

Cloudflare R2 teď můžete použít jako cloudové úložiště pro data zaregistrovaná v katalogu Unity. Cloudflare R2 je určen především pro případy použití Delta Sharing, ve kterých se chcete vyhnout poplatkům za odchozí přenos dat, účtovaným poskytovateli cloudu při přechodu mezi oblastmi. Úložiště R2 podporuje všechna data Databricks a prostředky AI podporované v AWS S3, Azure Data Lake Storage Gen2 a Google Cloud Storage. Viz Použití replik Cloudflare R2 nebo migrace úložiště do R2 a vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.

Přístup Sparku a dbutils k souborům pracovního prostoru podporují clustery Unity Catalog se standardním přístupem

Spark a dbutils přístup pro čtení a zápis k souborům pracovního prostoru se teď podporuje v clusterech Unity Catalogu v standardním režimu přístupu. Viz Pracujte se soubory pracovního prostoru.

Podpora inicializačních skriptů a knihoven clusterů v clusterech Katalogu Unity se standardním přístupem

Instalace inicializačních skriptů s oborem clusteru a knihoven Python a JAR v clusterech katalogu Unity v standardním režimu přístupu, včetně instalace pomocí zásad clusteru , je teď obecně dostupná. Databricks doporučuje instalaci inicializačních skriptů a knihoven ze svazků katalogu Unity.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • fastjsonschema od 2.19.0 do 2.19.1
  • filelock od 3.12.4 do 3.13.1
  • googleapis-common-protos od 1.61.0 do 1.62.0
  • balení od 22.0 do 23.2
• Upgradované knihovny jazyka R:
  • cizí od 0.8-82 do 0.8-85
  • nlme od 3.1-162 do 3.1-163
  • rpart od 4.1.19 do 4.1.21
• Upgradované knihovny Java:
  • com.databricks.databricks-sdk-java od 0.7.0 do 0.13.0
  • org.apache.orc.orc-core od 1.9.1-shaded-protobuf na 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce z verze 1.9.1-shaded-protobuf až 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims od 1.9.1 do 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 od 2.9.0 do 2.11.0

Apache Spark

Databricks Runtime 14.3 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 14.2 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-46541] [SC-153546][sql][CONNECT] Oprava nejednoznačného odkazu na sloupec ve vlastním spojení
• [SPARK-45433] Vrátit zpět „[SC-145163][sql] Opravit schéma CSV/JSON...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Umožněte opakování funkce addArtifact
• [SPARK-46660] [SC-153391][connect] ReattachExecute požadavky na aktualizace stavu správce relací.
• [SPARK-46670] [SC-153273][python][SQL] Samoobslužné klonování DataSourceManager oddělením statických a runtime zdrojů dat Pythonu
• [SPARK-46720] [SC-153410][sql][PYTHON] Refaktoring zdroje dat Pythonu tak, aby odpovídal ostatním integrovaným zdrojům dat DSv2
• [SPARK-46684] [SC-153275][python][CONNECT] Oprava CoGroup.applyInPandas/Arrow pro správné předávání argumentů
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Vyvolání chyby u více zdrojů dat XML
• [SPARK-46382] [SC-151881][sql]XML: Výchozí hodnota pro ignoreSurroundingSpaces je nastavena na true
• [SPARK-46382] [SC-153178][sql] XML: Aktualizace dokumentace pro ignoreSurroundingSpaces
• [SPARK-45292] Vrátit zpět “[SC-151609][sql][HIVE] Odebrat Guavu ze sdílených tříd z IzolovanéhoClientLoaderu”
• [SPARK-45292] [SC-151609][sql][HIVE] Odebrat Guava ze sdílených tříd IsolatedClientLoaderu
• [SPARK-46311] [SC-150137][core] Zaznamená finální stav ovladačů během Master.removeDriver
• [SPARK-46413] [SC-151052][python] Ověřit returnType Arrow Python UDF
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Oprava čtečky Avro pro zpracování bloků nulové délky
• [SPARK-46537] [SC-151286][sql] Převod NPE a asertů z příkazů na vnitřní chyby
• [SPARK-46179] [SC-151678][sql] Přidat CrossDbmsQueryTestSuites, která spouští jiné DBMS proti zlatým souborům s jinými DBMS, počínaje Postgres.
• [SPARK-44001] [SC-151413][protobuf] Přidání možnosti pro povolení rozbalení známých typů obálky protobuf
• [SPARK-40876] [SC-151786][sql] Rozšíření podpory typu pro desetinná místa s větším měřítkem u čteček Parquet
• [SPARK-46605] [SC-151769][connect] Umožněte, aby funkce lit/typedLit v modulu connect podporovala s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] literálové ověření by nemělo přejít k polím null
• [SPARK-37039] [SC-153094][ps] Oprava správného fungování Series.astype s chybějící hodnotou
• [SPARK-46312] [SC-150163][core] Použití lower_camel_case v store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: Ověření názvu elementu XML při zápisu
• [SPARK-46627] [SC-152981][ss][UI] Oprava obsahu popisu časové osy v uživatelském rozhraní streamování
• [SPARK-46248] [SC-151774][sql] XML: Podpora pro možnosti ignoreCorruptFiles a ignoreMissingFiles
• [SPARK-46386] [SC-150766][python] Zlepšení asercí u pozorování (pyspark.sql.pozorování)
• [SPARK-46581] [SC-151789][jádro] Aktualizovat komentář k isZero v AccumulatorV2
• [SPARK-46601] [SC-151785] [JÁDRO] Oprava chyby protokolu v handleStatusMessage
• [SPARK-46568] [SC-151685][python] Nastavení možností zdroje dat Pythonu na slovník nerozlišující malá a velká písmena
• [SPARK-46611] [SC-151783][core] Odebrání ThreadLocal nahrazením SimpleDateFormat za DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Umožnit podporu Literal.applys.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Opravit název výstupu pyspark.sql.functions.user a session_user
• [SPARK-46621] [SC-151794][python] Řešení null z Exception.getMessage v zachycené výjimce Py4J
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader by měl při vytváření vektorů sloupců pro chybějící sloupec respektovat režim paměti.
• [SPARK-46613] [SC-151778][sql][PYTHON] Zaznamenejte úplnou výjimku, pokud se nepodaří vyhledat zdroje dat Pythonu
• [SPARK-46559] [SC-151364][mllib] Zabalte export do názvu balíčku pomocí backticks.
• [SPARK-46522] [SC-151784][python] Blokovat registraci datového zdroje Python s konflikty názvů
• [SPARK-45580] [SC-149956][sql] Řešení případu, kdy se vnořený poddotaz stane existenciálním spojením
• [SPARK-46609] [SC-151714][sql] Vyhněte se exponenciálnímu nárůstu v partitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Oprava NPE při popisu rozšířeného sloupce bez statistik sloupců
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Kontrola kompatibility pomocí typeCoercion.findTightestCommonType
• [SPARK-40876] [SC-151129][sql] Rozšíření povýšení typů v čtenářích Parquet
• [SPARK-46179] [SC-151069][sql] Stažení kódu do opakovaně použitelných funkcí v SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Podpora s.c.immutable.ArraySeq jako customCollectionCls v MapObjects
• [SPARK-46585] [SC-151622][jádro] Přímo vytvořené metricPeaks jako immutable.ArraySeq místo použití mutable.ArraySeq.toSeq v Executor
• [SPARK-46488] [SC-151173][sql] Přeskočení volání trimAll během analýzy časového razítka
• [SPARK-46231] [SC-149724][python] Migrace všech zbývajících NotImplementedError & TypeError do architektury chyb PySpark
• [SPARK-46348] [SC-150281][core] Podpora spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][jádro] Doba trvání obnovení protokolu Spark HA
• [SPARK-46358] [SC-150307][connect] Zjednodušení kontroly podmínek v ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Před vyhodnocením vložených výrazů tabulky nahraďte aktuální čas a datum.
• [SPARK-46563] [SC-151441][sql] Zobrazení simpleString se neshoduje s nastavením spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Zmenšete hloubku zásobníku nahraďte (řetězec|pole).size za (řetězec|pole).length
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(všechna pole ze struktury) způsobí selhání kontrolního výrazu.
• [SPARK-46565] [SC-151414][python] Upřesnění tříd chyb a chybových zpráv pro zdroje dat Pythonu
• [SPARK-46576] [SC-151614][sql] Vylepšení chybových zpráv pro nepodporovaný režim ukládání zdroje dat
• [SPARK-46540] [SC-151355][python] Respektovat názvy sloupců, když funkce pro čtení z datového zdroje v Pythonu vrací pojmenované objekty typu Row.
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite uniká sezení Hiveu SessionState
• [SPARK-44556] [SC-151562][sql] Opětovné použití OrcTail při povolení vectorizedReader
• [SPARK-46587] [SC-151618][sql] XML: Oprava velkého celočíselného převodu XSD
• [SPARK-46382] [SC-151297][sql] XML: Zachycení hodnoty rozptýlené mezi prvky
• [SPARK-46567] [SC-151447][core] Odstranit ThreadLocal pro ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Automatická registrace zdroje dat Pythonu při spuštění
• [SPARK-28386] [SC-151014][sql] Nelze vyřešit ORDER BY sloupce s GROUP BY a HAVING
• [SPARK-46524] [SC-151446][sql] Vylepšení chybových zpráv pro neplatný režim ukládání
• [SPARK-46294] [SC-150672][sql] Vyčištění sémantiky init vs. nulové hodnoty
• [SPARK-46301] [SC-150100][core] Podpora spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Odeberte kontrolu c>=0 z ExternalCatalogUtils#needsEscaping, jelikož je vždy pravdivá
• [SPARK-46553] [SC-151360][ps] FutureWarning pro interpolate s typem objektu
• [SPARK-45914] [SC-151312][python] Podpora API pro commit a abort při zápisu zdroje dat v Pythonu
• [SPARK-46543] [SC-151350][python][CONNECT] Vytvoření json_tuple vyvolání chyby PySparkValueError pro prázdná pole
• [SPARK-46520] [SC-151227][python] Podpora režimu přepsání pro zápis zdroje dat Pythonu
• [SPARK-46502] [SC-151235][sql] Podpora typů časových razítek v UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Předat parametry zprávy v metadatech ErrorInfo
• [SPARK-46397] Vrátit zpět "[SC-151311][python][CONNECT] Funkce sha2 by měla zvýšit PySparkValueError pro neplatnou numBits"
• [SPARK-46170] [SC-149472][sql] Podpora vkládání pravidel strategie adaptivního post-plánovače dotazů ve SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable by neměla načíst tabulku.
• [SPARK-46397] [SC-151311][python][CONNECT] Funkce sha2 by měla vyvolat PySparkValueError pro neplatné numBits
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables nevyvolá výjimku, pokud se tabulka nebo zobrazení nenajde
• [SPARK-46272] [SC-151012][sql] Podpora CTAS pomocí zdrojů DSv2
• [SPARK-46480] [SC-151127][core][SQL] Oprava NPE při pokusu o přístup k mezipaměti tabulky
• [SPARK-46100] [SC-149051][core][PYTHON] Omezte hloubku zásobníku nahrazením (řetězec|pole).size za (řetězec|pole).length
• [SPARK-45795] [SC-150764][sql] DS V2 podporuje režim push down
• [SPARK-46485] [SC-151133][sql] V1Write by neměl přidávat řazení, pokud to není nutné
• [SPARK-46468] [SC-151121] [SQL] Zpracování chyby COUNT u poddotazů EXISTS s agregací bez seskupování klíčů
• [SPARK-46246] [SC-150927][sql] podpora EXECUTE IMMEDIATE SQL
• [SPARK-46498] [SC-151199][core] Odebrání shuffleServiceEnabled z o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Nastavte konfigurace rebase na režim CORRECTED ve výchozím nastavení.
• [SPARK-45525] [SC-151120][sql][PYTHON] Podpora zápisu zdroje dat v Pythonu pomocí DSv2
• [SPARK-46505] [SC-151187][connect] Nastavení prahové hodnoty bajtů v ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Odstranění starších konfigurací SQL pro přemapování datumových a časových hodnot.
• [SPARK-46443] [SC-151123][sql] Přesnost a měřítko desetinných míst by mělo rozhodnout dialekt H2.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Oprava grafu délky trvání operace na stránce pro strukturované streamování
• [SPARK-46207] [SC-151068][sql] Podpora MergeInto v dataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Přidání nového rozhraní API v objektu DataWriter pro zápis iterátoru záznamů
• [SPARK-46273] [SC-150313][sql] Podpora INSERT INTO/OVERWRITE pomocí zdrojů DSv2
• [SPARK-46344] [SC-150267][core] Upozornit správně, pokud ovladač existuje úspěšně, ale hlavní server je odpojen
• [SPARK-46284] [SC-149944][python][CONNECT] Přidání funkce session_user do Pythonu
• [SPARK-46043] [SC-149786][sql] Podpora vytváření tabulek pomocí zdrojů DSv2
• [SPARK-46323] [SC-150191][python] Oprava názvu výstupu pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][python][CONNECT] Přidání Column.isNaN v PySparku
• [SPARK-46456] [SC-151050][core] Přidání spark.ui.jettyStopTimeout pro nastavení časového limitu zastavení serveru Jetty pro odblokování vypnutí SparkContextu
• [SPARK-43427] [SC-150356][protobuf] spark protobuf: umožnit přetypování nepodepsaných celočíselných typů
• [SPARK-46399] [SC-151013][14.x][Jádro] Přidat stav ukončení do události Konec aplikace pro použití naslouchacího procesu Spark
• [SPARK-46423] [SC-150752][python][SQL] Nastavení instance zdroje dat Pythonu na DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Podpora metrik Pythonu ve zdroji dat Pythonu
• [SPARK-46330] [SC-151015] Načítání bloků uživatelského rozhraní Sparku po dlouhou dobu, když je povolený HybridStore
• [SPARK-46378] [SC-150397][sql] Po převodu agregace na projekt stále odebrat řazení
• [SPARK-45506] [SC-146959][connect] Přidání podpory pro ivy URI do funkce SparkConnect addArtifact
• [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close(), aby nedošlo k úniku paměti
• [SPARK-46427] [SC-150759][python][SQL] Změňte popis zdroje dat Pythonu, aby byl přehlednější při zobrazování.
• [SPARK-45597] [SC-150730][python][SQL] Podpora vytváření tabulek pomocí zdroje dat Pythonu v SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Přidání getMessageParameters a podpora getQueryContext
• [SPARK-46453] [SC-150897][connect] Vyhoď výjimku z internalError() v SessionHolder
• [SPARK-45758] [SC-147454][sql] Zavedení mapperu pro kodeky komprese hadoop
• [SPARK-46213] [PYTHON] Zavedení PySparkImportError pro architekturu chyb
• [SPARK-46230] [SC-149960][python] Migrace RetriesExceeded do chyby PySpark
• [SPARK-45035] [SC-145887][sql] Oprava ignoreCorruptFiles/ignoreMissingFiles s víceřádkovým souborem CSV/JSON oznámí chybu
• [SPARK-46289] [SC-150846][sql] Podpora řazení UDT v interpretovaném režimu
• [SPARK-46229] [SC-150798][python][CONNECT] Add applyInRow to groupBy a cogroup in Spark Connect
• [SPARK-46420] [SC-150847][sql] Odebrání nepoužívaného přenosu ve SparkSQLCLIDriveru
• [SPARK-46226] [PYTHON] Migrace všech zbývajících RuntimeError do systému chyb PySpark
• [SPARK-45796] [SC-150613][sql] Podpora MODE() V RÁMCI SKUPINY (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Přidání příkazu ApplyInArrow pro groupBy a cogroup
• [SPARK-46069] [SC-149672][sql] Podpora převodu typu časové razítko na typ datum
• [SPARK-46406] [SC-150770][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Konvertovat IllegalStateException na internalError v iterátorech relací
• [SPARK-45807] [SC-150751][sql] Vylepšení rozhraní API ViewCatalog
• [SPARK-46009] [SC-149771][sql][CONNECT] Sloučí pravidlo analýzy percentileCont a PercentileDisc do functionCall.
• [SPARK-46403] [SC-150756][sql] Dekódování binárního souboru parquet pomocí metody getBytesUnsafe
• [SPARK-46389] [SC-150779][core] Při checkVersion vyvolání výjimky ručně zavřete instanci RocksDB/LevelDB.
• [SPARK-46360] [SC-150376][python] Vylepšení ladění chybových zpráv pomocí nového rozhraní API getMessage
• [SPARK-46233] [SC-149766][python] Migrace všech zbývajících AttributeError do architektury chyb PySpark
• [SPARK-46394] [SC-150599][sql] Oprava problémů s spark.catalog.listDatabases() u schémat se speciálními znaky při nastavení spark.sql.legacy.keepCommandOutputSchema na true
• [SPARK-45964] [SC-148484][sql] Odebrání soukromého přístupového objektu SQL v rámci balíčků XML a JSON pod paketem Catalyst
• [SPARK-45856] [SC-148691] Přesun ArtifactManageru ze Spark Connect do SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Oprava spouštěcího skriptu spark-connect-scala-client
• [SPARK-46416] [SC-150699][core] Přidání @tailrec do HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Omezení znakových sad v encode()
• [SPARK-46253] [SC-150416][python] Plánování čtení zdroje dat Pythonu pomocí MapInArrow
• [SPARK-46339] [SC-150266][ss] Adresář pojmenovaný podle čísla dávky by neměl být považován za protokol metadat.
• [SPARK-46353] [SC-150396][core] Refaktoring pro zlepšení pokrytí jednotkových testů RegisterWorker
• [SPARK-45826] [SC-149061][sql] Přidání konfigurace SQL pro trasování zásobníku v kontextu dotazu datového rámce
• [SPARK-45649] [SC-150300][sql] Sjednocení architektury přípravy pro OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][jádro] Oprava hlavního serveru pro aktualizaci pracovního procesu z UNKNOWN na ALIVE na RegisterWorker msg
• [SPARK-46388] [SC-150496][sql] HiveAnalysis postrádá vzorovou ochranu query.resolved
• [SPARK-46401] [SC-150609][core] Místo getCardinality() > 0 v RemoteBlockPushResolver používejte !isEmpty() na RoaringBitmap
• [SPARK-46393] [SC-150603][sql] Klasifikovat výjimky v katalogu tabulek JDBC
• [SPARK-45798] [SC-150513][connect] Následné kroky: přidat serverSessionId do SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Přidání podpory TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Vylepšení SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Nahradit nesprávné použití setConf v dokumentaci s conf.set
• [SPARK-46202] [SC-150420][connect] Zveřejnění nových rozhraní API ArtifactManager pro podporu vlastních cílových adresářů
• [SPARK-45824] [SC-147648][sql] Vynucování třídy chyb v ParseException
• [SPARK-45845] [SC-148163][ss][UI] Přidat počet vyřazených řádků stavu do uživatelského rozhraní streamování
• [SPARK-46316] [SC-150181][core] Povolení buf-lint-action v modulu core
• [SPARK-45816] [SC-147656][sql] Vrátit NULL při přetečení během přetypování z časového razítka na celá čísla
• [SPARK-46333] [SC-150263][sql] Nahraďte IllegalStateExceptionSparkException.internalError v katalyzátoru.
• [SPARK-45762] [SC-148486][core] Podpora správců shuffle definovaných v uživatelských JAR souborech změnou pořadí spuštění.
• [SPARK-46239] [SC-149752][jádro] Skrýt informace o Jetty
• [SPARK-45886] [SC-148089][sql] Výstup kompletního trasování zásobníku v callSite kontextu datového rámce
• [SPARK-46290] [SC-150059][python] Změna saveMode na logický příznak pro DataSourceWriter
• [SPARK-45899] [SC-148097][connect] Nastavit errorClass v errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Zpřístupnění trasování zásobníku DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Podpora killall v rozhraní REST Submission API
• [SPARK-46234] [SC-149711][python] Zavedení PySparkKeyError pro architekturu chyb PySpark
• [SPARK-45606] [SC-147655][sql] Omezení vydaných verzí u filtru modulu runtime s více vrstvami
• [SPARK-45725] [SC-147006][sql] Odeberte nevýchozí runtime filtr poddotazů IN.
• [SPARK-45694] [SC-147314][spark-45695][SQL] Vyčištění používání zastaralého API View.force a ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] Vytvoření withOrigin obecnější
• [SPARK-46292] [SC-150086][core][UI] Zobrazit souhrn pracovních procesů na MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Místo Stream použijte LazyList
• [SPARK-45888] [SC-149945][ss] Uplatnění rámce tříd chyb na Stav (Metadata) jako Zdroj dat
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed by měly zachovat pořadí diktování a mapování.
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Vyčištění převodů SeqOps.view a ArrayOps.view
• [SPARK-46029] [SC-149255][sql] Escapování jednoduchých uvozovek, _ a % pro DS V2 pushdown
• [SPARK-46275] [SC-150189] Protobuf: Vrátí hodnotu null v režimu permissive v případě selhání deserializace.
• [SPARK-46320] [SC-150187][core] Podpora spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Neposílejte dolů filtry skupin řádků formátu Parquet, které přetékají
• [SPARK-46300] [SC-150097][python][CONNECT] Spárování menšího chování ve sloupci s úplným pokrytím testu
• [SPARK-46298] [SC-150092][python][CONNECT] Upozornění na vyřazení, testovací případ a chyba pro Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Vyčistěte zastaralé využití rozhraní API související s StringContext/StringOps/RightProjection/LeftProjection/Either a typem použití BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][sql] Podpora SHOW TABLE EXTENDED ve verzi 2
• [SPARK-45737] [SC-147011][sql] Odebrání nepotřebných .toArray[InternalRow] v SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Je nutné použít zámek instance pro získání metrik RocksDB, aby se zabránilo kolizi s operacemi běžícími na pozadí
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed by mělo respektovat řazení diktů.
• [SPARK-46274] [SC-150043] [SQL] Oprava výpočetních statistik operátoru Range() pro kontrolu dlouhé platnosti před převodem
• [SPARK-46040] [SC-149767][sql][Python] Aktualizujte rozhraní API UDTF pro analýzu a řazení sloupců pro podporu obecných výrazů.
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty by měl fungovat se všemi datovými typy
• [SPARK-45678] [SC-146825][core] Zahrnout BufferReleasingInputStream.available/reset při tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Vyčistěte zastaralé využití rozhraní API související s IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql] představuje syntaxi select * except
• [SPARK-46269] [SC-149816][ps] Povolit více testů kompatibility funkcí NumPy
• [SPARK-45807] [SC-149851][sql] Přidat createOrReplaceView(..) / replaceView(..) do ViewCatalog
• [SPARK-45742] [SC-147212][CORE][CONNECT][mllib][PYTHON] Zavádí implicitní funkci pro Scala Array, která se má zabalit do immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Zlepšení výkonu PersistenceEngine pomocí KryoSerializer
• [SPARK-45746] [SC-149359][python] Vrátí konkrétní chybové zprávy, pokud metoda UDTF analyze nebo eval přijímá nebo vrací nesprávné hodnoty.
• [SPARK-46186] [SC-149707][connect] Oprava nelegálního přechodu stavu, když je ExecuteThreadRunner přerušen před spuštěním
• [SPARK-46262] [SC-149803][ps] Povolte test pro np.left_shift pro objekt Pandas-on-Spark.
• [SPARK-45093] [SC-149679][connect][PYTHON] Podpora řádného zpracování chyb a převodu pro AddArtifactHandler
• [SPARK-46188] [SC-149571][doc][3.5] Oprava šablon stylů CSS vygenerovaných tabulek dokumentace Sparku
• [SPARK-45940] [SC-149549][python] Přidání inputPartition do rozhraní DataSourceReader
• [SPARK-43393] [SC-148301][sql] Chyba přetečení výrazu sekvence adresy.
• [SPARK-46144] [SC-149466][sql] Chyba při provádění INSERT INTO ... Příkaz REPLACE, pokud podmínka obsahuje poddotaz
• [SPARK-46118] [SC-149096][sql][SS][connect] Místo SQLContext.conf použijte SparkSession.sessionState.conf a označte SQLContext.conf jako zastaralé
• [SPARK-45760] [SC-147550][sql] Přidat s výrazem, aby nedocházelo k duplikování výrazů
• [SPARK-43228] [SC-149670][sql] Klíče připojení také odpovídají PartitioningCollection v CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Test SparkPandasNotImplementedError s vyčištěním nepoužívaného kódu
• [SPARK-46119] [SC-149205][sql] Přepsat metodu toString pro UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Pro procesor SQL použijte výjimku specifičtějšího rozsahu.
• [SPARK-46191] [SC-149565][core] Vylepšení FileSystemPersistenceEngine.persist chybové zprávy v případě existujícího souboru
• [SPARK-46036] [SC-149356][sql] Odebrání třídy chyb z funkce raise_error
• [SPARK-46055] [SC-149254][sql] Přepsání implementace rozhraní API databáze katalogu
• [SPARK-46152] [SC-149454][sql] XML: Přidání podpory decimalType v odvození schématu XML
• [SPARK-45943] [SC-149452][sql] Přesunout DetermineTableStats to resolution rules
• [SPARK-45887] [SC-148994][sql] Sladění codegenu a ne-codegen implementace Encode
• [SPARK-45022] [SC-147158][sql] Zadejte kontext pro chyby rozhraní API datové sady.
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Nahraďte toIteratoriterator pro IterableOnce
• [SPARK-46141] [SC-149357][sql] Změna výchozí hodnoty pro spark.sql.legacy.ctePrecedencePolicy na OPRAVENO
• [SPARK-45663] [SC-146617][core][MLLIB] Nahraďte IterableOnceOps#aggregateIterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Opětovné použití literálových objektů v pravidle ComputeCurrentTime
• [SPARK-45803] [SC-147489][core] Odeberte už nepoužívané RpcAbortException
• [SPARK-46148] [SC-149350][ps] Oprava pyspark.pandas.mlflow.load_model testu (Python 3.12)
• [SPARK-46110] [SC-149090][python] Použijte třídy chyb v katalogu, konfiguraci, připojení, pozorování, a modulech pandas.
• [SPARK-45827] [SC-149203][sql] Opravy variant s generováním kódu a vektorizovaným čtecím zařízením jsou zakázány
• [SPARK-46080] Vrátit zpět [SC-149012][python] Upgradovat Cloudpickle na verzi 3.0.0
• [SPARK-45460] [SC-144852][sql] Nahraďte scala.collection.convert.ImplicitConversions na scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Odeberte speciální rozlišení UnresolvedNamespace pro určité příkazy.
• [SPARK-45600] [SC-148976][python] Nastavení úrovně relace registrace zdroje dat v Pythonu
• [SPARK-46074] [SC-149063][connect][SCALA] Nedostatečné podrobnosti v chybové zprávě o selhání UDF
• [SPARK-46114] [SC-149076][python] Přidání chyby PySparkIndexError do rámce chyb
• [SPARK-46120] [SC-149083][connect][PYTHON] Odstranit pomocnou funkci DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Aktualizovat zpracování cest pro datový zdroj Pythonu
• [SPARK-46062] [14.x][sc-148991][SQL] Synchronizace příznaku isStreaming mezi definicí CTE a odkazem
• [SPARK-45698] [SC-146736][core][SQL][ss] Vyčistěte zastaralé využití rozhraní API související s Buffer
• [SPARK-46064] [SC-148984][sql][SS] Přesuňte EliminateEventTimeWatermark do analyzátoru a změňte, aby měly účinek pouze na vyřešené podřízené.
• [SPARK-45922] [SC-149038][connect][CLIENT] Menší refaktoring opakovaných pokusů (v návaznosti na více zásad)
• [SPARK-45851] [SC-148419][connect][SCALA] Podpora více zásad v klientovi scala
• [SPARK-45974] [SC-149062][sql] Přidat kontrolu neprázdnosti pro scan.filterAttributes ve funkci RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets v klientovi Scala Spark Connect
• [SPARK-45136] [SC-146607][connect] Vylepšit ClosureCleaner s podporou Ammonite
• [SPARK-46084] [SC-149020][ps] Refaktorovat operaci přetypování datového typu pro kategorický typ.
• [SPARK-46083] [SC-149018][python] Udělat ze SparkNoSuchElementException kanonické rozhraní API pro chyby
• [SPARK-46048] [SC-148982][python][CONNECT] Podpora funkcionality DataFrame.groupingSets v Python Spark Connect
• [SPARK-46080] [SC-149012][python] Upgrade Cloudpickle na verzi 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Oprava reprezentace řetězců protobuf pro rozhraní API funkcí Pandas pomocí Spark Connect
• [SPARK-46065] [SC-148985][ps] Přepsat (DataFrame|Series).factorize(), aby použil create_map.
• [SPARK-46070] [SC-148993][sql] Kompilace vzoru regulárních výrazů ve SparkDateTimeUtils.getZoneId mimo horkou smyčku
• [SPARK-46063] [SC-148981][python][CONNECT] Vylepšení chybových zpráv souvisejících s typy argumentů v cute, rollup, groupby a pivot
• [SPARK-44442] [SC-144120][mesos] Odebrání podpory Mesos
• [SPARK-45555] [SC-147620][python] Obsahuje objekt pro ladění neúspěšných asercí.
• [SPARK-46048] [SC-148871][python][SQL] Podpora funkce DataFrame.groupingSets v PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Udělat z modulu faulthandler konfigurovatelný prvek pro spouštění Pythonu v SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Zobrazit správné zprávy požadavků na závislost pro Spark Connect
• [SPARK-45681] [SC-146893][ui] Klonování js verze UIUtils.errorMessageCell pro konzistentní vykreslování chyb v uživatelském rozhraní
• [SPARK-45767] [SC-147225][core] Odstranit TimeStampedHashMap a jeho UT
• [SPARK-45696] [SC-148864][core] Oprava metody tryCompleteWith v rozhraní Promise, která je zastaralá
• [SPARK-45503] [SC-146338][ss] Přidání konfigurace pro nastavení komprese RocksDB
• [SPARK-45338] [SC-143934][core][SQL] Nahrazení scala.collection.JavaConverters na scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Oprava ArrayIndexOutOfBoundsException v conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Vylepšení rozhraní API XSDToSchema: Změna rozhraní HDFS API pro usnadnění přístupu ke cloudovému úložišti
• [SPARK-45819] [SC-147570][core] Podpora clear v rozhraní REST Submission API
• [SPARK-45552] [14.x][sc-146874][PS] Zavedení flexibilních parametrů pro assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Zadejte rozhraní pro ostatní zdroje streamování pro přidání _metadata sloupců.
• [SPARK-45929] [SC-148692][sql] Podpora operace seskupování sad v API pro datové rámce
• [SPARK-46012] [SC-148693][core] EventLogFileReader by neměl číst kumulativní protokoly, pokud chybí soubor stavu aplikace.
• [SPARK-45965] [SC-148575][sql] Přesun výrazů dělení DSv2 do functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] Oprava názvu balíčku SparkCollectionUtils na org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Odstraňte zastaralé využití rozhraní API související s MapOps & Oprava method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Odeberte treatEmptyValuesAsNulls a místo toho použijte možnost nullValue v JAZYCE XML.
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Oprava popisů typů pro zpracování list GenericAlias v Pythonu 3.11+
• [SPARK-45999] [SC-148595][ps] Použití vyhrazených PandasProduct v cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Oprava pyspark.ml.torch.tests.test_distributor v Pythonu 3.11
• [SPARK-45994] [SC-148581][python] Změna description-file na description_file
• [SPARK-45575] [SC-146713][sql] Podpora možností časového cestování pro rozhraní API pro čtení df
• [SPARK-45747] [SC-148404][ss] Použít informace o klíči předpony v metadatech stavu ke čtení stavu pro agregaci okna relace
• [SPARK-45898] [SC-148213][sql] Přepsat rozhraní API tabulky katalogové tak, aby používala nevyřešený logický plán
• [SPARK-45828] [SC-147663][sql] Odebrání zastaralé metody v dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Upgradujte protobuf na verzi 4.25.1 pro podporu Python 3.11
• [SPARK-45911] [SC-148226][core] Nastavení protokolu TLS1.3 jako výchozí pro PROTOKOL SSL RPC
• [SPARK-45955] [SC-148429][ui] Sbalení podpory pro Flamegraph a podrobnosti výpisu vláken
• [SPARK-45936] [SC-148392][ps] Optimalizace Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Správné pravidlo porovnávání metaexceptionů při získávání metadat oddílů
• [SPARK-45655] [SC-148085][sql][SS] Povolit ne deterministické výrazy uvnitř AggregateFunctions v CollectMetrics
• [SPARK-45946] [SC-148448][ss] Oprava použití zastaralé metody zápisu FileUtils pro zavedení výchozí znakové sady v RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Zdroj dat stavu – čtenář
• [SPARK-45918] [SC-148293][ps] Optimalizovat MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Vrátí pozorované metriky z příkazů.
• [SPARK-45867] [SC-147916][core] Podpora spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Přidání pomocné funkce pro parser
• [SPARK-45930] [SC-148399][sql] Podpora ne deterministických funkcí UDF v MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Vytvoření rozhraní PYTHON UDTF API pro zastavení využívání řádků ze vstupní tabulky
• [SPARK-45731] [SC-147929][sql] Aktualizujte také statistiky oddílů pomocí příkazu ANALYZE TABLE
• [SPARK-45868] [SC-148355][connect] Ujistěte se, že spark.table používá stejný analyzátor jako vanilla Spark.
• [SPARK-45882] [SC-148161][sql] Rozšíření BroadcastHashJoinExec by mělo respektovat coalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] Přiřazení názvů k chybě _LEGACY_ERROR_TEMP_21[59, 60, 61, 62]
• [SPARK-45915] [SC-148306][sql] Treat decimal(x, 0) stejně jako IntegralType in PromoteStrings
• [SPARK-45786] [SC-147552][sql] Opravit nepřesné výsledky násobení a dělení desetinných čísel
• [SPARK-45871] [SC-148084][connect] Optimalizace převodu kolekcí souvisejících s .toBuffer v modulech connect
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager může vyhledat zastavený SparkContext.
• [SPARK-45913] [SC-148289][python] Nastavení interních atributů jako soukromé z chyb PySpark.
• [SPARK-45827] [SC-148201][sql] Přidejte do Sparku datový typ Variant.
• [SPARK-44886] [SC-147876][sql] Zavedení klauzule CLUSTER BY pro create/REPLACE TABLE
• [SPARK-45756] [SC-147959][core] Podpora spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Ověřit ID relace na straně serveru
• [SPARK-45896] [SC-148091][sql] Sestavte ValidateExternalType se správným očekávaným typem
• [SPARK-45902] [SC-148123][sql] Odebrání nepoužívaných funkcí resolvePartitionColumns z DataSource
• [SPARK-45909] [SC-148137][sql] Odeberte NumericType přetypování, pokud je možné bezpečně provést přetypování v IsNotNull
• [SPARK-42821] [SC-147715][sql] Odebrání nepoužívaných parametrů v metodách splitFiles
• [SPARK-45875] [SC-148088][jádro] Odebrání MissingStageTableRowData z modulu core
• [SPARK-45783] [SC-148120][python][CONNECT] Vylepšení chybových zpráv, pokud je povolený režim Spark Connect, ale není nastavená vzdálená adresa URL
• [SPARK-45804] [SC-147529][ui] Přidání konfigurace spark.ui.threadDump.flamegraphEnabled pro zapnutí nebo vypnutí grafu plamene
• [SPARK-45664] [SC-146878][sql] Zavedení mapperu pro komprimační kodeky orc
• [SPARK-45481] [SC-146715][sql] Zavedení mapperu pro kodeky komprese parquet
• [SPARK-45752] [SC-148005][sql] Zjednodušení kódu pro kontrolu neodkazovaných vztahů CTE
• [SPARK-44752] [SC-146262][sql] XML: Aktualizace dokumentace Sparku
• [SPARK-45752] [SC-147869][sql] Neodkazované CTE by mělo být kontrolováno nástrojem CheckAnalysis0.
• [SPARK-45842] [SC-147853][sql] Přepracování rozhraní API funkcí katalogu pro použití analyzátoru
• [SPARK-45639] [SC-147676][sql][PYTHON] Podpora načítání zdrojů dat Pythonu v DataFrameReader
• [SPARK-45592] [SC-146977][sql] Problém se správností v AQE s InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Zavedení systému metadat pro dotazy na informace o metadatech stavu streamování
• [SPARK-45739] [SC-147059][python] Zachycení výjimky IOException místo výjimky EOFException pro správce chyb
• [SPARK-45677] [SC-146700] Lepší protokolování chyb pro rozhraní API pro pozorování
• [SPARK-45544] [SC-146873][core] Integrace podpory SSL do TransportContext
• [SPARK-45654] [SC-147152][python] Přidání rozhraní API pro zápis zdroje dat Pythonu
• [SPARK-45771] [SC-147270][core] Povolení spark.eventLog.rolling.enabled ve výchozím nastavení
• [SPARK-45713] [SC-146986][python] Podpora registrace zdrojů dat Pythonu
• [SPARK-45656] [SC-146488][sql] Oprava pozorování při pojmenovaných pozorováních se stejným názvem u různých datových sad
• [SPARK-45808] [SC-147571][connect][PYTHON] Lepší zpracování chyb pro výjimky SQL
• [SPARK-45774] [SC-147353][core][UI] Podpora spark.master.ui.historyServerUrl v ApplicationPage
• [SPARK-45776] [SC-147327][core] Odeberte obrannou kontrolu null pro MapOutputTrackerMaster#unregisterShuffle přidanou v SPARK-39553
• [SPARK-45780] [SC-147410][connect] Propagace všech proměnných vláken klienta Spark Connect v InheritableThread
• [SPARK-45785] [SC-147419][core] Podpora spark.deploy.appNumberModulo rotace čísla aplikace
• [SPARK-45793] [SC-147456][core] Vylepšení integrovaných kodeků komprese
• [SPARK-45757] [SC-147282][ml] Vyhněte se revýpočtu NNZ v Binarizeru
• [SPARK-45209] [SC-146490][core][UI] Podpora plamenového grafu pro stránku výpisu vláken exekutoru
• [SPARK-45777] [SC-147319][core] Podpora spark.test.appId v LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Refaktoring kontroly na null pro zkratky
• [SPARK-45711] [SC-146854][sql] Zavedení mapperu pro kodeky komprese avro
• [SPARK-45523] [SC-146077][python] Vrátí užitečnou chybovou zprávu, pokud funkce UDTF vrátí none pro libovolný sloupec bez hodnoty null.
• [SPARK-45614] [SC-146729][sql] Přiřazení názvů k chybě _LEGACY_ERROR_TEMP_215[6,7;8]
• [SPARK-45755] [SC-147164][sql] Vylepšení Dataset.isEmpty() použitím globálního limitu 1
• [SPARK-45569] [SC-145915][sql] Přiřaďte název k chybě _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Oprava Spark History Server správné řazení Duration sloupce
• [SPARK-45754] [SC-147169][core] Podpora spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Zjednodušení DataFrameStatFunctions.countMinSketch pomocí CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] podpora spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] Vylepšení MasterPage tak, aby zobrazoval sloupec Resource pouze v případech, kdy existuje
• [SPARK-45112] [SC-143259][sql] Použití rozlišení založeného na nevyřešených funkcích v SQL Dataset funkcích

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Aktualizace údržby

Viz aktualizace údržby pro Databricks Runtime 14.3.

Prostředí systému

• Operační systém: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R jsou nainstalovány ze snímku CRAN Posit Package Manager z 13. 7. 2023: https://packagemanager.posit.co/cran/2023-07-13/.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)