Databricks Runtime 16.2

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 16.2, který využívá Apache Spark 3.5.2.

Databricks vydala tuto verzi v únoru 2025.

Změny chování

Funkce ANALYZE nyní přeskakuje sloupce s nepodporovanými typy.

ANALYZE TABLE již nezpůsobuje zobrazení chybové zprávy při spuštění na tabulce s nepodporovanými typy, například ARRAY nebo MAP. Nepodporované sloupce se teď automaticky přeskočí. Uživatelé, kteří implementovali logiku, která očekává tyto chyby, by měli aktualizovat svůj kód.

Ve službě Delta Sharing je ve výchozím nastavení povolená historie tabulek.

Sdílené složky vytvořené pomocí příkazu SQL ALTER SHARE <share> ADD TABLE <table> teď mají ve výchozím nastavení povolené sdílení historie (WITH HISTORY). Viz ALTER SHARE.

Příkazy SQL přihlašovacích údajů vrací chybu v případě neshody typů přihlašovacích údajů.

Pokud se v této verzi typ přihlašovacích údajů zadaný v příkazu SQL pro správu přihlašovacích údajů neshoduje s typem argumentu přihlašovacích údajů, vrátí se chyba a příkaz se nespustí. Například pro příkaz DROP STORAGE CREDENTIAL 'credential-name', pokud credential-name není přihlašovací údaje úložiště, příkaz selže s chybou.

Tato změna pomáhá zabránit chybám uživatelů. Dříve se tyto příkazy úspěšně spustily, i když byly předány přihlašovací údaje, které neodpovídají zadanému typu přihlašovacích údajů. Například následující příkaz by úspěšně odstranil storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Tato změna má vliv na následující výroky:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT…ON…CREDENTIAL
• REVOKE…ON…CREDENTIAL
• SHOW GRANTS ZAPNUTO... přihlašovacích údajů

Nové funkce a vylepšení

• Vytváření vlastních stavových aplikací pomocí transformWithState
• Ověřování v cloudovém úložišti objektů pomocí přihlašovacích údajů služby
• Přístup k externím cloudovým službám řízený Unity Catalogem, které používají přihlašovací údaje služby, je nyní v obecné dostupnosti
• Poznámkové bloky jsou podporovány jako soubory pro pracovní prostor
• Použijte timestampdiff & timestampadd ve generovaných sloupcových výrazech
• podpora syntaxe kanálu SQL
• vytvoření požadavku HTTP pomocí funkce http_request
• Aktualizace DESCRIBE TABLE vrací metadata jako JSON ve strukturované podobě.
• Necitlivé třídění na koncové mezery
• Převod tabulek Iceberg s bucketovým dělením na nepartitionované tabulky Delta
• výpočetní prostředí Standard (dříve sdílený režim přístupu) teď podporuje metody Spark Scala foreach, foreachBatcha flatMapGroupsWithState

Vytváření vlastních stavových aplikací pomocí transformWithState

Teď můžete pomocí transformWithState a souvisejících rozhraní API implementovat vlastní stavové aplikace jako součást dotazů strukturovaného streamování. Viz Vytvoření vlastní stavové aplikace.

Ověřování v cloudovém úložišti objektů pomocí přihlašovacích údajů služby

Teď můžete autentizovat ke cloudovému objektovému úložišti pomocí přihlašovacích údajů služby Databricks s využitím Auto Loaderu. Podívejte se, co je režim oznámení souboru automatického zavaděče?.

Přístup řízený katalogem Unity k externím cloudovým službám pomocí přihlašovacích údajů služby je nyní obecně dostupný.

Přihlašovací údaje služby umožňují jednoduché a zabezpečené ověřování pomocí služeb cloudového tenanta z Azure Databricks. S Modulem Databricks Runtime 16.2 jsou přihlašovací údaje služby obecně dostupné a teď podporují sady Scala SDK kromě sady Python SDK podporované ve verzi Public Preview. Viz Správa přístupu k externím cloudovým službám pomocí přihlašovacích údajů služby.

Notebooky jsou podporovány jako soubory pracovního prostoru.

V Databricks Runtime 16.2 a novějších jsou poznámkové bloky podporované jako soubory pracovního prostoru. S poznámkovými bloky teď můžete pracovat prostřednictvím kódu programu odkudkoli, kde je k dispozici systém souborů pracovního prostoru, včetně zápisu, čtení a odstraňování poznámkových bloků, jako je jakýkoli jiný soubor. Další informace najdete v tématu Poznámkové bloky jako soubory pracovního prostoru.

Použijte timestampdiff & timestampadd ve výrazech vygenerovaných ve sloupcích

V Databricks Runtime 16.2 a novějším můžete použít funkce timestampdiff a timestampadd ve výrazech generovaných sloupců v Delta Lake. Viz sloupce vygenerované službou Delta Lake.

Podpora syntaxe kanálu SQL

V Databricks Runtime 16.2 a novějších můžete vytvářet kanály SQL. Kanál SQL strukturuje standardní dotaz, například SELECT c2 FROM T WHERE c1 = 5, do podrobné sekvence, jak je znázorněno v následujícím příkladu:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Informace o podporované syntaxi kanálů SQL najdete v tématu syntaxe kanálu SQL.

Základní informace o tomto odvětvovém rozšíření najdete v tématu SQL má problémy. Můžeme je opravit: pipe syntaxe v SQL (Google Research).

Vytvoření požadavku HTTP pomocí funkce http_request

V Databricks Runtime 16.2 a novějších můžete vytvořit připojení HTTP a prostřednictvím nich provádět požadavky HTTP pomocí funkce http_request.

Aktualizace na DESCRIBE TABLE vrací metadata jako strukturovaný JSON

V Databricks Runtime 16.2 a novějších můžete použít příkaz DESCRIBE TABLE AS JSON k vrácení metadat tabulky jako dokumentu JSON. Výstup JSON je strukturovanější než výchozí sestava čitelná pro člověka a dá se použít k interpretaci schématu tabulky prostřednictvím kódu programu. Další informace najdete v DESCRIBE TABLEAS JSON.

Porovnání ignorující koncové prázdné znaky

Databricks Runtime 16.2 přidává podporu pro kolace ignorující koncové mezery a rozšiřuje tak podporu kolací, která byla přidána v Databricks Runtime 16.1. Tyto kolace například považují 'Hello' a 'Hello ' za stejné. Další informace najdete v tématu kolace RTRIM.

Převod tabulek Iceberg s dělením kontejnerů na nerozdělené tabulky Delta

Příkazy CONVERT TO DELTA a CREATE TABLE CLONE teď podporují převod tabulky Iceberg s dělením kontejnerů na nerozdělenou tabulku Delta.

Standardní režim přístupu (dříve sdílený režim přístupu) teď podporuje metody Spark Scala foreach, foreachBatcha flatMapGroupsWithState

Ve službě Databricks Runtime 16.2 a novějších podporuje výpočetní režim standardního režimu přístupu nyní metody Scala DataStreamWriter.foreachBatch a KeyValueGroupedDataset.flatMapGroupsWithState. Ve verzi Databricks Runtime 16.1 a vyšší podporuje výpočetní režim standardního režimu přístupu nyní metodu Scala DataStreamWriter.foreach.

Opravy chyb

Vylepšené zpracování inkrementálního klonování

Tato verze obsahuje opravu hraničního případu, kdy přírůstková CLONE může soubory zkopírované ze zdrojové tabulky do cílové tabulky znovu zkopírovat. Viz Klonování tabulky ve službě Azure Databricks.

Upgrady knihoven

• Upgradované knihovny Pythonu:
• Upgradované knihovny jazyka R:
• Upgradované knihovny Java:
  • org.json4s.json4s-ast_2.12 od 3.7.0-M11 do 4.0.7
  • org.json4s.json4s-core_2.12 od 3.7.0-M11 do 4.0.7
  • org.json4s.json4s-jackson_2.12 aktualizace z verze 3.7.0-M11 na 4.0.7
  • org.json4s.json4s-scalap_2.12 od 3.7.0-M11 do 4.0.7

Apache Spark

Databricks Runtime 16.2 zahrnuje Apache Spark 3.5.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 16.1a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-49966] Vrátit zpět "[SC-179501][sql] K implementaci JsonToStructs(from_json) použijte Invoke.
• [SPARK-50904] [SC-186976][sql] Oprava provádění dotazu walkeru výrazů kolace
• [SPARK-49666] [SQL] Povolit testy trimmování pro výraz InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Změna podpisu výrazu TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Uložení časového razítka jako typu long v LinkedHashMap describe
• [SPARK-50870] [SC-186950][sql] Přidání časového pásma při převodu na časové razítko ve funkci V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Chyba v executeResponseObserver způsobí nekonečné opětovné připojení požadavků.
• [SPARK-50522] [SC-186500][sql] Podpora neurčité kolace
• [SPARK-50525] [SC-186058][sql] Define InsertMapSortInRepartitionExpressions Optimizer Rule
• [SPARK-50679] [SC-184572][sql] Duplikované společné výrazy v různých klauzulích With by měly být promítnuty pouze jednou
• [SPARK-50847] [SC-186916] [SQL] Odepřít použití applyCharTypePadding u konkrétních výrazů In
• [SPARK-50714] [SC-186786][sql][SS] Povolení vývoje schématu pro TransformWithState při použití kódování Avro
• [SPARK-50795] [SC-186390][sql] Zobrazí všechna data DESCRIBE AS JSON ve formátu a typech ISO-8601 jako dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Zlepšení převodu typů a kontroly hranic pro funkci UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog podporuje builtin magickou hodnotu
• [SPARK-50831] [SC-186736][sql] Povolení oříznutí kolace ve výchozím nastavení
• [SPARK-50263] [SC-186793][connect] Nahraďte System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementace createSQLFunctionCommand pro skalární a tabulkové funkce SQL
• [SPARK-50830] [SC-186718] [SQL] Vrátí výsledek s jedním průchodem jako výsledek analýzy při duálním spuštění.
• [SPARK-50707] [SC-186098][sql] Povolení přetypování na a z char/varchar
• [SPARK-49490] [SC-182137][sql] Přidání srovnávacích testů pro initCap
• [SPARK-50529] [SC-184535][sql] Změna chování char/varchar v konfiguraci spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Odebrání návrhu konfigurace ANSI v CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Oprava chyby, kdy předávání variant null v createDataFrame způsobí selhání a přidání podpory variant v elementu createDataFrame ve Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Označit jako zastaralé pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Nastavit na analyzováno při selhání analýzy
• [SPARK-50824] [SC-186472][python] Vyhněte se importu volitelných balíčků Pythonu pro kontrolu.
• [SPARK-50755] [SC-185521][sql] Hezké zobrazení plánu pro InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Vstupy pro typové agregace by se měly analyzovat.
• [SPARK-50791] [SC-185867][sc-186338][SQL] Oprava zpracování chyb NPE v úložišti stavů
• [SPARK-50801] [SC-186365] [SQL] Vylepšení PlanLogger.logPlanResolution, aby se zobrazovaly jenom nevyřešené a vyřešené plány
• [SPARK-50749] [SC-185925][sql] Oprava chyby řazení v metodě CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Kanonizovat název a rozložení souboru s výsledky profilování JVM na DFS
• [SPARK-50790] [SC-186354][python] Implementace parsování json v pysparku
• [SPARK-50738] [SC-184856][python] Upgradovat black na verzi 23.12.1
• [SPARK-50764] [SC-185930][python] Upřesněte docstring metod souvisejících s xpathem.
• [SPARK-50798] [SC-186277][sql] Vylepšit NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integrace struktury kontrolních bodů úložiště stavů v2 se službou RocksDB a RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Přidání příznaku funkce pro kolace na úrovni objektu
• [SPARK-50778] [SC-186183][python] Přidat metadataColumn do datového rámce PySpark
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Vylepšení automaticky generovaných aliasů výrazů pomocí operátorů SQL pipeline
• [SPARK-50541] [16.x][sc-184937] Popis tabulky jako JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Zachování aliasů tabulky po SET, EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Oprava ClassCastException v HistogramNumeric
• [SPARK-49025] [SC-174667] Synchronizace rozdílového kódu Delta s DBR
• [SPARK-50752] [SC-185547][python][SQL] Představení konfigurací pro ladění funkcí uživatelem definovaných v Pythonu bez Arrow
• [SPARK-50705] [SC-185944][sql] Udělat QueryPlan bez zámků
• [SPARK-50690] [16.x][sc-184640][SQL] Oprava nesrovnalostí v DESCRIBE TABLE zobrazení výstupních sloupců dotazu
• [SPARK-50746] [SC-184932][sql] Nahraďte Either s VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder nastaví konfigurace dávkově.
• [SPARK-50480] [SC-183359][sql] Extend CharType a VarcharType z StringType
• [SPARK-50675] [SC-184539][sql] Podpora kolací na úrovni tabulky a zobrazení
• [SPARK-50409] [SC-184516][sql] Oprava příkazu SET, aby ignoroval ; na konci SET;, SET -v; a SET key;
• [SPARK-50743] [SC-185528][sql] Normalizovat ID CTERelationDef a CTERelationRef
• [SPARK-50693] [SC-184684][connect] Vstupy pro TypedScalaUdf by se měly analyzovat.
• [SPARK-50744] [SC-184929][sql] Přidat testovací případ pro prioritní řešení názvů zobrazení/CTE
• [SPARK-50710] [SC-184767][connect] Přidání podpory pro volitelné opětovné připojení klienta k relacím po vydání
• [SPARK-50703] [SC-184843][python] Upřesněte docstring regexp_replace, regexp_substr a regexp_instr
• [SPARK-50716] [SC-184823][core] Oprava logiky čištění symbolických odkazů v metodě JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Oprava podpory GROUP BY řadových operátorů SQL AGGREGATE
• [SPARK-50614] [SC-184729][sql] Přidání podpory shreddingu variant pro Parquet
• [SPARK-50661] [SASP-4936] Přidejte zpětnou kompatibilitu pro starého klienta FEB.
• [SPARK-50676] [SC-184641][sql] Odebrat nepoužívané private lazy val mapValueContainsNull z ElementAt
• [SPARK-50515] [SC-183813][core] Přidání rozhraní jen pro čtení do SparkConf
• [SPARK-50697] [SC-184702][sql] Povolit ocáskovou rekurzi, kdykoli je to možné
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x] Oprava schématu stavu pro FlatMapGroupsWithState ve Spark Connect, když neexistuje žádný počáteční stav
• [SPARK-50701] [SC-184704][python] Upravte vykreslování tak, aby bylo vyžadováno minimální verzi knihovny Plotly.
• [SPARK-50702] [SC-184727][python] Upřesněte docstring regexp_count, regexp_extract a regexp_extract_all
• [SPARK-50499] [SC-184177][python] Zveřejnění metrik z BasePythonRunneru
• [SPARK-50692] [SC-184705][16.x] Přidat podporu pro RPAD pushdown
• [SPARK-50682] [SC-184579][sql] Vnitřní alias by měl být kanonický.
• [SPARK-50699] [SC-184695][python] Parsování a generování řetězce DDL se zadanou relací
• [SPARK-50573] [SC-184568][ss] Přidání ID schématu stavu do řádků s údaji o stavu k vývoji schématu
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Oprava implementace foreachBatch ve Spark Connect Scala. pro podporu datové sady[T].
• [SPARK-50689] [SC-184591][sql] Vynucení deterministického řazení v seznamech projektů LCA
• [SPARK-50696] [SC-184667][python] Optimalizace volání Py4J pro metodu analýzy DDL
• [SPARK-49670] [SC-182902][sql] Aktivace trim kolace pro všechny průchozí výrazy
• [SPARK-50673] [SC-184565][ml] Vyhýbáme se dvojímu procházení koeficientů modelu v konstruktoru Word2VecModel
• [SPARK-50687] [SC-184588][python] Optimalizujte logiku pro získání trasování zásobníku pro DataFrameQueryContext.
• [SPARK-50681] [SC-184662][python][CONNECT] Uložení parsovaného schématu pro MapInXXX a ApplyInXXX
• [SPARK-50674] [SC-184589][python] Oprava kontroly existence metody terminate v vyhodnocení UDTF
• [SPARK-50684] [SC-184582][python] Vylepšení výkonu Py4J v DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Přidání podpory pro novou verzi metadat stavu pro TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Oprava transponování, aby se při zadání neplatných sloupců indexu zobrazila správná chybová zpráva
• [SPARK-50650] [SC-184532][sql] Vylepšení protokolování v analyzátoru s jedním průchodem
• [SPARK-50665] [SC-184533][sql] Nahraďte LocalRelation s ComparableLocalRelation v NormalizePlan.
• [SPARK-50644] [SC-184486][sql] Čtení struktury variant ve čtečce Parquet.
• [SPARK-49636] [SC-184089][sql] Odebrání návrhu konfigurace ANSI v INVALID_ARRAY_INDEX a INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refaktorování výpočtu výstupu sjednocení pro jeho opětovné použití v analyzátoru s jedním průchodem
• [SPARK-50659] [SC-184512][sql] Přesunout chyby související se sjednocením do třídy QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Oprava výpočtu kontextu chybných implicitních typů řetězců
• [SPARK-50546] [SC-183807][sql] Přidání podpory typového přetypování v poddotazech k přizpůsobení typu kolace
• [SPARK-50405] [SC-182889][sql] Správně zpracovat přizpůsobení typu kolace pro složité datové typy
• [SPARK-50637] [SC-184434][sql] Oprava stylu kódu pro analyzátor s jedním průchodem
• [SPARK-50638] [SC-184435][sql] Refaktorujte rozlišení zobrazení do samostatného souboru, abyste ho mohli znovu použít v analyzátoru s jedním průchodem.
• [SPARK-50615] [SC-184298][sql] Protlačení varianty do skenu.
• [SPARK-50619] [SC-184210][sql] Refaktoring VariantGet.cast pro zabalení argumentů přetypování
• [SPARK-50599] [SC-184058][sql] Vytvoření vlastnosti DataEncoder, která umožňuje kódování Avro a UnsafeRow
• [SPARK-50076] [SC-183809] Oprava klíčů protokolu
• [SPARK-50597] [SC-183972][sql] Úprava dávkové konstrukce v Optimizer.scala a SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Povolení protokolu změn pro ukládání informací o rodokmenu
• [SPARK-50526] [SC-183811][ss] Přidejte formát kódování úložiště do protokolu posunu a zablokujte nepodporované stavové operátory používající Avro
• [SPARK-50540] [SC-183810][python][SS] Oprava schématu řetězců pro StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Nejprve pomocí SQLConf poskytovaného SparkSession.
• [SPARK-48898] [SC-183793][sql] Nastavte ve schématu Variant správně hodnotu nullability.
• [SPARK-50559] [SC-183814][sql] Uložit výstupy operací Except, Intersect a Union jako líné proměnné
• [SPARK-48416] [SC-183643][sql] Podpora vnořeného korelovaného výrazu With
• [SPARK-50428] [SC-183566][ss][PYTHON] Podpora funkce transformWithStateInPandas v dávkových dotazech
• [SPARK-50063] [SC-183350][sql][CONNECT] Přidání podpory pro variantu v klientovi Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementovat StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Oprava chyb sestavení Mavenu způsobených použitím Guava cache v RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Oprava chyby, kdy prázdné bloky BEGIN END vyvolávají chybu
• cs-CZ: [SPARK-50536] [SC-183443][core] Zaznamenejte velikosti stažených souborů archivu v SparkContext a Executor
• [SPARK-45891] [SC-183439][sql] Znovu sestavte binární soubor varianty z rozhrdovaných dat.
• [SPARK-49565] [SC-183465][sql] Přidání syntaxe kanálu SQL pro operátor FROM
• [SPARK-50497] [SC-183338][sql] Dotazy selžou se správnou zprávou, pokud MultiAlias obsahuje funkci, která není generátorem
• [SPARK-50460] [SC-183375][python][CONNECT] Generalizace a zjednodušení zpracování výjimek připojení
• [SPARK-50537] [SC-183452][connect][PYTHON] Oprava přepisování možnosti komprese v df.write.parquet
• [SPARK-50329] [SC-183358][sql] oprava InSet$toString
• [SPARK-50524] [SC-183364][sql] Snížení úrovně zprávy upozornění na úroveň ladění RowBasedKeyValueBatch.spill
• [SPARK-50528] [SC-183385][connect] Přesun InvalidCommandInput do společného modulu
• [SPARK-50017] [SC-182438][ss] Podpora kódování Avro pro operátor TransformWithState
• [SPARK-50463] [SC-182833][sql] Oprava ConstantColumnVector při převodu ze sloupcového formátu na řádkový
• [SPARK-50235] [SC-180786][sql] Vyčištění prostředku ColumnVector po zpracování všech řádků ve ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Oprava testu souvisejícího s inicializačním stavem pro použití StreamManualClock
• [SPARK-50478] [SC-183188][sql] Oprava shody typu StringType
• [SPARK-50492] [SC-183177][ss] Oprava java.util.NoSuchElementException při odstranění sloupce času události po použití dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Přidání syntaxe kanálu SQL pro operátor SET
• [SPARK-50449] [SC-183178][sql] Oprava gramatiky skriptování SQL umožňující prázdné tělo pro smyčky, KDYŽ a CASE
• [SPARK-50251] [SC-180970][python] Přidat getSystemProperty do PySpark SparkContext
• [SPARK-50421] [SC-183091][jádro] Oprava nesprávné konfigurace paměti související s exekutorem při použití více profilů prostředků
• [SPARK-49461] [SC-179572][ss] Trvalé ID kontrolního bodu pro potvrzení protokolů a jeho zpětné čtení
• [SPARK-50343] [SC-183119][spark-50344][SQL] Přidání syntaxe kanálu SQL pro operátory DROP a AS
• [SPARK-50481] [SC-182880][core] Vylepšit SortShuffleManager.unregisterShuffle pro přeskočení logiky souboru kontrolního součtu, pokud je kontrolní součet zakázaný
• [SPARK-50498] [SC-183090][python] Vyhněte se zbytečným voláním py4j v listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Opravit samospojení po applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgrade (stáhnout ODBC, stáhnout JDBC).

Aktualizace údržby

Viz Aktualizace údržby Databricks Runtime 16.2.

Systémové prostředí

• operační systém: Ubuntu 24.04.1 LTS
• java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R jsou nainstalovány ze snímku CRAN z Posit Package Manageru ke dni 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)