Databricks Runtime 16.2

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 16.2, mogelijk gemaakt door Apache Spark 3.5.2.

Databricks heeft deze versie uitgebracht in februari 2025.

Gedragswijzigingen

ANALYSEREN slaat nu kolommen met niet-ondersteunde typen over

ANALYZE TABLE resulteert niet meer in een foutbericht wanneer deze wordt uitgevoerd op een tabel met niet-ondersteunde typen, zoals ARRAY of MAP. Niet-ondersteunde kolommen worden nu automatisch overgeslagen. Gebruikers die logica hebben geïmplementeerd en verwachten dat deze fouten optreden, moeten hun code bijwerken.

In Delta Sharing is tabelgeschiedenis standaard ingeschakeld

Shares die zijn gemaakt met de SQL-opdracht ALTER SHARE <share> ADD TABLE <table> hebben nu standaard het delen van geschiedenis (WITH HISTORY) ingeschakeld. Zie ALTER SHARE.

SQL-instructies voor verificatie retourneren een fout wanneer het verificatietype niet overeenkomt.

Als met deze release het referentietype dat is opgegeven in een SQL-instructie voor referentiebeheer niet overeenkomt met het type van het referentieargument, wordt er een fout geretourneerd en wordt de instructie niet uitgevoerd. Bijvoorbeeld, voor de verklaring DROP STORAGE CREDENTIAL 'credential-name', zal de verklaring mislukken met een fout als credential-name geen opslagreferentie is.

Deze wijziging wordt aangebracht om gebruikersfouten te helpen voorkomen. Voorheen zouden deze verklaringen succesvol worden uitgevoerd, zelfs als er aanmeldgegevens werden doorgegeven die niet overeenkomen met het opgegeven type referentie. De volgende statement zou bijvoorbeeld storage-credentialverwijderen: DROP SERVICE CREDENTIAL storage-credential.

Deze wijziging is van invloed op de volgende verklaringen:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT... OP... LEGITIMATIE
• REVOKE... OP... BEWIJSSTUK
• SHOW GRANTS AAN... REFERENTIE

Nieuwe functies en verbeteringen

• Aangepaste stateful toepassingen bouwen met transformWithState
• verifiëren bij cloudobjectopslag met servicereferenties
• Unity Catalog-beheerde toegang tot externe cloudservices met behulp van servicereferenties is nu algemeen beschikbaar
• Notebooks worden ondersteund als werkruimtebestanden
• Gebruik de timestampdiff & timestampadd in gegenereerde kolomexpressies
• ondersteuning voor sql-pijplijnsyntaxis
• HTTP-aanvraag maken met behulp van de http_request-functie
• Bijwerken naar DESCRIBE TABLE retourneert metagegevens als gestructureerde JSON-
• lege niet-gevoelige sorteringen
• Iceberg-tabellen converteren met bucketpartitionering naar niet-gepartitioneerde Delta-tabellen
• Standaardtoegangsmodus (voorheen modus voor gedeelde toegang) ondersteunt nu de Spark Scala-methoden foreach, foreachBatchen flatMapGroupsWithState

Aangepaste stateful toepassingen bouwen met transformWithState

U kunt nu transformWithState en gerelateerde API's gebruiken om aangepaste stateful toepassingen te implementeren als onderdeel van Structured Streaming-query's. Zie Een custom stateful toepassing bouwen.

Verifiëren bij cloudobjectopslag met servicereferenties

U kunt nu Databricks-servicereferenties gebruiken om te authenticeren bij de opslag van cloudobjecten met Auto Loader. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden?

Toegang beheerd door Unity Catalog tot externe cloudservices met behulp van servicereferenties is nu algemeen beschikbaar.

Servicereferenties maken eenvoudige en veilige verificatie mogelijk met de services van uw cloudtenant van Azure Databricks. Met Databricks Runtime 16.2 zijn servicereferenties algemeen beschikbaar en bieden ze nu ondersteuning voor Scala SDK's, naast de Python SDK die werd ondersteund in de openbare preview. Zie Toegang tot externe cloudservices beheren met behulp van servicereferenties.

Als werkruimtebestanden worden notebooks ondersteund.

In Databricks Runtime 16.2 en hoger worden notebooks ondersteund als werkruimtebestanden. U kunt nu programmatisch communiceren met notebooks vanaf elke locatie waar het bestandssysteem van de werkruimte beschikbaar is, zoals schrijven, lezen en verwijderen van notitieblokken zoals elk ander bestand. Zie Notebooks als werkruimtebestandenvoor meer informatie.

Gebruik timestampdiff & timestampadd in gegenereerde kolomexpressies.

In Databricks Runtime 16.2 en hoger kunt u de timestampdiff- en tijdstempelpadd functies in door Delta Lake gegenereerde kolomexpressies gebruiken. Zie door Delta Lake gegenereerde kolommen.

Ondersteuning voor sql-pijplijnsyntaxis

In Databricks Runtime 16.2 en hoger kunt u SQL-pijplijnen opstellen. Een SQL-pijplijn structureert een standaardquery, zoals SELECT c2 FROM T WHERE c1 = 5, in een stapsgewijze reeks, zoals wordt weergegeven in het volgende voorbeeld:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Zie SQL Pipeline Syntaxvoor meer informatie over de ondersteunde syntaxis voor SQL-pijplijnen.

Zie voor achtergrondinformatie over deze uitbreiding voor meerdere bedrijfstakken SQL Heeft Problemen. We kunnen ze oplossen: pipelijnsyntaxis in SQL (door Google Research).

HTTP-aanvraag maken met behulp van de http_request-functie

In Databricks Runtime 16.2 en hoger kunt u HTTP-verbindingen maken en http-aanvragen maken met behulp van de http_request-functie.

Bijwerken naar DESCRIBE TABLE retourneert metagegevens als gestructureerde JSON

In Databricks Runtime 16.2 en hoger kunt u de opdracht DESCRIBE TABLE AS JSON gebruiken om metagegevens van tabellen als JSON-document te retourneren. De JSON-uitvoer is gestructureerder dan het standaard door mensen leesbare rapport en kan worden gebruikt om het schema van een tabel programmatisch te interpreteren. Zie DESCRIBE TABLE AS JSON-voor meer informatie.

Volg lege niet-gevoelige sorteringen

Databricks Runtime 16.2 voegt ondersteuning toe voor het achtervolgen van lege niet-gevoelige sorteringen, en voegt deze toe aan de sorteringsondersteuning die is toegevoegd in Databricks Runtime 16.1. Deze sorteringen behandelen bijvoorbeeld 'Hello' en 'Hello ' als gelijk. Zie RTRIM-collationvoor meer informatie.

Converteren van Iceberg-tabellen met bucketpartitionering naar Deltatabellen zonder partities

De CONVERT TO DELTA- en CREATE TABLE CLONE-instructies bieden nu ondersteuning voor het converteren van een Iceberg-tabel met bucketpartitionering naar een niet-gepartitioneerde Delta-tabel.

Berekening van de Standaardtoegangsmodus (voorheen modus voor gedeelde toegang) ondersteunt nu de Spark Scala-methoden foreach, foreachBatchen flatMapGroupsWithState

In Databricks Runtime 16.2 en hoger ondersteunt de standaardtoegangsmodus nu de Scala-methoden DataStreamWriter.foreachBatch en KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 en hoger ondersteunt de standaardtoegangsmodus nu de Scala-methode DataStreamWriter.foreach.

Probleemoplossingen

Verbeterde incrementele kloonverwerking

Deze release bevat een oplossing voor een edge-geval waarbij een incrementele CLONE bestanden die al uit een brontabel zijn gekopieerd, opnieuw kunnen kopiëren naar een doeltabel. Zie Een tabel klonen in Azure Databricks.

Bibliotheekverbeteringen

• Bijgewerkte Python-bibliotheken:
• Bijgewerkte R-bibliotheken:
• Bijgewerkte Java-bibliotheken:
  • org.json4s.json4s-ast_2.12 van "3.7.0-M11" tot "4.0.7"
  • org.json4s.json4s-core_2.12 van 3.7.0-M11 tot 4.0.7
  • org.json4s.json4s-jackson_2.12 bijgewerkt van 3.7.0-M11 naar 4.0.7
  • org.json4s.json4s-scalap_2.12 van 3.7.0-M11 tot 4.0.7

Apache Spark

Databricks Runtime 16.2 bevat Apache Spark 3.5.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 16.1, evenals de volgende aanvullende foutoplossingen en verbeteringen in Spark:

• [SPARK-49966] Herstel “[SC-179501][sql] Gebruik Invoke om JsonToStructs(from_json) te implementeren”
• [SPARK-50904] [SC-186976][sql] Query-uitvoering van sorteringsexpressie oplossen
• [SPARK-49666] [SQL] Bijsnijdtests inschakelen voor InSet-expressie
• [SPARK-50669] [SC-184566][es-1327450][SQL] De handtekening van timestampAdd-expressie wijzigen
• [SPARK-50795] [16.x][sc-186719][SQL] Timestamp opslaan als long type in describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Voeg de tijdzone toe bij het casten naar tijdstempel in V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Fout in ExecuteResponseObserver resulteert in oneindige opnieuw koppelen van aanvragen
• [SPARK-50522] [SC-186500][sql] Ondersteuning voor onbepaalde sortering
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions Optimizer-regel definiëren
• [SPARK-50679] [SC-184572][sql] Gedupliceerde gemeenschappelijke expressies in verschillende WITH moeten slechts één keer worden geprojecteerd
• [SPARK-50847] [SC-186916] [SQL] Voorkomen dat ApplyCharTypePadding wordt toegepast op specifieke 'In'-expressies.
• [SPARK-50714] [SC-186786][sql][SS] Schemaontwikkeling voor TransformWithState inschakelen wanneer Avro-codering wordt gebruikt
• [SPARK-50795] [SC-186390][sql] Alle datums bij BESCHRIJVEN ALS JSON weergeven in ISO-8601-indeling en typen als dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Type coercion en grenscontrole verbeteren voor de UNIFORM SQL-functie
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog ondersteunt builtin magic-waarde
• [SPARK-50831] [SC-186736][sql] Trimmingsortering standaard inschakelen
• [SPARK-50263] [SC-186793][connect] Vervang System.currentTimeMillis door System.nanoTime
• [SPARK-48730] [SC-184926][sql] CreateSQLFunctionCommand implementeren voor SQL Scalar- en Table-functies
• [SPARK-50830] [SC-186718] [SQL] Retourneer enkelvoudige passage resultaat als het resultaat van de dubbele analyseprocedure
• [SPARK-50707] [SC-186098][sql] Het inschakelen van casting naar/van char/varchar
• [SPARK-49490] [SC-182137][sql] Benchmarks toevoegen voor initCap
• [SPARK-50529] [SC-184535][sql] Het gedrag van char/varchar binnen de spark.sql.preserveCharVarcharTypeInfo-configuratie wijzigen
• [SPARK-49632] [SC-184179][sql] Verwijderen van de ANSI-configuratiesuggestie in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Fout opgelost waarbij null-varianten in createDataFrame worden doorgegeven, waardoor deze mislukt en variantondersteuning toevoegt in createDataFrame in Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Verouderd verklaren pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Set geanalyseerd bij analysefout
• [SPARK-50824] [SC-186472][python] Vermijd het importeren van optionele Python-pakketten voor controle
• [SPARK-50755] [SC-185521][sql] Mooie planweergave voor InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] De invoer voor getypte aggregaties moet geanalyseerd worden
• [SPARK-50791] [SC-185867][sc-186338][SQL] Foutafhandeling van NPE in State Store oplossen
• [SPARK-50801] [SC-186365] [SQL] Verbeteren PlanLogger.logPlanResolution zodat er alleen onopgeloste en opgeloste plannen worden weergegeven
• [SPARK-50749] [SC-185925][sql] Ordefout opgelost in de methode CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicaliseer JVM-profilerresultaten bestandsnaam en lay-out op DFS.
• [SPARK-50790] [SC-186354][python] JSON-parser implementeren in PySpark
• [SPARK-50738] [SC-184856][python] Een zwarte upgrade uitvoeren naar 23.12.1
• [SPARK-50764] [SC-185930][python] Verfijn de docstring van xpath-gerelateerde methoden
• [SPARK-50798] [SC-186277][sql] NormalizePlan verbeteren
• [SPARK-49883] [SC-183787][ss] Statuswinkel Controlepuntstructuur V2 Integratie met RocksDB en RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Functievlag toevoegen voor sorteringen op objectniveau
• [SPARK-50778] [SC-186183][python] MetadataColumn toevoegen aan PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Automatisch gegenereerde expressie-aliasen verbeteren met pijp-SQL-operators
• [SPARK-50541] [16.x][sc-184937] Tabel als JSON beschrijven
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Tabelaliassen behouden na SET, EXTEND, DROP-operators
• [SPARK-50769] [SC-185919][sql] ClassCastException in HistogramNumeric herstellen
• [SPARK-49025] [SC-174667] Delta-codeverschil met DBR synchroniseren
• [SPARK-50752] [SC-185547][python][SQL] Introduceer configuraties voor het afstemmen van Python UDF zonder pijl
• [SPARK-50705] [SC-185944][sql] Maak QueryPlan vergrendelingsvrij
• [SPARK-50690] [16.x][sc-184640][SQL] Discrepantie in DESCRIBE TABLE queryuitvoerkolommen weergeven
• [SPARK-50746] [SC-184932][sql] Vervang een van beide door VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder configureert de instellingen in batches
• [SPARK-50480] [SC-183359][sql] CharType en VarcharType uitbreiden vanuit StringType
• [SPARK-50675] [SC-184539][sql] Tabel- en weergaveniveausorteringen ondersteunen
• [SPARK-50409] [SC-184516][sql] Set-instructie herstellen om ; aan het einde van SET;, SET -v; en SET key; te negeren
• [SPARK-50743] [SC-185528][sql] CTERelationDef en CTERelationRelationRef-id's normaliseren
• [SPARK-50693] [SC-184684][connect] De invoer voor TypedScalaUdf moet worden geanalyseerd
• [SPARK-50744] [SC-184929][sql] Een testcase toevoegen voor prioriteit van weergave-/CTE-naamomzetting
• [SPARK-50710] [SC-184767][connect] Voeg ondersteuning toe voor het optioneel opnieuw verbinden van de client met sessies na de vrijgave.
• [SPARK-50703] [SC-184843][python] Verfijn de docstring van regexp_replace, regexp_substr en regexp_instr
• [SPARK-50716] [SC-184823][core] Corrigeer de opschoonlogica voor symbolische koppelingen in JavaUtils.deleteRecursivelyUsingJavaIO methode
• [SPARK-50630] [SC-184443][sql] GROUP BY ordinale ondersteuning voor pijp-SQL AGGREGATE-operators oplossen
• [SPARK-50614] [SC-184729][sql] Ondersteuning voor variantshredding toevoegen voor Parquet
• [SPARK-50661] [SASP-4936] Achterwaartse compatibiliteit toevoegen voor oude client FEB.
• [SPARK-50676] [SC-184641][sql] Ongebruikte private lazy val mapValueContainsNull verwijderen uit ElementAt
• [SPARK-50515] [SC-183813][core] Een alleen-lezeninterface toevoegen aan SparkConf
• [SPARK-50697] [SC-184702][sql] Tail-recursion waar mogelijk inschakelen
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrigeer het statusschema voor FlatMapGroupsWithState in Spark Connect wanneer er geen beginstatus is
• [SPARK-50701] [SC-184704][python] Het plotten vereist de minimale Plotly-versie
• [SPARK-50702] [SC-184727][python] Verfijn de docstring van regexp_count, regexp_extract en regexp_extract_all
• [SPARK-50499] [SC-184177][python] Metrische gegevens van BasePythonRunner beschikbaar maken
• [SPARK-50692] [SC-184705][16.x] Ondersteuning voor RPAD-pushdown toevoegen
• [SPARK-50682] [SC-184579][sql] Inner Alias moet worden gecanoniseerd
• [SPARK-50699] [SC-184695][python] DDL-tekenreeks parseren en genereren met een opgegeven sessie
• [SPARK-50573] [SC-184568][ss] Het toevoegen van de statusschema-ID aan de statusrijen voor schema-evolutie
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Fix Spark Connect Scala foreachBatch impl. om Dataset[T] te ondersteunen.
• [SPARK-50689] [SC-184591][sql] Deterministische volgorde afdwingen in LCA-projectlijsten
• [SPARK-50696] [SC-184667][python] Py4J-aanroep optimaliseren voor DDL-parseringsmethode
• [SPARK-49670] [SC-182902][sql] Trimsortering inschakelen voor alle passthrough-expressies
• [SPARK-50673] [SC-184565][ml] Vermijden van het twee keer doorlopen van modelcoëfficiënten in Word2VecModel constructor
• [SPARK-50687] [SC-184588][python] Optimaliseer de logica voor het ophalen van stacktraceringen voor DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Cache het geparseerde schema voor MapInXXX en ApplyInXXX
• [SPARK-50674] [SC-184589][python] Repareer controle op bestaan van 'terminate'-methode in UDTF-evaluatie
• [SPARK-50684] [SC-184582][python] Py4J-prestaties verbeteren in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Ondersteuning toevoegen voor nieuwe versie van statusmetagegevens voor TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Transponeren om een correct foutbericht weer te geven wanneer ongeldige indexkolommen zijn opgegeven
• [SPARK-50650] [SC-184532][sql] Logboekregistratie in Single Pass Analyzer verbeteren
• [SPARK-50665] [SC-184533][sql] Vervang LocalRelation door ComparableLocalRelation in NormaliseerPlan
• [SPARK-50644] [SC-184486][sql] Lees variantstructuur in Parquet-lezer.
• [SPARK-49636] [SC-184089][sql] Verwijder de suggesties voor ANSI-configuraties in INVALID_ARRAY_INDEX en INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Uitvoerberekening van union herstructureren om deze opnieuw te gebruiken in single-pass Analyzer
• [SPARK-50659] [SC-184512][sql] Union-gerelateerde fouten verplaatsen naar QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Ongeldige impliciete contextberekening van tekenreekstypen corrigeren
• [SPARK-50546] [SC-183807][sql] Ondersteuning voor subquery cast toevoegen aan coercion voor sorteringstypen
• [SPARK-50405] [SC-182889][sql] Collatietype-coercion van complexe datatypes op de juiste manier verwerken
• [SPARK-50637] [SC-184434][sql] De codestijl voor de single-pass Analyzer herstellen
• [SPARK-50638] [SC-184435][sql] Herstructureer de weergaveresolutie in het afzonderlijke bestand om deze opnieuw te gebruiken in single-pass Analyzer
• [SPARK-50615] [SC-184298][sql] Push variant naar scan.
• [SPARK-50619] [SC-184210][sql] VariantGet.cast herstructureren om de cast-argumenten in te pakken
• [SPARK-50599] [SC-184058][sql] Maak de DataEncoder-eigenschap die Avro- en UnsafeRow-codering mogelijk maakt
• [SPARK-50076] [SC-183809] Logboeksleutels herstellen
• [SPARK-50597] [SC-183972][sql] Herstructureer batchconstructie in Optimizer.scala en SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Schakel changelog in om herkomstgegevens op te slaan
• [SPARK-50526] [SC-183811][ss] Store-coderingsindeling toevoegen aan offsetlogboek en blokkeren dat niet-ondersteunde stateful operators avro gebruiken
• [SPARK-50540] [SC-183810][python][SS] Tekenreeksschema herstellen voor StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Gebruik eerst SQLConf van SparkSession.
• [SPARK-48898] [SC-183793][sql] Nullability juist instellen in het Variant-schema
• [SPARK-50559] [SC-183814][sql] Sla de uitvoer van Exceptie, Intersectie en Unie op als lazy vals
• nl-NL: [SPARK-48416] [SC-183643][sql] Ondersteuning van geneste gecorreleerde WITH-expressie
• [SPARK-50428] [SC-183566][ss][PYTHON] Ondersteuning voor TransformWithStateInPandas in batchqueries
• [SPARK-50063] [SC-183350][sql][CONNECT] Ondersteuning voor variant toevoegen in de Spark Connect Scala-client
• [SPARK-50544] [SC-183569][python][CONNECT] Implementeren StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Maven-buildfouten oplossen die zijn geïntroduceerd door Guava-cache in RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Fout opgelost waarbij lege BEGIN-END-blokken een fout veroorzaken
• [SPARK-50536] [SC-183443][core] Log gedownloade archiefbestandsgroottes in SparkContext en Executor
• [SPARK-45891] [SC-183439][sql] Herbouw variant binair van versnipperde gegevens.
• [SPARK-49565] [SC-183465][sql] SQL-pijpsyntaxis toevoegen voor de FROM-operator
• [SPARK-50497] [SC-183338][sql] Maak query's ongeldig met het juiste bericht als MultiAlias geen generatorfunctie bevat
• [SPARK-50460] [SC-183375][python][CONNECT] Generaliseren en de verwerking van verbindingsonderzondering vereenvoudigen
• [SPARK-50537] [SC-183452][connect][PYTHON] Fix compressieoptie die wordt overschreven in df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] Verlaag RowBasedKeyValueBatch.spill waarschuwingsbericht naar debugniveau
• [SPARK-50528] [SC-183385][connect] InvalidCommandInput verplaatsen naar algemene module
• [SPARK-50017] [SC-182438][ss] Ondersteuning voor Avro-codering voor TransformWithState-operator
• [SPARK-50463] [SC-182833][sql] ConstantColumnVector met kolom naar rijconversie herstellen
• [SPARK-50235] [SC-180786][sql] ColumnVector-resource opschonen nadat alle rijen in ColumnarToRowExec zijn verwerkt
• [SPARK-50516] [SC-183279][ss][MINOR] Corrigeer de init-statustest voor het gebruik van StreamManualClock
• [SPARK-50478] [SC-183188][sql] StringType-overeenkomst herstellen
• [SPARK-50492] [SC-183177][ss] Java.util.NoSuchElementException herstellen wanneer de kolom gebeurtenistijd wordt verwijderd na dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] SQL-pijpsyntaxis toevoegen voor de operator SET
• [SPARK-50449] [SC-183178][sql] SQL Scripting grammatica aanpassen om lege lichamen voor lussen, IF en CASE toe te staan
• [SPARK-50251] [SC-180970][python] getSystemProperty toevoegen aan PySpark-SparkContext
• [SPARK-50421] [SC-183091][core] Onjuiste geheugenconfiguratie van de uitvoerder herstellen wanneer meerdere resourceprofielen actief waren
• [SPARK-49461] [SC-179572][ss] Permanente controlepunt-id voor het doorvoeren van logbestanden en deze weer inlezen
• [SPARK-50343] [SC-183119][spark-50344][SQL] SQL-pijpsyntaxis toevoegen voor de DROP- en AS-operators
• [SPARK-50481] [SC-182880][core] Verbeter SortShuffleManager.unregisterShuffle om de logica van het controlesombestand over te slaan als controlesom is uitgeschakeld
• [SPARK-50498] [SC-183090][python] Vermijd onnodige py4j-aanroep in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Zelf-join herstellen na applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (ODBC-downloaden, JDBC-downloaden).

Onderhoudsupdates

Zie onderhoudsupdates van Databricks Runtime 16.2.

Systeemomgeving

• besturingssysteem: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Package Manager CRAN-snapshot op 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)