Databricks Runtime 16.2

Följande releasenoter ger information om Databricks Runtime 16.2, som drivs av Apache Spark 3.5.2.

Databricks släppte den här versionen i februari 2025.

Beteendeändringar

ANALYSERA hoppar nu över colums med typer som inte stöds

ANALYZE TABLE resulterar inte längre i ett felmeddelande när det körs i en tabell med typer som inte stöds, till exempel ARRAY eller MAP. Kolumnerna som inte stöds hoppar nu över automatiskt. Användare som har implementerat logik som förväntar sig dessa fel bör uppdatera sin kod.

I Deltadelning är tabellhistorik aktiverad som standard

Nu har resurser som skapats med SQL-kommandot ALTER SHARE <share> ADD TABLE <table> historikdelning (WITH HISTORY) aktiverad som standard. Se ALTER SHARE.

SQL-instruktioner för autentisering returnerar ett fel när det är en typkonflikt med autentiseringsuppgifter.

Med den här versionen returneras ett fel om den typ av autentiseringsuppgifter som anges i sql-instruktionen för hantering av autentiseringsuppgifter inte matchar typen av argumentet för autentiseringsuppgifter och instruktionen inte körs. Till exempel för påståendet DROP STORAGE CREDENTIAL 'credential-name', om credential-name inte är en lagringsautentiseringsuppgift misslyckas påståendet med ett fel.

Den här ändringen görs för att förhindra användarfel. Tidigare kördes dessa uttalanden, även om en referens som inte matchade den angivna referenstypen skickades. Till exempel skulle följande uttalande framgångsrikt ta bort storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Den här ändringen påverkar följande uttalanden:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT... PÅ... AUTENTISERING
• REVOKE... PÅ... AUTENTISERINGSUPPGIFTER
• SHOW GRANTS PÅ...CREDENTIELL

Nya funktioner och förbättringar

• Skapa anpassade tillståndskänsliga program med transformWithState
• Autentisera till molnobjektlagring med tjänstautentiseringsuppgifter
• Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentisering är nu allmänt tillgänglig
• Notebook-filer stöds som arbetsytefiler
• Använd timestampdiff & timestampadd i genererade kolumnuttryck
• Stöd för SQL-pipelinesyntax
• Gör HTTP-begäran med hjälp av funktionen http_request
• Uppdateringen till DESCRIBE TABLE returnerar metadata som strukturerad JSON
• Sorteringar som är okänsliga för avslutande mellanslag
• Konvertera Iceberg-tabeller med bucketpartitionering till opartitionerade Delta-tabeller
• Standard-åtkomstläge (tidigare delat åtkomstläge) stöder nu Spark Scala-metoderna foreach, foreachBatchoch flatMapGroupsWithState

Skapa anpassade tillståndskänsliga program med transformWithState

Nu kan du använda transformWithState och relaterade API:er för att implementera anpassade tillståndskänsliga program som en del av strukturerade strömningsfrågor. Se Skapa ett anpassat tillståndskänsligt program.

Autentisera till molnobjektlagring med tjänstautentiseringsuppgifter

Nu kan du använda autentiseringsuppgifter för Databricks-tjänsten för att autentisera till molnobjektlagring med Auto Loader. Se Vad är meddelandeläget för automatisk inläsningsfil?.

Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter är nu allmänt tillgänglig

Tjänstautentiseringsuppgifter möjliggör enkel och säker autentisering med molnklientens tjänster från Azure Databricks. Med Databricks Runtime 16.2 är tjänstautentiseringsuppgifter allmänt tillgängliga och stöder nu Scala SDK:er, utöver Python SDK som stöds i den offentliga förhandsversionen. Se Hantera åtkomst till externa molntjänster med tjänstautentiseringsuppgifter.

Notebook-filer stöds som arbetsytefiler

I Databricks Runtime 16.2 och senare stöds notebook-filer som arbetsytefiler. Nu kan du interagera programmatiskt med notebook-filer var som helst där arbetsytans filsystem är tillgängligt, inklusive att skriva, läsa och ta bort anteckningsböcker som alla andra filer. Mer information finns i Notebooks som arbetsytefiler.

Använd timestampdiff & timestampadd i genererade kolumnuttryck

I Databricks Runtime 16.2 och senare kan du använda timestampdiff och timestampadd -funktionerna i genererade kolumnuttryck i Delta Lake. Se även Delta Lake-genererade kolumner.

Stöd för SQL-pipelinesyntax

I Databricks Runtime 16.2 och senare kan du skapa SQL-pipelines. En SQL-pipeline strukturerar en standardfråga, till exempel SELECT c2 FROM T WHERE c1 = 5, i en stegvis sekvens, enligt följande exempel:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Mer information om syntaxen som stöds för SQL-pipelines finns i SQL Pipeline Syntax.

Bakgrund om det här branschöverskridande tillägget finns i SQL Har problem. Vi kan åtgärda dem: Pipe Syntax in SQL (by Google Research).

Gör HTTP-begäran med hjälp av funktionen http_request

I Databricks Runtime 16.2 och senare kan du skapa HTTP-anslutningar och via dem göra HTTP-begäranden med hjälp av funktionen http_request.

Uppdatera till DESCRIBE TABLE returnerar metadata som strukturerad JSON

I Databricks Runtime 16.2 och senare kan du använda kommandot DESCRIBE TABLE AS JSON för att returnera tabellmetadata som ett JSON-dokument. JSON-utdata är mer strukturerade än standardrapporten som kan läsas av människor och kan användas för att tolka en tabells schema programmatiskt. Mer information finns i DESCRIBE TABLE AS JSON-.

Avslutande tomma okänsliga sorteringar

Databricks Runtime 16.2 lägger till stöd för sorteringar som är okänsliga för efterföljande mellanslag, som en utökning av det sorteringsstöd som tillkom i Databricks Runtime 16.1. Dessa sorteringar behandlar till exempel 'Hello' och 'Hello ' som lika. Mer information finns i RTRIM-sortering.

Konvertera Iceberg-tabeller med bucketpartitionering till opartitionerade Delta tabeller

Satserna CONVERT TO DELTA och CREATE TABLE CLONE stöder nu konvertering av en Isbergstabell med bucketpartitionering till en icke-partitionerad Delta-tabell.

Standardåtkomstläge (tidigare delat åtkomstläge) stöder nu Spark Scala-metoderna foreach, foreachBatchoch flatMapGroupsWithState

I Databricks Runtime 16.2 och senare stöds nu beräkning i standardåtkomstläge av Scala-metoderna DataStreamWriter.foreachBatch och KeyValueGroupedDataset.flatMapGroupsWithState. I Databricks Runtime 16.1 och senare stöder beräkning av standardåtkomstläge nu Scala-metoden DataStreamWriter.foreach.

Felkorrigeringar

Förbättrad inkrementell klonbearbetning

Den här versionen innehåller en lösning för ett specialfall där en inkrementell CLONE kan få filer som redan kopierats från en källtabell att kopieras igen till en måltabell. Se Klona en tabell i Azure Databricks.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • org.json4s.json4s-ast_2.12 från 3.7.0-M11 till 4.0.7
  • org.json4s.json4s-core_2.12 från 3.7.0-M11 till 4.0.7
  • org.json4s.json4s-jackson_2.12 från 3.7.0-M11 till 4.0.7
  • org.json4s.json4s-scalap_2.12 från 3.7.0-M11 till 4.0.7

Apache Spark

Databricks Runtime 16.2 innehåller Apache Spark 3.5.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 16.1, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-49966] Revert "[SC-179501][sql] Använd Invoke för att implementera JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Åtgärda samordning uttrycksvandrarfrågan verkställande
• [SPARK-49666] [SQL] Aktivera trimningstester för InSet-uttryck
• [SPARK-50669] [SC-184566][es-1327450][SQL] Ändra signaturen för TimestampAdd-uttryck
• [SPARK-50795] [16.x][sc-186719][SQL] Lagra tidsstämpel som long typ i describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Lägg till tidszonen vid konvertering till tidsstämpel i V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Fel i ExecuteResponseObserver resulterar i oändlig återkoppling av begäranden
• [SPARK-50522] [SC-186500][sql] Stöd för obestämd sortering
• [SPARK-50525] [SC-186058][sql] Definiera optimeringsregeln insertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Duplicerade vanliga uttryck i olika 'WITH'-satser bör bara projiceras en gång
• [SPARK-50847] [SC-186916] [SQL] Neka ApplyCharTypePadding från att tillämpa på specifika In-uttryck
• [SPARK-50714] [SC-186786][sql][SS] Aktivera schemautveckling för TransformWithState när Avro-kodning används
• [SPARK-50795] [SC-186390][sql] Visa alla DESCRIBE AS JSON-datum i ISO-8601-format och typer som dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Förbättra typtvång och gränskontroll för funktionen UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog stöder builtin magiskt värde
• [SPARK-50831] [SC-186736][sql] Aktivera trimningssortering som standard
• [SPARK-50263] [SC-186793][connect] Ersätt System.currentTimeMillis med System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementera CreateSQLFunctionCommand för SQL Scalar och Table Functions
• [SPARK-50830] [SC-186718] [SQL] Returnerar enkelpassresultat som dubbelkörningsanalyseresultat
• [SPARK-50707] [SC-186098][sql] Aktivera omvandling till/från char/varchar
• [SPARK-49490] [SC-182137][sql] Lägg till benchmarks för initCap
• [SPARK-50529] [SC-184535][sql] Ändra char/varchar-beteende under konfigurationen spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Ta bort ANSI-konfigurationsförslaget i CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Åtgärda buggen där det misslyckas att skicka null-variabler i createDataFrame och lägg till variantstöd i createDataFrame i Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Avveckla pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Ange analyserad vid analysfel
• [SPARK-50824] [SC-186472][python] Undvik att importera valfria Python-paket för kontroll
• [SPARK-50755] [SC-185521][sql] Snygg planvisning för InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Indata för typindelade sammansättningar bör analyseras
• [SPARK-50791] [SC-185867][sc-186338][SQL] Åtgärda NPE vid hantering av fel i State Store
• [SPARK-50801] [SC-186365] [SQL] Förbättra PlanLogger.logPlanResolution så att den bara visar olösta och lösta planer
• [SPARK-50749] [SC-185925][sql] Åtgärda sorteringsbugg i CommutativeExpression.gatherCommutative-metod
• [SPARK-50783] [SC-186347] Standardisera JVM-profiler resultatfilens namn och layout på DFS
• [SPARK-50790] [SC-186354][python] Implementera parse json i pyspark
• [SPARK-50738] [SC-184856][python] Uppgradera svart till 23.12.1
• [SPARK-50764] [SC-185930][python] Förfina docstring av xpath-relaterade metoder
• [SPARK-50798] [SC-186277][sql] Förbättra NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 integrering med RocksDB och RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Lägga till funktionsflagga för objektnivåsortering
• [SPARK-50778] [SC-186183][python] Lägg till metadataColumn i PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Förbättra autogenererade uttrycksaliaser med SQL-pipe-operatorerna
• [SPARK-50541] [16.x][sc-184937] Beskriv tabellen som JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Bevara tabellalias efter SET, EXTEND och DROP-operatörer
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException i HistogramNumeric
• [SPARK-49025] [SC-174667] Synkronisera Delta-kodskillnad med DBR
• [SPARK-50752] [SC-185547][python][SQL] Introducera konfigurationer för justering av Python UDF utan pil
• [SPARK-50705] [SC-185944][sql] Gör QueryPlan låsfritt
• [SPARK-50690] [16.x][sc-184640][SQL] Åtgärda avvikelser i DESCRIBE TABLE visa frågeutdatakolumner som citerar
• [SPARK-50746] [SC-184932][sql] Ersätt antingen med VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder ställer in konfigurationerna i batch
• [SPARK-50480] [SC-183359][sql] Utöka CharType och VarcharType från StringType
• [SPARK-50675] [SC-184539][sql] Stöd för tabell- och visningsnivåsortering
• [SPARK-50409] [SC-184516][sql] Korrigera set-instruktionen för att ignorera ; i slutet av SET;, SET -v; och SET key;
• [SPARK-50743] [SC-185528][sql] Normalisera CTERelationDef och CTERelationRef-ID:er
• [SPARK-50693] [SC-184684][connect] Indata för TypedScalaUdf bör analyseras
• [SPARK-50744] [SC-184929][sql] Lägg till ett testfall för vy/CTE-namnupplösningsprioritet
• [SPARK-50710] [SC-184767][connect] Lägg till stöd för valfri klientåteranslutning till sessioner efter lanseringen
• [SPARK-50703] [SC-184843][python] Förfina regexp_replace, regexp_substr och regexp_instr
• [SPARK-50716] [SC-184823][core] Åtgärda rensningslogik för symboliska länkar i JavaUtils.deleteRecursivelyUsingJavaIO metod
• [SPARK-50630] [SC-184443][sql] Åtgärda GROUP BY ordningsstöd för SQL AGGREGATE-röroperatorer
• [SPARK-50614] [SC-184729][sql] Lägg till stöd för variantnedbrytning för Parquet
• [SPARK-50661] [SASP-4936] Lägg till bakåtkompatibilitet för den gamla klienten FEB.
• [SPARK-50676] [SC-184641][sql] Ta bort oanvända private lazy val mapValueContainsNull från ElementAt
• [SPARK-50515] [SC-183813][core] Lägg till skrivskyddat gränssnitt i SparkConf
• [SPARK-50697] [SC-184702][sql] Aktivera tail-rekursion där det är möjligt
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Åtgärda tillståndsschemat för FlatMapGroupsWithState i Spark Connect när det inte finns något initialt tillstånd
• [SPARK-50701] [SC-184704][python] Gör att ritning kräver den minsta versionen av Plotly
• [SPARK-50702] [SC-184727][python] Förfina docstring för regexp_count, regexp_extract och regexp_extract_all
• [SPARK-50499] [SC-184177][python] Exponera mått från BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Lägg till stöd för RPAD-pushdown
• [SPARK-50682] [SC-184579][sql] Inre alias ska kanoniseras
• [SPARK-50699] [SC-184695][python] Parsa och generera DDL-sträng med en angiven session
• [SPARK-50573] [SC-184568][ss] Lägga till State Schema ID till State Rows för schemautveckling
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Åtgärda Spark Connect Scala foreachBatch-implementation. för att stödja Dataset[T].
• [SPARK-50689] [SC-184591][sql] Framtvinga deterministisk ordning i LCA-projektlistor
• [SPARK-50696] [SC-184667][python] Optimera Py4J-anrop för DDL-parsningsmetod
• [SPARK-49670] [SC-182902][sql] Aktivera trim-kollation för alla pass-through-uttryck
• [SPARK-50673] [SC-184565][ml] Undvik att gå igenom modellkoefficienterna två gånger i Word2VecModel konstruktor
• [SPARK-50687] [SC-184588][python] Optimera logiken för att hämta stackspårningar för DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Cachelagrar det parsade schemat för MapInXXX och ApplyInXXX
• [SPARK-50674] [SC-184589][python] Korrigera kontrollen för att säkerställa existensen av 'avsluta'-metoden i UDTF-utvärdering
• [SPARK-50684] [SC-184582][python] Förbättra Py4J-prestanda i DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Lägg till stöd för ny version av tillståndsmetadata för TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Korrigera transponering för att visa ett korrekt felmeddelande när ogiltiga indexkolumner anges
• [SPARK-50650] [SC-184532][sql] Förbättra loggningen i enkelpassanalysatorn
• [SPARK-50665] [SC-184533][sql] Ersätt LocalRelation med ComparableLocalRelation i NormalizePlan
• [SPARK-50644] [SC-184486][sql] Läsa variant struct i Parquet-läsare.
• [SPARK-49636] [SC-184089][sql] Ta bort ANSI-konfigurationsförslaget i INVALID_ARRAY_INDEX och INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Omstrukturera unionens outputberäkning för att kunna återanvända den i en enpassanalysator
• [SPARK-50659] [SC-184512][sql] Flytta unionsrelaterade fel till QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Åtgärda felaktig kontextberäkning av implicit strängtyp
• [SPARK-50546] [SC-183807][sql] Lägg till stöd för att kasta underfrågor vid typkollationeringstvång
• [SPARK-50405] [SC-182889][sql] Hantera sorteringstypens tvång av komplexa datatyper korrekt
• [SPARK-50637] [SC-184434][sql] Åtgärda kodstil för enpassanalysatorn
• [SPARK-50638] [SC-184435][sql] Omstrukturera vyupplösningen till en separat fil för att återanvända den i en enpassanalysator
• [SPARK-50615] [SC-184298][sql] Integrera variant i genomsökning.
• [SPARK-50619] [SC-184210][sql] Refaktorisera VariantGet.cast för att samla cast-argumenten
• [SPARK-50599] [SC-184058][sql] Skapa DataEncoder-egenskapen som möjliggör Avro- och UnsafeRow-kodning
• [SPARK-50076] [SC-183809] Åtgärda loggnycklar
• [SPARK-50597] [SC-183972][sql] Omstrukturera batchkonstruktion i Optimizer.scala och SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Aktivera ändringslogg för att lagra härkomstinformation
• [SPARK-50526] [SC-183811][ss] Lägg till lagringskodningsformatkonfiguration i offsetloggen och förhindra operatörer med tillstånd som inte stöds från att använda avro
• [SPARK-50540] [SC-183810][python][SS] Åtgärda strängschema för StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Använda SQLConf som tillhandahålls av SparkSession först.
• [SPARK-48898] [SC-183793][sql] Ange nullability korrekt i variantschemat
• [SPARK-50559] [SC-183814][sql] Lagra Except, Intersect och Unions utdata som fördröjda värden
• [SPARK-48416] [SC-183643][sql] Stöd för kapslad korrelerad med uttryck
• [SPARK-50428] [SC-183566][ss][PYTHON] Stöder TransformWithStateInPandas i batchfrågor
• [SPARK-50063] [SC-183350][sql][CONNECT] Lägg till stöd för Variant i Spark Connect Scala-klienten
• [SPARK-50544] [SC-183569][python][CONNECT] Implementera StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Åtgärda Maven-byggfel som införts av Guava Cache i RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Åtgärda fel där tomma BEGIN END-block genererar ett fel
• [SPARK-50536] [SC-183443][core] Logga nedladdade arkivfilstorlekar i SparkContext och Executor
• [SPARK-45891] [SC-183439][sql] Återskapa variant binär från strimlade data.
• [SPARK-49565] [SC-183465][sql] Lägg till SQL-rörsyntax för FROM-operatorn
• [SPARK-50497] [SC-183338][sql] Felfrågor med rätt meddelande om MultiAlias innehåller icke-generatorfunktion
• [SPARK-50460] [SC-183375][python][CONNECT] Generalisera och förenkla anslutningsfelhantering
• [SPARK-50537] [SC-183452][connect][PYTHON] Åtgärda problemet där komprimeringsalternativet skrivs över i df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] Lägre RowBasedKeyValueBatch.spill varningsmeddelande till felsökningsnivå
• [SPARK-50528] [SC-183385][connect] Flytta InvalidCommandInput till gemensam modul
• [SPARK-50017] [SC-182438][ss] Stöd Avro-kodning för TransformWithState-operatorn
• [SPARK-50463] [SC-182833][sql] Åtgärda ConstantColumnVector med columnar till radkonvertering
• [SPARK-50235] [SC-180786][sql] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Åtgärda det inittillståndsrelaterade testet för att använda StreamManualClock
• [SPARK-50478] [SC-183188][sql] Åtgärda StringType-matchning
• [SPARK-50492] [SC-183177][ss] Åtgärda java.util.NoSuchElementException när händelsetidskolumnen tas bort efter användning av dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Lägg till SQL-rörsyntax för SET-operatorn
• [SPARK-50449] [SC-183178][sql] Åtgärda SQL Scripting-grammatik som tillåter tomma kroppar för loopar, IF och CASE
• [SPARK-50251] [SC-180970][python] Lägg till getSystemProperty i PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Korrigera körbara relaterade minneskonfigurationer som är felaktiga när flera resursprofiler fungerade
• [SPARK-49461] [SC-179572][ss] Persistent Checkpoint ID för att checka in loggar och läsa tillbaka det
• [SPARK-50343] [SC-183119][spark-50344][SQL] Lägg till SQL-rörsyntax för DROP- och AS-operatorerna
• [SPARK-50481] [SC-182880][core] Förbättra SortShuffleManager.unregisterShuffle för att hoppa över checksumfillogik om kontrollsumman är inaktiverad
• [SPARK-50498] [SC-183090][python] Undvik onödigt py4j-anrop i listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Åtgärda självkoppling efter applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Åtgärda xor push-down för Postgres

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 16.2.

Systemmiljö

• operativsystem: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden från den 4 augusti 2024: https://packagemanager.posit.co/cran/2024-08-04/.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)