Dela via

Databricks Runtime 10.5 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 10.5, som drivs av Apache Spark 3.2.1. Databricks släppte den här versionen i maj 2022.

Nya funktioner och förbättringar

SQL: Nya funktioner to_number och try_to_number

Med funktionen to_number och try_to_number kan du konvertera teckenrepresentationer av tal i olika format till DECIMAL.

SQL: Ny funktion try_sum

Till skillnad från sumreturnerar try_sum mängdfunktionen NULL i stället för ett fel när ett spill uppstår.

SQL: Uppdatera till ceil, ceilingoch floor funktioner

Funktionen ceil, ceiling function och floor stöder nu ett andra valfritt argument för att ange en målskala.

SQL: Nya mängdfunktioner regr_avgx och regr_avgy

Den nya regr_avgx mängdfunktionen och regr_avgy mängdfunktionen stöder linjära regressioner.

SQL: Uppdatera till contains, startswithoch endswith funktioner

Funktionen contains, startswith function och endswith har nu stöd för binära datatyper som indata utöver strängar.

SQL: Ny funktion array_size

Den nya funktionen array_size beräknar storleken på en matris.

Unity Catalog: SQL-utdata LIST tar is_directory bort kolumnen och lägger till avslutande / för katalogsökvägar (offentlig förhandsversion)

Utdata från SQL LIST-instruktionen för att visa sökvägar som styrs av Unity Catalog har ändrats. Kolumnen is_directory visas inte längre. I stället slutar sökvägar som representerar kataloger nu med ett avslutande snedstreck (/) för kolumnerna path och name . Den här ändringen är för konsekvens med kommandots dbutils.fs.ls utdata.

Automatisk inläsning: ny SQL-funktion CLOUD_FILES_STATE

Du kan använda den nya CLOUD_FILES_STATE funktionen för att fråga efter det interna tillståndet för en automatisk inläsningsström. Mer information finns i Fråga efter filer som identifieras av Auto Loader.

Automatisk inläsning: stöd för filmeddelanden är nu GA

Stöd för filmeddelanden för Vad är automatisk inläsning? i Google Cloud är nu allmänt tillgängligt.

Delta Lake: nytt maxRecordsPerFile alternativ för maximalt antal poster som skrivits till en enda fil

När du använder DataFrame-API:erna för att skriva till en Delta-tabell kan du använda maxRecordsPerFile alternativet för att ange det maximala antalet poster som ska skrivas till en enda fil. Att ange ett värde på noll eller ett negativt värde representerar ingen gräns. Se Konfigurera Delta Lake för att styra datafilstorleken.

Utfasning av Koalas

Koalas är nu inaktuell. Koalas tillhandahåller Pandas-API:er ovanpå Apache Spark. Koalas bidrogs till av communityn och har varit tillgängligt som Pandas API på Spark med början i Apache Spark 3.2. Koalas fortsätter att förinstalleras för Databricks Runtime 10.5, men Koalas kommer inte längre att förinstalleras från och med nästa Databricks Runtime-version.

Mer information om Pandas API på Spark finns i:

Ny _metadata kolumn för alla filformat

Du kan hämta metadatainformation för indatafiler med _metadata kolumnen . Kolumnen _metadata är dold. Den här kolumnen är tillgänglig för alla indatafilformat. Om du vill inkludera _metadata kolumnen i en returnerad DataFramemåste du uttryckligen referera till den här kolumnen i din fråga. Se kolumnen Filmetadata.

Testa din Delta Live Tables-pipeline med Databricks Runtime 10.5

Databricks Runtime 10.5 är nu den version som stöds preview för Delta Live Tables. Om du vill testa din pipeline med Databricks Runtime 10.5 anger du channel inställningen till preview i pipelineinställningarna.

Felkorrigeringar

  • Åtgärdade visning av numUpdatedRows och numCopiedRows måttresultat för uppdateringsåtgärder i Delta-tabeller som har aktiverat ändringsdatainsamling (CDC).

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • ritat från 5.5.0 till 5.6.0
  • Uppgraderade R-bibliotek:
    • bas från 4.1.2 till 4.1.3
    • caret från 6.0-90 till 6.0-91
    • kluster från 2.1.2 till 2.1.3
    • commonmark från 1.7 till 1.8.0
    • kompilator från 4.1.2 till 4.1.3
    • krita från 1.5.0 till 1.5.1
    • datauppsättningar från 4.1.2 till 4.1.3
    • desc från 1.4.0 till 1.4.1
    • fansi från 1.0.2 till 1.0.3
    • lim från 1.6.1 till 1.6.2
    • grafik från 4.1.2 till 4.1.3
    • grEnheter från 4.1.2 till 4.1.3
    • rutnät från 4.1.2 till 4.1.3
    • stickning från 1,37 till 1,38
    • MASS från 7,3-55 till 7,3-56
    • Matris från 1,4-0 till 1,4-1
    • metoder från 4.1.2 till 4.1.3
    • mgcv från 1,8-39 till 1,8-40
    • nlme från 3.1-155 till 3.1-157
    • openssl från 1.4.6 till 2.0.0
    • parallell från 4.1.2 till 4.1.3
    • från 1,8,6 till 1,8,7
    • processx från 3.5.2 till 3.5.3
    • r2d3 från 0.2.5 till 0.2.6
    • Rcpp från 1.0.8 till 1.0.8.3
    • rlang från 1.0.1 till 1.0.2
    • rmarkdown från 2.11 till 2.13
    • RSQLite från 2.2.10 till 2.2.11
    • sass från 0.4.0 till 0.4.1
    • splines från 4.1.2 till 4.1.3
    • statistik från 4.1.2 till 4.1.3
    • stats4 från 4.1.2 till 4.1.3
    • tcltk från 4.1.2 till 4.1.3
    • verktyg från 4.1.2 till 4.1.3
    • från 4.1.2 till 4.1.3
    • uuid från 1.0-3 till 1.0-4
    • waldo från 0.3.1 till 0.4.0
    • från 2.4.3 till 2.5.0
    • xfun från 0,29 till 0,30
  • Uppgraderade Java-bibliotek:
    • com.h2database.h2 från 1.4.195 till 2.1.210
    • org.apache.hadoop.hadoop-client-api från 3.3.1-databricks till 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime från 3.3.1 till 3.3.2
    • org.rocksdb.rocksdbjni från 6.24.2 till 6.20.3

Apache Spark

Databricks Runtime 10.5 innehåller Apache Spark 3.2.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.4 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-38354] [SC-97886] Återställ "[SQL] Lägg till hash-avsökningsmått för blandad hashkoppling"
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrument PySpark SQL-modul med allmän användningsloggare
  • [SPARK-38333] [SQL] PlanExpression-uttrycket bör hoppa över funktionen addExprTree i Executor
  • [SPARK-38646] [PYTHON][10.x] Dra ut ett drag för Python-funktioner
  • [SPARK-38674] [PHOTON] Lägga till ett mått i PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Ersätt det hittade värdet med element som inte är null i den återstående listan för nyckel och ta bort återstående null-element från värden i keyWithIndexToValue-arkivet för stream-stream-kopplingar
  • [SPARK-38446] [Kärna] Åtgärda dödläget mellan ExecutorClassLoader och FileDownloadCallback som orsakas av Log4j
  • [SPARK-38705] [SQL] Använda funktionsidentifierare i kommandot create and drop function
  • [SPARK-38684] [SS] Åtgärda problem med korrekthet på strömströmmens yttre koppling med RocksDB-tillståndslagerprovidern
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase kan inte hitta förskjutningsraden vars indata inte är null
  • [SPARK-38204] [SS] Använd StatefulOpClusteredDistribution för tillståndskänsliga operatorer med avseende på bakåtkompatibilitet
  • [SPARK-38616] [SQL] Hålla reda på SQL-frågetext i Catalyst TreeNode
  • [SPARK-38600] [SQL] Inkludera unit i sql-strängen i TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Sprida metadata från kapslade kolumner i alias
  • [SPARK-38535] [SQL] datetimeUnit Lägg till uppräkningen och använd den i TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Uppdatera resultattypen histogram_numeric (x, y) för att göra x == indatatypen
  • [SPARK-38148] [SQL] Lägg inte till dynamisk partitionsrensning om det finns statisk partitionsrensning
  • [SPARK-37527] [SQL] Kompilera COVAR_POPoch COVAR_SAMPCORR iH2Dialet
  • [SPARK-38510] [SQL] Prova ClassSymbol.selfType igen för att kringgå cykliska referenser
  • [SPARK-38509] [SQL] Avregistrera TIMESTAMPADD/DIFF funktionerna och ta bort DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Det går inte att läsa TidsstämpelNTZ som tidsstämpelLTZ
  • [SPARK-38526] [SQL] Åtgärda namn på vilseledande funktionsalias för RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementera parsningsstöd för standardkolumnvärden
  • [SPARK-38593] [SS] Överföra måttet för antalet borttagna sena händelser till SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Lägg till i numRowsDroppedByWatermarkSessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Återställa beteendet to_timestamp för som tillåter numeriska typer
  • [SPARK-38481] [SQL] Ersättningsfel för Java-spill från TIMESTAMPADD med Spark-undantag
  • [SPARK-37753] [SQL] Finjustera logik för att degradera broadcast-hashkoppling i DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH bör ha stöd för både sträng- och binärtyper
  • [SPARK-38345] [SQL] Introducera SQL-funktion ARRAY_SIZE
  • [SPARK-38385] [SQL] Förbättra felmeddelanden för tom instruktion och <EOF> i ParseException
  • [SPARK-37614] [SQL] Stöd för ANSI-mängdfunktion: regr_avgx & regr_avgy
  • [SPARK-38560] [SQL] Om Sum, Count, Any medföljer distinkt, kan inte göra partiell agg-push-nedtryckning.
  • [SPARK-38360] [SQL][SS][PYTHON] Introducera en exists funktion för TreeNode att eliminera duplicerade kodmönster
  • [SPARK-38385] [SQL] Förbättra felmeddelanden för "felmatchade indata"-fall från ANTLR
  • [SPARK-38240] [SQL] Förbättra RuntimeReplaceable och lägg till en riktlinje för att lägga till nya funktioner
  • [SPARK-38542] [SQL]UnsafeHashedRelation ska serialisera numKeys ut
  • [SPARK-38521] [SQL] Ändra partitionOverwriteMode från sträng till variabel i Scala
  • [SPARK-38558] [SQL] Ta bort onödiga kast mellan IntegerType och IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly stöder vikbara uttryck
  • [SPARK-38410] [SQL] Stöd för att ange inledande partitionsnummer för ombalansering
  • [SPARK-38107] [SQL] Använda felklasser i kompileringsfel för PYTHON/Pandas UDF:er
  • [SPARK-38354] [SQL] Lägg till hash-avsökningsmått för blandad hashkoppling
  • [SPARK-38112] [SQL] Använda felklasser i körningsfelen för datum-/tidsstämpelhantering
  • [SPARK-38361] [SQL] Lägg till fabriksmetoden getConnection i JDBCDialect.
  • [SPARK-37865] [SQL] Åtgärda fel med unionsdedupliceringskorrigering
  • [SPARK-38298] [SQL][Tester] Åtgärda DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite under ANSI-läge
  • [SPARK-38407] [SQL] ANSI-gjutning: lossa begränsningen för gjutning av komplexa typer som inte är null
  • [SPARK-38352] [SQL] Åtgärda DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite under ANSI-läge
  • [SPARK-38054] [SQL] Stöder listnamnområden i JDBC v2 MySQL-dialekt
  • [SPARK-37960] [SQL] Ett nytt ramverk för att representera katalysatoruttryck i DS v2-API:er
  • [SPARK-38103] [SQL] Migrera parsningsfel för transformering till det nya felramverket
  • [SPARK-38519] [SQL] AQE-undantag bör respektera SparkFatalException
  • [SPARK-38528] [SQL] Iterera ivrigt över aggregerad sekvens när du skapar en projektlista i ExtractGenerator
  • [SPARK-38320] [SS] Åtgärda flatMapGroupsWithState-timeout i batch med data för nyckel
  • [SPARK-38442] [SQL] Åtgärda ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite i ANSI-läge
  • [SPARK-38268] [SQL] Dölj fältet "failOnError" i metoden toString i Abs/CheckOverflow
  • [SPARK-37949] [SQL] Förbättra beräkning av ombalanseringsstatistik
  • [SPARK-38450] [SQL] Åtgärda HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite under ANSI-läge
  • [SPARK-38501] [SQL] Åtgärda fel med thriftservertest i ANSI-läge
  • [SPARK-37895] [SQL] Filtrera nedtryckt kolumn med angivna kolumner
  • [SPARK-38449] [SQL] Undvik anropet createTable när ignoreIfExists=true och tabellen finns
  • [SPARK-38406] [SQL] Förbättra prestanda för ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extrahera generatorn från GeneratorOuter-uttrycket som ingår av en Generate-operator.
  • [SPARK-38309] [CORE] Åtgärda SHS shuffleTotalReads - och shuffleTotalBlocks percentilmått
  • [SPARK-38412] [SS] Åtgärda den växlade sekvensen från och till i StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Ersätt mönstermatchningar på booleska uttryck med villkorssatser
  • [SPARK-38104] [SQL] Migrera parsningsfel för fönstret till det nya felramverket
  • [SPARK-38434] [SQL] Korrekt semantik för metoden CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Det går inte att starta SS-bearbetningen eftersom ...
  • [SPARK-38378] [SQL] Omstrukturera ANTLR-grammatikdefinitionen till separata Parser- och Lexer-filer
  • [SPARK-37475] [SQL] Lägga till skalningsparameter i funktionerna floor och ceil
  • [SPARK-38411] [CORE] Använd UTF-8 vid doMergeApplicationListingInternal läsning av händelseloggar
  • [SPARK-36553] [ML] KMeans undviker beräkningshjälpstatistik för stora K
  • [SPARK-38393] [SQL] Rensa inaktuell användning av GenSeq/GenMap
  • [SPARK-38389] [SQL] Lägg till aliasen DATEDIFF() och DATE_DIFF() för TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Korrigera beräkning av shuffle-indexcachevikt för små indexfiler
  • [SPARK-38353] [PYTHON] Instrument ange och avsluta magiska metoder för Pandas API på Spark
  • [SPARK-38323] [SQL][Direktuppspelning] Stöd för dolda filmetadata i direktuppspelning
  • [SPARK-38138] [SQL] Materialisera QueryPlan-underfrågor
  • [SPARK-38094] Aktivera matchande schemakolumnnamn efter fält-ID
  • [SPARK-37923] [SQL] Generera partitionstransformeringar för BucketSpec inuti parsern
  • [SPARK-38363] [SQL] Undvik körningsfel i Dataset.summary()/Dataset.describe() när ANSI-läget är på
  • [SPARK-38284] [SQL] TIMESTAMPDIFF() Lägg till funktionen
  • [SPARK-38251] [SQL] Ändra Cast.toString som "cast" i stället för "ansi_cast" under ANSI-läge
  • [SPARK-38314] [SQL] Korrigering av att det inte går att läsa parquet-filer när du har skrivit dolda filmetadata i

Se Underhållsuppdateringar för Databricks Runtime 10.5.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta lake: 1.2.1

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 blekmedel 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cyklist 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratör 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook-fil 6.3.0 numpy 1.20.1
emballage 20.9 Pandas 1.2.4 pandocfilter 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Kudde 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sex 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 orubblighet 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tromb 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 hjul 0.36.2 widgetsnbextension 3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-03-28.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1,1 assertthat 0.2.1 backportar 1.4.1
bas 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 start 1.3-28
brygga 1.0-7 Brio 1.1.3 kvast 0.7.12
bslib 0.3.1 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-91 cellranger 1.1.0 Chron 2.3-56
klass 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 färgområde 2.0-3
commonmark 1.8.0 kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 krita 1.5.1 autentiseringsuppgifter 1.3.2
hårlock 4.3.2 data.table 1.14.2 datauppsättningar 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 smälta 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellips 0.3.2 evaluate (utvärdera) 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 främmande 0.8-82
smida 0.2.0 Fs 1.5.2 framtid 1.24.0
future.apply 1.8.1 gurgla 1.2.0 Generika 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafik 4.1.3 grDevices 4.1.3
gitter 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 hamn 2.4.3
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratorer 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 stickning 1.38 Märkning 0.4.2
senare 1.3.0 Galler 0.20-45 lava 1.6.10
livscykel 1.0.1 lyssna 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1,1 MASSA 7.3-56
Matris 1.4-1 pmise 2.0.1 metoder 4.1.3
mgcv 1.8-40 MIME 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallellt 1.30.0 pelare 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 berömma 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.3
prodlim 2019.11.13 Förlopp 1.2.2 progressr 0.10.0
Löften 1.2.0.1 Proto 1.0.0 proxyserver 0.4-26
PS 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recept 0.2.0 Returmatch 1.0.1 rematch2 2.1.2
Fjärrkontroller 2.4.2 reprex 2.0.1 omforma2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversioner 2.1.1 rvest 1.0.2 Sass 0.4.1
våg 1.1.1 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 rumslig 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
statistik 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 överlevnad 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 avmarkera 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,37
verktyg 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 verktyg 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 morrhår 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy murgröna 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kodning 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-fortsättning 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty brygga-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty brygga plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty brygga-server 9.4.43.v20210629
org.eclipse.jetty brygga-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty brygga-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark oanvänd 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1