Condividi tramite

Databricks Runtime 10.5 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.5, basate su Apache Spark 3.2.1. Databricks ha rilasciato questa versione nel maggio 2022.

Miglioramenti e nuove funzionalità

SQL: nuove funzioni to_number e try_to_number

La funzione to_number e try_to_number consentono di convertire rappresentazioni di caratteri di numeri in vari formati in DECIMAL.

SQL: Nuova funzione try_sum

A differenza di sum, la funzione di aggregazione try_sum restituisce NULL anziché un errore quando si verifica un overflow.

SQL: funzioni dal Update al ceil, ceilinge floor

La funzione ceil, la funzione ceiling e la funzione floor supportano ora un secondo argomento facoltativo per specificare una scala di destinazione.

SQL: nuove funzioni regr_avgx di aggregazione e regr_avgy

La nuova funzione di aggregazione regr_avgx e regr_avgy funzione di aggregazione supportano le regressioni lineari.

SQL: Update per contains, startswithe funzioni di endswith

La funzione contiene, startswith funzione e endswith supporta ora i tipi di dati binari come input oltre alle stringhe.

SQL: Nuova funzione array_size

La nuova funzione array_size calcola le dimensioni di una matrice.

Unity Catalog: l'output di SQL LIST rimuove is_directorycolumn e aggiunge / alla fine per i percorsi di directory (anteprima pubblica)

L'output dell'istruzione SQL LIST per elencare i percorsi regolati da Unity Catalog è stato modificato. Il is_directorycolumn non viene più visualizzato. Ora, i percorsi che rappresentano le directory terminano con una barra (/) per il path e namecolumns. Questa modifica riguarda la coerenza con l'output del dbutils.fs.ls comando.

Caricatore automatico: nuova funzione SQL CLOUD_FILES_STATE

È possibile usare la nuova CLOUD_FILES_STATE funzione per eseguire query sullo stato interno di un flusso del caricatore automatico. Vedere Esecuzione di query sui file individuati dal caricatore automatico.

Caricatore automatico: il supporto per le notifiche file è ora disponibile a livello generale

Supporto delle notifiche file per Che cos'è il caricatore automatico? in Google Cloud è ora disponibile a livello generale.

Delta Lake: nuova maxRecordsPerFile opzione per i record massimi scritti in un singolo file

Quando si usano le API DataFrame per scrivere in un tableDelta, è possibile usare l'opzione maxRecordsPerFile per specificare il numero massimo di record da scrivere in un singolo file. Specificare un valore pari a zero o un valore negativo indica l'assenza di limit. Vedere Configurare Delta Lake per controllare le dimensioni dei file di dati.

Deprecazione di Koalas

Koalas è ora deprecato. Koalas fornisce API Pandas su Apache Spark. Koalas è stato contribuito dalla community ed è stato disponibile come API pandas in Spark a partire da Apache Spark 3.2. Koalas continua a essere preinstallato per Databricks Runtime 10.5, ma Koalas non verrà più preinstallato a partire dalla versione successiva di Databricks Runtime.

Per altre informazioni sull'API Pandas in Spark, vedere:

Nuovo _metadatacolumn per tutti i formati di file

È possibile get i metadati dei file di input con il _metadatacolumn. Il _metadatacolumn è nascosto. Questo column è disponibile per tutti i formati di file d'ingresso. Per includere il _metadatacolumn in un DataFramerestituito, è necessario fare riferimento in modo esplicito a questo column nella query. Vedi Metadati del file column.

Testare la pipeline Delta Live Tables con Databricks Runtime 10.5

Databricks Runtime 10.5 è ora la versione di preview supportata per Delta Live Tables. Per testare la pipeline con Databricks Runtime 10.5, set l'impostazione channel su preview nelle impostazioni della pipeline.

Correzioni di bug

  • Correzione della visualizzazione dei risultati delle metriche numUpdatedRows e numCopiedRows per le operazioni di update su Delta tables con change data capture (CDC) abilitata.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • tracciato da 5.5.0 a 5.6.0
  • Librerie R aggiornate:
    • base da 4.1.2 a 4.1.3
    • cursore da 6.0-90 a 6.0-91
    • cluster dalla versione 2.1.2 alla versione 2.1.3
    • segno comune da 1.7 a 1.8.0
    • compilatore da 4.1.2 a 4.1.3
    • pastelli da 1.5.0 a 1.5.1
    • set di dati da 4.1.2 a 4.1.3
    • desc da 1.4.0 a 1.4.1
    • fani da 1.0.2 a 1.0.3
    • colla da 1.6.1 a 1.6.2
    • grafica da 4.1.2 a 4.1.3
    • grDevices dalla versione 4.1.2 alla versione 4.1.3
    • griglia da 4.1.2 a 4.1.3
    • magliar da 1.37 a 1.38
    • MASS da 7.3-55 a 7.3-56
    • Matrice da 1.4-0 a 1.4-1
    • metodi da 4.1.2 a 4.1.3
    • mgcv da 1,8-39 a 1,8-40
    • nlme da 3.1-155 a 3.1-157
    • openssl da 1.4.6 a 2.0.0
    • parallelo da 4.1.2 a 4.1.3
    • plyr da 1.8.6 a 1.8.7
    • processx da 3.5.2 a 3.5.3
    • r2d3 da 0.2.5 a 0.2.6
    • Rcpp da 1.0.8 a 1.0.8.3
    • rlang da 1.0.1 a 1.0.2
    • rmarkdown da 2.11 a 2.13
    • RSQLite da 2.2.10 a 2.2.11
    • sass da 0.4.0 a 0.4.1
    • spline da 4.1.2 a 4.1.3
    • statistiche da 4.1.2 a 4.1.3
    • stats4 da 4.1.2 a 4.1.3
    • tcltk da 4.1.2 a 4.1.3
    • strumenti da 4.1.2 a 4.1.3
    • Utilità dalla versione 4.1.2 alla versione 4.1.3
    • uuid da 1.0-3 a 1.0-4
    • waldo da 0.3.1 a 0.4.0
    • withr dalla versione 2.4.3 alla versione 2.5.0
    • xfun da 0.29 a 0.30
  • Librerie Java aggiornate:
    • com.h2database.h2 da 1.4.195 a 2.1.210
    • org.apache.hadoop.hadoop-client-api da 3.3.1-databricks a 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime da 3.3.1 a 3.3.2
    • org.rocksdb.rocksdbjni da 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.4 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38354] [SC-97886] Annullare “[SQL] Aggiunto la metrica dei probe hash per l'hash casuale join”
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrumentare il modulo SQL PySpark con logger di utilizzo generale
  • [SPARK-38333] [SQL] L'espressione PlanExpression deve ignorare la funzione addExprTree in Executor
  • [SPARK-38646] [PYTHON][10.x] Estrarre un tratto per le funzioni Python
  • [SPARK-38674] [PHOTON] Aggiungere una metrica a PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Sostituire il valore trovato con l'elemento non nullo nella list rimanente per la chiave e remove elementi nulli rimanenti da values nell'archivio keyWithIndexToValue per i join tra flusso e flusso
  • [SPARK-38446] [Core] Correzione del deadlock tra ExecutorClassLoader e FileDownloadCallback causato da Log4j
  • [SPARK-38705] [SQL] Utilizzare la funzione identifier nei comandi create e drop function
  • [SPARK-38684] [SS] Correzione del problema di correttezza nel join esterno tra flussi join con il provider dell'archivio stati RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase non è in grado di trovare la riga offset il cui input non è Null
  • [SPARK-38204] [SS] Usare StatefulOpClusteredDistribution per gli operatori con stato rispettando la compatibilità con le versioni precedenti
  • [SPARK-38616] [SQL] Tenere traccia del testo della query SQL in Catalyst TreeNode
  • [SPARK-38600] [SQL] Includere unit nella stringa sql di TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagare i metadati dall'oggetto columns annidato nell'alias
  • [SPARK-38535] [SQL] Aggiungere l'enumerazione datetimeUnit e usarla in TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Update il tipo di risultato di histogram_numeric (x, y) in modo che x sia uguale al tipo di input
  • [SPARK-38148] [SQL] Non aggiungere partition dinamico se esiste un'eliminazione statica partition
  • [SPARK-37527] [SQL] COVAR_POPCompilare e COVAR_SAMPCORR in H2Dialet
  • [SPARK-38510] [SQL] Ripetere classSymbol.selfType per aggirare i riferimenti ciclici
  • [SPARK-38509] [SQL] Annullare la registrazione delle funzioni di TIMESTAMPADD/DIFF e removeDATE_ADD/DIFF
  • [SPARK-38504] [SQL] Impossibile leggere TimestampNTZ come TimestampLTZ
  • [SPARK-38526] [SQL] Correzione del nome alias della funzione fuorviante per RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementare il supporto del parser per DEFAULT columnvalues
  • [SPARK-38593] [SS] Passare alla metrica del numero di eventi tardivi eliminati in SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Aggiungi numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restore il comportamento di to_timestamp che consente tipi numerici
  • [SPARK-38481] [SQL] Sostituire l'eccezione di overflow Java da un'eccezione TIMESTAMPADD Spark
  • [SPARK-37753] [SQL] Ottimizzare la logica per abbassare di livello i join hash broadcast in DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH deve supportare sia i tipi stringa che binari
  • [SPARK-38345] [SQL] Introduzione alla funzione SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Migliorare i messaggi di errore dell'istruzione vuota e <EOF> in ParseException
  • [SPARK-37614] [SQL] Supporto della funzione di aggregazione ANSI: regr_avgx e regr_avgy
  • [SPARK-38560] [SQL] Se Sum, Count, Any associato a distinct, non può eseguire un'operazione di scorrimento parziale verso il basso.
  • [SPARK-38360] [SQL][SS][PYTHON] Introdurre una exists funzione per TreeNode eliminare i modelli di codice duplicati
  • [SPARK-38385] [SQL] Migliorare i messaggi di errore dei casi di input non corrispondenti da ANTLR
  • [SPARK-38240] [SQL] Migliorare RuntimeReplaceable e aggiungere una linea guida per l'aggiunta di nuove funzioni
  • [SPARK-38542] [SQL]UnsafeHashedRelation deve serializzare numKeys out
  • [SPARK-38521] [SQL] Passare partitionOverwriteMode da stringa a variabile in Scala
  • [SPARK-38558] [SQL] Remove casting non necessari tra IntegerType e IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly supporta espressioni piegabili
  • [SPARK-38410] [SQL] Supporta la specifica del partition numero iniziale per il ribilanciamento
  • [SPARK-38107] [SQL] Usare classi di errore negli errori di compilazione delle funzioni definite dall'utente python/pandas
  • [SPARK-38354] [SQL] Aggiungere la metrica dei sondaggi hash per lo shuffle hash join
  • [SPARK-38112] [SQL] Usare classi di errore negli errori di esecuzione della gestione di data/timestamp
  • [SPARK-38361] [SQL] Aggiungere il metodo getConnection factory in JDBCDialect.
  • [SPARK-37865] [SQL] Correzione del bug di correzione della correzione della deduplicazione dell'unione
  • [SPARK-38298] [SQL][Test] Correzione di DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite in modalità ANSI
  • [SPARK-38407] [SQL] Cast ANSI: allentare la limitazione del cast di tipi complessi non Null
  • [SPARK-38352] [SQL] Correzione del dataframeAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite in modalità ANSI
  • [SPARK-38054] [SQL] Supporta i namespace list nel dialetto MySQL JDBC v2
  • [SPARK-37960] [SQL] Un nuovo framework per rappresentare espressioni catalizzatori nelle API DS v2
  • [SPARK-38103] [SQL] Eseguire la migrazione degli errori di analisi della trasformazione nel nuovo framework degli errori
  • [SPARK-38519] [SQL] L'eccezione generata da AQE deve rispettare SparkFatalException
  • [SPARK-38528] [SQL] Eseguire con impazienza un'iterazione sulla sequenza di aggregazione durante la compilazione di list del progetto in ExtractGenerator
  • [SPARK-38320] [SS] Correzione del timeout flatMapGroupsWithState in batch con i dati per la chiave
  • [SPARK-38442] [SQL] Correzione di ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite in modalità ANSI
  • [SPARK-38268] [SQL] Nascondere il campo "failOnError" nel metodo toString di Abs/CheckOverflow
  • [SPARK-37949] [SQL] Migliorare la stima delle statistiche di ribilanciamento
  • [SPARK-38450] [SQL] Correggere HiveQuerySuite//PushFoldableIntoBranchesSuite/TrasposizioneWindowSuite in modalità ANSI
  • [SPARK-38501] [SQL] Correggere gli errori di test thriftserver in modalità ANSI
  • [SPARK-37895] [SQL] Eseguire il push verso il basso column con columns tra virgolette
  • [SPARK-38449] [SQL] Evitare di chiamare createTable quando ignoreIfExists=true e table esiste
  • [SPARK-38406] [SQL] Migliorare le prestazioni di ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Estrarre il generatore dall'espressione GeneratorOuter contenuta da un operatore Generate.
  • [SPARK-38309] [CORE] Correggere le metriche SHS shuffleTotalReads e shuffleTotalBlocks percentile
  • [SPARK-38412] [SS] Correggere la sequenza scambiata di da e a in StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Sostituire le corrispondenze dei criteri nelle espressioni booleane con istruzioni condizionali
  • [SPARK-38104] [SQL] Eseguire la migrazione degli errori di analisi di window nel nuovo framework degli errori
  • [SPARK-38434] [SQL] Semantica corretta del metodo CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Impossibile avviare l'elaborazione SS perché il com...
  • [SPARK-38378] [SQL] Refactoring della definizione della grammatica ANTLR in file Parser e Lexer separati
  • [SPARK-37475] [SQL] Aggiungere il parametro di scala alle funzioni floor e ceil
  • [SPARK-38411] [CORE] Usare UTF-8 quando doMergeApplicationListingInternal legge i registri eventi
  • [SPARK-36553] [ML] KMeans evita le statistiche ausiliarie di calcolo per K di grandi dimensioni
  • [SPARK-38393] [SQL] Pulire l'utilizzo deprecato di GenSeq/GenMap
  • [SPARK-38389] [SQL] Aggiungere gli DATEDIFF() alias e DATE_DIFF() per TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Correzione del calcolo del peso della cache dell'indice casuale per i file di indice di piccole dimensioni
  • [SPARK-38353] [PYTHON] Instrumentare i metodi magic enter e exit per l'API Pandas in Spark
  • [SPARK-38323] [SQL][Streaming] Supportare i metadati dei file nascosti in Streaming
  • [SPARK-38138] [SQL] Materializzare sottoquery QueryPlan
  • [SPARK-38094] Abilitare la corrispondenza dei nomi tramite ID campo schemacolumn
  • [SPARK-37923] [SQL] Generatepartition trasformazioni di BucketSpec nel parser
  • [SPARK-38363] [SQL] Evitare errori di runtime in Dataset.summary()/Dataset.describe() quando la modalità ANSI è attivata
  • [SPARK-38284] [SQL] Aggiungere la TIMESTAMPDIFF() funzione
  • [SPARK-38251] [SQL] Modificare Cast.toString come "cast" anziché "ansi_cast" in modalità ANSI
  • [SPARK-38314] [SQL] Correzione della mancata lettura dei file Parquet dopo la scrittura dei metadati nascosti nel file

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.5.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Librerie Python installate

Library Versione Library Versione Library Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facet-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 Psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
pygobject 3.36.0 pyparsing 2.4.7 pirsistente 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-03-28.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 Scopa 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compilatore 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 dati.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
puntini di sospensione 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafica 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 Etichettatura 0.4.2
later 1.3.0 Lattice 0.20-45 Java 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matrice 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 Concetto fondamentale 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.3
prodlim 2019.11.13 Avanzamento 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
ricette 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
Scalabilità 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spaziale 7.3-11
Spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
UTF8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0.4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shim 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet codifica parquet 1.12.0-databricks-0004
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1