Condividi tramite

Databricks Runtime 11.3 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.3 LTS, con tecnologia Apache Spark 3.3.0. Databricks ha rilasciato questa versione nell'ottobre 2022.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Modifiche comportamentali

[Modifica di rilievo] La nuova versione di Python richiede l'aggiornamento dei client Python V1 di Databricks Connect

Nota

Un aggiornamento successivo sposta la versione di Python in Databricks Runtime 11.3 LTS alla versione 3.9.21. La versione 3.9.21 non introduce modifiche comportamentali.

Per applicare le patch di sicurezza necessarie, la versione di Python in Databricks Runtime 11.3 LTS viene aggiornata dalla versione 3.9.5 alla versione 3.9.19. Poiché queste modifiche possono causare errori nei client che usano funzioni PySpark specifiche, tutti i client che usano Databricks Connect V1 per Python con Databricks Runtime 11.3 LTS devono essere aggiornati a Python 3.9.7 o versione successiva.

Miglioramenti e nuove funzionalità

Python aggiornato dalla versione 3.9.19 alla versione 3.9.21

La versione di Python in Databricks Runtime 11.3 LTS viene aggiornata dalla versione 3.9.19 alla versione 3.9.21.

Trigger Structured Streaming una volta deprecato

L'impostazione Trigger.Once è stata deprecata. Databricks consiglia di usare Trigger.AvailableNow. Vedere Configurare gli intervalli di trigger del flusso strutturato.

Modificare il percorso di origine per Il caricatore automatico

È ora possibile modificare il percorso di input della directory per Auto Loader configurato con la modalità di elenco delle directory senza scegliere una nuova directory di checkpoint. Vedere Modificare il percorso di origine per Il caricatore automatico.

Il connettore Databricks Oggigiorno supporta ora la lettura dai flussi di dati di Oggigiornos in modalità EFO

È ora possibile usare l'origine di streaming strutturata Databricks Jsons in Databricks Runtime 11.3 LTS per eseguire query che leggono dai flussi di dati di Oggigiornos in modalità fan-out avanzata. In questo modo è possibile una velocità effettiva dedicata per partizione, per consumer e recapito di record in modalità push.

Nuove funzioni geospaziali H3 e supporto Photon aggiunto per tutte le funzioni H3

Introduzione di 4 nuove funzioni H3, h3_maxchild, h3_minchild, h3_pointash3e h3_pointash3string. Queste funzioni sono disponibili in SQL, Scala e Python. Tutte le espressioni H3 sono ora supportate in Photon. Si veda Funzioni geospaziali H3.

Nuove funzionalità per l'I/O predittivo

Photon supporta la modalità di intervallo per l'esecuzione di fotogrammi, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon supporta anche la modalità di intervallo per i fotogrammi in crescita, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumento delle partizioni iniziali da analizzare per le query selettive

Il valore delle partizioni iniziali da analizzare è stato aumentato a 10 per le query selettive con take/tail/limit nei cluster abilitati per Photon e LIMIT in Databricks SQL. Con 10 partizioni, è possibile evitare il sovraccarico di avvio di più processi di piccole dimensioni e un aumento delle prestazioni lento. È anche possibile configurare questa operazione tramite spark.sql.limit.selectiveInitialNumPartitions.

Nuova visualizzazione delle versioni del piano AQE

Introduzione alle versioni del piano AQE che consentono di visualizzare gli aggiornamenti del piano di runtime dall'esecuzione di query adattive (AQE).

Nuove modalità asincrone di rilevamento dello stato di avanzamento e eliminazione dei log

Introduzione alle modalità Structured Streaming denominata rilevamento asincrono dello stato di avanzamento e eliminazione asincrona dei log. La modalità di eliminazione asincrona dei log riduce la latenza delle query di streaming rimuovendo i log usati per il rilevamento dello stato in background.

Il flusso di streaming strutturato su Unity Catalog ora supporta display()

È ora possibile usare display() quando si usa Structured Streaming per lavorare con le tabelle registrate in Unity Catalog.

Gli eventi della pipeline vengono ora registrati in formato JSON

Azure Databricks scrive ora gli eventi della pipeline nel log del driver in formato JSON. Anche se ogni evento sarà analizzabile da JSON, gli eventi di grandi dimensioni potrebbero non contenere tutti i campi o i campi potrebbero essere troncati. Ogni evento viene registrato in una singola riga con il prefisso Event received: . Di seguito è riportato un evento di esempio.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Elaborazione arbitraria con stato in Structured Streaming con Python

Introduzione alla applyInPandasWithState funzione che può essere usata per eseguire l'elaborazione arbitraria con stato in PySpark. Equivale alla flatMapGroupsWithState funzione nell'API Java.

Inferenza data nei file CSV

Introduzione di un'inferenza migliorata delle colonne di tipo data nei file CSV. Quando il formato della data è coerente tra i record di una colonna, tali colonne possono essere interpretate come DateType. È anche possibile avere una combinazione di formati di data tra colonne diverse. Azure Databricks può dedurre automaticamente il formato della data per ogni colonna. Le colonne di data nei file CSV precedenti a Databricks Runtime 11.3 LTS vengono lasciate come StringType.

Supporto per clonare le tabelle Apache Parquet e Apache Iceberg (anteprima pubblica)

È ora possibile usare clone per creare e aggiornare in modo incrementale le tabelle Delta che esegono il mirroring delle tabelle Apache Parquet e Apache Iceberg. È possibile aggiornare la tabella Parquet di origine e applicare in modo incrementale le modifiche alla tabella Delta clonata con il comando clone. Consulta la clonazione incrementale delle tabelle Parquet e Iceberg in Delta Lake.

Usare SQL per specificare percorsi di archiviazione a livello di schema e catalogo per le tabelle gestite del catalogo Unity

È ora possibile usare il comando SQL MANAGED LOCATION per specificare un percorso di archiviazione cloud per le tabelle gestite a livello di catalogo e schema. Vedere CREATE CATALOG e CREATE SCHEMA.

Modifiche del comportamento

Databricks Connect 11.3.2

L'aggiornamento client di Databricks Connect 11.3.2 è ora supportato. Vedere le note sulla versione di Databricks Connect e Databricks Connect.

Aggiornamento del connettore Snowflake di Azure Databricks

Il connettore Azure Databricks Snowflake è stato aggiornato alla versione più recente del codice dal repository open source Snowflake Data Source per Apache Spark. È ora completamente compatibile con Databricks Runtime 11.3 LTS, incluso il pushdown del predicato e il pushdown del piano di query interno mantenendo tutte le funzionalità della versione open source.

La cache Hadoop per S3A è ora disabilitata

La cache Hadoop (API Principale 3.3.4 di Apache Hadoop FileSystem) per S3A è ora disabilitata. Questo è l'allineamento con altri connettori di archiviazione cloud. Per i carichi di lavoro che si basano sulla memorizzazione nella cache del file system, assicurarsi che i file system appena creati siano forniti con le configurazioni Hadoop corrette, inclusi i provider di credenziali.

Lo schema della raccolta di statistiche Delta Lake corrisponde ora all'ordine delle colonne nella definizione dello schema di tabella

Questa modifica risolve un bug nel protocollo Delta Lake in cui le statistiche non sono state raccolte per le colonne a causa di una mancata corrispondenza nell'ordinamento dei dataframe e delle colonne della tabella. In alcuni casi, è possibile che si verifichi una riduzione delle prestazioni di scrittura a causa della raccolta di statistiche sui campi non registrati in precedenza. Vedere Skipping dei dati per Delta Lake.

applyInPandasWithState genera un errore se la query ha una sequenza casuale dopo l'operatore

L'operatore applyInPandasWithState genera un errore se la query ha shuffle dopo l'operatore . Ciò si verifica quando l'utente aggiunge shuffle dopo l'operazione o l'utilità di ottimizzazione o il sink aggiunge shuffle in modo implicito.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • distlib da 0.3.5 a 0.3.6
  • Librerie R aggiornate:
    • scopa da 1.0.0 a 1.0.1
    • chiamante dalla versione 3.7.1 alla versione 3.7.2
    • dplyr da 1.0.9 a 1.0.10
    • dtplyr da 1.2.1 a 1.2.2
    • forcat da 0.5.1 a 0.5.2
    • futuro da 1.27.0 a 1.28.0
    • future.apply dalla versione 1.9.0 alla versione 1.9.1
    • gert da 1.7.0 a 1.8.0
    • globals da 0.16.0 a 0.16.1
    • gtable da 0.3.0 a 0.3.1
    • haven from 2.5.0 to 2.5.1
    • hms da 1.1.1 a 1.1.2
    • httr da 1.4.3 a 1.4.4
    • magliare da 1,39 a 1,40
    • modelr da 0.1.8 a 0.1.9
    • pilastro da 1.8.0 a 1.8.1
    • progressr da 0.10.1 a 0.11.0
    • readxl da 1.4.0 a 1.4.1
    • repository da 2.0.1 a 2.0.2
    • rlang da 1.0.4 a 1.0.5
    • rmarkdown da 2.14 a 2.16
    • RSQLite da 2.2.15 a 2.2.16
    • rstudioapi da 0.13 a 0.14
    • versioni da 2.1.1 a 2.1.2
    • rvest da 1.0.2 a 1.0.3
    • scala da 1.2.0 a 1.2.1
    • sparklyr da 1.7.7 a 1.7.8
    • stringr da 1.4.0 a 1.4.1
    • sopravvivenza da 3,2-13 a 3,4-0
    • tinytex da 0,40 a 0,41
    • viridisLite da 0.4.0 a 0.4.1
  • Librerie Java aggiornate:
    • com.fasterxml.jackson.core.jackson-annotations da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.core.jackson-core da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.core.jackson-databind da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.3 a 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.3 a 2.13.4
    • org.apache.hadoop.hadoop-client-api da 3.3.2-databricks a 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime da 3.3.2 a 3.3.4
    • org.apache.orc.orc-core da 1.7.5 a 1.7.6
    • org.apache.orc.orc-mapreduce da 1.7.5 a 1.7.6
    • org.apache.orc.orc-shims da 1.7.5 a 1.7.6
    • org.apache.parquet.parquet-column da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.common da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.encoding da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet-format-structures da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet.hadoop da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.apache.parquet-jackson da 1.12.0-databricks-0004 a 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet da 2.34 a 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core da 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-client da 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-common da 2.34 a 2.36
    • org.glassfish.jersey.core.jersey-server da 2.34 a 2.36
    • org.glassfish.jersey.inject.jersey-hk2 da 2.34 a 2.36

Apache Spark

Databricks Runtime 11.3 LTS include Apache Spark 3.3.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 11.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Ritarda onDisconnected per consentire al Driver di ricevere ExecutorExitCode
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] Migliorare il processo LaunchTask per evitare errori di fase causati da messaggi LaunchTask non riusciti
  • [SPARK-40474] [SC-106248][cherry-pick] Correggere il comportamento di inferenza dello schema CSV per le colonne datetime e introdurre il rilevamento automatico per i campi Data
  • [SPARK-40535] [SC-111243][sql] Correzione del bug per cui il buffer di AggregatingAccumulator non verrà creato se le righe di input sono vuote
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] ImplementInPandasWithState in PySpark
  • [SPARK-40460] [SC-110832][ss] Correzione delle metriche di streaming quando si seleziona _metadata
  • [SPARK-40324] [SC-109943][sql] Fornire un contesto di query di ParseException
  • [SPARK-40466] [SC-110899][ss] Migliorare il messaggio di errore quando DSv2 è disabilitato mentre DSv1 non è disponibile
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext dovrebbe essere economico da chiamare ripetutamente
  • [SPARK-40169] [SC-110772][sql] Non eseguire il push dei filtri Parquet senza riferimenti allo schema dei dati
  • [SPARK-40467] [SC-110759][ss] Suddividere FlatMapGroupsWithState in più suite di test
  • [SPARK-40468] [SC-110813][sql] Correzione dell'eliminazione delle colonne in CSV quando si seleziona _corrupt_record
  • [SPARK-40291] [SC-110085][sql] Migliorare il messaggio per la colonna non nel gruppo per errore della clausola
  • [SPARK-40398] [SC-110762][core][SQL] Usare il ciclo anziché utilizzare l'API di Arrays.stream
  • [SPARK-40433] [SC-110684][ss][PYTHON] Aggiungere toJVMRow in PythonSQLUtils per convertire una riga PySpark serializzata in una riga JVM.
  • [SPARK-40414] [SC-110568][sql][PYTHON] Tipo più generico in PythonArrowInput e PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Aggiungere alias di funzione: len, datepart, dateadd, date_diff e curdate
  • [SPARK-40470] [SC-110761][sql] Gestire GetArrayStructFields e GetMapValue nella funzione "arrays_zip"
  • [SPARK-40387] [SC-110685][sql] Migliorare l'implementazione di Spark Decimal
  • [SPARK-40429] [SC-110675][sql] Set KeyGroupedPartitioning solo quando la colonna a cui si fa riferimento si trova nell'output
  • [SPARK-40432] [SC-110716][ss][PYTHON] Introdurre GroupStateImpl e GroupStateTimeout in PySpark
  • [SPARK-39915] [SC-110496][sql] Assicurarsi che il partizionamento dell'output sia specificato dall'utente in AQE
  • [SPARK-29260] [SQL] Supporto ALTER DATABASE SET LOCATION se HMS supporta
  • [SPARK-40185] [SC-110056][sql] Rimuovere il suggerimento di colonna quando l'elenco dei candidati è vuoto
  • [SPARK-40362] [SC-110401][sql] Risoluzione della canonizzazione di BinaryComparison
  • [SPARK-40411] [SC-110381][ss] Rifattorizzazione di FlatMapGroupsWithStateExec per avere un'interfaccia padre
  • [SPARK-40293] [SC-110084][sql] Rendere il messaggio di errore della tabella V2 più significativo
  • [SPARK-38734] [SC-110383][sql] Rimuovere la classe di errore INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Correggere i nomi delle colonne nella funzione "arrays_zip" quando si fa riferimento agli array da struct annidati
  • [SPARK-40276] [SC-109674][core] Ridurre le dimensioni del risultato di RDD.takeOrdered (funzione per l'ordinamento)
  • [SPARK-40197] [SC-109176][sql] Sostituire il piano di query con il contesto per MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Eseguire la migrazione alla classe di errore DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][sql] Propagare le colonne dei metadati tramite Project
  • [SPARK-40280] [SC-110146][sql] Aggiungere il supporto per il push down parquet per int e long annotati
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Non restituire la mappa vuota dei parametri del messaggio di errore
  • [SPARK-40295] [SC-110070][sql] Consenti funzioni v2 con argomenti testuali nella distribuzione e ordinamento di scrittura
  • [SPARK-40156] [SC-109264][sql] url_decode() deve restituire una classe di errore
  • [SPARK-39195] [SQL] OutputCommitCoordinator Spark deve interrompere la fase di interruzione quando il file di cui è stato eseguito il commit non è coerente con lo stato dell'attività
  • [SPARK-40260] [SC-109424][sql] Usare classi di errore negli errori di compilazione di GROUP BY una posizione
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Fornire un contesto di una query di ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] Migliorare la funzione TO_BINARY()
  • [SPARK-40209] [SC-109081][sql] Non modificare il valore dell'intervallo decimale in changePrecision() in caso di errori
  • [SPARK-40319] [SC-109873][sql] Rimuovere il metodo di errore di esecuzione duplicato della query per PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Le operazioni numeriche try_add/try_divide/try_subtract/try_multiply devono sollevare errori dai loro sottoelementi.
  • [SPARK-40183] [SC-108907][sql] Utilizzare la classe di errore NUMERIC_VALUE_OUT_OF_RANGE per l'overflow nella conversione decimale
  • [SPARK-40180] [SC-109069][sql] Formattare i messaggi di errore per spark-sql
  • [SPARK-40153] [SC-109165][sql] Unifica le funzioni di risoluzione e le funzioni che restituiscono tabelle
  • [SPARK-40308] [SC-109880][sql] Consenti argomenti delimitatori non piegabili per str_to_map funzione
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Il piano logico di visualizzazione risolto deve contenere lo schema per evitare ricerche ridondanti
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Formattare i messaggi di errore nel server Thrift
  • [SPARK-39917] [SC-109038][sql] Usare classi di errore diverse per l'overflow aritmetico di numeri/intervalli
  • [SPARK-40033] [SC-109875][sql] Supporto per l'eliminazione annidata dello schema tramite element_at
  • [SPARK-40194] [SC-109660][sql] Funzione SPLIT su regex vuota deve troncare la stringa vuota finale.
  • [SPARK-40228] [SC-109835][sql] Non semplificare multiLike se figlio non è un'espressione economica
  • [SPARK-40039] [SC-109896][sc-109260][SS] Introduzione di una gestione file di checkpoint di streaming basata sull'interfaccia Abortable di Hadoop
  • [SPARK-40285] [SC-109679][sql] Semplificare le roundTo[Numeric] per Spark Decimal
  • [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison dovrebbe funzionare quando il valore letterale del downcast In/InSet non è riuscito
  • [SPARK-40040] [SC-109662][sql] Applicare il limite locale su entrambi i lati se la condizione di join è vuota
  • [SPARK-40055] [SC-109075][sql] listCatalogs dovrebbe restituire anche spark_catalog, anche quando l'implementazione di spark_catalog è defaultSessionCatalog.
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) potrebbe non creare N partizioni nella parte non AQE
  • [SPARK-40207] [SC-109401][sql] Specificare il nome della colonna quando il tipo di dati non è supportato dall'origine dati
  • [SPARK-40245] [SC-109295][sql] Correzione del controllo di uguaglianza fileScan quando le colonne del filtro dati o della partizione non vengono lette
  • [SPARK-40113] [SC-109405][sql] Implementazioni dell'interfaccia DataSourceV2 di Reactor ParquetScanBuilder
  • [SPARK-40211] [SC-109226][core][SQL] Consenti la personalizzazione del numero di partizioni iniziali nel comportamento take()
  • [SPARK-40252] [SC-109379][sql] Sostituire Stream.collect(Collectors.joining) con StringJoiner API
  • [SPARK-40247] [SC-109272][sql] Correzione del controllo di uguaglianza BitSet
  • [SPARK-40067] [SQL] Usare Table#name() anziché Scan#name() per popolare il nome della tabella nel nodo BatchScan in SparkUI
  • [SPARK-39966] [SQL] Usare il filtro V2 in SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Distribuzione e ordinamento supportano la funzione V2 nella scrittura
  • [SPARK-40224] [SC-109271][sql] Rilasciare la memoria di ObjectHashAggregateExec prontamente quando si passa al fallback basato sull'ordinamento.
  • [SPARK-40013] [SQL] Le espressioni DS V2 devono avere l'impostazione predefinita toString
  • [SPARK-40214] [SC-109079][python][SQL] aggiungere 'get' alle funzioni
  • [SPARK-40192] [SC-109089][sql][ML] Rimuovere il groupby ridondante
  • [SPARK-40146] [SC-108694][sql] Semplificare la generazione di codice per ottenere il valore di una mappa
  • [SPARK-40109] [SQL] Nuova funzione SQL: get()
  • [SPARK-39929] [SQL] DS V2 supporta funzioni stringa push-down (non ANSI)
  • [SPARK-39819] [SQL] Il push verso il basso dell'aggregazione DS V2 può essere eseguito con top N o paging (ordinamento con espressioni)
  • [SPARK-40213] [SC-109077][sql] Supporto della conversione dei valori ASCII per i caratteri Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
  • [SPARK-39764] [SQL] Rendere PhysicalOperation uguale a ScanOperation
  • [SPARK-39964] [SQL] Il pushdown di DS V2 deve unificare il percorso di conversione
  • [SPARK-39528] [SQL] Usare il filtro V2 in SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] modalità ANSI: restituisce sempre Null in caso di accesso non valido alla colonna di mapping
  • [SPARK-39912] [SPARK-39828][sql] Perfezionare CatalogImpl
  • [SPARK-39833] [SC-108736][sql] Disabilitare l'indice di colonna Parquet in DSv1 per risolvere un problema di correttezza nel caso di colonne di dati e partizione sovrapposte
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS comando deve stampare il nome di funzione qualificato come v1
  • [SPARK-39767] [SQL] Rimuovere UnresolvedDBObjectName e aggiungere UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(mappa)
  • [SPARK-40136] [SQL] Correggere il frammento di contesti di query SQL
  • [SPARK-40107] [SC-108689][sql] Estrarre la conversione da vuoto a nullo da FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Inizializzare la proiezione usata per la UDF (funzione definita dall'utente) Python
  • [SPARK-40128] [SQL] Rendere vectorizedColumnReader riconoscere DELTA_LENGTH_BYTE_ARRAY come codifica di colonna autonoma
  • [SPARK-40132] [ML] Ripristinare rawPredictionCol in MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Migliorare EliminateSorts per supportare la rimozione degli ordinamenti tramite LocalLimit
  • [SPARK-39629] [SQL] Supporto v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Aggiungere overload array_sort(column, comparator) alle operazioni del DataFrame
  • [SPARK-40117] [PYTHON][sql] Convertire la condizione in Java in DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Migliorare la ripartizione in ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Aggiungere il nome del catalogo sessione per la tabella e la funzione del database v1
  • [SPARK-39889] [SQL] Usare classi di errore diverse per l'intervallo/numerico diviso per 0
  • [SPARK-39741] [SQL] Supportare la codifica/decodifica dell'URL come funzione predefinita e riordinare le funzioni correlate all'URL
  • [SPARK-40102] [SQL] Usare SparkException anziché IllegalStateException in SparkPlan
  • [SPARK-40014] [SQL] Supporto del cast di decimali a intervalli ANSI
  • [SPARK-39776] [SQL][follow] Aggiornamento UT di PlanStabilitySuite in modalità ANSI
  • [SPARK-39963] [SQL] Semplificare SimplifyCasts.isWiderCast

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 11.3.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Delta Lake: 2.1.0

Librerie Python installate

Library Versione Library Versione Library Versione
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.3 cryptography 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0.3 facet-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.4.5 numpy 1.20.3
packaging 21.0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
aggiornamenti automatici 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-09-08. Lo snapshot non è più disponibile.

Library Versione Library Versione Library Versione
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 Scopa 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compilatore 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credenziali 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 puntini di sospensione 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
generics 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafica 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1,40 Etichettatura 0.4.2 later 1.3.0
Lattice 0.20-45 Java 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrice 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 Concetto fondamentale 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Avanzamento 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
ricette 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
Scalabilità 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spaziale 7.3-11
Spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 Sopravvivenza 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 UTF8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow freccia-vettore 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shim 1.7.6
org.apache.parquet colonna parquet 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet codifica parquet 1.12.0-databricks-0007
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Spessori 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark inutilizzato 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1