Condividi tramite

Databricks Runtime 14.0 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio di Databricks Runtime: versioni e compatibilità.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.0, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione a settembre 2023.

Miglioramenti e nuove funzionalità

Il rilevamento delle righe è disponibile a livello generale

Il rilevamento delle righe per Delta Lake è ora disponibile a livello generale. Vedi Usare il rilevamento delle righe per le tabelle Delta.

L’I/O predittivo per gli aggiornamenti è disponibile a livello generale

L'I/O predittivo per gli aggiornamenti è ora disponibile a livello generale. Vedere Che cos'è l'I/O predittivo?.

I vettori di eliminazione sono disponibili a livello generale

I vettori di eliminazione sono ora disponibili a livello generale. Si veda Che cosa sono i vettori di eliminazione?.

Spark 3.5.0 è in disponibilità generale

Apache Spark 3.5.0 è ora disponibile a livello generale. Vedere Spark Release 3.5.0.

Anteprima pubblica per le funzioni di tabella definite dall'utente per Python

Le funzioni di tabella definite dall'utente consentono di registrare funzioni che restituiscono tabelle anziché valori scalari. Vedere Funzioni di tabella definite dall'utente python (UDF) .

Anteprima pubblica per la concorrenza a livello di riga

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga e risolvendo automaticamente le modifiche concorrenti nelle scritture simultanee che aggiornano o eliminano righe diverse nello stesso file di dati. Vedere Conflitti di scrittura con concorrenza a livello di riga.

La directory di lavoro corrente predefinita è stata modificata

La directory di lavoro corrente predefinita (CWD) per il codice eseguito in locale è ora la directory contenente il notebook o lo script in esecuzione. Sono inclusi codice come %sh e codice Python o R che non usano Spark. Consulta Qual è la directory di lavoro corrente predefinita?.

Problema noto con sparklyr

La versione installata del sparklyr pacchetto (versione 1.8.1) non è compatibile con Databricks Runtime 14.0. Per usare sparklyr, installare la versione 1.8.3 o successiva.

Introduzione a Spark Connect nell'architettura del cluster condiviso

Con Databricks Runtime 14.0 e versioni successive, i cluster condivisi ora usano Spark Connect con il driver Spark da Python REPL per impostazione predefinita. Le API Spark interne non sono più accessibili dal codice utente.

Spark Connect interagisce ora con il driver Spark da REPL, invece dell'integrazione REPL legacy.

Elencare gli aggiornamenti dell'API delle versioni di Spark disponibili

Abilita Photon impostando runtime_engine = PHOTON e attiva aarch64 scegliendo un tipo di istanza Graviton. Azure Databricks imposta la versione corretta di Databricks Runtime. In precedenza, l'API della versione di Spark restituirà runtime specifici dell'implementazione per ogni versione. Vedere GET /api/2.0/clusters/spark-versions nella guida di riferimento all'API REST.

Modifiche di rilievo

In Databricks Runtime 14.0 e versioni successive, i cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso) usano Spark Connect per la comunicazione client-server. Sono incluse le modifiche seguenti.

Per altre informazioni sulle limitazioni della modalità di accesso standard, vedere Limitazioni della modalità di accesso alle risorse di calcolo per Unity Catalog.

Python nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

  • sqlContext non è disponibile. Azure Databricks consiglia di usare la spark variabile per l'istanza SparkSession .
  • Spark Context (sc) non è più disponibile nei Notebooks o quando si usa Databricks Connect in un cluster con la modalità di accesso standard. Le funzioni seguenti sc non sono più disponibili:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • La funzionalità Informazioni set di dati non è più supportata.
  • Non esiste più una dipendenza dalla JVM quando si eseguono query su Apache Spark e, di conseguenza, le API interne correlate alla JVM, ad esempio _jsc, _jconf_jvm_jsparkSession_jreader_jc_jseq_jdf, , , _jmap, e _jcols non sono più supportate.
  • Quando si accede ai valori di configurazione usando spark.conf solo valori di configurazione di runtime dinamici sono accessibili.
  • I comandi di analisi DLT non sono ancora supportati nei cluster condivisi.

Delta nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

  • In Python non esiste più una dipendenza da JVM durante l'esecuzione di query su Apache Spark. Le API interne correlate a JVM, ad esempio DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, e DeltaOptimizeBuilder._jbuilder non sono più supportate.

SQL nei cluster con modalità di accesso standard (in precedenza modalità di accesso condiviso)

  • DBCACHE e i comandi DBUNCACHE non sono più supportati.
  • Rari casi d'uso come cache table db as show databases non sono più supportati.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • asttokens dalla versione 2.2.1 alla 2.0.5
    • attrs versioni da 21.4.0 a 22.1.0
    • botocore da 1.27.28 a 1.27.96
    • Certifi dal 2022.9.14 al 2022.12.7
    • crittografia da 37.0.1 a 39.0.1
    • debugpy dalla versione 1.6.0 alla versione 1.6.7
    • docstring-to-markdown da 0.12 a 0.11
    • esecuzione da 1.2.0 a 0.8.3
    • facets-overview dalla versione 1.0.3 alla versione 1.1.1
    • googleapis-common-protos da 1.56.4 a 1.60.0
    • grpcio da 1.48.1 a 1.48.2
    • idna da 3.3 a 3.4
    • ipykernel da 6.17.1 a 6.25.0
    • ipython da 8.10.0 a 8.14.0
    • Jinja2 da 2.11.3 a 3.1.2
    • jsonschema da 4.16.0 a 4.17.3
    • jupyter_core dalla versione 4.11.2 alla versione 5.2.0
    • kiwisolver da 1.4.2 a 1.4.4
    • MarkupSafe da 2.0.1 a 2.1.1
    • matplotlib da 3.5.2 a 3.7.0
    • nbconvert da 6.4.4 a 6.5.4
    • nbformat da 5.5.0 a 5.7.0
    • nest-asyncio da 1.5.5 a 1.5.6
    • notebook dalla versione 6.4.12 alla versione 6.5.2
    • numpy da 1.21.5 a 1.23.5
    • imballaggio da 21.3 a 22.0
    • pandas da 1.4.4 a 1.5.3
    • pathspec da 0.9.0 a 0.10.3
    • patsy da 0.5.2 a 0.5.3
    • Cuscino da 9.2.0 a 9.4.0
    • pip da 22.2.2 a 22.3.1
    • protobuf da 3.19.4 a 4.24.0
    • pytoolconfig da 1.2.2 a 1.2.5
    • pytz dal 2022.1 al 2022.7
    • s3transfer da 0.6.0 a 0.6.1
    • seaborn da 0.11.2 a 0.12.2
    • setuptools da 63.4.1 a 65.6.3
    • soupsieve da 2.3.1 a 2.3.2.post1
    • stack-data da 0.6.2 a 0.2.0
    • statsmodels da 0.13.2 a 0.13.5
    • terminado da 0.13.1 a 0.17.1
    • traitlets da 5.1.1 a 5.7.1
    • typing_extensions dalla versione 4.3.0 alla versione 4.4.0
    • urllib3 da 1.26.11 a 1.26.14
    • virtualenv da 20.16.3 a 20.16.7
    • ruota da 0.37.1 a 0.38.4
  • Librerie R aggiornate:
    • freccia da 10.0.1 a 12.0.1
    • base da 4.2.2 a 4.3.1
    • BLOB da 1.2.3 a 1.2.4
    • scopa da 1.0.3 a 1.0.5
    • bslib da 0.4.2 a 0.5.0
    • cachem da 1.0.6 a 1.0.8
    • cursore da 6.0-93 a 6.0-94
    • chron da 2.3-59 a 2.3-61
    • classe da 7.3-21 a 7.3-22
    • cli dalla versione 3.6.0 alla versione 3.6.1
    • orologio dalla versione 0.6.1 alla versione 0.7.0
    • commonmark da 1.8.1 a 1.9.0
    • compilatore da 4.2.2 a 4.3.1
    • cpp11 da 0.4.3 a 0.4.4
    • curl da 5.0.0 a 5.0.1
    • data.table da 1.14.6 a 1.14.8
    • set di dati da 4.2.2 a 4.3.1
    • dbplyr da 2.3.0 a 2.3.3
    • digest da 0.6.31 a 0.6.33
    • downlit da 0.4.2 a 0.4.3
    • dplyr da 1.1.0 a 1.1.2
    • dtplyr da 1.2.2 a 1.3.1
    • valutare da 0,20 a 0,21
    • fastmap da 1.1.0 a 1.1.1
    • fontawesome aggiornato da 0.5.0 a 0.5.1
    • fs da 1.6.1 a 1.6.2
    • futuro da 1.31.0 a 1.33.0
    • future.apply dalla versione 1.10.0 alla versione 1.11.0
    • gargle da 1.3.0 a 1.5.1
    • ggplot2 da 3.4.0 a 3.4.2
    • gh da 1.3.1 a 1.4.0
    • glmnet da 4.1-6 a 4.1-7
    • Googledrive da 2.0.0 a 2.1.1
    • Googlesheets4 da 1.0.1 a 1.1.1
    • grafica da 4.2.2 a 4.3.1
    • grDevices da 4.2.2 a 4.3.1
    • griglia da 4.2.2 a 4.3.1
    • gtable da 0.3.1 a 0.3.3
    • hardhat da 1.2.0 a 1.3.0
    • haven da 2.5.1 a 2.5.3
    • hms da 1.1.2 a 1.1.3
    • htmltools da 0.5.4 a 0.5.5
    • htmlwidgets da 1.6.1 a 1.6.2
    • httpuv da 1.6.8 a 1.6.11
    • httr da 1.4.4 a 1.4.6
    • ipred da 0.9-13 a 0.9-14
    • jsonlite da 1.8.4 a 1.8.7
    • KernSmooth da 2.23-20 a 2.23-21
    • knitr da 1.42 a 1.43
    • versioni successive dalla versione 1.3.0 alla 1.3.1
    • reticolo da 0,20-45 a 0,21-8
    • lava da 1.7.1 a 1.7.2.1
    • lubridate da 1.9.1 a 1.9.2
    • markdown da 1.5 a 1.7
    • MASSA da 7.3-58.2 a 7.3-60
    • Matrice da 1.5-1 a 1.5-4.1
    • metodi da 4.2.2 a 4.3.1
    • mgcv da 1,8-41 a 1,8-42
    • aggiornamento di modelr da 0.1.10 a 0.1.11
    • nnet da 7.3-18 a 7.3-19
    • openssl dalla versione 2.0.5 alla versione 2.0.6
    • parallelo da 4.2.2 a 4.3.1
    • parallelamente da 1.34.0 a 1.36.0
    • pilastro da 1.8.1 a 1.9.0
    • pkgbuild da 1.4.0 a 1.4.2
    • pkgload da 1.3.2 a 1.3.2.1
    • pROC da 1.18.0 a 1.18.4
    • processx da 3.8.0 a 3.8.2
    • prodlim dal 2019.11.13 al 2023.03.31
    • profvis da 0.3.7 a 0.3.8
    • ps da 1.7.2 a 1.7.5
    • Rcpp da 1.0.10 a 1.0.11
    • readr dalla versione 2.1.3 alla versione 2.1.4
    • readxl da 1.4.2 a 1.4.3
    • ricette da 1.0.4 a 1.0.6
    • rlang da 1.0.6 a 1.1.1
    • rmarkdown da 2.20 a 2.23
    • Rserve da 1.8-12 a 1.8-11
    • RSQLite da 2.2.20 a 2.3.1
    • rstudioapi da 0.14 a 0.15.0
    • sass da 0.4.5 a 0.4.6
    • brillante da 1.7.4 a 1.7.4.1
    • sparklyr da 1.7.9 a 1.8.1
    • SparkR dalla versione 3.4.1 alla versione 3.5.0
    • splines da 4.2.2 a 4.3.1
    • statistiche da 4.2.2 a 4.3.1
    • stats4 da 4.2.2 a 4.3.1
    • sopravvivenza da 3,5-3 a 3,5-5
    • sys dalla versione 3.4.1 alla versione 3.4.2
    • tcltk da 4.2.2 a 4.3.1
    • testat da 3.1.6 a 3.1.10
    • tibble da 3.1.8 a 3.2.1
    • tidyverse da 1.3.2 a 2.0.0
    • TinyTex da 0,44 a 0,45
    • strumenti da 4.2.2 a 4.3.1
    • tzdb da 0.3.0 a 0.4.0
    • usethis dalla versione 2.1.6 alla versione 2.2.2
    • Utilità dalla versione 4.2.2 alla versione 4.3.1
    • vctrs da 0.5.2 a 0.6.3
    • viridisLite da 0.4.1 a 0.4.2
    • vroom da 1.6.1 a 1.6.3
    • waldo da 0.4.0 a 0.5.1
    • xfun da 0.37 a 0.39
    • xml2 da 1.3.3 a 1.3.5
    • zip da 2.2.2 a 2.3.0
  • Librerie Java aggiornate:
    • com.fasterxml.jackson.core.jackson-annotations da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer da 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni da 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson da 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink da 1.7.0 a 1.9.0
    • commons-codec.commons-codec da 1.15 a 1.16.0
    • commons-io.commons-io da 2.11.0 a 2.13.0
    • io.airlift.aircompressor da 0,21 a 0,24
    • io.dropwizard.metrics.metrics-core dalla versione 4.2.10 alla versione 4.2.19
    • io.dropwizard.metrics.metrics-graphite da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm da 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets da 4.2.10 a 4.2.19
    • io.netty.netty-all dalla versione 4.1.87.Final alla versione 4.1.93.Final
    • io.netty.netty-buffer da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler dalla versione 4.1.87.Final alla versione 4.1.93.Final
    • io.netty.netty-handler-proxy da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue da 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll da 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue da 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common da 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format da 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core da 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty da 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector da 11.0.0 a 12.0.1
    • org.apache.avro.avro da 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc da 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred da 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress aggiornato dalla versione 1.21 alla versione 1.23.0
    • org.apache.hadoop.hadoop-client-runtime da 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api da 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api da 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core da 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl da 2.19.0 a 2.20.0
    • org.apache.orc.orc-core da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce da 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims dalla versione 1.8.4 alla 1.9.0
    • org.apache.xbean.xbean-asm9-shaded da 4.22 a 4.23
    • org.checkerframework.checker-qual da 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet da 2.36 a 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core da 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-client da 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-common da 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-server da 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 da 2.36 a 2.40
    • org.javassist.javassist dalla versione 3.25.0-GA alla versione 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client da 2.7.4 a 2.7.9
    • org.postgresql.postgresql da 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap da 0.9.39 a 0.9.45
    • org.roaringbitmap.shims da 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni da 7.8.3 a 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 da 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j da 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j da 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api da 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java da 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml da 1.33 a 2.0

Apache Spark

Databricks Runtime 14.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Correggi le funzioni aes_decrypt e ln in Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Correggere le namedtuples ereditate per funzionare con createDataFrame
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] La cache di CodeGenerator dovrebbe essere specifica per il classloader
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Rendere le query di streaming funzionanti con la gestione degli artefatti di Connect
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Rendere funzionale ArrowDeserializer con le classi generate da REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Correzione della funzione definita dall'utente Python ottimizzata con Arrow in Spark Connect
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Supportare le funzioni protobuf python per Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Rimuovi la funzione uuid/random/chr da PySpark
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Correzione dei valori dei metadati per Artifacts
  • [SPARK-44822] [DBRRM-464][python][SQL] Rendere di default i Python UDTF non-deterministici
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refactoring Arrow Python UDTF
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Aggiungere metadati client mancanti alle chiamate
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: "NoneType" non ha alcun attributo "message"
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager per tenere traccia di tutte le esecuzioni
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Disabilitare per impostazione predefinita l'ottimizzazione Arrow per le funzioni definite dall'utente Python
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Eseguire ExecuteGrpcResponseSender in esecuzione ricollegabile in un nuovo thread per correggere il controllo del flusso
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Rendi tutti gli iteratori CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Ripetere ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server nel client Python
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Ripetere ExecutePlan nel caso in cui la richiesta iniziale non raggiunga il server
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Gli errori spostati in sq/api devono usare anche AnalysisException
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Aggiungi oggetto Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Followup sulla terminazione della query di streaming quando la sessione del client è scaduta per Spark Connect
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator dopo che riceve un errore dal server
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Rimuovere la dipendenza Catalyst del client Connect
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Rilasciare l'esecuzione quando si chiude l'iteratore nel client Python
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Rimuovere la directory basata su sessione quando viene rimossa la cache delle sessioni isolate
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Non lasciare iteratori pendenti
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Client Python per ricollegarsi a un'esecuzione esistente in Spark Connect
  • [SPARK-44637] [SC-138571] Sincronizzare gli accessi a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Ripristina Row.jsonValue e associati
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Esecuzione ricollegabile in Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Aggiornare protobuf da 3.19.5 a 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] Aumentare il limite di ricorsione del marshaller protobuf
  • [SPARK-44591] [SC-138292][connect][SQL] Aggiungere jobTags a SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve conservare i metadati alias durante la creazione di una nuova istanza
  • [SPARK-44542] [SC-138323][core] Carica con entusiasmo la classe SparkExitCode nel gestore delle eccezioni
  • [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
  • [SPARK-43997] [SC-138347][connect] Aggiungere il supporto per le UDF Java
  • [SPARK-44507] [SQL][connect][14.x][14.0] Spostare AnalysisException in sql/api
  • [SPARK-44453] [SC-137013][python] Usare difflib per visualizzare gli errori in assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Aggiungere una pagina dell'interfaccia utente spark per Spark Connect
  • [SPARK-44611] [SC-138415][connect] Non escludere scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Spostare l'inferenza del codificatore in sql/api
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] Risolto il problema di caricamento della classe causato da...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Rimuovere il limite di record batch Arrow per SqlCommandResult
  • [SPARK-43968] [SC-138115][python] Migliorare i messaggi di errore per le UDTF Python con un numero errato di risultati.
  • [SPARK-44432] [SC-138293][ss][CONNECT] Terminare le query di streaming quando si verifica il timeout di una sessione in Spark Connect
  • [SPARK-44584] [SC-138295][connect] Impostare le informazioni di client_type per AddArtifactsRequest e ArtifactStatusesRequest nel client Scala
  • [SPARK-44552] [14.0][sc-138176][SQL] Rimuovere la definizione di private object ParseState da IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Abilitare resample con Spark Connect
  • [SPARK-44287] [SC-136223][sql] Usare l'API PartitionEvaluator negli operatori SQL RowToColumnarExec & ColumnarToRowExec.
  • [SPARK-39634] [SC-137566][sql] Consenti la suddivisione dei file in combinazione con la generazione dell'indice di riga
  • [SPARK-44533] [SC-138058][python] Aggiungere il supporto per l'accumulatore, i file broadcast e Spark nell'analisi delle UDTF Python
  • [SPARK-44479] [SC-138146][python] Correzione di ArrowStreamPandasUDFSerializer per accettare DataFrame pandas senza colonne.
  • [SPARK-44425] [SC-138177][connect] Verificare che l'ID sessione fornito dall'utente sia un UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Spostare l'API di streaming richiesta in sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Scrivere una classe per Apprendimento Distribuito con Deepspeed DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] Risoluzione per cui ResolveInlineTables non può gestire l'espressione RuntimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Generazione del codice per il lato di build dell'hash join esterno con shuffle
  • [SPARK-44496] [SC-137682][sql][CONNECT] Spostamento delle interfacce necessarie da SCSC a sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Spostare ArrowUtils in sql/api
  • [SPARK-44413] [SC-137019][python] Chiarire l'errore per il tipo di dati arg non supportato in assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] Spostare SparkBuildInfo in common/util
  • [SPARK-36612] [SC-133071][sql] Supportare la compilazione left outer join a sinistra o a destra nel join di hash casuale
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils ha generato parametri non corretti per i JAR
  • [SPARK-44449] [SC-137818][connect] Upcasting per la deserializzazione diretta di Arrow
  • [SPARK-44131] [SC-136346][sql] Aggiungere call_function e deprecare call_udf per l'API Scala
  • [SPARK-44541] [SQL] Rimuovere una funzione hasRangeExprAgainstEventTimeCol inutile da UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition del filtro è 0 se la condizione è FalseLiteral
  • [SPARK-44540] [SC-137873][ui] Rimuovere il foglio di stile non usato e i file javascript di jsonFormatter
  • [SPARK-44466] [SC-137856][sql] Escludere le configurazioni a partire da SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX da modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Considerare TYPE_CHECK_FAILURE_WITH_HINT come sottoclasse di errore
  • [SPARK-44509] [SC-137855][python][CONNECT] Aggiungere un set di API di annullamento dei processi nel client Python spark Connect
  • [SPARK-44059] [SC-137023] Aggiungere il supporto dell'analizzatore degli argomenti denominati per le funzioni predefinite
  • [SPARK-38476] [SC-136448][core] Usare la classe di errore in org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] Implementare la funzionalità self_destruct PyArrow per toPandas
  • [SPARK-44361] [SC-137200][sql] Usare l'API PartitionEvaluator in MapInBatchExec
  • [SPARK-44510] [SC-137652][ui] Aggiornare le tabelle dati a 1.13.5 e rimuovere alcuni file png non raggiungibili
  • [SPARK-44503] [SC-137808][sql] Aggiungere la grammatica SQL per PARTITION BY e la clausola ORDER BY dopo gli argomenti TABLE per le chiamate TVF
  • [SPARK-38477] [SC-136319][core] Usare la classe di errore in org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][sql] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect fine grained interrupt
  • [SPARK-44380] [SC-137415][sql][PYTHON] Supporto per Python UDTF da analizzare in Python
  • [SPARK-43923] [SC-137020][connect] Pubblica eventi listenerBus durant…
  • [SPARK-44303] [SC-136108][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] Correggere la visualizzazione imprevista della colonna HeapHistogram con la casella di selezione tutti
  • [SPARK-44409] [SC-136975][sql] Gestire char/varchar in Dataset.to per mantenere la coerenza con altri
  • [SPARK-44334] [SC-136576][sql][UI] Lo stato nella risposta dell'API REST per un DDL/DML non riuscito senza processi dovrebbe essere FALLITO anziché COMPLETATO.
  • [SPARK-42309] [SC-136703][sql] Introdurre INCOMPATIBLE_DATA_TO_TABLE e sottoclassi.
  • [SPARK-44367] [SC-137418][sql][UI] Mostra messaggio di errore nell'interfaccia utente per ogni query non riuscita
  • [SPARK-44474] [SC-137195][connect] Riabilitare "Test osserva risposta" in SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] Il log di avvio del server connect deve visualizzare il nome host e la porta
  • [SPARK-44309] [SC-136193][ui] Visualizzare l'ora di aggiunta/rimozione degli executor nella scheda Executor
  • [SPARK-42898] [SC-137556][sql] Indicare che i cast stringa/data non richiedono l'ID del fuso orario
  • [SPARK-44475] [SC-137422][sql][CONNECT] Rilocare DataType e Parser in sql/api
  • [SPARK-44484] [SC-137562][ss]Aggiungi batchDuration al metodo json di StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Supportano funzioni non deterministiche con valori di tabella
  • [SPARK-44439] [SC-136973][connect][SS]Fixed listListeners per inviare solo gli ID al client
  • [SPARK-44341] [SC-137054][sql][PYTHON] Definire la logica di calcolo tramite l'API PartitionEvaluator e usarla in WindowExec e WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Convertire _LEGACY_ERROR_TEMP_1337 in UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Aggiungi supporto per Streaming Listener in Scala per Spark Connect
  • [SPARK-44260] [SC-135618][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[1215-1245-2329] & Usare checkError() per controllare l'eccezione in _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][sql] SPJ: incapsulare tutti i parametri correlati a SPJ in BatchScanExec
  • [SPARK-44292] [SC-135844][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] Deserializzazione con freccia diretta
  • [SPARK-44324] [SC-137172][sql][CONNECT] Move CaseInsensitiveMap to sql/api
  • [SPARK-44395] [SC-136744][sql] Aggiungere il test a StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Make pyspark.sql.is_remote an API
  • [SPARK-44278] [SC-137400][connect] Implementare un intercettore server GRPC che pulisce le proprietà locali del thread
  • [SPARK-44264] [SC-137211][ml][PYTHON] Supporta il training distribuito delle funzioni tramite DeepSpeed
  • [SPARK-44430] [SC-136970][sql] Aggiungere la causa AnalysisException quando l'opzione non è valida
  • [SPARK-44264] [SC-137167][ml][PYTHON] Incorpora FunctionPickler nel TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Rendere pubblica l'API assertSchemaEqual
  • [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
  • [SPARK-43203] [SC-134528][sql] Spostare tutte le gestioni dei casi di Drop Table in DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Aprire AdaptiveSparkPlanHelper.allChildren anziché usare la copia in MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] Refactoring TorchDistributor per consentire il puntatore a funzione "run_training_on_file" personalizzato
  • [SPARK-43755] [SC-136838][connect] Spostare l'esecuzione da SparkExecutePlanStreamHandler e in un thread diverso
  • [SPARK-44411] [SC-137198][sql] Usare l'API PartitionEvaluator in ArrowEvalPythonExec e BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Usare l'API PartitionEvaluator in DebugExec
  • [SPARK-43967] [SC-137057][python] Supportare normali funzioni definite dall'utente Python con valori restituiti vuoti
  • [SPARK-43915] [SC-134766][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Supportare il Python UDTF in Spark Connect
  • [SPARK-44154] [SC-137050][sql] Aggiunti più unit test a BitmapExpressionUtilsSuite e apportate lievi migliorie alle espressioni di aggregazione Bitmap
  • [SPARK-44169] [SC-135497][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Rimuovere StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] Supporta le funzioni definite dall'utente Python ottimizzate per Arrow
  • [SPARK-44321] [SC-136308][connect] Decouplare ParseException da AnalysisException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reenable test_artifact con modifiche pertinenti
  • [SPARK-44145] [SC-136698][sql] Callback quando è pronto per l'esecuzione
  • [SPARK-43983] [SC-136404][python][ML][connect] Abilita il test del validatore incrociato per il modello di stima
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] Import SparkSession in Python UDF solo quando useArrow è None
  • [SPARK-43631] [SC-135300][connect][PS] Abilitare Series.interpolate con Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Aggiungere codice di esempio per ML distribuito per spark connect
  • [SPARK-44282] [SC-135948][connect] Preparare la conversione di tipo dati per l'utilizzo nel client Scala di Spark Connect.
  • [SPARK-44052] [SC-134469][connect][PS] Aggiungere util per ottenere la classe Column o DataFrame appropriata per Spark Connect.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementare l'estimatore del cross validator
  • [SPARK-44290] [SC-136300][connect] File e archivi basati su sessione in Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Supporto functions.date_part per Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Cleanup & consolidare i ticket per semplificare le attività.
  • [SPARK-44150] [SC-135790][python][CONNECT] Casting Arrow esplicito per il tipo di ritorno incompatibile nella UDF Python Arrow
  • [SPARK-43903] [SC-134754][python][CONNECT] Migliorare il supporto dell'input ArrayType nella UDF di Arrow in Python
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementare l'analizzatore di classificazione
  • [SPARK-44255] [SC-135704][sql] Rilocare StorageLevel in common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementare la generazione di codice per la funzione to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Effettuare il refactoring di PythonUDTFRunner per inviare il tipo restituito separatamente
  • [SPARK-43353] [SC-132734][python] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
  • [SPARK-44133] [SC-134795][python] Aggiornare MyPy da 0.920 a 0.982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON
  • [SPARK-43353] Ripristinare "[SC-132734][es-729763][PYTHON] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore"
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Spostare lo spazio dei nomi da pyspark.mlv2 a pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] Spostare StringConcat in sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementare un stimatore di pipeline per ML in Spark Connect
  • [SPARK-43888] [SC-132893][core] Rilocare la registrazione in common/utils
  • [SPARK-42941] Ripristinare "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON"
  • [SPARK-43624] [SC-134557][ps][CONNECT] Aggiungere EWM a SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][python][ML] Implementazione di base per il salvataggio e il caricamento di ML in connessioni Spark
  • [SPARK-43205] [SC-133371][sql] correzione del test suite SQLQueryTestSuite
  • [SPARK-43376] Ripristinare "[SC-130433][sql] Migliorare il riutilizzo della sottoquery con la cache delle tabelle"
  • [SPARK-44040] [SC-134366][sql] Correggere le statistiche di calcolo quando il nodo AggregateExec si trova sopra QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Estrarre funzionalità JSON fuori riga
  • [SPARK-42618] [SC-134433][python][PS] Avviso per le modifiche del comportamento correlate a pandas nella prossima versione principale
  • [SPARK-43893] [SC-133381][Python][CONNECT] Supporto dei tipi di dati non atomici nelle Python UDF ottimizzate per Arrow
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Abilitare pyspark.pandas.spark.functions.{kurt, skew} in Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Supportare le funzioni di tabella definite dall'utente python
  • [SPARK-43616] [SC-133849][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.mode in Spark Connect
  • [SPARK-43133] [SC-133728] Supporto di Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correzione (NullOps|NumOps).(eq|ne) per Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Abilitare pyspark.pandas.spark.functions.{var, stddev} in Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.product in Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Abilitare InternalFrame.attach_distributed_column in Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.repeat in Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Generare file descrittori Protobuf in fase di compilazione
  • [SPARK-43613] [SC-133727][ps][CONNECT] Abilitare pyspark.pandas.spark.functions.covar in Spark Connect
  • [SPARK-43376] [SC-130433][sql] Migliorare il riutilizzo della sottoquery con la cache delle tabelle
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implementare SparkSession.addArtifact(s) nel client di Python
  • [SPARK-43920] [SC-133611][sql][CONNECT] Creare un modulo sql/api
  • [SPARK-43097] [SC-133372][ml] Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Rendere MLv2 (ML su spark connect) supportare pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] Aggiornare pandas a 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Velocizzare l'inferenza del tipo Timestamp con formato legacy nell'origine dati JSON/CSV
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] Supporta il tipo di timestamp annidato
  • [SPARK-43353] [SC-132734][python] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
  • [SPARK-43304] [SC-129969][connect][PYTHON] Eseguire la migrazione di NotImplementedError in PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore
  • [SPARK-43128] Ripristinare "[SC-131628][connect][SS] Rendere coerenti le risposte di recentProgress e lastProgress con StreamingQueryProgress nell'API Scala nativa"
  • [SPARK-43543] [SC-131839][python] Correggere il comportamento del MapType annidato in Pandas UDF
  • [SPARK-38469] [SC-131425][core] Usare la classe di errore in org.apache.spark.network
  • [SPARK-43309] [SC-129746][spark-38461][CORE] Estendere INTERNAL_ERROR con categorie e aggiungere INTERNAL_ERROR_BROADCAST classe di errore
  • [SPARK-43265] [SC-129653] Spostare il framework degli errori in un modulo utils comune
  • [SPARK-43440] [SC-131229][python][CONNECT] Supporto per la registrazione di una UDF Python ottimizzata con Arrow
  • [SPARK-43528] [SC-131531][sql][PYTHON] Supportare nomi di campo duplicati in createDataFrame con DataFrame pandas
  • [SPARK-43412] [SC-130990][python][CONNECT] Introdurre SQL_ARROW_BATCHED_UDF EvalType for Arrow-optimized Python UDFs
  • [SPARK-40912] [SC-130986][core]Sovraccarico delle eccezioni in KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Velocizzare l'inferenza del tipo Timestamp con il formato fornito dall'utente nell'origine dati JSON/CSV
  • [SPARK-43473] [SC-131372][python] Integrare il supporto per il tipo struct in createDataFrame da pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Aggiungere benchmark per l'inferenza del tipo Timestamp quando si usa un valore non valido
  • [SPARK-41532] [SC-130523][connect][CLIENT] Aggiungere il controllo per le operazioni che coinvolgono più frame di dati
  • [SPARK-43296] [SC-130627][connect][PYTHON] Eseguire la migrazione degli errori di sessione di Spark Connect nella classe di errore
  • [SPARK-43324] [SC-130455][sql] Gestire i comandi UPDATE per le origini basate su delta
  • [SPARK-43347] [SC-130148][python] Rimuovere il supporto di Python 3.7
  • [SPARK-43292] [SC-130525][core][CONNECT] Spostare ExecutorClassLoader in core modulo e semplificare Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Aggiungere un caricatore di dati del distributore Torch che carica i dati dalle partizioni di Spark
  • [SPARK-43331] [SC-130061][connect] Aggiungere Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] Eseguire la migrazione di ValueError dai tipi Spark SQL alla classe di errore
  • [SPARK-43261] [SC-129674][python] Eseguire la migrazione di TypeError dai tipi Spark SQL alla classe di errore.
  • [SPARK-42992] [SC-129465][python] Introdurre PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Aggiungere il supporto per Datasketches HllSketch
  • [SPARK-43165] [SC-128823][sql] Move canWrite to DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][PYTHON] Funzioni Python definite dall'utente ottimizzate con Arrow in Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Aggiungere il supporto applyInPandasWithState per spark connect
  • [SPARK-42657] [SC-128621][connect] Supporto per trovare e trasferire file di classe REPL sul lato client nel server come artefatti
  • [SPARK-43098] [SC-77059][sql] Correzione del bug COUNT di correttezza quando la sottoquery scalare include la clausola group by
  • [SPARK-42884] [SC-126662][connect] Aggiungere l'integrazione di Ammonite REPL
  • [SPARK-42994] [SC-128333][ml][CONNECT] Il server di distribuzione PyTorch supporta la modalità locale
  • [SPARK-41498] [SC-125343] Ripristino “Propagare i metadati tramite Union”
  • [SPARK-42993] [SC-127829][ml][CONNECT] Rendere il server di distribuzione PyTorch compatibile con Spark Connect
  • [SPARK-42683] [LC-75] Rinominare automaticamente le colonne di metadati in conflitto
  • [SPARK-42874] [SC-126442][sql] Abilitare il nuovo framework di test di golden file per l'analisi per tutti i file di input
  • [SPARK-42779] [SC-126042][sql] Consenti scritture V2 di indicare la dimensione consigliata delle partizioni di shuffle
  • [SPARK-42891] [SC-126458][connect][PYTHON] Implementa l'API Map CoGrouped
  • [SPARK-42791] [SC-126134][sql] Creare un nuovo framework di test di file di riferimento per l'analisi
  • [SPARK-42615] [SC-124237][connect][PYTHON] Effettuare il refactoring di AnalyzePlan RPC e aggiungere session.version
  • [SPARK-41302] Annulla “[ALL TESTS][sc-122423][SQL] Assegna il nome a _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
  • [SPARK-40770] Ripristinare "[TUTTI I TEST][sc-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
  • [SPARK-42398] [SC-123500][sql] Ridefinire il valore predefinito della colonna DS v2 interfaccia
  • [SPARK-40770] [TUTTI I TEST][sc-122652][PYTHON] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
  • [SPARK-40770] Ripristinare "[SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
  • [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
  • [SPARK-42038] [ALL TESTS] Revert "[SC-122533][sql] SPJ: Supporta distribuzione parzialmente clusterizzata"
  • [SPARK-42038] Revertire "[SC-122533][sql] SPJ: Supporto della distribuzione parzialmente in cluster"
  • [SPARK-42038] [SC-122533][sql] SPJ: Supporto della distribuzione parzialmente in cluster
  • [SPARK-40550] [SC-120989][sql] DataSource V2: Gestire i comandi DELETE per le origini basate su delta
  • [SPARK-40770] Ripristinare "[SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema"
  • [SPARK-40770] [SC-122652][python] Messaggi di errore migliorati per applyInPandas per la mancata corrispondenza dello schema
  • [SPARK-41302] Ripristinare "[SC-122423][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] Ripristinare "[SC-120989][sql] DataSource V2: Gestire i comandi DELETE per le origini basate su delta"
  • [SPARK-42123] Ripristinare "[SC-121453][sql] Includere i valori predefiniti della colonna in DESCRIBE e SHOW CREATE TABLE output"
  • [SPARK-42146] [SC-121172][core] Rifattorizzare Utils#setStringField per far passare la compilazione maven quando il modulo sql utilizza questo metodo
  • [SPARK-42119] Revertire "[SC-121342][sql] Aggiungere funzioni predefinite con valori di tabella inline e inline_outer"

Caratteristiche salienti

Spark Connect

  • Effettuare il refactoring del modulo sql in sql e sql-api per produrre un set minimo di dipendenze che possono essere condivise tra il client Scala Spark Connect e Spark ed evitare il caricamento di tutte le dipendenze transitive di Spark. SPARK-44273
  • Introduzione al client Scala per Spark Connect SPARK-42554
  • Supporto dell'API Pandas per Python Spark Connect Client SPARK-42497
  • Supporto di ML distribuito basato su PyTorch per Spark Connect SPARK-42471
  • Supporto di Structured Streaming per Spark Connect in Python e Scala SPARK-42938
  • Versione iniziale del client Go SPARK-43351
  • Molti miglioramenti della compatibilità tra i client Spark nativi e Spark Connect in Python e Scala
  • Miglioramento della capacità di debug e della gestione delle richieste per le applicazioni client (elaborazione asincrona, tentativi, query di lunga durata)

Spark SQL

Funzionalità

  • Aggiungere la colonna dei metadati relativa all'inizio e alla lunghezza del blocco di file SPARK-42423
  • Supportare i parametri posizionali in Scala/Java sql() SPARK-44066
  • Aggiungere il supporto per i parametri denominati nel parser per le chiamate di funzione SPARK-43922
  • Supporto SELECT DEFAULT con ORDER BY, LIMIT, OFFSET per INSERT relazione di origine SPARK-43071
  • Aggiungi la grammatica SQL per PARTITION BY e la clausola ORDER BY dopo gli argomenti TABLE per le chiamate TVF SPARK-44503
  • Includere i valori predefiniti della colonna in DESCRIBE e nell'output SHOW CREATE TABLESPARK-42123
  • Aggiungere un modello facoltativo per Catalog.listCatalogs SPARK-43792
  • Aggiungere un modello facoltativo per Catalog.listDatabases SPARK-43881
  • Callback quando pronto per l'esecuzione SPARK-44145
  • Supporto per l'istruzione "Inserisci per Nome" SPARK-42750
  • Aggiungere call_function per l'API Scala SPARK-44131
  • Alias stabili di colonne derivate SPARK-40822
  • Supportare espressioni costanti generali come valori CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Supportare sottoquery con correlazione tramite INTERSECT/EXCEPT SPARK-36124
  • clausola IDENTIFIER SPARK-43205
  • MODALITÀ ANSI: Conv deve restituire un errore se la conversione interna causa un overflow SPARK-42427

Funzioni

  • Aggiunta del supporto per Datasketches HllSketch SPARK-16484
  • Supportare la modalità CBC con aes_encrypt()/aes_decrypt() SPARK-43038
  • Supportare TABLE regola del parser degli argomenti per TableValuedFunction SPARK-44200
  • Implementare funzioni bitmap SPARK-44154
  • Aggiungere la funzione try_aes_decrypt() SPARK-42701
  • array_insert dovrebbe avere esito negativo con 0 indice SPARK-43011
  • Aggiungere to_varchar alias per to_char SPARK-43815
  • Funzione di ordine elevato: implementazione di array_compact di SPARK-41235
  • Aggiungere il supporto dell'analizzatore per gli argomenti denominati per le funzioni predefinite SPARK-44059
  • Aggiungere NULL per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione SPARK-42521
  • Aggiunge il supporto per aes_encrypt IV e AAD SPARK-43290
  • La funzione DECODE restituisce risultati errati quando è stato passato NULL SPARK-41668
  • Supporto di udf 'luhn_check' SPARK-42191
  • Supportare la risoluzione implicita degli alias di colonne laterali in Aggregate SPARK-41631
  • Supportare l'alias di colonna laterale implicito nelle query con Window SPARK-42217
  • Aggiungere gli alias della funzione con 3 argomenti DATE_ADD e DATE_DIFF SPARK-43492

Origini dati

  • Supporto char/varchar per il catalogo JDBC SPARK-42904
  • Supporto per ottenere parole chiave SQL in modo dinamico tramite l'API JDBC e TVF SPARK-43119
  • DataSource V2: Gestire i comandi MERGE per le origini basate su delta SPARK-43885
  • DataSource V2: Gestire i comandi MERGE per le origini basate su gruppi SPARK-43963
  • DataSource V2: gestire i comandi di UPDATE per le origini basate su gruppi spark-43975
  • DataSource V2: consente di rappresentare gli aggiornamenti come eliminazioni e inserisce SPARK-43775
  • Consentire ai dialetti jdbc di eseguire l'override della query usata per creare una tabella SPARK-41516
  • SPJ: supportare la distribuzione parzialmente in cluster SPARK-42038
  • DSv2 consente a CTAS/RTAS di riservare la nullabilità dello schema SPARK-43390
  • Aggiungere spark.sql.files.maxPartitionNum SPARK-44021
  • Gestire i comandi UPDATE per le origini basate su delta SPARK-43324
  • Consentire alle scritture V2 di indicare le dimensioni consigliate delle partizioni shuffle SPARK-42779
  • Supporto del codec di compressione lz4raw per Parquet SPARK-43273
  • Avro: scrittura di unioni complesse SPARK-25050
  • Velocizzare l'inferenza del tipo Timestamp utilizzando il formato fornito dall'utente per la sorgente dati JSON/CSV SPARK-39280
  • Avro per supportare un tipo decimale personalizzato supportato da Long SPARK-43901
  • Evitare lo shuffle in Join partizionato per archiviazione quando le chiavi di partizione non corrispondono, ma le espressioni join sono compatibili SPARK-41413
  • Modificare il tipo di dati binario in un tipo di dati non supportato in formato CSV SPARK-42237
  • Consentire ad Avro di convertire il tipo di unione in SQL con nome di campo stabile con tipo SPARK-43333
  • Velocizzare l'inferenza del tipo Timestamp con il formato legacy nell'origine dati JSON/CSV SPARK-39281

Ottimizzazione query

  • Eliminazione delle sottoespressioni per supportare l'espressione breve SPARK-42815
  • Migliorare la stima delle statistiche di join se un lato può mantenere l'univocità SPARK-39851
  • Introdurre il limite di gruppo di Window per il filtro basato sul rango per ottimizzare il calcolo top-k SPARK-37099
  • Correzione del comportamento null IN (elenco vuoto) nelle regole di ottimizzazione SPARK-44431
  • Dedurre e applicare il limite della finestra se partitionSpec è vuoto SPARK-41171
  • Rimuovere l'outer join se sono tutte funzioni di aggregazione distinte SPARK-42583
  • Comprimere due finestre adiacenti con la stessa partizione/ordine nella sottoquery SPARK-42525
  • Limite di propagazione tramite UDF Python SPARK-42115
  • Ottimizzare l'ordine dei predicati di filtro SPARK-40045

Generazione di codice ed esecuzione di query

  • Il filtro di runtime deve supportare il lato join shuffle a più livelli come lato di creazione del filtro SPARK-41674
  • Supporto di Codegen per HiveSimpleUDF SPARK-42052
  • Supporto di Codegen per HiveGenericUDF SPARK-42051
  • Supporto di Codegen per l'hash join casuale esterno del lato di costruzione SPARK-44060
  • Implementare la generazione di codice per la funzione to_csv (StructsToCsv) SPARK-42169
  • Rendere AQE compatibile con InMemoryTableScanExec SPARK-42101
  • Supporta il build left outer join o right outer join nel shuffled hash join SPARK-36612
  • Rispetta RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
  • Coalesce dei bucket nel join applicato al lato del flusso di un broadcast join SPARK-43107
  • Imposta Nullable correttamente sulla chiave di join coalescenti nel join esterno completo USING SPARK-44251
  • Correggere la Nullabilità della sottoquery IN listQuery SPARK-43413

Altre modifiche rilevanti

  • Impostare Nullable correttamente per le chiavi nei JOIN USING SPARK-43718
  • Correggere il bug COUNT(*) è null nella sottoquery scalare correlata SPARK-43156
  • Dataframe.joinWith outer-join deve restituire un valore nullo per la riga senza corrispondenza SPARK-37829
  • Rinominare automaticamente le colonne di metadati in conflitto SPARK-42683
  • Documentare le classi di errore di Spark SQL nella documentazione relativa all'utente SPARK-42706

PySpark

Funzionalità

Altre modifiche rilevanti

  • Aggiungere il supporto del completamento automatico per df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Deprecare e rimuovere le API che verranno rimosse in pandas 2.0 [SPARK-42593]
  • Rendere Python la prima scheda per gli esempi di codice - Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • Aggiornamento degli esempi di codice della documentazione di Spark rimanenti per visualizzare Python per impostazione predefinita SPARK-42642
  • Usare nomi di campo deduplicati durante la creazione di Arrow RecordBatch [SPARK-41971]
  • Supportare nomi duplicati di campo in createDataFrame con DataFrame Pandas [SPARK-43528]
  • Consenti parametro columns durante la creazione di dataframe con serie [SPARK-42194]

Nucleo

  • Pianificare mergeFinalize quando si riprova il push del merge shuffleMapStage ma nessuna attività è in esecuzione SPARK-40082
  • Introdurre PartitionEvaluator per l'esecuzione dell'operatore SQL SPARK-43061
  • Consenti a ShuffleDriverComponent di dichiarare se i dati di shuffle vengono archiviati in modo affidabile SPARK-42689
  • Aggiungere il limite massimo di tentativi per le fasi per evitare potenziali tentativi infiniti SPARK-42577
  • Configurare i log a livello di configurazione Spark statica SPARK-43782
  • Ottimizzare PercentileHeap SPARK-42528
  • Aggiungere il parametro "reason" a TaskScheduler.cancelTasks SPARK-42602
  • Evitare il riavvio non necessario delle attività su un executor dismesso in caso di perdita, se i dati shuffle sono stati migrati SPARK-41469
  • Correzione del sottocontatore dell'accumulatore nel caso del task di ripetizione con rdd cache SPARK-41497
  • Usare RocksDB per spark.history.store.hybridStore.diskBackend per impostazione predefinita SPARK-42277
  • NonFateSharingCache wrapper per Guava Cache SPARK-43300
  • Migliorare le prestazioni di MapOutputTracker.updateMapOutput SPARK-43043
  • Consentire alle app di determinare se i loro metadati vengano salvati nel database dal servizio shuffle esterno SPARK-43179
  • Aggiungere la variabile d'ambiente SPARK_DRIVER_POD_IP ai pod dell'executor SPARK-42769
  • Monta la mappa di configurazione hadoop nel pod executor SPARK-43504

Streaming Strutturato

  • Aggiunta del supporto per il monitoraggio del consumo di memoria dei blocchi bloccati per il negozio di stato di RocksDB SPARK-43120
  • Aggiungere miglioramenti alla gestione della memoria del provider dell'archivio stati RocksDB SPARK-43311
  • Introduzione a dropDuplicatesWithinWatermark SPARK-42931
  • Introdurre un nuovo callback onQueryIdle() a StreamingQueryListener SPARK-43183
  • Aggiungere l'opzione per ignorare il coordinatore del commit come parte dell'API StreamingWrite per origini/destinazioni DSv2 SPARK-42968
  • Introdurre un nuovo callback "onQueryIdle" per StreamingQueryListener SPARK-43183
  • Implementare il checkpointing basato su Changelog per il provider dello stato di archiviazione di RocksDB SPARK-43421
  • Aggiungere il supporto per WRITE_FLUSH_BYTES per RocksDB utilizzato negli operatori stateful di streaming SPARK-42792
  • Aggiungere il supporto per impostare max_write_buffer_number e write_buffer_size per RocksDB usato nello streaming SPARK-42819
  • L'acquisizione del lock di RocksDB StateStore dovrebbe verificarsi dopo aver ottenuto l'iteratore di input da inputRDD SPARK-42566
  • Introdurre la propagazione della filigrana tra gli operatori SPARK-42376
  • Pulire i file di log e sst orfani nella directory checkpoint di RocksDB SPARK-42353
  • Espandere QueryTerminatedEvent per contenere la classe di errore, se presente nell'eccezione SPARK-43482

ML

  • Supportare il training distribuito delle funzioni con Deepspeed SPARK-44264
  • Interfacce di base di sparkML per spark3.5: estimator/transformer/model/analizzatore SPARK-43516
  • Assicurati che MLv2 (ML su spark connect) supporti pandas >= 2.0 SPARK-43783
  • Aggiornamento delle interfacce di MLv2 Transformer SPARK-43516
  • Nuovo strumento di stima della regressione logistica pyspark ML implementato sopra il server di distribuzione SPARK-43097
  • Aggiungi di nuovo Classifier.getNumClasses SPARK-42526
  • Scrivi una classe di apprendimento distribuito Deepspeed, DeepspeedTorchDistributor SPARK-44264
  • Implementazione di base del salvataggio/caricamento per ML in spark connect SPARK-43981
  • Migliorare il salvataggio del modello di regressione logistica SPARK-43097
  • Implementare lo strumento di stima della pipeline per ML in Spark Connect SPARK-43982
  • Implementare lo stimatore del validatore incrociato SPARK-43983
  • Implementare l'analizzatore di classificazione SPARK-44250
  • Rendere compatibile il server di distribuzione PyTorch con Spark Connect SPARK-42993

INTERFACCIA UTENTE

  • Aggiungere una pagina dell'interfaccia utente spark per Spark Connect SPARK-44394
  • Supporto della colonna Istogramma heap nella scheda Executors SPARK-44153
  • Visualizzare il messaggio di errore nell'interfaccia utente per ogni query spark-44367 non riuscita
  • Visualizzare l'ora di aggiunta/rimozione degli executor nella scheda Executors SPARK-44309

Costruire e Altri

Rimozioni, modifiche del comportamento e deprecazione

Rimozione imminente

Le funzionalità seguenti verranno rimosse nella prossima versione principale di Spark

  • Il supporto per Java 8 e Java 11 e la versione minima supportata di Java sarà Java 17
  • Il supporto per Scala 2.12 e la versione minima supportata di Scala sarà la 2.13

Guide alla migrazione

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Librerie Python installate

Biblioteca Versione Biblioteca Versione Biblioteca Versione
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 nero 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 clic 8.0.4 comunicazione 0.1.2
contourpy 1.0.5 cryptography 39.0.1 ciclatore 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decoratore 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 punti di accesso 0.4
eseguendo 0.8.3 facet-overview 1.1.1 fastjsonschema 2.18.0
blocco del file 3.12.2 fonttools 4.25.0 Libreria di runtime GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
portachiavi 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 imballaggio 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 capro espiatorio 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Cuscino 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
richieste 2.28.1 corda 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 sei 1.16.0
sniffio 1.2.0 colino da zuppa 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacia 8.1.0
terminato 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
aggiornamenti automatici 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 ruota 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot del Posit Package Manager CRAN del 13-07-2023.

Biblioteca Versione Biblioteca Versione Biblioteca Versione
freccia 12.0.1 askpass 1.1 assertthat 0.2.1
retroporti 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 vivacità 1.1.3
Scopa 1.0.5 bslib 0.5.0 cashmere 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
cron 2.3-61 classe 7.3-22 cli 3.6.1
clipr 0.8.0 orologio 0.7.0 gruppo 2.1.4
codetools 0.2-19 spazio colore 2.1-0 commonmark 1.9.0
compilatore 4.3.1 configurazione 0.3.1 in conflitto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credenziali 1.3.2
curl 5.0.1 data.table 1.14.8 insiemi di dati 4.3.1
DBI 1.1.3 dbplyr 2.3.3 descrizione 1.4.2
devtools 2.4.5 diagramma 1.6.5 diffobj 0.3.5
riassunto 0.6.33 illuminazione verso il basso 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 puntini di sospensione 0.3.2
valutare 0.21 fansi 1.0.4 colori 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 per gatti 1.0.0
foreach 1.5.2 straniero 0.8-82 forge 0.2.0
fs 1.6.2 futuro 1.33.0 future.apply 1.11.0
gargle 1.5.1 generici 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 colla 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
casco da lavoro 1.3.0 rifugio 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
identificatori 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Etichettatura 0.4.2 più tardi 1.3.1 reticolo 0.21-8
lava 1.7.2.1 ciclo di vita 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
massa 7.3-60 Matrice 1.5-4.1 memorizzare 2.0.1
metodi 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallelo 4.3.1
parallelamente 1.36.0 pilastro 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Avanzamento 1.2.2
progressr 0.13.0 promesse 1.2.0.1 proto 1.0.0
intermediario 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 ricette 1.0.6
rivincita 1.0.1 rematch2 2.1.2 remotes 2.4.2
esempio riproducibile 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 Scalabilità 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
lucido 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spaziale 7.3-15 Spline 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 statistiche 4.3.1
stats4 4.3.1 perizoma 1.7.12 stringr 1.5.0
Sopravvivenza 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 modellazione del testo 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 cambio d'orario 0.2.0 timeDate 4022.108
tinytex 0,45 strumenti 4.3.1 tzdb 0.4.0
controllore di URL 1.0.1 Usa questo 2.2.2 UTF8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 brum 1.6.3 waldo 0.5.1
vibrissa 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Librerie Java e Scala installate (versione cluster Scala 2.12)

ID gruppo ID dell'artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flusso 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni Jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-nativi
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-nativi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-nativi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-nativi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone annotazioni_soggette_a_errori 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilatore 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configurazione 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib LAPACK (pacchetto di algebra lineare) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics annotazione delle metriche 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriche-controlli di salute 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrica-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API di transazione 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato-freccia 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow freccia-vettore 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator ricette dei curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del pubblico 0.13.0
org.apache.zookeeper custode dello zoo 3.6.3
org.apache.zookeeper guardiano dello zoo-juta 3.6.3
org.checkerframework verificatore qualità 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotazioni 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap spessori 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1