Databricks Runtime 8.0 (EoS)

Databricks ha rilasciato questa versione nel marzo 2021.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.0, basate su Apache Spark 3.1.1.

Nuove funzionalità

Databricks Runtime 8.0 include Apache Spark 3.1.1. Per informazioni dettagliate, vedere Apache Spark.

Miglioramenti

Delta è ora il formato predefinito quando non viene specificato un formato

Databricks Runtime 8.0 modifica il formato predefinito in per delta semplificare la creazione di una tabella Delta. Quando si crea una tabella usando comandi SQL o {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API e non si specifica un formato, il formato predefinito è delta.

Con Delta Lake si ottengono prestazioni migliori rispetto a Parquet, maggiore affidabilità dei dati con convalida avanzata dello schema, vincoli di qualità e garanzie transazionali. Con Delta Lake è possibile semplificare le pipeline di dati con flussi strutturati unificati ed elaborazione batch in una singola origine dati.

Anche se Databricks consiglia di usare Delta Lake per archiviare i dati, è possibile che siano presenti flussi di lavoro legacy che richiedono la migrazione a Delta Lake. Per informazioni sulla migrazione dei flussi di lavoro esistenti, vedere Che cos'è Delta Lake?.

Il nuovo intervallo di trigger predefinito di Structured Streaming riduce i costi

Se non si imposta un intervallo di trigger usando Trigger.ProcessingTime nella query di streaming, l'intervallo viene impostato su 500 ms. In precedenza, l'intervallo predefinito era 0 ms. Questa modifica dovrebbe ridurre il numero di trigger vuoti e ridurre i costi per l'archiviazione cloud, ad esempio l'inserzione.

Usare la funzione di trasformazione LDA con il pass-through delle credenziali (anteprima pubblica)

È ora possibile usare la funzione di trasformazione LDA in un cluster configurato per usare il pass-through delle credenziali per l'autenticazione.

I cluster utente singolo configurati con il pass-through delle credenziali non richiedono più file system attendibili (anteprima pubblica)

Non è più necessario configurare i file system locali come file system attendibili quando si usa un cluster standard o di processo configurato per il pass-through delle credenziali con un singolo utente. Questa modifica rimuove le restrizioni del file system non necessarie durante l'esecuzione di processi in un singolo cluster utente.

Aggiornamenti della libreria

• Aggiornamento di diverse librerie Java e Scala. Vedere Librerie Java e Scala installate (versione del cluster Scala 2.12).
• Aggiornamento di Python alla versione 3.8.6.
• Aggiornamento di diverse librerie Python installate. Vedere Librerie Python installate.
• Aggiornamento di R alla versione 4.0.3.
• Aggiornamento di diverse librerie R installate. Vedere Librerie R installate.

Apache Spark

Databricks Runtime 8.0 include Apache Spark 3.1.1.

Contenuto della sezione:

• Core e Spark SQL
• PySpark
• Structured Streaming
• MLlib
• SparkR

Core e Spark SQL

Evidenzia

• Unify create table SQL syntax (SPARK-31257)
• Miglioramento dell'hash join casuale (SPARK-32461)
• Eliminazione avanzata della sottoespressione (SPARK-33092, SPARK-33337, SPARK-33427, SPARK-33540)
• Kubernetes GA (SPARK-33005)

Miglioramenti della compatibilità SQL ANSI

• Supporto del tipo di dati char/varchar (SPARK-33480)
• Modalità ANSI: errori di runtime anziché restituire null (SPARK-33275)
• Modalità ANSI: nuove regole di sintassi cast esplicite (SPARK-33354)
• Aggiungere il comando SET TIME ZONE SQL Standard (SPARK-32272)
• Unify create table SQL syntax (SPARK-31257)
• Unificare i comportamenti di visualizzazione temporanea e visualizzazione permanente (SPARK-33138)
• Elenco di colonne di supporto nell'istruzione INSERT (SPARK-32976)
• Supportare i commenti annidati ANSI tra parentesi quadre (SPARK-28880)

Miglioramenti delle prestazioni

• Lettura casuale dei dati locali dell'host senza servizio casuale (SPARK-32077)
• Rimuovere gli ordinamenti ridondanti prima dei nodi di ripartizione (SPARK-32276)
• Push parziale dei predicati (SPARK-32302, SPARK-32352)
• Eseguire il push dei filtri tramite expand (SPARK-33302)
• Eseguire il push di predicati più possibili tramite join tramite conversione CNF (SPARK-31705)
• Rimuovere la sequenza casuale mantenendo il partizionamento dell'output dell'hash join broadcast (SPARK-31869)
• Rimuovere la sequenza casuale migliorando il riordino delle chiavi di join (SPARK-32282)
• Rimuovere la sequenza casuale normalizzando il partizionamento dell'output e l'ordinamento (SPARK-33399)
• Miglioramento dell'hash join casuale (SPARK-32461)
  • Mantenere il partizionamento lato compilazione hash casuale (SPARK-32330)
  • Mantenere l'ordinamento laterale del flusso HASH join (BHJ e SHJ) (SPARK-32383)
  • Tabelle in bucket coalesce per l'unione di ordinamento (SPARK-32286)
  • Aggiungere code-gen per l'hash join casuale (SPARK-32421)
  • Supportare full outer join in hash join casuale (SPARK-32399)
• Supportare l'eliminazione della sottoespressione nel progetto con l'intero codegen fase (SPARK-33092)
• Supportare l'eliminazione di sottoespressione nelle espressioni condizionali (SPARK-33337)
• Supportare l'eliminazione della sottoespressione per la valutazione delle espressioni interpretate (SPARK-33427)
• Supportare l'eliminazione della sottoespressione per il predicato interpretato (SPARK-33540)
• Altre regole di ottimizzazione
  • Regola ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
  • Regola EliminateNullAwareAntiJoin (SPARK-32573)
  • Regola EliminateAggregateFilter (SPARK-32540)
  • Regola UnwrapCastInBinaryComparison (SPARK-32858)
  • Regola DisableUnnecessaryBucketedScan (SPARK-32859)
  • Regola CoalesceBucketsInJoin (SPARK-31350)
  • Eliminare i campi annidati non necessari dalla generazione senza progetto (SPARK-29721)
  • Eliminare i campi annidati non necessari dall'aggregazione e dall'espansione (SPARK-27217)
  • Eliminare i campi annidati non necessari da repartition-by-expression e join (SPARK-31736)
  • Eliminare i campi annidati non necessari sulle variazioni cosmetiche (SPARK-32163)
  • Eliminare i campi annidati non necessari dalla finestra e ordinare (SPARK-32059)
  • Ottimizzare le dimensioni di CreateArray/CreateMap in modo che siano le dimensioni degli elementi figlio (SPARK-33544)

Miglioramenti dell'estendibilità

• Aggiungere SupportsPartitions API in DataSourceV2 (SPARK-31694)
• Aggiungere SupportsMetadataColumns l'API in DataSourceV2 (SPARK-31255)
• Rendere collegabile alla serializzazione della cache SQL (SPARK-32274)
• Introdurre l'opzione purge in TableCatalog.dropTable per il catalogo v2 (SPARK-33364)

Miglioramenti del connettore

• Miglioramento del pushdown del filtro delle partizioni metastore Hive (SPARK-33537)
  • Il supporto contiene, inizia e termina con filtri (SPARK-33458)
  • Supporto del filtro per tipo di data (SPARK-33477)
  • Supporto del filtro per non uguale a (SPARK-33582)
• Parquet
  • Consenti tipo complesso nel tipo di chiave della mappa in Parquet (SPARK-32639)
  • Consentire il salvataggio e il caricamento di INT96 in Parquet senza ribasare (SPARK-33160)
• ORCO
  • Pushdown del predicato di colonna annidato per ORC (SPARK-25557)
  • Aggiornare Apache ORC alla versione 1.5.12 (SPARK-33050)
• CSV
  • Sfruttare l'origine dati di testo SQL durante l'inferenza dello schema CSV (SPARK-32270)
• JSON
  • Supporto del pushdown dei filtri nell'origine dati JSON (SPARK-30648)
• JDBC
  • Implementare le API del catalogo per JDBC (SPARK-32375, SPARK-32579, SPARK-32402, SPARK-33130)
  • Creare l'API per sviluppatori del provider di autenticazione JDBC (SPARK-32001)
  • Aggiungere la possibilità di disabilitare il provider di connessione JDBC (SPARK-32047)
• Avro
  • Supporto del pushdown dei filtri nell'origine dati Avro (SPARK-32346)

Miglioramenti delle funzionalità

• Rimozione delle autorizzazioni dei nodi (SPARK-20624)
  • Framework basic (SPARK-20628)
  • Eseguire la migrazione dei blocchi RDD durante le autorizzazioni (SPARK-20732)
  • Rimozione normale come parte del ridimensionamento dinamico (SPARK-31198)
  • Eseguire la migrazione di blocchi casuali durante la rimozione delle autorizzazioni (SPARK-20629)
  • Esci solo quando le attività e la migrazione a blocchi vengono completate (SPARK-31197)
  • Supportare l'archiviazione di fallback durante la rimozione delle autorizzazioni (SPARK-33545)
• Nuove funzioni predefinite
  • json_array_length (SPARK-31008)
  • json_object_keys (SPARK-31009)
  • current_catalog (SPARK-30352)
  • timestamp_seconds, timestamp_millis, timestamp_micros (SPARK-31710)
  • width_bucket (SPARK-21117)
  • regexp_extract_all (SPARK-24884)
  • nth_value (SPARK-27951)
  • raise_error (SPARK-32793)
  • unix_seconds, unix_millis e unix_micros (SPARK-33627)
  • date_from_unix_date e unix_date (SPARK-33646)
  • current_timezone (SPARK-33469)
• potenziamento del comando EXPLAIN (SPARK-32337, SPARK-31325)
• Fornire un'opzione per disabilitare gli hint forniti dall'utente (SPARK-31875)
• Supportare la sintassi replace COLUMNS di stile Hive (SPARK-30613)
• Supporto LIKE ANY e LIKE ALL operatori (SPARK-30724)
• Supporto illimitato MATCHED e NOT MATCHED in MERGE INTO (SPARK-32030)
• Supporto Fdi valori letterali float suffisso (SPARK-32207)
• Sintassi di supporto RESET per reimpostare la singola configurazione (SPARK-32406)
• L'espressione di filtro di supporto consente l'uso simultaneo di DISTINCT (SPARK-30276)
• Supporto del comando alter table add/drop partition per DSv2 (SPARK-32512)
• Supportare NOT IN sottoquery all'interno di condizioni annidate OR (SPARK-25154)
• Comando di supporto REFRESH FUNCTION (SPARK-31999)
• Aggiungere sameSemantics metodi e sementicHash nel set di dati (SPARK-30791)
• Supporto di un tipo composto di classe case in UDF (SPARK-31826)
• Enumerazione di supporto nei codificatori (SPARK-32585)
• Supportare le withField API dei campi annidate e dropFields (SPARK-31317, SPARK-32511)
• Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-29358)
• Supporto DataFrameReader.table per accettare le opzioni specificate (SPARK-32592, SPARK-32844)
• Supporto del percorso HDFS in spark.sql.hive.metastore.jars (SPARK-32852)
• Opzione di supporto --archives in modo nativo (SPARK-33530, SPARK-33615)
• Migliorare l'API ExecutorPlugin per includere metodi per gli eventi di avvio e fine delle attività (SPARK-33088)

Altre modifiche rilevanti

• Specificare la funzione di ricerca nel sito della documentazione Spark (SPARK-33166)
• Aggiornare Apache Arrow a 2.0.0 (SPARK-33213)
• Abilitare l'API ora Java 8 nel server thrift (SPARK-31910)
• Abilitare l'API ora Java 8 nelle funzioni definite dall'utente (SPARK-32154)
• Controllo dell'overflow per la somma aggregata con decimali (SPARK-28067)
• Correzione del conflitto di commit in modalità di sovrascrittura della partizione dinamica (SPARK-27194, SPARK-29302)
• Rimozione dei riferimenti a slave, blacklist e whitelist (SPARK-32004, SPARK-32036, SPARK-32037)
• Rimuovere il controllo delle dimensioni dei risultati dell'attività per la fase mappa casuale (SPARK-32470)
• Generalizzare ExecutorSource per esporre schemi di file system specificati dall'utente (SPARK-33476)
• Aggiunta StorageLevel.DISK_ONLY_3 (SPARK-32517)
• Esporre le metriche di memoria dell'executor nell'interfaccia utente Web per gli executor (SPARK-23432)
• Esporre le metriche di memoria dell'executor a livello di fase, nella scheda Fasi (SPARK-26341)
• Correzione esplicita del set di in spark.ui.port modalità cluster YARN (SPARK-29465)
• Aggiungere spark.submit.waitForCompletion la configurazione per controllare l'uscita spark-submit in modalità cluster autonomo (SPARK-31486)
• Configurare per yarn.Client stampare collegamenti diretti al driver stdout/stderr (SPARK-33185)
• Correzione della perdita di memoria quando non è possibile archiviare parti di trasmissione (SPARK-32715)
• Rendere BlockManagerMaster configurabile il timeout heartbeat del driver (SPARK-34278)
• Unificare e completare i comportamenti della cache (SPARK-33507)

PySpark

Progetto Zen

• Project Zen: miglioramento dell'usabilità di Python (SPARK-32082)
• Supporto degli hint di tipo PySpark (SPARK-32681)
• Riprogettazione della documentazione di PySpark (SPARK-31851)
• Eseguire la migrazione allo stile di documentazione NumPy (SPARK-32085)
• Opzione di installazione per gli utenti pyPI (SPARK-32017)
• Annullamento della deprecazione dello schema del dataframe dall'elenco dict (SPARK-32686)
• Semplificare il messaggio di eccezione dalle funzioni definite dall'utente python (SPARK-33407)

Altre modifiche rilevanti

• Deduplicate deterministiche chiamate PythonUDF (SPARK-33303)
• Supportare funzioni di ordine superiore nelle funzioni PySpark (SPARK-30681)
• Supportare le API di scrittura v2x dell'origine dati (SPARK-29157)
• Supporto percentile_approx nelle funzioni PySpark (SPARK-30569)
• Supporto inputFiles nel dataframe PySpark (SPARK-31763)
• Supporto withField nella colonna PySpark (SPARK-32835)
• Supporto dropFields nella colonna PySpark (SPARK-32511)
• Supporto nth_value nelle funzioni PySpark (SPARK-33020)
• Supporto acoshdi e asinhatanh (SPARK-33563)
• Metodo di supporto getCheckpointDir in PySpark SparkContext (SPARK-33017)
• Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
• Aggiornamento cloudpickle alla versione 1.5.0 (SPARK-32094)
• Aggiunta MapType del supporto per PySpark con Freccia (SPARK-24554)
• DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Structured Streaming

Miglioramenti delle prestazioni

• Elenco di file recuperati nella cache oltre maxFilesPerTrigger come file non letto (SPARK-30866)
• Semplificare la logica nel log dei metadati di origine e sink del flusso di file (SPARK-30462)
• Evitare di leggere due volte il log dei metadati compatta se la query viene riavviata dal batch compatto (SPARK-30900)

Miglioramenti delle funzionalità

• Aggiungere DataStreamReader.table l'API (SPARK-32885)
• Aggiungere DataStreamWriter.toTable l'API (SPARK-32896)
• Join di flusso semi-flusso sinistro (SPARK-32862)
• Join di flusso esterno completo (SPARK-32863)
• Fornire una nuova opzione per la conservazione dei file di output (SPARK-27188)
• Aggiungere il supporto del server cronologia streaming strutturato Spark (SPARK-31953)
• Introdurre la convalida dello schema di stato tra il riavvio della query (SPARK-27237)

Altre modifiche rilevanti

• Introdurre la convalida dello schema per l'archivio stati di streaming (SPARK-31894)
• Supporto per l'uso di un codec di compressione diverso nell'archivio stati (SPARK-33263)
• Attesa infinita del connettore Kafka perché i metadati non vengono mai aggiornati (SPARK-28367)
• Aggiornare Kafka alla versione 2.6.0 (SPARK-32568)
• Supporto della paginazione per le pagine dell'interfaccia utente di Structured Streaming (SPARK-31642, SPARK-30119)
• Informazioni sullo stato nell'interfaccia utente di Structured Streaming (SPARK-33223)
• Informazioni sul gap limite nell'interfaccia utente di Structured Streaming (SPARK-33224)
• Esporre informazioni sulle metriche personalizzate sullo stato nell'interfaccia utente di SS (SPARK-33287)
• Aggiungere una nuova metrica relativa al numero di righe successive alla filigrana (SPARK-24634)

MLlib

Caratteristiche salienti

• LinearSVC blocca i vettori di input (SPARK-30642)
• LogisticRegression blocca i vettori di input (SPARK-30659)
• LinearRegression blocca i vettori di input (SPARK-30660)
• AFT blocca i vettori di input (SPARK-31656)
• Aggiunta del supporto per le regole di associazione in ML (SPARK-19939)
• Aggiungere un riepilogo del training per LinearSVCModel (SPARK-20249)
• Aggiungere un riepilogo a RandomForestClassificationModel (SPARK-23631)
• Aggiungere il riepilogo del training a FMClassificationModel (SPARK-32140)
• Aggiungere un riepilogo a MultilayerPerceptronClassificationModel (SPARK-32449)
• Aggiungere FMClassifier a SparkR (SPARK-30820)
• Aggiungere il wrapper LinearRegression sparkR (SPARK-30818)
• Aggiungere il wrapper FMRegressor a SparkR (SPARK-30819)
• Aggiungere il wrapper SparkR per vector_to_array (SPARK-33040)
• bloccare in modo adattivo le istanze - LinearSVC (SPARK-32907)
• make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer support Python backend estimator/evaluator (SPARK-33520)
• Migliorare le prestazioni di ML ALS recommendForAll by GEMV (SPARK-33518)
• Aggiungere UnivariateFeatureSelector (SPARK-34080)

Altre modifiche rilevanti

• Riepilogo delle risorse di calcolo GMM e distribuzioni degli aggiornamenti in un processo (SPARK-31032)
• Rimuovere la dipendenza ChiSqSelector da mllib. ChiSqSelectorModel (SPARK-31077)
• Rendere flat il dataframe dei risultati dei test in testChiSquare (SPARK-31301)
• Ottimizzazione della chiave MinHashDistance (SPARK-31436)
• Ottimizzazione KMeans basata sulla disuguaglianza dei triangoli (SPARK-31007)
• Aggiungere il supporto per il peso in ClusteringEvaluator (SPARK-31734)
• Aggiungere getMetrics negli analizzatori (SPARK-31768)
• Aggiungere il supporto dello spessore dell'istanza in LinearRegressionSummary (SPARK-31944)
• Aggiungere la colonna di riduzione specificata dall'utente a CrossValidator (SPARK-31777)
• Parità dei valori predefiniti dei parametri ml nelle funzionalità e nell'ottimizzazione (SPARK-32310)
• Correzione della doppia memorizzazione nella cache in KMeans/BiKMeans (SPARK-32676)
• Ottimizzazione della trasformazione aft (SPARK-33111)
• Ottimizzazione della trasformazione FeatureHasher (SPARK-32974)
• Aggiungere array_to_vector funzione per la colonna del dataframe (SPARK-33556)
• Parità dei valori predefiniti dei parametri ML nella classificazione, regressione, clustering e fpm (SPARK-32310)
• Summary.totalIterations maggiore di maxIters (SPARK-31925)
• Ottimizzazione della stima dei modelli ad albero (SPARK-32298)

SparkR

• Aggiungere l'interfaccia SparkR per le funzioni di ordine superiore (SPARK-30682)
• Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
• Supporto conColumn nelle funzioni SparkR (SPARK-32946)
• Supporto di timestamp_seconds nelle funzioni SparkR (SPARK-32949)
• Supporto di nth_value nelle funzioni SparkR (SPARK-33030)
• Versione minima di Arrow fino a 1.0.0 (SPARK-32452)
• Supporto array_to_vector nelle funzioni SparkR (SPARK-33622)
• Supportare acosh, asinh e atanh (SPARK-33563)
• Supporto di from_avro e to_avro (SPARK-33304)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 8.0.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.8.8 (aggiornamento dalla versione 3.8.6 del 26 maggio 2021)
• R: R versione 4.0.3 (2020-10-10)
• Delta Lake 0.8.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Librerie Java e Scala installate (versione del cluster Scala 2.12)