Databricks Runtime 7.1 (EoS)

Databricks ha rilasciato questa versione a luglio 2020.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 7.1, basate su Apache Spark 3.0.

Nuove funzionalità

Databricks Runtime 7.1 include le nuove funzionalità seguenti:

Delta Lake

• È ora possibile set metadati definiti dall'utente in ogni commit eseguito dalle operazioni Delta. Per informazioni dettagliate, vedere Enrich Delta Lake tables con metadati personalizzati.

• È ora possibile eseguire una query sulla configurazione SQL spark.databricks.delta.lastCommitVersionInSession fino a get la versione dell'ultimo commit scritto dall'attuale SparkSession.

  Se non sono stati eseguiti commit da , l'esecuzione SparkSessiondi query sulla chiave restituisce un valore vuoto. Questa funzionalità non è supportata nei casi di streaming o multithreading.

• CONVERT TO DELTA ora può convertire i file Parquet tables che sono stati creati da Structured Streaming utilizzando il log delle transazioni presente nella cartella _spark_metadata. In questo modo si impedisce che i file non eseguiti tramite la query di streaming vengano considerati nel Delta table. È quindi possibile continuare il flusso usando la stessa posizione del checkpoint.

  Nota

  C'è una piccola possibilità che il commit dei dati dell'ultimo micro-batch venga eseguito di nuovo nel table dopo il processo di conversione.

• Questa versione contiene miglioramenti delle prestazioni per MERGE INTO le operazioni con solo clausole corrispondenti. Cioè, hanno solo UPDATE azioni e DELETE nessuna INSERT azione.

Comandi pip per supportare le librerie Python con ambito notebook

A partire da Databricks Runtime 7.1, è possibile usare %pip i comandi per gestire le librerie Python installate in una sessione di notebook. Per altre informazioni, vedere Librerie Python con ambito Notebook.

Miglioramenti

• Aggiunge un display metodo ai dataframe PySpark, pandas e Koalas, quindi è ora possibile eseguire df.display() per un'analisi esplorativa più semplice dei dati. Vedere Creare una nuova visualizzazione.
• Koalas è ora installato.

Apache Spark

Databricks Runtime 7.1 include Apache Spark 3.0.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 7.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-32057] ExecuteStatement: l'annullamento e la chiusura non devono essere temporaneamente ERROR
• [SPARK-32167] [SQL] Correzione di GetArrayStructFields per rispettare il supporto dei valori Null del campo interno insieme
• [SPARK-31935] La configurazione del file system Hadoop deve essere efficace nelle opzioni dell'origine dati
• [SPARK-32038] [SQL] NormalizeFloatingNumbers deve funzionare anche su un'aggregazione distinta
• [SPARK-31705] [SQL] Portare avanti più predicati possibili tramite Join con conversione CNF
• [SPARK-31945] [SQL][PYSPARK] Abilitare la cache per la stessa funzione Python
• [SPARK-8981] [CORE] Aggiungere il supporto MDC in Executor
• [SPARK-31986] [SQL] Correzione dei micros julian gregoriani per la sovrapposizione di timestamp locali sovrapposti
• [SPARK-31959] [SQL] Correzione di microbasing Gregorian-Julian durante il cambio di fuso orario standard offset
• [SPARK-26905] [SQL] Seguire le parole chiave riservate SQL:2016
• [SPARK-31990] [SS] Usare toSet.toSeq in Dataset.dropDuplicates
• [SPARK-31992] [SQL] Eseguire il benchmark della modalità rebase EXCEPTION
• [SPARK-31983] [WEBUI] Correzione dell'ordinamento per la durata column nella scheda structured streaming
• [SPARK-31593] [SS] Remove lo stato di avanzamento delle query di streaming non necessario update
• [SPARK-31968] [SQL] Controllo partitioncolumns duplicato durante la scrittura di dati
• [SPARK-31632] [CORE][WEBUI] Arricchire il messaggio di eccezione quando il riepilogo dell'applicazione non è disponibile
• [SPARK-31916] [SQL] StringConcat può portare a StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] La configurazione del file system Hadoop deve essere efficace nelle opzioni dell'origine dati
• [SPARK-31954] [SQL] Eliminare testcase duplicati in HiveQuerySuite
• [SPARK-28199] [SS] Remove pacchetto privato in classe/oggetto nel pacchetto sql.execution
• [SPARK-31956] [SQL] Non fallire se non esiste un "self" ambiguo join
• [SPARK-31941] [CORE] Sostituire SparkException in NoSuchElementException per applicationInfo in AppStatusStore
• [SPARK-26905] [SQL] Aggiungere TYPE nel list non riservato ANSI
• [SPARK-31921] [CORE] Correzione dell'avviso errato: "App app-xxx richiede più risorse di qualsiasi tipo di ruoli di lavoro"
• [SPARK-31220] [SQL] la ripartizione obbedisce a initialPartitionNum quando adaptiveExecutionEnabled
• [SPARK-29295] [SQL] Mappa partition dinamica analizzata dal percorso di partition deve essere senza distinzione tra maiuscole e minuscole
• [SPARK-31849] [PYTHON][SQL] Messaggio di errore più corretto nel messaggio di eccezione UDF python
• [SPARK-31923] [CORE] Ignorare gli exploreri interni che usano tipi non riconosciuti anziché arrestarsi in modo anomalo
• [SPARK-31849] [PYTHON][SQL] Deduplicare e riutilizzare Utils.exceptionString nella gestione delle eccezioni python

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 7.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versione 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-04-22.

Librerie Java e Scala installate (versione del cluster Scala 2.12)