Databricks Runtime 8.3 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.3 e Databricks Runtime 8.3 Photon, basate su Apache Spark 3.1.1. Databricks ha rilasciato questa versione nel giugno 2021. Photon è disponibile in anteprima pubblica.

Miglioramenti e nuove funzionalità

• Colonne Generate Nelle Tabelle Delta (In Anteprima Pubblica)
• Funzionalità e miglioramenti del caricatore automatico
• Creare tabelle Delta con nuove API a livello di codice (anteprima pubblica)
• Calcolo corretto delle dimensioni delle tabelle Delta in SQL ANALYZE
• Metriche dettagliate delle prestazioni di RocksDB quando si usa RocksDBStateStore
• Scritture automatiche ottimizzate
• Abilita i join raggruppati se solo uno dei lati del join è raggruppato
• Maggiore sicurezza quando si definiscono funzioni definite dall'utente Spark (anteprima pubblica)
• Numero ridotto di richieste al registro dello schema per le query con from_avro
• Più risultati in R con ListResults (anteprima pubblica)

Colonne generate nelle tabelle Delta (anteprima pubblica)

Delta Lake supporta ora colonne generate, che sono un tipo speciale di colonna i cui valori vengono generati automaticamente in base a una funzione specificata dall'utente su altre colonne della tabella Delta. È possibile usare la maggior parte delle funzioni SQL predefinite per generare i valori di queste colonne generate. Ad esempio, è possibile generare automaticamente una colonna data (per partizionare la tabella per data) dalla colonna timestamp; le scritture nella tabella devono specificare solo i dati per la colonna timestamp. È possibile creare tabelle Delta con colonne generate usando LE API SQL, Scala, Java o Python.

Per altre informazioni, vedere colonne generate da Delta Lake.

Funzionalità e miglioramenti del caricatore automatico

• inferenza dello schema per i file CSV nel del caricatore automatico
• Tempo di avvio migliorato per i flussi del caricatore automatico
• Elenco di directory più veloce nel caricatore automatico
• Riduzione del sovraccarico di archiviazione per i checkpoint del caricatore automatico
• Auto Loader include il percorso del file nella colonna dei dati recuperati quando disponibile
• Il caricatore automatico supporta la ridenominazione dei file in Azure Data Lake Storage Gen2 in modalità di notifica file

Inferenza dello schema per i file CSV nel caricatore automatico

Il caricatore automatico supporta ora l'inferenza dello schema e l'evoluzione nei file CSV. Il caricatore automatico offre le funzionalità seguenti sopra il parser CSV esistente in Apache Spark:

• Unione dello schema: il caricatore automatico può inserire file CSV con schema diverso (numero diverso di colonne, ordinamento diverso delle colonne) tra i file.
• Colonna di dati salvata: è possibile usare la colonna di dati salvata per salvare dati imprevisti che possono essere visualizzati nei file CSV. Sono inclusi dati che non possono essere analizzati nel tipo di dati previsto, colonne che hanno un diverso uso delle maiuscole o valori null nell'intestazione, o colonne aggiuntive che non facevano parte dello schema previsto.

Per informazioni dettagliate, vedere Configurare l'inferenza e l'evoluzione dello schema in Auto Loader (Caricamento automatico).

Tempo di avvio migliorato per i flussi del caricatore automatico

I flussi del caricatore automatico ora eseguono il riempimento iniziale per il flusso in modo asincrono all'avvio per la prima volta, causando tempi di avvio molto più rapidi per il flusso. Ciò consente di eseguire rapidamente l'iterazione del codice con i dati di produzione, soprattutto quando è necessario inserire dati da directory contenenti milioni o miliardi di file.

Inoltre, il tempo di bootstrap dei flussi che vengono riavviati è migliorato, perché è stato parallelizzato il download e il caricamento dei file RocksDB che il caricatore automatico sfrutta per fornire semantiche di tipo exactly-once.

Elenco di directory più veloce nel caricatore automatico

È stata notevolmente migliorata l'efficienza dell'elenco di directory in Caricamento automatico. Un effetto collaterale di questo miglioramento delle prestazioni è che il flusso può generare più richieste di elenco al sistema di archiviazione quando non sono presenti nuovi dati da elaborare, che possono causare un aumento degli addebiti per le richieste di elenco. Come procedura consigliata generale, Databricks consiglia di impostare un intervallo di trigger ragionevole per le pipeline di streaming di produzione. Vedere Considerazioni sulla produzione per Structured Streaming.

Riduzione del sovraccarico di archiviazione per i checkpoint del caricatore automatico

I flussi del caricatore automatico ora puliscono automaticamente i file non aggiornati nella directory del checkpoint in modo asincrono per evitare che le dimensioni della directory del checkpoint aumentino a tempo indeterminato e riducano i costi di archiviazione.

Il caricatore automatico include il percorso del file nella colonna di dati salvata quando disponibile

La colonna di dati salvata fornisce automaticamente il percorso del file dei dati salvati, se applicabile in una colonna denominata _file_ path. Ciò consente di tenere traccia della causa radice dei problemi di qualità dei dati. La colonna non è inclusa se lo schema dei dati contiene una colonna denominata _file_path. È possibile usare la configurazione SQL spark.databricks.sql.rescuedDataColumn.filePath.name per rinominare la colonna, se necessario.

Il caricatore automatico supporta la ridenominazione dei file in Azure Data Lake Storage Gen2 in modalità di notifica file

Il caricatore automatico supporta ora gli eventi BlobRenamed per Azure Data Lake Storage Gen2 durante l'esecuzione in modalità di notifica file. Per elaborare i file caricati in un contenitore di Azure Data Lake Storage Gen2 tramite un'operazione di ridenominazione con le notifiche dei file, avviare un nuovo flusso con il caricatore automatico usando Databricks Runtime 8.3. Per assicurarsi che un file venga elaborato esattamente una volta, assicurarsi che la directory di origine da cui viene rinominato il file non sia guardato dal caricatore automatico.

Creare tabelle Delta con nuove API a livello di codice (anteprima pubblica)

È ora possibile creare nuove tabelle Delta a livello di codice (usando Scala, Java e Python) senza usare le API dataframe. Le nuove API DeltaTableBuilder e DeltaColumnBuilder consentono di specificare tutti i dettagli della tabella che è possibile specificare usando SQL CREATE TABLE.

Per altre informazioni, vedere Creare una tabella.

Calcolo corretto delle dimensioni delle tabelle Delta in SQL ANALYZE

La logica di analisi esistente calcola erroneamente le dimensioni della tabella per le tabelle Delta e aggiorna il catalogo con dimensioni non corrette. La correzione consiste nel ottenere le dimensioni di una tabella Delta dal log Delta.

Metriche dettagliate delle prestazioni di RocksDB quando si usa RocksDBStateStore

Se la query Structured Streaming è stata configurata per l'uso di RocksDB come archivio stati, è ora possibile ottenere una migliore visibilità sulle prestazioni di RocksDB, con metriche dettagliate sulle latenze get/put, latenze di compattazione, riscontri nella cache e così via. Queste metriche sono disponibili tramite le StreamingQueryProgress API e StreamingQueryListener per il monitoraggio di una query di streaming.

Per altre informazioni, vedere Configurare l'archivio stati di RocksDB in Azure Databricks.

Scritture automatiche ottimizzate

Le scritture ottimizzate nelle tabelle Delta partizionate sono ora abilitate automaticamente per le query di aggiornamento ed eliminazione contenenti sottoquery.

Abilitare i join a bucket se solo un lato del join è raggruppato a bucket

Una nuova configurazione spark.databricks.sql.minBucketsForBucketedJoin abilita un join bucketed se solo un lato del join è suddiviso in bucket e il numero di bucket non è inferiore a questo valore di configurazione. Per impostazione predefinita, questo valore di configurazione corrisponde al numero di partizioni casuali predefinito (200).

Maggiore sicurezza quando si definiscono funzioni definite dall'utente Spark (anteprima pubblica)

Le funzioni current_user delle informazioni utente e is_member non possono più essere sottoposte a override da funzioni temporanee, tra cui Python spark.udf.register o SQL create or replace temp function.

Numero ridotto di richieste al registro degli schemi per le query con from_avro

Le query con from_avro e il supporto del registro degli schemi non generano più così tante richieste al servizio del registro degli schemi, riducendo i costi operativi.

Più risultati in R con ListResults (anteprima pubblica)

I notebook di Databricks R ora supportano più risultati in ogni cella. In precedenza è stato eseguito il rendering di un solo risultato per ogni cella del notebook. Attualmente i risultati di una singola cella nei notebook R vengono visualizzati nell'ordine seguente:

1. RShiny URL
2. Grafico
3. output displayHTML
4. Tabelle
5. stdout

Aggiornamenti della libreria

• Libreria Python aggiornata:
  • koala aggiornati dalla versione 1.7.0 alla 1.8.0.
  • Pandas aggiornato dalla versione 1.1.3 alla versione 1.1.5.
  • s3transfer aggiornato da 0.3.4 a 0.3.6.
• Libreria R aggiornata:
  • SparkR aggiornato dalla versione 3.1.1 alla versione 3.1.2.
• Libreria Java aggiornata:
  • mariadb-java-client dalla versione 2.1.2 alla versione 2.2.5.
  • parquet-column da 1.10.1-databricks6 a 1.10.1-databricks9
  • parquet-common da 1.10.1-databricks6 a 1.10.1-databricks9
  • codifica parquet da 1.10.1-databricks6 a 1.10.1-databricks9
  • parquet-hadoop da 1.10.1-databricks6 a 1.10.1-databricks9
  • parquet-jackson da 1.10.1-databricks6 a 1.10.1-databricks9

Apache Spark

Databricks Runtime 8.3 include Apache Spark 3.1.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 8.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-34614] [SQL] Modalità ANSI: il cast di stringhe in un valore booleano deve generare un'eccezione in caso di errore di analisi
• [SPARK-34246] [FOLLOWUP] Modificare la definizione di 'findTightestCommonT...
• [SPARK-35213] [SQL] Mantenere l'ordinamento corretto degli struct annidati nelle operazioni concatenati conField
• [SPARK-35096] [SQL] SchemaPruning deve rispettare la configurazione spark.sql.caseSensitive
• [SPARK-35227] [BUILD] Aggiornare il resolver per i pacchetti Spark in SparkSubmit
• [SPARK-35224] [SQL] Correzione dell'overflow del buffer in MutableProjectionSuite
• [SPARK-34245] [CORE] Verificare che Master rimuovono gli executor che non sono riusciti a inviare lo stato completato
• [SPARK-34856] [SQL] Modalità ANSI: consenti il cast di tipi complessi come tipo stringa
• [SPARK-34946] [SQL] Blocca sottoquery scalare correlata non supportata in Aggregate
• [SPARK-35014] Correggere lo schema PhysicalAggregation per non riscrivere le espressioni pieghevoli
• [SPARK-34769] [SQL] AnsiTypeCoercion: return closest con...

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8
• R: R versione 4.0.4 (2021-02-15)
• Delta Lake 1.0.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Librerie Java e Scala installate (versione del cluster Scala 2.12)