Databricks Runtime 4.1 (EoS)

Databricks ha rilasciato questa versione nel maggio 2018.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 4.1, basate su Apache Spark.

Delta Lake

Databricks Runtime versione 4.1 aggiunge importanti miglioramenti qualitativi e funzionalità a Delta Lake. Databricks consiglia vivamente a tutti i clienti Delta Lake di eseguire l'aggiornamento al nuovo runtime. Questa versione rimane in anteprima privata, ma rappresenta una versione candidata in previsione della prossima versione disponibile a livello generale.

Delta Lake è ora disponibile anche in anteprima privata per gli utenti di Azure Databricks. Contattare il proprio account manager o iscriversi all'indirizzo https://databricks.com/product/databricks-delta.

Modifiche di rilievo

• Databricks Runtime 4.1 include modifiche al protocollo di transazione per abilitare nuove funzionalità, ad esempio la convalida. Tables creato con Databricks Runtime 4.1 utilizza automaticamente la nuova versione e non può essere scritto da versioni precedenti di Databricks Runtime. Per sfruttare questi miglioramenti, è necessario aggiornare il tables esistente. Per aggiornare un tableesistente, aggiornare prima tutti i processi che scrivono nel table. Eseguire quindi:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Per altre informazioni, vedere Come azure Databricks gestisce la compatibilità delle funzionalità Delta Lake.

• Le scritture vengono ora verificate in base al schema corrente del table anziché aggiungere automaticamente columns che mancano dalla destinazione table. Per abilitare il comportamento precedente, set l'opzione mergeSchema per true.

• Se si eseguono versioni precedenti di Databricks Delta, è necessario aggiornare tutti i processi prima di usare Databricks Runtime 4.1. Se viene visualizzato uno di questi errori, eseguire l'aggiornamento a Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tables non possono più avere columns che differiscono solo per caso.

• Le configurazioni delta-specifiche di table devono ora essere precedute da delta.

Nuove funzionalità

• Schema di gestione: Databricks Delta convalida ora gli accodamenti e le sovrascrizioni a un table esistente per garantire che il schema scritto corrisponda al schema.

  • Databricks Delta continua a supportare l'evoluzione automatica schema.
  • Databricks Delta supporta ora il DDL seguente per modificare schema in modo esplicito:
    • ALTER TABLE ADD COLUMN aggiungere nuovi columns a un table
    • ALTER TABLE CHANGE COLUMNS per modificare l'ordinamento di column
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Per informazioni dettagliate, vedere Schema imposizione.

• DDL avanzato e table supporto

  • Supporto completo per table DDL e saveAsTable(). save() e saveAsTable() ora hanno una semantica identica.
  • Tutti i comandi DDL e DML supportano sia table nome che delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Informazioni dettagliate su table: è possibile visualizzare le versioni correnti del lettore e dello scrittore di un table eseguendo DESCRIBE DETAIL. Si veda In che modo Azure Databricks gestisce la compatibilità delle funzionalità di Delta Lake?.
  • Dettagli di Table: le informazioni sulla provenienza sono ora disponibili per ogni scrittura in un table. La barra laterale dei dati mostra anche informazioni dettagliate table e cronologia per Databricks Delta tables. Vedere esaminare i dettagli di Delta Lake table con la descrizione dettagliata.
  • Streaming tables: è possibile creare dataframe di streaming usando spark.readStream.format("delta").table("<table-name>").
  • tables di sola accodamento: Databricks Delta supporta ora la governance dei dati di base. È possibile bloccare le eliminazioni e le modifiche a un table impostando la proprietà tabledelta.appendOnly=true.
  • MERGE INTO source: aggiunge un supporto più completo alla specifica della query di origine di MERGE. Ad esempio, è possibile specificare LIMITe ORDER BYINLINE TABLE nell'origine.
  • Supporto completo per gli elenchi di controllo di accesso di Table.

Miglioramenti delle prestazioni

• Riduzione del sovraccarico della raccolta di statistiche: l'efficienza della raccolta di statistiche è stata migliorata e le statistiche vengono ora raccolte solo per un numero configurabile di columnse set, con 32 come valore predefinito. Le prestazioni di scrittura di Databricks Delta sono state migliorate fino a 2 volte a causa della riduzione del sovraccarico della raccolta di statistiche. Per configurare il numero di columns, set la proprietà tabledelta.dataSkippingNumIndexedCols=<number-of-columns>.
• Supporto per il push-down di limit: le statistiche vengono utilizzate per limit il numero di file scansionati per le query che hanno LIMIT e predicati su partitioncolumns. Ciò è applicabile alle query nei notebook a causa dell'effetto implicito limit=1000 per tutti i comandi del notebook.
• Filtrare il pushdown nell'origine di streaming: le query di streaming ora usano il partizionamento quando si avvia un nuovo flusso per ignorare i dati irrilevanti.
• Il parallelismo migliorato per OPTIMIZE - OPTIMIZE ora viene eseguito come singola attività Spark e userà tutto il parallelismo disponibile nel cluster (in precedenza era limitato a 100 file compattati alla volta).
• Ignora dati in DML - UPDATE, DELETEe MERGE ora usano le statistiche quando si individuano i file che devono essere riscritti.
• Riduzione della conservazione dei checkpoint: i checkpoint vengono ora conservati per due giorni (la cronologia viene ancora mantenuta per 30) per ridurre i costi di archiviazione per il log delle transazioni.

Comportamento dell'API

• Il comportamento di in Databricks Delta è identico a quello di insertInto(<table-name>) altre origini dati.
  • Se non viene specificata alcuna modalità o mode è ErrorIfExists, Ignoreo Append, i dati vengono aggiunti al DataFrame nel Databricks Delta table.
  • Se mode è Overwrite, elimina tutti i dati nella table esistente e inserisce i dati dal DataFrame in Databricks Delta table.
• Se memorizzato nella cache, table di destinazione di MERGE deve essere rimosso manualmente dalla cache.

Miglioramenti per l'usabilità

• Convalide della migrazione del carico di lavoro- Errori comuni durante la migrazione dei carichi di lavoro a Databricks Delta ora generano un'eccezione anziché non riuscire:
  • Uso di format("parquet") per leggere o scrivere un table.
  • Lettura o scrittura diretta su un partition (ovvero /path/to/delta/part=1).
  • Pulizia delle sottodirectory di un table.
  • INSERT OVERWRITE DIRECTORY l'uso di Parquet su un table.
• Configurazione senza distinzione tra maiuscole e minuscole: le opzioni per il lettore/writer del dataframe e le proprietà table non fanno distinzione tra maiuscole e minuscole (inclusi il percorso di lettura e il percorso di scrittura).
• Column nomi: i nomi Tablecolumn possono ora includere punti.

Problemi noti

• Gli inserimenti delle istruzioni multi-insert si trovano in unità di lavoro diverse anziché nella stessa transazione.

Correzioni di bug

• È stato risolto un ciclo infinito che si verificava quando veniva avviato un nuovo flusso su un table ad aggiornamento rapido.

Elementi deprecati

Structured Streaming non gestisce l'input che non è un accodamento e genera un'eccezione se vengono apportate modifiche al table in uso come origine. In precedenza è possibile eseguire l'override di questo comportamento usando il ignoreFileDeletion flag , ma è ora deprecato. Usare invece ignoreDeletes o ignoreChanges. Vedere Delta table come origine.

Altre modifiche e miglioramenti

• Query Watchdog è abilitato per tutti i cluster creati usando l'interfaccia utente.
• Miglioramento delle prestazioni lato driver per la cache DBIO
• Miglioramento delle prestazioni per la decodifica Parquet tramite un nuovo decodificatore Parquet nativo
• Miglioramento delle prestazioni per l'eliminazione di sottoespressione comune
• Miglioramento delle prestazioni di salto dei dati per table di grandi dimensioni che si aggiungono a piccole tables (join table dimensione dei fatti)
• display() ora esegue il rendering di columns contenenti tipi di dati immagine come HTML avanzato.
• Miglioramenti al log, caricamento e registrazione dei modelli MLflow
  • Aggiornamento di dbml-local alla versione più recente 0.4.1
  • Correzione di un bug con i modelli esportati con threshold il parametro specificato
  • Aggiunta del supporto per l'esportazione di OneVsRestModel, GBTClassificationModel
• Aggiornamento di alcune librerie Python installate:
  • pip: da 9.0.1 a 10.0.0b2
  • setuptools: da 38.5.1 a 39.0.1
  • tornado: da 4.5.3 a 5.0.1
  • ruota: da 0.30.0 a 0.31.0
• Aggiornamento di diverse librerie R installate. Vedere Librerie R installate.
• Aggiornamento di Azure Data Lake Store SDK dalla versione 2.0.11 alla versione 2.2.8.
• Aggiornamento di CUDA alla versione 9.0 da 8.0 e CUDNN alla versione 7.0 dalla 6.0 per i cluster GPU.

Apache Spark

Databricks Runtime 4.1 include Apache Spark 2.3.0. Questa versione include tutte le correzioni e i miglioramenti inclusi in Databricks Runtime 4.0 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-24007][SQL] EqualNullSafe per FloatType e DoubleType potrebbero generate un risultato errato da codegen.
• [SPARK-23942][PYTHON][SQL] Crea la raccolta in PySpark come azione per un listener dell'executor di query
• [SPARK-23815][CORE] La modalità di sovrascrittura dinamica del writer Spark partition potrebbe non riuscire a scrivere l'output su multi-livello partition
• [SPARK-23748][SS] Correzione del processo continuo di SS non supporta il problema di SubqueryAlias
• [SPARK-23963][SQL] Gestire correttamente un numero elevato di columns nella query su table Hive basato su testo
• [SPARK-23867][SCHEDULER] usare droppedCount in logWarning
• [SPARK-23816][CORE] Le attività terminate devono ignorare FetchFailures.
• [SPARK-23809][SQL] Active SparkSession deve essere set da getOrCreate
• [SPARK-23966][SS] Refactoring di tutti i file di checkpoint che scrivono logica in un'interfaccia CheckpointFileManager comune
• [SPARK-21351][SQL] Update nullability basato sull'output dei figli
• [SPARK-23847][PYTHON][SQL] Aggiungere asc_nulls_first, asc_nulls_last a PySpark
• [SPARK-23822][SQL] Migliorare il messaggio di errore per le incongruenze di Parquet schema
• [SPARK-23823][SQL] Mantenere l'origine in transformExpression
• [SPARK-23838][WEBUI] L'esecuzione di query SQL viene visualizzata come "completata" nella scheda SQL
• [SPARK-23802][SQL] PropagateEmptyRelation può lasciare il piano di query in uno stato non risolto
• [SPARK-23727][SQL] Supporto per il push dei filtri per DateType in parquet
• [SPARK-23574][SQL] Report SinglePartition in DataSourceV2ScanExec quando è presente esattamente 1 data reader factory.
• [SPARK-23533][SS] Aggiunta del supporto per la modifica dell'oggetto startOffset di ContinuousDataReader
• [SPARK-23491][SS] Remove annullamento esplicito dei job dalla riconfigurazione di ContinuousExecution
• [SPARK-23040][CORE] Restituisce un iteratore interrompibile per il lettore casuale
• [SPARK-23827][SS] StreamingJoinExec deve garantire che i dati di input siano partizionati in un numero specifico di partizioni
• [SPARK-23639][SQL] Ottenere il token prima del client metastore init nell'interfaccia della riga di comando di SparkSQL
• [SPARK-23806]Broadcast.unpersist può causare eccezioni irreversibili quando viene usato...
• [SPARK-23599][SQL] Usare RandomUUIDGenerator nell'espressione Uuid
• [SPARK-23599][SQL] Aggiungere un generatore UUID da numeri pseudo-casuali
• [SPARK-23759][interfaccia utente] Impossibile associare l'interfaccia utente di Spark a un nome host/IP specifico
• [SPARK-23769][CORE] Remove commenti che disabilitano inutilmente il controllo Scalastyle
• [SPARK-23614][SQL] Correzione dello scambio di riutilizzo non corretto quando viene usata la memorizzazione nella cache
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs dovrebbe salvare/restore lo stato CSE correttamente
• [SPARK-23729][CORE] Rispettare il frammento URI durante la risoluzione dei glob
• [SPARK-23550][CORE] Utilità di pulizia
• [SPARK-23288][SS] Correzione delle metriche di output con sink Parquet
• [SPARK-23264][SQL] Correggere scala. MatchError in literals.sql.out
• [SPARK-23649][SQL] Ignorare i caratteri non consentiti in UTF-8
• [SPARK-23691][PYTHON] Usare l'utilità sql_conf nei test PySpark where possibile
• [SPARK-23644][CORE][interfaccia utente] Usare il percorso assoluto per la chiamata REST in SHS
• [SPARK-23706][PYTHON] spark.conf.get(valore, default=None) deve produrre Nessuno in PySpark
• [SPARK-23623][SS] Evitare l'uso simultaneo dei consumer memorizzati nella cache in CachedKafkaConsumer
• [SPARK-23670][SQL] Correzione della perdita di memoria in SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Aggiungere la sincronizzazione in SHS tra le funzioni attachSparkUI e detachSparkUI per evitare problemi di modifica simultanei ai gestori Jetty
• [SPARK-23671][CORE] Correzione della condizione per abilitare il pool di thread SHS.
• [SPARK-23658][LAUNCHER] InProcessAppHandle usa la classe errata in getLogger
• [SPARK-23642][DOCS] Correzione della sottoclasse AnalyzerV2 isZero scaladoc fix
• [SPARK-22915][MLLIB] Streaming di test per spark.ml.feature, da N a Z
• [SPARK-23598][SQL] Rendere pubblici i metodi in BufferedRowIterator per evitare errori di runtime per una query di grandi dimensioni
• [SPARK-23546][SQL] Refactoring dei metodi senza stato/values in CodegenContext
• [SPARK-23523][SQL] Correggere il risultato errato causato dalla regola OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] Miglioramento del messaggio di errore di campo mancante in StructType
• [SPARK-23624][SQL] Rivedere la documentazione dei filtri push del metodo in Datasource V2
• [SPARK-23173][SQL] Evitare di creare file Parquet danneggiati durante il caricamento di dati da JSON
• [SPARK-23436][SQL] Inferre partition come Data solo se è possibile eseguirne il cast in Data
• [SPARK-23406][SS] Abilitare self-join di flusso
• [SPARK-23490][SQL] Controllare storage.locationUri con table esistenti in CreateTable
• [SPARK-23524]I blocchi casuali locali di grandi dimensioni non devono essere controllati per verificare la presenza di danneggiamenti.
• [SPARK-23525][SQL] Supporto ALTER TABLE CHANGE COLUMN COMMENT per hive esterno table
• [SPARK-23434][SQL] Spark non deve avvisare la directory dei metadati per un percorso di file HDFS
• [SPARK-23457][SQL] Registrare prima i listener di completamento delle attività in ParquetFileFormat
• [SPARK-23329][SQL] Correzione della documentazione delle funzioni trigonometriche
• [SPARK-23569][PYTHON] Consenti pandas_udf di usare funzioni con annotazioni di tipo Python3
• [SPARK-23570][SQL] Aggiungere Spark 2.3.0 in HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Imposta _pyspark.util. exception_message produrre la traccia da Java accanto a Py4JJavaError
• [SPARK-23508][CORE] Correggere BlockmanagerId nel caso blockManagerIdCache causa oom
• [SPARK-23448][SQL] Chiarire il comportamento del parser JSON e CSV nel documento
• [SPARK-23365][CORE] Non regolare gli executor num quando si uccidono executor inattive.
• [SPARK-23438][DSTREAMS] Correggere la perdita di dati DStreams con WAL quando il driver si arresta in modo anomalo
• [SPARK-23475][interfaccia utente] Mostra anche le fasi ignorate
• [SPARK-23518][SQL] Evitare l'accesso al metastore quando gli utenti vogliono solo leggere e scrivere frame di dati
• [SPARK-23406][SS] Abilitare self-join di flusso
• [SPARK-23541][SS] Consentire all'origine Kafka di leggere i dati con maggiore parallelismo rispetto al numero di partizioni di articolo
• [SPARK-23097][SQL][SS] Eseguire la migrazione dell'origine socket di testo alla versione 2
• [SPARK-23362][SS] Eseguire la migrazione dell'origine Microbatch Kafka alla versione 2
• [SPARK-23445]Refactoring columnStat
• [SPARK-23092][SQL] Eseguire la migrazione di MemoryStream alle API DataSourceV2
• [SPARK-23447][SQL] Modello codegen di pulizia per valore letterale
• [SPARK-23366]Migliorare il percorso di lettura ad accesso frequente in ReadAheadInputStream
• [SPARK-22624][PYSPARK] Esporre il partizionamento casuale dell'intervallo

Aggiornamenti della manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 4.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 per cluster Python 2 e 3.5.2 per cluster Python 3.
• R: R versione 3.4.4 (2018-03-15)
• Cluster GPU: sono installate le librerie GPU NVIDIA seguenti:
  • Driver Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Librerie Python installate

Librerie R installate

Librerie Java e Scala installate (versione del cluster Scala 2.11)