Aprile 2019
Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati ad aprile 2019.
Nota
Le versioni vengono rilasciate in fasi. L'account Azure Databricks potrebbe non essere aggiornato fino a una settimana dopo la data di rilascio iniziale.
MLflow in Azure Databricks (disponibilità a livello generale)
25 aprile 2019
MLflow gestito in Azure Databricks è ora disponibile a livello generale. MLflow in Azure Databricks offre una versione ospitata di MLflow completamente integrata con il modello di sicurezza Databricks e l'area di lavoro interattiva. Consulta MLflow per l'agente di intelligenza artificiale generativa e il ciclo di vita del modello di ML.
Delta Lake in Azure Databricks
24 aprile 2019
Databricks ha reso open source il progetto Delta Lake. Delta Lake è un livello di archiviazione che assicura affidabilità ai data lake basati su HDFS e sulle piattaforme cloud, grazie all'utilizzo di transazioni ACID. Questo è reso possibile tramite il controllo della concorrenza ottimistica tra le operazioni di scrittura e l'isolamento degli snapshot, garantendo letture coerenti anche durante le scritture. Delta Lake offre anche il controllo delle versioni dei dati predefinito per eseguire facilmente il rollback e la riproduzione di report.
Nota
Quello che in precedenza era denominato Databricks Delta è ora il progetto open source Delta Lake più le ottimizzazioni disponibili in Azure Databricks. Vedere Cos'è Delta Lake?.
Barra laterale delle esecuzioni di MLflow
9-16 aprile 2019: versione 2.95
È ora possibile visualizzare le esecuzioni di MLflow e le revisioni del notebook che hanno prodotto queste esecuzioni in una barra laterale accanto al notebook. Nella barra laterale destra del notebook, fare clic sull'icona Esperimento
.
Consulta Crea un esperimento di notebook.
Accedere automaticamente ad Azure Data Lake Storage Gen1 e Gen2 con le credenziali di Microsoft Entra ID (GA)
9-16 aprile 2019: versione 2.95
Siamo lieti di annunciare la disponibilità generale dell'autenticazione automatica ad Azure Data Lake Storage Gen1 e Gen2 dai cluster Azure Databricks usando la stessa identità ID di Microsoft Entra usata per accedere ad Azure Databricks.
È sufficiente abilitare il cluster per il pass-through delle credenziali id di Microsoft Entra e i comandi eseguiti in tale cluster potranno leggere e scrivere i dati in Azure Data Lake Storage Gen1 e Gen2 senza che sia necessario configurare le credenziali dell'entità servizio per l'accesso all'archiviazione.
Per ulteriori informazioni, vedere Accedere ad Azure Data Lake Storage usando il pass-through delle credenziali di Microsoft Entra ID (legacy).
Databricks Runtime 5.3 (GA)
3 aprile 2019
Databricks Runtime 5.3 è ora disponibile a livello generale. Databricks Runtime 5.3 include nuove funzionalità e aggiornamenti di Delta Lake e librerie Python, R, Java e Scala aggiornate.
Gli aggiornamenti principali includono:
- Disponibilità generale della funzione di viaggio nel tempo di Databricks Delta
- Replica di tabelle MySQL in Delta, anteprima pubblica
- Cartella DBFS FUSE ottimizzata per carichi di lavoro di Deep Learning
- Miglioramenti della libreria a livello di notebook
- Nuovi suggerimenti di Databricks Advisor
Per informazioni dettagliate, vedere Databricks Runtime 5.3 (EoS).
Databricks Runtime 5.3 ML (disponibilità generale)
3 aprile 2019
Con Databricks Runtime 5.3 per Machine Learning, è stata ottenuta la prima disponibilità generale di Databricks Runtime ML. Databricks Runtime ML, è un ambiente pronto all'uso per l'esecuzione di processi di Machine Learning e data science. Si basa su Databricks Runtime e aggiunge molte diffuse librerie di Machine Learning, tra cui TensorFlow, PyTorch, Keras e XGBoost. È inoltre supportato il training distribuito con Horovod.
Questa versione è basata su Databricks Runtime 5.3, con librerie aggiuntive, alcune versioni diverse della libreria e gestione pacchetti Conda per le librerie Python. Le nuove funzionalità principali da Databricks Runtime 5.2 ML Beta includono:
Integrazione di MLlib con MLflow (anteprima privata), che fornisce la registrazione automatica delle esecuzioni MLflow per i modelli addestrati usando gli algoritmi di ottimizzazione di PySpark
CrossValidatoreTrainValidationSplit.Per partecipare all'anteprima, contatta il tuo team dell'account Databricks.
Aggiornamenti alle librerie PyArrow, Horovod e TensorboardX.
L'aggiornamento di PyArrow aggiunge la possibilità di usare
BinaryTypequando si esegue la conversione basata su Arrow e la rende disponibile nelle pandas UDF.
Per altre informazioni, vedere Databricks Runtime 5.3 ML (EoS). Per istruzioni sulla creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.