Databricks Runtime 9.0 per ML (EoS)

Databricks ha rilasciato questa versione nell'agosto 2021.

Databricks Runtime 9.0 per Machine Learning è un ambiente pronto all’uso ottimizzato per l'esecuzione di processi di apprendimento automatico e data science basato su Databricks Runtime 9.0 (EoS). Databricks Runtime ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch e XGBoost. È inoltre supportato il training distribuito con Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster di Databricks Runtime ML, vedere IA e Machine Learning in Databricks.

Correzione

Una versione precedente di queste note sulla versione indicava che il supporto per il monitoraggio delle metriche GPU del cluster con Ganglia era stato disabilitato nella GPU Databricks Runtime 9.0 ML. Ciò è vero per Databricks Runtime 9.0 ML Beta, ma il problema è stato risolto con la disponibilità generale di Databricks Runtime 9.0 ML. L'istruzione è stata rimossa.

Miglioramenti e nuove funzionalità

Databricks Runtime 9.0 ML è basato su Databricks Runtime 9.0. Per informazioni sulle novità di Databricks Runtime 9.0, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 9.0 (EoS).

Databricks Autologging (anteprima pubblica)

Databricks Autologging è ora disponibile per Databricks Runtime 9.0 per Machine Learning in aree selezionate. Databricks Autologging è una soluzione senza codice che fornisce il rilevamento automatico degli esperimenti per le sessioni di training di Machine Learning in Azure Databricks. Con l'assegnazione automatica di Databricks, i parametri del modello, le metriche, i file e le informazioni di derivazione vengono acquisiti automaticamente quando si esegue il training dei modelli da un'ampia gamma di librerie di Machine Learning più diffuse. Le sessioni di training vengono registrate come esecuzioni di rilevamento MLflow. I file di modello vengono inoltre rilevati in modo da poterli registrare facilmente nel Registro modelli MLflow e implementarli per l'assegnazione dei punteggi in tempo reale con MLflow Model Serving.

Per altre informazioni su Databricks Autologging, vedere Databricks Autologging.

Miglioramenti all'archivio funzionalità di Databricks

Le prestazioni durante la creazione di un set di training sono state migliorate riducendo al minimo il numero di join tra le tabelle delle funzionalità di origine.

L'integrazione di XGBoost con PySpark supporta ora il training distribuito e i cluster GPU

Per informazioni dettagliate, vedere Usare XGBoost in Azure Databricks.

Modifiche principali all'ambiente Python di Databricks Runtime ML

Gli ambienti Conda, insieme al comando %conda, vengono rimossi. Databricks Runtime 9.0 ML viene compilato con pip e virtualenv. Le immagini personalizzate che usano ambienti basati su Conda con Databricks Container Services saranno ancora supportate, ma non avranno capacità di libreria con ambito Notebook. Databricks consiglia di usare ambienti basati su virtualenv con Databricks Container Services e %pip per tutte le librerie con ambito Notebook.

Vedere Databricks Runtime 9.0 (EoS) per le modifiche principali all'ambiente Python di Databricks Runtime. Per un elenco completo dei pacchetti Python installati e delle relative versioni, vedere librerie Python.

Pacchetti Python aggiornati

• mlflow 1.18.0 -> 1.19.0
• nltk 3.5 -> 3.6.1

Pacchetti Python aggiunti

• prophet 1.0.1

Pacchetti Python rimossi

• MKL
• azure-core
• azure-storage-blob
• msrest
• docker
• querystring-parser
• intel-openmp

Deprecazioni e funzionalità non supportate

• In Databricks Runtime 9.0 ML HorovodRunner non supporta l'impostazione np=0, dove np è il numero di processi paralleli da usare per il processo Horovod.
• Databricks Runtime 9.0 ML include r-base 4.1.0 con il motore grafico R versione 14. Questa operazione non è supportata da RStudio Server versione 1.2.x.
• nvprof viene rimosso nella GPU Databricks Runtime 9.0 ML.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 9.0 ML differisce da Databricks Runtime 9.0 come indicato di seguito:

• DBUtils: Databricks Runtime ML non include l'utilità libreria (dbutils.library) (legacy). Usare %pip invece i comandi. Vedere Librerie Python con ambito notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 9.0 ML che differiscono da quelle incluse in Databricks Runtime 9.0.

Contenuto della sezione:

• Librerie di livello superiore
• Librerie Python
• Librerie R
• Librerie Java e Scala (cluster Scala 2.12)

Librerie di livello superiore

Databricks Runtime 9.0 ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Librerie Python

Databricks Runtime 9.0 ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 9.0 ML include anche i pacchetti seguenti:

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db1
• feature_store 0.3.3
• automl 1.1.1

Librerie Python nei cluster CPU

Librerie Python nei cluster GPU

Pacchetti Spark contenenti moduli Python

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 9.0.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 9.0, Databricks Runtime 9.0 ML contiene i file JAR seguenti:

Cluster CPU

Cluster GPU