Databricks Runtime 13.3 LTS per Apprendimento Automatico

Databricks Runtime 13.3 LTS per Machine Learning offre un ambiente pronto per apprendimento automatico e data science basato su Databricks Runtime 13.3 LTS. Databricks Runtime ML contiene molte di queste popolari librerie per l’apprendimento automatico, tra cui TensorFlow, PyTorch e XGBoost. Databricks Runtime ML include AutoML, uno strumento per eseguire automaticamente il training delle pipeline di Machine Learning. Databricks Runtime ML supporta inoltre il training di Deep Learning distribuito tramite Horovod.

Per altre informazioni, incluse le istruzioni per la creazione di un cluster Databricks Runtime ML, vedere IA e Machine Learning in Azure Databricks.

Miglioramenti e nuove funzionalità

Databricks Runtime 13.3 LTS ML è basato su Databricks Runtime 13.3 LTS. Per informazioni sulle novità di Databricks Runtime 13.3 LTS, tra cui Apache Spark MLlib e SparkR, vedere le note sulla versione di Databricks Runtime 13.3 LTS.

Modifiche al Feature Store di Databricks

• Databricks Runtime 13.3 LTS ML contiene il client Feature Store v0.14.0. Con la versione client 0.14.0 e successive, è necessario specificare, nell'argomento primary_keys, le colonne chiave timestamp. Le chiavi timestamp fanno parte delle "chiavi primarie" che identificano in modo univoco ogni riga nella tabella delle funzionalità.
• È ora possibile escludere valori delle caratteristiche con timestamp anteriori a un'ora specificata dal set di addestramento. Per informazioni dettagliate, vedere Impostare un limite di tempo per i valori cronologici delle funzionalità.
• Le funzionalità di apprendimento automatico possono ora essere calcolate su richiesta in fase di inferenza. La logica di calcolo delle funzionalità, i modelli e i dati sono tutti regolati dal catalogo Unity. Ciò consente ai modelli di calcolare le funzionalità usando input disponibili solo in fase di inferenza, ad esempio la posizione corrente di un utente. Per altre informazioni, vedere Funzionalità di calcolo su richiesta tramite funzioni definite dall'utente Python.

Ambiente di sistema

L'ambiente di sistema in Databricks Runtime 13.3 LTS ML differisce da Databricks Runtime 13.3 LTS come indicato di seguito:

• DBUtils: Databricks Runtime ML non include l'utilità della libreria (dbutils.library) (legacy). Utilizzare i comandi %pip invece. Vedere Librerie Python con ambito notebook.
• Per i cluster GPU, Databricks Runtime ML include le librerie GPU NVIDIA seguenti:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

Databricks Runtime 13.3 LTS ML include XGBoost 1.7.3, che non supporta cluster GPU con capacità di calcolo 5.2 e versioni precedenti.

Il pacchetto miniconda è stato rimosso da Databricks Runtime 13.0 ML e versioni successive.

Librerie

Le sezioni seguenti elencano le librerie incluse in Databricks Runtime 13.3 LTS ML che differiscono da quelle incluse in Databricks Runtime 13.3 LTS.

Contenuto della sezione:

• Librerie di livello superiore
• Librerie Python
• Librerie R
• Librerie Java e Scala (cluster Scala 2.12)

Librerie di livello superiore

Databricks Runtime 13.3 LTS ML include le librerie di livello superiore seguenti:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Librerie Python

Databricks Runtime 13.3 LTS ML usa Virtualenv per la gestione dei pacchetti Python e include molti dei pacchetti ML più diffusi.

Oltre ai pacchetti specificati nelle sezioni seguenti, Databricks Runtime 13.3 LTS ML include anche i pacchetti seguenti:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.20.0

Per riprodurre l'ambiente Python di Databricks Runtime ML nell'ambiente virtuale Python locale, scaricare il file requirements-13.3.txt ed eseguire pip install -r requirements-13.3.txt. Questo comando installa tutte le librerie open source usate da Databricks Runtime ML, ma non installa librerie sviluppate da Databricks, ad esempio databricks-automl, databricks-feature-store o il fork di Databricks di hyperopt.

Librerie Python nei cluster CPU

Librerie Python nei cluster GPU

Librerie R

Le librerie R sono identiche alle librerie R in Databricks Runtime 13.3 LTS.

Librerie Java e Scala (cluster Scala 2.12)

Oltre alle librerie Java e Scala in Databricks Runtime 13.3 LTS, Databricks Runtime 13.3 LTS ML contiene i file JAR seguenti:

Cluster di CPU

Cluster GPU