Databricks Runtime 15.1 para Aprendizado de Máquina (EoS)

O Databricks Runtime 15.1 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 15.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Novos recursos e melhorias

O Databricks Runtime 15.1 ML é construído sobre o Databricks Runtime 15.1. Para obter informações sobre o que há de novo no Databricks Runtime 15.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 15.1 (EoS ).

Alterações interruptivas

A CLI do Databricks herdado não está mais instalada por padrão

No Databricks Runtime 14.3 LTS ML e versões anteriores, como a versão pré-instalada do MLflow exigia a CLI legada do Databricks, ela foi instalada automaticamente no $PATH. O Databricks Runtime 15.1 ML inclui o MLflow versão 2.10.2, que não requer a CLI herdada.

A partir do Databricks Runtime 15.1 ML, a CLI do Databricks herdada não é mais instalada automaticamente no $PATH. Essa é uma alteração importante para usuários que dependem da CLI herdada que está sendo instalada no tempo de execução. Comandos como %sh databricks ... não funcionam mais no Databricks Runtime 15.1 ML e superior.

Para continuar a usar a CLI Databricks legada num notebook, instale como uma biblioteca de cluster ou de notebooks. A nova CLI do Databricks está disponível no terminal web. Para mais informações, consulte Utilizar terminal web e CLI do Databricks.

MLeap não está mais disponível a partir do Databricks Runtime 15.1 ML

O MLeap não está mais disponível no Databricks Runtime 15.1 ML e superior. Para empacotar modelos para implantação em estruturas baseadas em JVM, o Databricks recomenda o uso do formato ONNX.

Descontinuação de Horovod e HorovodRunner

Horovod e HorovodRunner estão agora obsoletos. Para aprendizagem profunda distribuída, a Databricks recomenda o uso do TorchDistributor para treinamento distribuído com o PyTorch ou a API para treinamento distribuído com o tf.distribute.Strategy TensorFlow. Horovod e HorovodRunner são pré-instalados no Databricks Runtime 15.1 ML, mas serão removidos na próxima versão principal do Databricks Runtime ML.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 15.1 ML difere do Databricks Runtime 15.1 da seguinte maneira:

• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 12,1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 15.1 ML que diferem daquelas incluídas no Databricks Runtime 15.1.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 15.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• (Preterido) Horovod e HorovodRunner

Bibliotecas Python

O Databricks Runtime 15.1 ML é usado virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 15.1 ML também inclui os seguintes pacotes:

• Hiperopt 0.2.7+DB4
• Sparkdl 3.0.0_db1
• AutoML 1.25.0 |

Para reproduzir o ambiente Python do Databricks Runtime ML em seu ambiente virtual Python local, baixe o arquivo requirements-15.1.txt e execute pip install -r requirements-15.1.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 15.1.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 15.1, o Databricks Runtime 15.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU