Databricks Runtime 11.1 para Aprendizado de Máquina (EoS)

O Databricks Runtime 11.1 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 11.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 11.1 ML é construído sobre o Databricks Runtime 11.1. Para obter informações sobre o que há de novo no Databricks Runtime 11.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 11.1 (EoS ).

Melhorias no AutoML

Os seguintes aprimoramentos foram feitos no AutoML.

• Quando o AutoML deteta que um problema de classificação é binário, ele calcula métricas de classificação binária e infere a classe positiva do problema. Você também pode especificar a classe positiva usando um novo pos_label parâmetro. Para obter detalhes, consulte Referência da API do AutoML Python.
• Para problemas de previsão, o AutoML agora pode lidar com o cenário em que o horizonte é longo em relação ao período de tempo dos dados de treinamento.

Aprimoramentos no Databricks Feature Store

Os seguintes aprimoramentos foram feitos no Databricks Feature Store.

• Agora você pode atualizar manualmente as fontes de dados de uma tabela de recursos usando a API Python do Feature Store.

• Agora você pode publicar tabelas de recursos offline no Azure Cosmos DB para pesquisa online de baixa latência. Consulte Publicar recursos em uma loja online e Publicar recursos de séries cronológicas em uma loja online.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 11.1 ML difere do Databricks Runtime 11.1 da seguinte maneira:

• DBUtils: Databricks Runtime ML não inclui o utilitário Biblioteca (dbutils.library) (legado). Em vez disso, use %pip comandos. Veja Bibliotecas em Python com âmbito de bloco de notas.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 11.1 ML que diferem daquelas incluídas no Databricks Runtime 11.1.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 11.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• conector spark-tensorflow;
• TensorFlow
• TensorBoard

Bibliotecas Python

O Databricks Runtime 11.1 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 11.1 ML também inclui os seguintes pacotes:

• hiperopt 0.2.7.db1
• Faísca 2.2.0-DB6
• feature_store 0.5.0
• AutoML 1.11.0 |

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Pacotes Spark contendo módulos Python

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 11.1.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 11.1, o Databricks Runtime 11.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters GPU