Databricks Runtime 10.1 para ML (EoS)

O Databricks Runtime 10.1 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 10.1 (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. Ele também suporta treinamento distribuído de aprendizagem profunda usando Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 10.1 ML é construído sobre o Databricks Runtime 10.1. Para obter informações sobre o que há de novo no Databricks Runtime 10.1, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.1 (EoS ).

Melhorias no AutoML

No Databricks Runtime 10.1, o AutoML inclui deteção de tipo semântica aprimorada, novos alertas para possíveis problemas de dados durante o treinamento, novos recursos para evitar modelos de sobreajuste e a capacidade de dividir o conjunto de dados de entrada em conjuntos de treinamento, validação e teste cronologicamente.

Deteções de tipo semântico adicionais

O AutoML agora suporta deteção de tipo semântico adicional:

• As colunas numéricas que contêm rótulos categóricos são tratadas como um tipo categórico.
• As colunas de cadeia de caracteres que contêm texto em inglês são tratadas como um recurso de texto.

Agora você também pode adicionar anotações para especificar um tipo de dados de coluna. Para obter detalhes, consulte Deteção de tipo semântico.

Alertas durante o treinamento para possíveis problemas de dados

O AutoML agora deteta e gera alertas para possíveis problemas com o conjunto de dados. Exemplos de alertas incluem tipos de coluna não suportados e colunas de cardinalidade alta. Esses alertas aparecem na página do experimento na nova guia Alertas . Informações adicionais sobre alertas estão incluídas no bloco de anotações de exploração de dados. Para obter mais informações, consulte Executar o experimento e monitorar os resultados.

Redução do sobreajuste do modelo

Dois novos recursos reduzem as chances de sobremontagem de um modelo ao usar o AutoML:

• O AutoML agora relata métricas de teste adicionais às métricas de validação e treinamento.
• O AutoML agora usa a parada antecipada. Ele interrompe o treinamento e o ajuste de modelos se a métrica de validação não estiver mais melhorando.

Dividir o conjunto de dados em conjuntos de treino/validação/teste cronologicamente

Para problemas de classificação e regressão, você pode dividir o conjunto de dados em conjuntos de treinamento, validação e teste cronologicamente. Consulte Dividir dados em conjuntos de treinamento, validação e teste para obter detalhes.

Aprimoramentos no Databricks Feature Store

O Databricks Feature Store agora oferece suporte a tipos de dados adicionais para tabelas de recursos: BinaryType, DecimalTypee MapType.

Mlflow

As melhorias a seguir estão disponíveis a partir da versão 1.21.0 do Mlflow, que está incluída no Databricks Runtime 10.1 ML.

• [Modelos] Atualize o sabor do fastai modelo para suportar fastai v2 (2.4.1 e superior).
• [Modelos] Introduza um modelo mlflow.prophet para modelos de séries cronológicas Prophet.
• [Pontuação] Corrija um erro de imposição de esquema que converte incorretamente cadeias de caracteres semelhantes a data para objetos de datetime.

Hyperopt

SparkTrials agora suporta o early_stopping_fn parâmetro para fmin. Você pode usar a função de parada antecipada para especificar condições em que o Hyperopt deve interromper o ajuste de hiperparâmetros antes que o número máximo de avaliações seja atingido. Por exemplo, você pode usar esse parâmetro para encerrar o ajuste se a função objetiva não estiver mais diminuindo. Para obter detalhes, consulte fmin().

Principais alterações no ambiente Python do Databricks Runtime ML

Pacotes Python atualizados

• AutoML 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• feriados 0.11.2 => 0.11.3.1
• Horovod 0.22.1 => 0.23.0
• hiperoptia 0.2.5.db2 => 0.2.5.db4
• aprendizagem desequilibrada 0,8,0 => 0,8,1
• LightGBM 3.1.1 => 3.3.0
• mlflow 1,20,2 => 1,21,0
• petastorm 0.11.2 => 0.11.3
• Gráfico 5.1.0 => 5.3.0
• Pitocha 1.9.0 => 1.9.1
• Espaçamento 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• Torchvision 0.10.0 => 0.10.1
• transformadores 4.9.2 => 4.11.3

Pacotes Python adicionados

• texto rápido => 0.9.2
• Tensorboard-plugin-profile => 2.5.0

Preterições

O rastreamento automatizado de MLflow MLlib foi preterido em clusters que executam o Databricks Runtime 10.1 ML e superior. Em vez disso, use o registro automático do MLflow PySpark ML chamando mlflow.pyspark.ml.autolog(). O registro automático é habilitado por padrão com o Databricks Autologging.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 10.1 ML difere do Databricks Runtime 10.1 da seguinte forma:

• DBUtils: Databricks Runtime ML não inclui o utilitário Biblioteca (dbutils.library) (legado). Em vez disso, use %pip comandos. Veja Bibliotecas em Python com âmbito de bloco de notas.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.1 ML que diferem daquelas incluídas no Databricks Runtime 10.1.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 10.1 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• conector spark-tensorflow;
• TensorFlow
• TensorBoard

Bibliotecas Python

O Databricks Runtime 10.1 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.1 ML também inclui os seguintes pacotes:

• hiperopt 0.2.5.db4
• Faísca 2.2.0-DB4
• feature_store 0.3.5
• AutoML 1.4.0 |

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Pacotes Spark contendo módulos Python

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 10.1.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 10.1, o Databricks Runtime 10.1 ML contém os seguintes JARs:

Clusters de CPU

Clusters GPU