Tempo de execução do Databricks 5.3 ML (EoS)

A Databricks lançou esta versão em abril de 2019.

O Databricks Runtime 5.3 ML fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 5.3 (EoS). O Databricks Runtime for ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, Keras e XGBoost. Ele também suporta treinamento distribuído de aprendizagem profunda usando Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novas funcionalidades

O Databricks Runtime 5.3 ML é construído sobre o Databricks Runtime 5.3. Para obter informações sobre o que há de novo no Databricks Runtime 5.3, consulte as notas de versão do Databricks Runtime 5.3 (EoS ). Além das atualizações da biblioteca, o Databricks Runtime 5.3 ML apresenta os seguintes novos recursos:

• Importante

  Esta funcionalidade está em Pré-visualização Privada. Entre em contato com seu representante de vendas do Azure Databricks para saber como habilitá-lo.

• Atualiza as seguintes bibliotecas para a versão mais recente:

  • PyArrow de 0.8.0 a 0.12.1: BinaryType é suportado pela conversão baseada em seta e pode ser usado em PandasUDF.
  • Horovod de 0.15.2 a 0.16.0.
  • TensorboardX de 1,4 a 1,6.

A API de exportação de modelo de ML do Databricks foi preterida. O Azure Databricks recomenda o uso do MLeap em vez disso, o que fornece uma cobertura mais ampla dos tipos de modelo MLlib. Saiba mais em MLeap ML model export.

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 5.4 ML.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 5.3 ML difere do Databricks Runtime 5.3 da seguinte forma:

• Python: 2.7.15 para clusters Python 2 e 3.6.5 para clusters Python 3.
• DBUtils: Databricks Runtime 5.3 ML não contém o utilitário Biblioteca (dbutils.library) (legado).
• Para clusters de GPU, as seguintes bibliotecas de GPU NVIDIA:
  • Motorista Tesla 396.44
  • CUDA 9,2
  • CUDNN 7.2.1

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 5.3 ML que diferem daquelas incluídas no Databricks Runtime 5.3.

Bibliotecas de nível superior

O Databricks Runtime 5.3 ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• PyTorch
• conector spark-tensorflow;
• TensorFlow
• TensorBoard

Bibliotecas Python

O Databricks Runtime 5.3 ML usa o Conda para gerenciamento de pacotes Python. Como resultado, há grandes diferenças nas bibliotecas Python pré-instaladas em comparação com o Databricks Runtime. A seguir está uma lista completa dos pacotes Python fornecidos e versões instaladas usando o gerenciador de pacotes Conda.

Além disso, os seguintes pacotes do Spark incluem módulos Python:

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 5.3.

Bibliotecas Java e Scala (cluster Scala 2.11)

Além das bibliotecas Java e Scala no Databricks Runtime 5.3, o Databricks Runtime 5.3 ML contém os seguintes JARs: