Databricks Runtime 13.1 para Aprendizaje Automático (EoS)

Databricks Runtime 13.1 para Machine Learning proporciona un entorno listo para usar de aprendizaje automático y ciencia de datos basado en Databricks Runtime 13.1 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 13.1 ML se basa en Databricks Runtime 13.1. Para más información sobre las novedades de Databricks Runtime 13.1, entre las que se incluyen Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 13.1 (EoS).

Cambios en el Feature Store de Databricks

En Databricks Runtime 13.1 ML y versiones posteriores, en almacenes de MySQL, publish_table usa el tipo LONGTEXT para los datos de cadena en las tablas de características. Si publica una tabla mediante Databricks Runtime 13.1 ML y, a continuación, necesita escribir en ella mediante Databricks Runtime 13.0 o inferior, debe usar publish_table en modo de sobrescritura o quitar y volver a publicar la tabla en línea.

Entorno del sistema

El entorno del sistema de Databricks Runtime 13.1 ML se diferencia del de Databricks Runtime 13.1 en los siguientes aspectos:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Consulte Bibliotecas de Python cuyo ámbito es Notebook.
• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

Databricks Runtime 13.1 ML incluye XGBoost 1.7.5, que no admite clústeres de GPU con capacidad de proceso 5.2 ni versiones anteriores.

Bibliotecas

En las siguientes secciones, se enumeran las bibliotecas que se incluyen en Databricks Runtime 13.1 ML, que difieren de las que se incluyen en Databricks Runtime 13.1.

En esta sección:

• Bibliotecas de nivel superior
• Bibliotecas de Python
• Bibliotecas de R
• Bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 13.1 ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas de Python

En Databricks Runtime 13.1 ML se usa Virtualenv para administrar los paquetes de Python. Además, incluye muchos paquetes populares de ML.

Las siguientes bibliotecas de Python se han introducido con Databricks Runtime 13.1 ML:

• langchain
• librosa
• pytesseract
• sentencepiece
• sentence-transformers
• archivo de sonido
• tiktoken

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 13.1 ML también incluye estos paquetes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.18.0

Para reproducir el entorno de Python de Databricks Runtime ML en el entorno virtual local de Python, descargue el archivo requirements-13.1.txt y ejecute pip install -r requirements-13.1.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas que desarrolla Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de CPU

Bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 13.1.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala de Databricks Runtime 13.1, los siguientes archivos JAR también se incluyen en Databricks Runtime 13.1 ML:

Clústeres de CPU

Clústeres de GPU