Databricks Runtime 15.1 для машинного обучения (EoS)

Databricks Runtime 15.1 для машинного обучения предоставляет готовую среду для машинного обучения и науки о данных на основе Databricks Runtime 15.1 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Новые функции и внесенные улучшения

Databricks Runtime 15.1 ML построен на основе Databricks Runtime 15.1. Сведения о новых возможностях Databricks Runtime 15.1, включая Apache Spark MLlib и SparkR, смотрите в заметках о выпуске Databricks Runtime 15.1 (EoS).

Критические изменения

Устаревший интерфейс командной строки Databricks больше не установлен по умолчанию

В Databricks Runtime 14.3 LTS ML и ниже, так как предустановленная версия MLflow требовала устаревшего интерфейса командной строки Databricks, он автоматически устанавливался в $PATH. Databricks Runtime 15.1 ML включает MLflow версии 2.10.2, которая не требует устаревшего интерфейса командной строки CLI.

Начиная с Databricks Runtime 15.1 ML, устаревший интерфейс командной строки Databricks больше автоматически не устанавливается в $PATH. Это критическое изменение для пользователей, которые зависят от устаревшего интерфейса командной строки, установленной в среде выполнения. Команды, такие как %sh databricks ... больше не работают в Databricks Runtime 15.1 ML и более поздних версиях.

Чтобы продолжить использование устаревшей интерфейса командной строки Databricks из записной книжки, установите ее в качестве кластера или библиотеки записных книжек. Новый интерфейс командной строки Databricks доступен в веб-терминале. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.

MLeap больше недоступен, начиная с Databricks Runtime 15.1 ML

MLeap больше недоступен в Databricks Runtime 15.1 ML и выше. Чтобы упаковать модели развертывания на платформах на основе JVM, Databricks рекомендует использовать формат ONNX.

Устаревание Horovod и HorovodRunner

Horovod и HorovodRunner теперь устарели. Для распределенного глубокого обучения Databricks рекомендует использовать TorchDistributor для распределенного обучения с PyTorch или tf.distribute.Strategy API для распределенного обучения с TensorFlow. Horovod и HorovodRunner предварительно установлены в Databricks Runtime 15.1 ML, но будут удалены в следующей основной версии Databricks Runtime ML.

Системная среда

Системная среда в Databricks Runtime 15.1 ML отличается от Databricks Runtime 15.1 следующим образом:

• Для кластеров GPU Databricks Runtime ML включает следующие библиотеки NVIDIA GPU:
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 15.1 ML, которые отличаются от библиотек, включенных в Databricks Runtime 15.1.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 15.1 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn
• (не рекомендуется) Horovod и HorovodRunner

Библиотеки Python

Databricks Runtime 15.1 ML используется virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 15.1 ML также включает следующие пакеты:

• Hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.25.0

Чтобы воспроизвести среду Python Databricks Runtime ML в локальной виртуальной среде Python, скачайте файл requirements-15.1.txt, а затем выполните pip install -r requirements-15.1.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, например databricks-automl, databricks-feature-store, или вилку Databricks hyperopt.

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 15.1.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 15.1, Databricks Runtime 15.1 ML содержит следующие JAR:

Кластеры ЦП

Кластеры GPU