Databricks Runtime 12.0 для машинного обучения (EoS)

Databricks Runtime 12.0 для машинного обучения предоставляет готовую среду для машинного обучения и науки о данных на основе Databricks Runtime 12.0 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

Databricks Runtime 12.0 ML построен на основе Databricks Runtime 12.0. Сведения о новых возможностях Databricks Runtime 12.0, включая Apache Spark MLlib и SparkR, смотрите в примечаниях к выпуску Databricks Runtime 12.0 (EoS).

Усовершенствования в AutoML

• Теперь модели прогнозирования могут включать страновые праздники.
• Прогнозирование теперь поддерживает ежемесячные, квартальные и ежегодные частоты.
• AutoML теперь может использовать более крупные наборы данных для обучения. AutoML автоматически выделяет больше ядер ЦП для больших наборов данных.

Дополнительные сведения об AutoML см. в разделе "Что такое AutoML?".

MLflow 2.0

Databricks Runtime 12.0 ML включает MLflow 2.0. MLflow 2.0 основывается на сильной платформе MLflow и включает обширные отзывы пользователей для упрощения рабочих процессов обработки и анализа данных и предоставления инновационных средств первого класса для MLOps. Функции и улучшения включают расширения для рецептов MLflow (ранее MLflow Pipelines), таких как AutoML, настройка гиперпараметров и поддержка классификации, а также модернизация интеграции с экосистемой машинного обучения, оптимизированный пользовательский интерфейс отслеживания MLflow, обновление основных API в компонентах платформы MLflow и многое другое. Дополнительные сведения см. в документации по MLflow 2.0 или в записи блога.

scikit-learn 1.0

Databricks Runtime ML 12.0 включает scikit-learn версию 1.0. Ознакомьтесь с scikit-learnдокументацией, чтобы узнать об изменениях в этом выпуске scikit-learn.

Системная среда

Системная среда в Databricks Runtime 12.0 ML отличается от Databricks Runtime 12.0 следующим образом:

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU Databricks Runtime ML включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 12.0 ML включает XGBoost 1.6.2, который не поддерживает кластеры GPU с возможностями вычислений 5.2 и ниже.

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 12.0 ML, которые отличаются от библиотек, включенных в Databricks Runtime 12.0.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 12.0 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Библиотеки Python

Databricks Runtime 12.0 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 12.0 ML также включает следующие пакеты:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• automl 1.14.1

Чтобы воспроизвести среду выполнения Databricks Runtime ML Python в вашей локальной виртуальной среде Python, скачайте файл requirements-12.0.txt и запустите его pip install -r requirements-12.0.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, например, databricks-automl, databricks-feature-store, или вилку Databricks hyperopt.

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 12.0.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 12.0, Databricks Runtime 12.0 ML содержит следующие JAR:

Кластеры ЦП

Кластеры GPU