Databricks Runtime 11.3 LTS для машинного обучения

Databricks Runtime 11.3 LTS для машинного обучения предоставляет готовую среду для машинного обучения и науки о данных на основе Databricks Runtime 11.3 LTS. Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

Databricks Runtime 11.3 LTS ML построен на основе Databricks Runtime 11.3 LTS. Сведения о новых возможностях Databricks Runtime 11.3 LTS, включая Apache Spark MLlib и SparkR, смотрите в заметках о выпуске Databricks Runtime 11.3 LTS.

Усовершенствования в AutoML

AutoML теперь поддерживает использование существующих таблиц признаков Feature Store в экспериментах AutoML. Дополнительные сведения см. в разделе "Интеграция с хранилищем компонентов AutoML".

Пробные записные книжки, созданные AutoML, теперь содержат фрагменты кода, позволяющие пользователям повторно запускать настройку гиперпараметров.

AutoML теперь поддерживает DecimalType функции.

Исправления ошибок

Databricks Runtime 11.3 LTS ML включает обновленную версию sparkdl.xgboost. Предыдущие версии sparkdl.xgboost содержат ошибки, исправленные в этом выпуске, поэтому Databricks рекомендует пользователям библиотеки обновиться до Databricks Runtime 11.3 LTS ML.

Подготовка к будущим выпускам

Предстоящий выпуск Databricks Runtime ML будет включать sklearn версию 1.0. Ознакомьтесь с документацией по подготовке sklearnк этому изменению.

Databricks Runtime ML содержит два openblas пакета. Пакет /opt/OpenBLAS устарел в Databricks Runtime 11.3 LTS ML и будет удален в предстоящем выпуске.

Системная среда

Системная среда в Databricks Runtime 11.3 LTS ML отличается от Databricks Runtime 11.3 LTS следующим образом:

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU Databricks Runtime ML включает следующие библиотеки GPU от NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Databricks Runtime 11.3 LTS ML включает XGBoost 1.6.1, который не поддерживает кластеры GPU с возможностями вычислений 5.2 и ниже.

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 11.3 LTS ML, которые отличаются от библиотек, включенных в Databricks Runtime 11.3 LTS.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 11.3 LTS ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Библиотеки Python

Databricks Runtime 11.3 LTS ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов машинного обучения.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 11.3 LTS ML также включает следующие пакеты:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• feature_store 0.7.0
• automl 1.13.2

Чтобы воспроизвести python-среду Databricks Runtime ML в локальной виртуальной среде Python, скачайте файл requirements-11.3.txt и выполните команду pip install -r requirements-11.3.txt. Эта команда устанавливает все библиотеки с открытым исходным кодом, которые использует Databricks Runtime ML, но не устанавливает библиотеки, разработанные Databricks, например databricks-automl, databricks-feature-store, или вилку Databricks hyperopt.

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 11.3 LTS.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 11.3 LTS, Databricks Runtime 11.3 LTS ML содержит следующие JAR-файлы:

Кластеры ЦП

Кластеры GPU