Поделиться через

Databricks Runtime 4.1 ML (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки, см. историю окончания поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о версиях и совместимости Databricks Runtime.

Databricks Runtime 4.1 ML предоставляет готовую среду для Машинного обучения и обработки и анализа данных. Она содержит много популярных библиотек, включая TensorFlow, Keras и XGBoost. Она также поддерживает распределенное обучение TensorFlow с использованием Horovod.

Примечание.

Этот выпуск был снят с поддержки 17 января 2019 г. Мы рекомендуем использовать более новую версию Databricks Runtime ML с учетом того, какие версии библиотек вы хотите использовать.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Примечание.

Выпуски Databricks Runtime ML получают все сервисные обновления базового выпуска Databricks Runtime. Список всех обновлений обслуживания см. в разделе "Обновления обслуживания" для среды выполнения Databricks (архивировано).

Библиотеки

В основе Databricks Runtime 4.1 ML лежит Databricks Runtime 4.1. Дополнительные сведения о новых возможностях Databricks Runtime 4.1 см. в заметках о выпуске Databricks Runtime 4.1 (EoS). Помимо обновлений библиотек, существовавших в Databricks Runtime 4.1, в Databricks Runtime 4.1 ML также добавлены новые библиотеки для поддержки машинного обучения. Некоторые из них также включены в базовый выпуск Databricks Runtime 4.1 и отмечены как таковые.

Категория Библиотеки
Распределенное глубокое обучение. Распределенное обучение с использованием Horovod и Spark
  • HorovodEstimator
  • horovod 0.12.1
  • openmpi 3.0.0
  • paramiko 2.4.1
  • cloudpickle 0.5.2

Распределенный прогноз TensorFlow и Keras:
  • Предварительная версия spark-deep-learning 1.0
  • tensorframes 0.3.0
Глубокое обучение [Keras]:
  • keras 2.1.5
  • h5py 2.7.1

TensorFlow.
  • (Кластеры ЦП) tensorflow 1.7.1
  • (Кластеры GPU) tensorflow-gpu 1.7.1

Библиотеки GPU:
  • CUDA 9.0 (также установлен в базовой среде выполнения Databricks)
  • cuDNN 7.0 (также установлен в базовой среде выполнения Databricks)
  • NCCL 2.0.5-3
XGBoost
Другие библиотеки машинного обучения
  • numpy 1.14.2 (также установлена в базовой среде выполнения Databricks; версия может отличаться).
  • scikit-learn 0.18.1 (также установлен в базовой среде выполнения Databricks)
  • scipy (также установлен в базовой среде выполнения Databricks)