Databricks Runtime 10.3 для машинного обучения (EoS)

Databricks Runtime 10.3 для Машинное обучение предоставляет готовую среду для машинного обучения и обработки и анализа данных на основе Databricks Runtime 10.3 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

В основе Databricks Runtime 10.3 ML лежит Databricks Runtime 10.3. Сведения о новых возможностях Databricks Runtime 10.3, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 10.3 (EoS).

Усовершенствования в AutoML

В AutoML были добавлены следующие улучшения.

AutoML теперь поддерживает модель ARIMA для прогнозирования

В дополнение к Prophet AutoML теперь создает и оценивает модели ARIMA для прогнозирования проблем.

Исключение столбцов из набора данных

При использовании API AutoML можно указать столбцы, которые будут игнорироваться AutoML во время вычислений. Эта возможность доступна только для классификации и регрессии. Дополнительные сведения см . в справочнике по API Python AutoML.

Исключение платформ алгоритмов из операции выполнения AutoML

Можно указать платформы алгоритмов, например, scikit-learn, которые AutoML не следует учитывать при разработке моделей. Дополнительные сведения см . в разделе "Дополнительные конфигурации " и справочнике по API Python AutoML.

max_trials (не рекомендуется)

Параметр max_trials не рекомендуется к использованию и будет удален в следующем основном выпуске Databricks Runtime ML. Используйте timeout_minutes для управления продолжительностью выполнения AutoML. Кроме того, в Databricks Runtime 10.1 ML и более поздних версий AutoML включает в себя раннее завершение, а также завершает обучение и настройку моделей, если улучшение метрики проверки больше не выполняется.

Улучшения хранилища признаков в Databricks

Теперь можно применить операции поиска по точке во времени в таблицах функций временных рядов. Дополнительные сведения см . в статье "Поддержка временных рядов с использованием таблиц функций временных рядов ".

Автоматическое ведение журнала в Databricks (общедоступная версия)

Функции авторегистрации Databricks теперь доступны в рамках общедоступной версии Databricks Runtime 10.3 ML. Автоматическое ведение журнала в Databricks – это решение без кода, которое обеспечивает автоматическое отслеживание экспериментов для обучающих сеансов по машинному обучению в Azure Databricks. Благодаря Databricks Autologging параметры модели, метрики, файлы и сведения о происхождении автоматически регистрируются при обучении моделей с помощью разных популярных библиотек машинного обучения. Обучающие сеансы записываются как Запуски отслеживания MLflow. Файлы моделей также отслеживаются, чтобы можно было легко регистрировать их в реестре моделей MLflow и развертывать их для оценки в режиме реального времени с помощью службы моделей MLflow.

Дополнительные сведения см. в разделе Авторегистрация Databricks.

Системная среда

Ниже описаны отличия системной среды в Databricks Runtime 10.3 ML от Databricks Runtime 10.3.

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU машинное обучение Databricks Runtime включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Библиотеки

В следующих разделах перечислены библиотеки, входящие в состав Databricks Runtime 10.3 ML и отличающиеся от тех, что входят в состав Databricks Runtime 10.3.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 10.3 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Библиотеки Python

Databricks Runtime 10.3 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов ML.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 10.3 ML также включает следующие пакеты:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.7
• automl 1.6.0

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Пакеты Spark, содержащие модули Python

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 10.3.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 10.3, среда Databricks Runtime 10.3 ML также включает следующие пакеты JAR:

Кластеры ЦП

Кластеры GPU