Databricks Runtime 10.2 для машинного обучения (EoS)

Databricks выпустила эту версию в декабре 2021 года.

Databricks Runtime 10.2 для Машинное обучение предоставляет готовую среду для машинного обучения и обработки и анализа данных на основе Databricks Runtime 10.2 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Databricks Runtime ML включает AutoML – средство для автоматического обучения конвейеров машинного обучения. Databricks Runtime ML также поддерживает распределенное углубленное обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

В основе Databricks Runtime 10.2 ML лежит Databricks Runtime 10.2. Сведения о новых возможностях Databricks Runtime 10.2, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 10.2 (EoS).

Автоматическое ведение журнала в Databricks (общедоступная предварительная версия)

Функции автоматического ведения журнала Databricks теперь доступны во всех регионах в качестве общедоступной предварительной версии. Автоматическое ведение журнала в Databricks – это решение без кода, которое обеспечивает автоматическое отслеживание экспериментов для обучающих сеансов по машинному обучению в Azure Databricks. Благодаря Databricks Autologging параметры модели, метрики, файлы и сведения о происхождении автоматически регистрируются при обучении моделей с помощью разных популярных библиотек машинного обучения. Обучающие сеансы записываются как Запуски отслеживания MLflow. Файлы моделей также отслеживаются, чтобы можно было легко регистрировать их в реестре моделей MLflow и развертывать их для оценки в режиме реального времени с помощью службы моделей MLflow.

Для получения дополнительной информации об автоматическом ведении журнала в Databricks см. Автоматическое ведение журнала в Databricks.

Усовершенствования в AutoML

В AutoML были добавлены следующие улучшения.

• AutoML игнорирует столбцы, содержащие только одно значение.
• В случае проблем с классификацией и регрессией столбец времени, используемый для разбиения набора данных на обучающие, проверочные и тестовые наборы, теперь можно использовать как строковый тип. Ранее поддерживались только отметки времени и целые числа. Дополнительные сведения см. в разделе "Разделение данных на обучение, проверку и тестовые наборы ".

Улучшения хранилища признаков в Databricks

В хранилище признаков в Databricksбыли внесены следующие улучшения.

Упрощенный интерфейс FeatureStoreClient

Интерфейс FeatureStoreClient упрощен.

• FeatureStoreClient.create_feature_table() больше не поддерживается. Используйте FeatureStoreClient.create_table().
• FeatureStoreClient.get_feature_table() больше не поддерживается. Используйте FeatureStoreClient.get_table().
• Все аргументы для FeatureStoreClient.publish_table(), кроме name и online_store, должны передаваться как аргументы ключевого слова.

Публикация выбранных столбцов в онлайн-хранилищах

Хранилище признаков в Databricks теперь поддерживает публикацию только выбранных столбцов в онлайн-хранилищах. Дополнительные сведения см. в статье Публикация выбранных признаков в онлайн-хранилище.

Основные изменения в среде Python для Databricks Runtime ML

Интеграция автоматического отслеживания MLflow для Apache Spark MLlib, которая была снята с поддержки в Databricks Runtime 10.1 ML, в Databricks Runtime 10.2 ML по умолчанию отключена. Она была заменена на Интеграцию автоматического ведения журнала PySpark ML MLflow, которая по умолчанию включена с помощью функции Автоматическое ведение журнала в Databricks. Функция автоматического ведения журнала регистрирует не только то, что автоматически отслеживает функция MLflow для MLlib, но и параметры, метрики и артефакты, связанные с лучшей моделью.

Обновлены пакеты Python

• databricks-cli 0.14.3 => 0.16.2
• keras 2.6.0 => 2.7.0
• lightgbm 3.3.0 => 3.3.1
• mlflow 1.21.0 => 1.22.0
• plotly 5.3.0 => 5.3.1
• shap 0.39.0 => 0.40.0
• spacy 3.1.3 => 3.2.0
• tensorboard 2.6.0 => 2.7.0
• tensorflow 2.6.0 => 2.7.0
• torch 1.9.1 => 1.10.0
• torchvision 0.10.1 => 0.11.1
• transformers 4.11.3 => 4.12.3
• xgboost 1.4.2 => 1.5.0

Системная среда

Ниже описаны отличия системной среды в Databricks Runtime 10.2 ML от Databricks Runtime 10.2.

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU машинное обучение Databricks Runtime включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 10.2 ML, кроме тех, которые входят в состав Databricks Runtime 10.2.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 10.2 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Библиотеки Python

Databricks Runtime 10.2 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов ML.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 10.2 ML также включает следующие пакеты:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.6
• automl 1.5.0

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Пакеты Spark, содержащие модули Python

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 10.2.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 10.2, среда Databricks Runtime 10.2 ML также включает следующие пакеты JAR:

Кластеры ЦП

Кластеры GPU