Databricks Runtime 10.1 для машинного обучения (EoS)

Databricks Runtime 10.1 для Машинное обучение предоставляет готовую среду для машинного обучения и обработки и анализа данных на основе Databricks Runtime 10.1 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Эта среда также поддерживает распределенное глубокое обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и машинное обучение в Databricks.

Новые функции и внесенные улучшения

В основе Databricks Runtime 10.1 ML лежит Databricks Runtime 10.1. Сведения о новых возможностях Databricks Runtime 10.1, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 10.1 (EoS).

Усовершенствования в AutoML

В Databricks Runtime 10.1 функция AutoML включает улучшенное обнаружение семантического типа, новые оповещения о потенциальных проблемах с данными во время обучения, новые возможности, позволяющие предотвратить переполнение моделей, а также возможность разделить входной набор данных на обучающие, проверки и тестовые наборы в хронологическом порядке.

Дополнительные обнаружения семантических типов

AutoML теперь поддерживает дополнительное обнаружение семантического типа:

• Числовые столбцы, содержащие категориальные метки, рассматриваются как категориальный тип.
• Строковые столбцы, содержащие английский текст, рассматриваются как функция текста.

Теперь можно добавить заметки, чтобы указать тип данных столбца. Дополнительные сведения см. в статье Обнаружение семантических типов.

Оповещения во время обучения о потенциальных проблемах с данными

AutoML теперь обнаруживает и генерирует оповещения о потенциальных проблемах с набором данных. Примеры оповещений включают неподдерживаемые типы столбцов и столбцы с высокой кардинальностью. Эти оповещения отображаются на странице эксперимента на новой вкладке Оповещения. Дополнительные сведения об оповещениях содержатся в записной книжке исследования данных. Дополнительные сведения см. в разделе Запуск эксперимента и мониторинг результатов.

Снижение риска создания лжевзаимосвязи моделей

Две новые возможности снижают вероятность создания лжевзаимосвязи моделей при использовании AutoML:

• AutoML теперь передает метрики тестирования в дополнение к метрикам проверки и обучения.
• AutoML теперь использует раннюю остановку. Обучение и настройка моделей останавливаются, если метрика проверки больше не улучшается.

Разделение набора данных на наборы для обучения, проверки и тестирования в хронологическом порядке

Для задач классификации и регрессии вы можете разделить набор данных на обучающие, проверочные и тестовые наборы в хронологическом порядке. Дополнительные сведения см. в разделе "Разделение данных на обучение, проверку и тестовые наборы ".

Улучшения хранилища признаков в Databricks

Хранилище компонентов Databricks теперь поддерживает дополнительные типы данных для таблиц компонентов: BinaryType, DecimalTypeи MapType.

Mlflow

Следующие улучшения доступны, начиная с Mlflow версии 1.21.0, которая включена в Databricks Runtime 10.1 ML.

• [Модели] Обновлен вариант модели fastai для включения поддержки fastai версии 2 (2.4.1 и выше).
• [Модели] Представлен вариант модели mlflow.prophet для моделей временных рядов Prophet.
• [Обработка] Исправлена ошибка принудительного применения схемы, которая неправильно приводила датообразные строки к объектам datetime.

Hyperopt

SparkTrials теперь поддерживает параметр early_stopping_fn для fmin. Вы можете использовать функцию ранней остановки, чтобы указать условия, при которых Hyperopt останавливает настройку гиперпараметров до того, как будет достигнуто максимальное количество вычислений. Например, вы можете использовать этот параметр для завершения настройки, если целевая функция больше не уменьшается. Дополнительные сведения см. в разделе fmin().

Основные изменения в среде Python для Databricks Runtime ML

Обновлены пакеты Python

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• holidays 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

Добавленные пакеты Python

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Устаревшие элементы

Автоматическое отслеживание MLflow в MLlib устарело в кластерах, в которых выполняется Databricks Runtime 10.1 ML и более поздних версий. Вместо этого используйте автоматическое ведение журналов MLflow PySpark ML путем вызова mlflow.pyspark.ml.autolog(). Автоматическое ведение журналов включено по умолчанию в Databricks Autologging.

Системная среда

Ниже описаны отличия системной среды в Databricks Runtime 10.1 ML от Databricks Runtime 10.1.

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU машинное обучение Databricks Runtime включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Библиотеки

В следующих разделах перечислены библиотеки, включенные в Databricks Runtime 10.1 ML, которые отличаются от библиотек, включенных в Databricks Runtime 10.1.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 10.1 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Библиотеки Python

Databricks Runtime 10.1 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов ML.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 10.1 ML также включает следующие пакеты:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Пакеты Spark, содержащие модули Python

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 10.1.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 10.1, среда Databricks Runtime 10.1 ML также включает следующие пакеты JAR:

Кластеры ЦП

Кластеры GPU