Databricks Runtime 10.1 for ML (EoS)

Środowisko Databricks Runtime 10.1 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 10.1 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 10.1 ML jest oparte na środowisku Databricks Runtime 10.1. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 10.1, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 10.1 (EoS).

Ulepszenia rozwiązania AutoML

W środowisku Databricks Runtime 10.1 rozwiązanie AutoML obejmuje ulepszone wykrywanie typów semantycznych, nowe alerty dotyczące potencjalnych problemów z danymi podczas trenowania, nowe możliwości zapobiegania nadmiernemu dopasowaniu modeli oraz możliwość dzielenia wejściowego zestawu danych na trenowanie, walidację i zestawy testów chronologicznie.

Dodatkowe wykrycia typów semantycznych

Rozwiązanie AutoML obsługuje teraz dodatkowe wykrywanie typów semantycznych:

• Kolumny liczbowe zawierające etykiety kategorii są traktowane jako typ kategorii.
• Kolumny ciągów zawierające tekst w języku angielskim są traktowane jako funkcja tekstowa.

Teraz możesz również dodać adnotacje, aby określić typ danych kolumny. Aby uzyskać szczegółowe informacje, zobacz Wykrywanie typu semantycznego.

Alerty podczas trenowania potencjalnych problemów z danymi

Rozwiązanie AutoML wykrywa teraz i generuje alerty dotyczące potencjalnych problemów z zestawem danych. Przykładowe alerty obejmują nieobsługiwane typy kolumn i kolumny o wysokiej kardynalności. Te alerty są wyświetlane na stronie eksperymentu na nowej karcie Alerty . Dodatkowe informacje o alertach znajdują się w notesie eksploracji danych. Aby uzyskać więcej informacji, zobacz Uruchamianie eksperymentu i monitorowanie wyników.

Zmniejszenie nadmiernego dopasowania modelu

Dwie nowe możliwości zmniejszają prawdopodobieństwo nadmiernego dopasowania modelu podczas korzystania z rozwiązania AutoML:

• Rozwiązanie AutoML raportuje teraz metryki testowe w dodatkowych metrykach weryfikacji i trenowania.
• Rozwiązanie AutoML używa teraz wczesnego zatrzymywania. Zatrzymuje trenowanie i dostrajanie modeli, jeśli metryka walidacji nie jest już ulepszana.

Podziel zestaw danych na zestawy trenowania/walidacji/testowania chronologicznie

W przypadku problemów klasyfikacji i regresji można podzielić zestaw danych na zestawy trenowania, walidacji i testowania chronologicznie. Aby uzyskać szczegółowe informacje, zobacz Dzielenie danych na trenowanie, walidację i zestawy testów.

Ulepszenia magazynu funkcji usługi Databricks

Magazyn funkcji usługi Databricks obsługuje teraz dodatkowe typy danych dla tabel funkcji: BinaryType, DecimalTypei MapType.

Przepływ uczenia maszynowego

Poniższe ulepszenia są dostępne od wersji 1.21.0 mlflow, która jest zawarta w środowisku Databricks Runtime 10.1 ML.

• [Modele] Uaktualnij wariant modelu, fastai aby obsługiwać wersję fastai w wersji 2 (2.4.1 lub nowszej).
• [Modele] Wprowadzenie do modelu mlflow.prophet dla modeli szeregów czasowych Proroka.
• [Ocenianie] Napraw błąd wymuszania schematu, który niepoprawnie rzutuje ciągi podobne do daty/godziny do obiektów datetime.

Hyperopt

SparkTrials teraz obsługuje parametr dla parametru early_stopping_fnfmin. Za pomocą funkcji wczesnego zatrzymywania można określić warunki, gdy funkcja Hyperopt powinna zatrzymać dostrajanie hiperparametrów przed osiągnięciem maksymalnej liczby ocen. Na przykład można użyć tego parametru, aby zakończyć dostrajanie, jeśli funkcja celu nie będzie już maleć. Aby uzyskać szczegółowe informacje, zobacz fmin().

Istotne zmiany w środowisku języka Python środowiska Databricks Runtime ML

Uaktualnione pakiety języka Python

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• dni wolne 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• niezrównoważony-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformatory 4.9.2 => 4.11.3

Dodane pakiety języka Python

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Przestarzałe elementy

Zautomatyzowane śledzenie MLflow MLlib jest przestarzałe w klastrach z uruchomionym środowiskiem Databricks Runtime 10.1 ML lub nowszym. Zamiast tego użyj automatycznego rejestrowania uczenia maszynowego MLflow PySpark, wywołując metodę mlflow.pyspark.ml.autolog(). Automatyczne rejestrowanie jest domyślnie włączone w usłudze Databricks Autologging.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 10.1 ML różni się od środowiska Databricks Runtime 10.1 w następujący sposób:

• DBUtils: Środowisko uruchomieniowe Databricks Runtime ML nie zawiera narzędzia biblioteki (dbutils.library) (starsza wersja). Zamiast tego użyj %pip poleceń. Zobacz Biblioteki języka Python o zakresie notesu.
• W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 10.1 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 10.1.

W tej sekcji:

• Biblioteki najwyższego poziomu
• Biblioteki języka Python
• Biblioteki języka R
• Biblioteki Java i Scala (klaster Scala 2.12)

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 10.1 ML obejmuje następujące biblioteki najwyższego poziomu:

• GraphFrames
• Horovod i HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Biblioteki języka Python

Środowisko Databricks Runtime 10.1 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 10.1 ML zawiera również następujące pakiety:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Biblioteki języka Python w klastrach procesora CPU

Biblioteki języka Python w klastrach gpu

Pakiety platformy Spark zawierające moduły języka Python

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 10.1.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 10.1 środowisko Databricks Runtime 10.1 ML zawiera następujące dane JAR:

Klastry procesora CPU

Klastry procesora GPU