Databricks Runtime 10.3 for ML (EoS)

Środowisko Databricks Runtime 10.3 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 10.3 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 10.3 ML jest oparte na środowisku Databricks Runtime 10.3. Aby uzyskać informacje o nowościach w Databricks Runtime 10.3, w tym Apache Spark MLlib i SparkR, zobacz uwagi do wydania Databricks Runtime 10.3 (EoS).

Ulepszenia rozwiązania AutoML

Następujące ulepszenia zostały wprowadzone do rozwiązania AutoML.

Rozwiązanie AutoML obsługuje teraz model ARIMA na potrzeby prognozowania

Oprócz Prophet, rozwiązanie AutoML tworzy teraz i ocenia modele ARIMA do prognozowania.

Wykluczanie kolumn z zestawu danych

W przypadku korzystania z interfejsu API automatycznego uczenia maszynowego można określić kolumny, które mają być ignorowane przez rozwiązanie AutoML podczas wykonywania obliczeń. Jest to dostępne tylko w przypadku problemów klasyfikacji i regresji. Aby uzyskać szczegółowe informacje, zobacz AutoML Python API reference (Dokumentacja interfejsu API języka Python rozwiązania AutoML).

Wykluczanie frameworków algorytmów z uruchomienia AutoML

Można określić struktury algorytmów, takie jak scikit-learn, których AutoML nie powinien uwzględniać podczas tworzenia modeli. Aby uzyskać szczegółowe informacje, zobacz Advanced configurations and AutoML Python API reference (Zaawansowane konfiguracje i dokumentacja interfejsu API języka Python rozwiązania AutoML).

max_trials Przestarzałe

Parametr max_trials jest przestarzały i zostanie usunięty w następnej głównej wersji usługi Databricks Runtime ML. Użyj timeout_minutes do kontrolowania czasu trwania uruchomienia AutoML. Ponadto, w środowisku Databricks Runtime 10.1 ML i nowszym, rozwiązanie AutoML obejmuje wcześniejsze zatrzymanie; zatrzyma trenowanie i dostrajanie modeli, jeśli metryka walidacji już się nie poprawia.

Ulepszenia w Feature Store w usłudze Databricks

Teraz można stosować wyszukiwania punktowe w czasie do tabel funkcji szeregów czasowych. Aby uzyskać szczegółowe informacje, zobacz Wsparcie punktowe w czasie z wykorzystaniem tabel funkcji szeregów czasowych.

Automatyczne rejestrowanie Databricks (dostępność ogólna)

Automatyczne rejestrowanie usługi Databricks jest teraz ogólnie dostępne w środowisku Databricks Runtime 10.3 ML. Automatyczne rejestrowanie usługi Databricks to rozwiązanie bez kodu, które zapewnia automatyczne śledzenie eksperymentów na potrzeby sesji uczenia maszynowego w usłudze Azure Databricks. Dzięki funkcji automatycznego rejestrowania usługi Databricks parametry modelu, metryki, pliki i informacje o pochodzeniu są automatycznie przechwytywane podczas trenowania modeli z wykorzystaniem różnych popularnych bibliotek uczenia maszynowego. Sesje szkoleniowe są rejestrowane jako przebiegi śledzenia MLflow. Pliki modelu są również śledzone, dzięki czemu można je łatwo rejestrować w rejestrze modeli MLflow i wdrażać je na potrzeby oceniania w czasie rzeczywistym za pomocą usługi MLflow Model Serving.

Aby uzyskać więcej informacji, zobacz Automatyczne rejestrowanie w usłudze Databricks.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 10.3 ML różni się od środowiska Databricks Runtime 10.3 w następujący sposób:

• DBUtils: Databricks Runtime ML nie zawiera narzędzia bibliotecznego (dbutils.library) (wersja legacy). Zamiast tego użyj polecenia %pip. Zobacz Biblioteki Python w środowisku notesu.
• W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 10.3 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 10.3.

W tej sekcji:

• Biblioteki najwyższego poziomu
• Biblioteki języka Python
• Biblioteki języka R
• Biblioteki Java i Scala (klaster Scala 2.12)

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 10.3 ML obejmuje następujące biblioteki najwyższego poziomu:

• GraphFrames
• Horovod i HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Biblioteki języka Python

Środowisko Databricks Runtime 10.3 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 10.3 ML zawiera również następujące pakiety:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.7
• automl 1.6.0

Biblioteki języka Python w klastrach procesora CPU

Biblioteki języka Python w klastrach gpu

Pakiety platformy Spark zawierające moduły języka Python

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 10.3.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 10.3 środowisko Databricks Runtime 10.3 ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Klastry procesora GPU