Databricks Runtime 10.1 for ML (EoS)

A Databricks Runtime 10.1 for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 10.1 (EoS) alapú gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. Emellett támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásához szükséges utasításokat, tekintse meg Az AI és gépi tanulás a Databricks-en.

Új funkciók és fejlesztések

A Databricks Runtime 10.1 ML a Databricks Runtime 10.1-es verziójára épül. A Databricks Runtime 10.1 újdonságairól, beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 10.1 (EoS) kibocsátási megjegyzéseit.

Az AutoML fejlesztései

A Databricks Runtime 10.1-ben az AutoML továbbfejlesztett szemantikai típusészlelést, új riasztásokat tartalmaz a betanítás során felmerülő lehetséges adatproblémákra vonatkozóan, új képességek a modellek túlillesztésének megelőzésére, valamint a bemeneti adathalmaz időrendben történő betanításra, ellenőrzésre és tesztkészletekre való felosztására.

További szemantikai típusészlelések

Az AutoML mostantól támogatja a további szemantikai típusészlelést:

• A kategorikus címkéket tartalmazó numerikus oszlopok kategorikus típusként vannak kezelve.
• Az angol szöveget tartalmazó sztringoszlopok szövegfunkcióként lesznek kezelve.

Mostantól széljegyzeteket is hozzáadhat az oszlop adattípusának megadásához. További részletekért lásd a szemantikai típusészlelést.

Riasztások a betanítás során lehetséges adatproblémák esetén

Az AutoML mostantól észleli és létrehozza az adatkészlettel kapcsolatos lehetséges problémákra vonatkozó riasztásokat. A riasztások közé tartoznak például a nem támogatott oszloptípusok és a nagy kardinalitású oszlopok. Ezek a riasztások az új Riasztások lap kísérletoldalán jelennek meg. A riasztásokkal kapcsolatos további információkat az adatfeltárási jegyzetfüzet tartalmazza. További információ: A kísérlet futtatása és az eredmények figyelése.

A modell túltanulásának csökkentése

Két új képesség csökkenti a modell túlillesztésének esélyét az AutoML használatakor:

• Az AutoML mostantól az érvényesítési és betanítási metrikák mellett a tesztelési metrikákat is jelenti.
• Az AutoML most már korai leállítást használ. Leállítja a modellek betanítását és finomhangolását, ha az érvényesítési metrika már nem javul.

Az adatkészletet oszd szét tanulási, validációs és tesztkészletekre időrendi sorrendben.

Besorolási és regressziós problémák esetén az adathalmazt időrendben feloszthatja betanítási, érvényesítési és tesztelési csoportokra. Részletekért lásd: Adatok felosztása betanítási, érvényesítési és tesztkészletekre .

A Databricks szolgáltatástároló fejlesztései

A Databricks Feature Store mostantól további adattípusokat is támogat a funkciótáblákhoz: BinaryType, DecimalTypeés MapType.

Mlflow

Az alábbi fejlesztések az Mlflow 1.21.0-s verziójától érhetők el, amely a Databricks Runtime 10.1 ML-ben található.

• [Modellek] Frissítse a fastai modell ízét a fastai v2 (2.4.1 vagy újabb) támogatásához.
• [Modellek] Az mlflow.prophet modellváltozat bevezetése Prophet idősorozat-modellekhez.
• [Pontozás] Kijavítottunk egy sémakényszerítési hibát, amely helytelenül alakította át a dátumszerű karakterláncokat dátum- és időobjektumokká.

Hyperopt

SparkTrials mostantól támogatja a early_stopping_fn paramétert a fmin számára. A korai leállítási függvénnyel megadhatja azokat a feltételeket, amikor a Hyperoptnak le kell állítania a hiperparaméterek finomhangolását a kiértékelések maximális számának elérése előtt. Ezt a paramétert használhatja például a finomhangolás befejezéséhez, ha a célfüggvény többé nem csökken. Részletekért lásd: fmin().

A Databricks Runtime ML Python-környezetének főbb változásai

Python-csomagok frissítve

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• ünnepnapok 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• kiegyensúlyozatlan tanulás 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transzformátorok 4.9.2 => 4.11.3

Python-csomagok hozzáadva

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Elavulások

Az MLlib automatizált MLflow-nyomkövetés elavult a Databricks Runtime 10.1 ML-t és újabb verziót futtató fürtökön. Ehelyett használja az MLflow PySpark ML automatikus naplózását a mlflow.pyspark.ml.autolog() hívásával. Az automatikus naplózás alapértelmezés szerint engedélyezve van a Databricks Autologging segítségével.

Rendszerkörnyezet

A Databricks Runtime 10.1 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 10.1-től:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Inkább használjon %pip parancsokat. Lásd: Jegyzetfüzet-hatókörön belüli Python könyvtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Könyvtárak

Az alábbi szakaszok a Databricks Runtime 10.1 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 10.1-ben szereplő kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-könyvtárak
• Java és Scala könyvtárak (Scala 2.12 klaszter)

Felső szintű kódtárak

A Databricks Runtime 10.1 ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python-kódtárak

A Databricks Runtime 10.1 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 10.1 ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Python-könyvtárak CPU-fürtökön

Python-könyvtárak GPU-fürtökön

Python-modulokat tartalmazó Spark-csomagok

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 10.1 R-kódtáraival .

Java és Scala könyvtárak (Scala 2.12 fürt)

A Databricks Runtime 10.1 Java- és Scala-kódtárai mellett a Databricks Runtime 10.1 ML a következő JAR-eket tartalmazza:

CPU klaszterek

GPU-klaszterek