Databricks Runtime 10.2 for ML (EoS)

A Databricks 2021 decemberében adta ki ezt a verziót.

A Databricks Runtime 10.2 for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 10.2 (EoS) alapú gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, lásd a Databricks mesterséges intelligenciája és gépi tanulása.

Új funkciók és fejlesztések

A Databricks Runtime 10.2 ML a Databricks Runtime 10.2-es verziójára épül. A Databricks Runtime 10.2 újdonságairól, beleértve az Apache Spark MLlib-t és a SparkR-t, tekintse meg a Databricks Runtime 10.2 (EoS) kibocsátási megjegyzéseit.

Databricks autologging (nyilvános előzetes verzió)

A Databricks autologging mostantól minden régióban nyilvános előzetes verzióban érhető el. A Databricks Autologging egy kód nélküli megoldás, amely automatikus kísérletkövetést biztosít az Azure Databricks gépi tanulási betanítási munkameneteihez. A Databricks autologging funkciójával a modellparaméterek, a metrikák, a fájlok és az életút adatai automatikusan rögzítésre kerülnek, amikor modelleket tanít be számos népszerű gépi tanulási kódtárból. A betanítási munkamenetek MLflow-nyomkövetési futtatásokként vannak rögzítve. A modellfájlok is nyomon követhetők, így egyszerűen naplózhatja őket az MLflow modellregisztrációs adatbázisában, és valós idejű pontozás céljából üzembe helyezheti őket az MLflow modellkiszolgálóval.

További információ a Databricks automatikus naplózásáról: Databricks Autologging.

Az AutoML fejlesztései

Az AutoML-ben az alábbi fejlesztések történtek.

• Az AutoML figyelmen kívül hagyja azokat az oszlopokat, amelyek csak egyetlen értékkel rendelkeznek.
• Besorolási és regressziós problémák esetén az adathalmaz betanítási, érvényesítési és tesztelési csoportokra való felosztásához használt időoszlop mostantól sztring típusú lehet. Korábban csak az időbélyeg és az egész szám voltak támogatva. Részletekért lásd: Adatok felosztása betanítási, érvényesítési és tesztkészletekre .

A Databricks szolgáltatástároló fejlesztései

A Databricks feature Store-ban az alábbi fejlesztések történtek.

Egyszerűsített FeatureStoreClient felület

A FeatureStoreClient felület egyszerűbb lett.

• FeatureStoreClient.create_feature_table() már nem támogatott. Ehelyett használja a következőt FeatureStoreClient.create_table(): .
• FeatureStoreClient.get_feature_table() elavult. Ehelyett használja a következőt FeatureStoreClient.get_table(): .
• Az összes argumentumot, kivéve a name és online_store, kulcsszóargumentumként kell átadni a FeatureStoreClient.publish_table()-nak.

Csak a kijelölt oszlopok közzététele online áruházakban

A Databricks szolgáltatástároló mostantól csak a kijelölt oszlopok online áruházban való közzétételét támogatja. További információt a kiválasztott szolgáltatások online áruházban való közzététele című témakörben talál.

A Databricks Runtime ML Python-környezetének főbb változásai

A Apache Spark MLlib automatizált MLflow Tracking integrációja, amely elavult a Databricks Runtime 10.1 ML-ben, mostantól alapértelmezetten le van tiltva a Databricks Runtime 10.2 ML-ben. Ezt felváltotta az MLflow PySpark ML Autologging integrációja, amely alapértelmezés szerint engedélyezve van a Databricks autologging szolgáltatással. Az autologging funkció az Automatizált MLflow-nyomkövetés által rögzített MLlib adatokon túl további információkat is rögzít, beleértve a legjobb modellhez társított paramétereket, metrikákat és összetevőket.

Python-csomagok frissítve

• databricks-cli 0.14.3 => 0.16.2
• keras 2.6.0 => 2.7.0
• lightgbm 3.3.0 => 3.3.1
• mlflow 1.21.0 => 1.22.0
• plotly 5.3.0 => 5.3.1
• shap 0.39.0 => 0.40.0
• spacy 3.1.3 => 3.2.0
• tensorboard 2.6.0 => 2.7.0
• tensorflow 2.6.0 => 2.7.0
• fáklya 1.9.1 => 1.10.0
• torchvision 0.10.1 => 0.11.1
• transzformátorok 4.11.3 => 4.12.3
• xgboost 1.4.2 => 1.5.0

Rendszerkörnyezet

A Databricks Runtime 10.2 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 10.2-től:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Inkább használjon %pip parancsokat. Lásd: Jegyzetfüzet-specifikus Python könyvtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Könyvtárak

Az alábbi szakaszok a Databricks Runtime 10.2 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 10.2-ben szereplő kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-kódtárak
• Java és Scala könyvtárak (Scala 2.12 klaszter)

Felső szintű kódtárak

A Databricks Runtime 10.2 ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python-kódtárak

A Databricks Runtime 10.2 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 10.2 ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.6
• automl 1.5.0

Python-kódtárak CPU-fürtökön

Python-könyvtárak GPU-fürtökön

Python-modulokat tartalmazó Spark-csomagok

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 10.2 R-kódtárával .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 10.2 Java- és Scala-kódtárai mellett a Databricks Runtime 10.2 ML a következő JAR-eket tartalmazza:

CPU-klaszterek

GPU-fürtök