Databricks Runtime 11.2 for Machine Learning (EoS)

A Databricks Runtime 11.2 for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 11.2 (EoS) alapú gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg a Databricks AI-jét és gépi tanulását.

Új funkciók és fejlesztések

A Databricks Runtime 11.2 ML a Databricks Runtime 11.2-es verziójára épül. A Databricks Runtime 11.2 újdonságairól , beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 11.2 (EoS) kibocsátási megjegyzéseit.

Az AutoML fejlesztései

Az AutoML mostantól jobban támogatja a besorolási problémák kiegyensúlyozatlan adathalmazait. További információ: Egyensúlyhiányos adathalmazok támogatása besorolási problémák esetén.

A Databricks szolgáltatástároló fejlesztései

A Databricks feature Store-ban az alábbi fejlesztések történtek.

• Az online áruházak esetében a felhasználói és jelszómezők elavultak. A jövőbeli inkompatibilitások elkerülése érdekében módosítsa ezen mezők összes használatát a következőre write_secret_prefix: .

• A szolgáltatástár-ügyfél összes dokumentációja és kimenete mostantól a Databricks Runtime ML-verziók (például 11.2) helyett az ügyfélverzióra (például 0.6.1) hivatkozik.

Rendszerkörnyezet

A Databricks Runtime 11.2 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 11.2-től:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Inkább %pip parancsokat használjon. Lásd: Jegyzetfüzetre korlátozott Python-kódtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Könyvtárak

Az alábbi szakaszok a Databricks Runtime 11.2 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 11.2-ben szereplő kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-könyvtárak
• Java- és Scala-könyvtárak (Scala 2.12 klaszter)

Felső szintű kódtárak

A Databricks Runtime 11.2 ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python-kódtárak

A Databricks Runtime 11.2 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 11.2 ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0_db6
• feature_store 0.6.0
• automl 1.12.3

Python könyvtárak CPU klasztereken

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-11.2.txt fájlt, és futtassa pip install -r requirements-11.2.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskódú kódtárat, de nem telepíti az Azure Databricks által kifejlesztett kódtárakat, mint például a databricks-automl, databricks-feature-store vagy a Databricks saját hyperopt változata.

Python könyvtárak GPU-fürtökön

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 11.2 R-kódtáraival .

Java és Scala könyvtárak (Scala 2.12 fürt)

A Databricks Runtime 11.2 Java- és Scala-kódtárai mellett a Databricks Runtime 11.2 ML a következő JARs-eket tartalmazza:

CPU klaszterek

GPU-fürtök