Databricks Runtime 9.0 gépi tanuláshoz (EoS)

A Databricks 2021 augusztusában adta ki ezt a verziót.

A Databricks Runtime 9.0 for Machine Learning használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 9.0 (EoS) alapján. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. Emellett támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, lásd: AI és gépi tanulás a Databricks-en.

Helyesbítés

A kiadási megjegyzések egy korábbi verziója azt állította, hogy a fürt GPU-metrikáinak Gangliával való monitorozásának támogatása le lett tiltva a Databricks Runtime 9.0 ML GPU-ban. Ez igaz volt a Databricks Runtime 9.0 ML bétaverzióra, de a problémát kijavítottuk a Databricks Runtime 9.0 ML GA-val. A nyilatkozat eltávolították.

Új funkciók és fejlesztések

A Databricks Runtime 9.0 ML a Databricks Runtime 9.0-ra épül. A Databricks Runtime 9.0 újdonságairól, beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 9.0 (EoS) kibocsátási megjegyzéseit.

Databricks autologging (nyilvános előzetes verzió)

A Databricks Autologging mostantól elérhető a Databricks Runtime 9.0 for Machine Learninghez bizonyos régiókban. A Databricks Autologging egy kód nélküli megoldás, amely automatikus kísérletkövetést biztosít az Azure Databricks gépi tanulási betanítási munkameneteihez. A Databricks autologging funkciójával a modellparaméterek, a metrikák, a fájlok és az életút adatai automatikusan rögzítésre kerülnek, amikor modelleket tanít be számos népszerű gépi tanulási kódtárból. A betanítási munkamenetek MLflow-nyomkövetési futtatásokként vannak rögzítve. A modellfájlok is nyomon követhetők, így egyszerűen naplózhatja őket az MLflow modellregisztrációs adatbázisában, és valós idejű pontozás céljából üzembe helyezheti őket az MLflow modellkiszolgálóval.

További információért a Databricks Autologging-ról, lásd: Databricks Autologging.

A Databricks szolgáltatástároló fejlesztései

A betanítási csoportok létrehozásakor a teljesítmény javult a forrásfunkció-táblák közötti illesztések számának minimalizálásával.

Az XGBoost és a PySpark integrációja mostantól támogatja az elosztott betanítási és GPU-fürtöket

További információ: Az XGBoost használata az Azure Databricksben.

A Databricks Runtime ML Python-környezetének főbb változásai

A Conda-környezetek és a %conda parancs el lesz távolítva. A Databricks Runtime 9.0 ML a pip és virtualenv-vel van építve. A Conda-alapú környezeteket használó egyéni rendszerképek a Databricks Container Services szolgáltatással továbbra is támogatottak lesznek, de nem fognak rendelkezni jegyzetfüzet-hatókörű könyvtár-képességekkel. A Databricks azt javasolja, hogy használjon virtualenv-alapú környezeteket a Databricks Container Services és %pip szolgáltatással az összes jegyzetfüzetre korlátozott kódtárhoz.

A Databricks Runtime Python-környezet főbb változásait a Databricks Runtime 9.0 (EoS) című témakörben találhatja meg. A telepített Python-csomagok és azok verzióinak teljes listáját a Python-könyvtáraktartalmazza.

Python-csomagok frissítve

• mlflow 1.18.0 -> 1.19.0
• nltk 3.5 –> 3.6.1

Python-csomagok hozzáadva

• próféta 1.0.1

Python-csomagok el lettek távolítva

• MKL
• azure-core
• azure-storage-blob
• msrest
• docker
• lekérdezési lánc elemző
• intel-openmp

Elavulások és nem támogatott funkciók

• A Databricks Runtime 9.0 ML-ben a HorovodRunner nem támogatja a np=0beállítását, ahol np a Horovod-feladathoz használandó párhuzamos folyamatok száma.
• A Databricks Runtime 9.0 ML tartalmazza az r-base 4.1.0-t az R grafikus motor 14-es verziójával. Ezt az RStudio Server 1.2.x-es verziója nem támogatja.
• nvprof a Databricks Runtime 9.0 ML GPU-ban törlődik.

Rendszerkörnyezet

A Databricks Runtime 9.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 9.0-tól:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Inkább használjon %pip parancsokat. Lásd: Jegyzetfüzet-hatókörön belüli Python-kódtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Könyvtárak

Az alábbi szakaszok a Databricks Runtime 9.0 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 9.0-ban szereplő kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-kódtárak
• Java- és Scala-könyvtárak (Scala 2.12-klaszter)

Felső szintű kódtárak

A Databricks Runtime 9.0 ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python-kódtárak

A Databricks Runtime 9.0 ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 9.0 ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db1
• feature_store 0.3.3
• automl 1.1.1

Python könyvtárak processzorfürtökön

Python-könyvtárak GPU-kapacitásokon

Python-modulokat tartalmazó Spark-csomagok

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 9.0 R-kódtáraival .

Java- és Scala-könyvtárak (Scala 2.12-klaszter)

A Databricks Runtime 9.0 Java- és Scala-kódtárai mellett a Databricks Runtime 9.0 ML a következő JAR-eket tartalmazza:

CPU-klaszterek

GPU-fürtök