Databricks Runtime 11.3 LTS gépi tanuláshoz

A Databricks Runtime 11.3 LTS for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 11.3 LTS-en alapuló gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg az AI-t és gépi tanulást a Databricks-en.

Új funkciók és fejlesztések

A Databricks Runtime 11.3 LTS ML a Databricks Runtime 11.3 LTS-en alapul. A Databricks Runtime 11.3 LTS újdonságairól, beleértve az Apache Spark MLlib-et és a SparkR-t, tekintse meg a Databricks Runtime 11.3 LTS kibocsátási megjegyzéseit.

Az AutoML fejlesztései

AutoML- mostantól támogatja a meglévő funkciótár-funkciótáblák használatát az AutoML-kísérletekben. További részletekért lásd az AutoML szolgáltatástár integrációját.

Az AutoML által létrehozott próbaverziós jegyzetfüzetek mostantól kódrészleteket tartalmaznak, amelyek lehetővé teszik a felhasználók számára a hiperparaméterek hangolásának újrafuttatását.

Az AutoML mostantól támogatja a DecimalType funkciókat.

Hibajavítások

A Databricks Runtime 11.3 LTS ML tartalmaz egy frissített verziót a sparkdl.xgboost. A korábbi verziók sparkdl.xgboost a jelen kiadásban kijavított hibákat tartalmaznak, ezért a Databricks azt javasolja, hogy a könyvtár felhasználói frissítsenek a Databricks Runtime 11.3 LTS ML-re.

Felkészülés a jövőbeli kiadásokra

A Databricks Runtime ML közelgő kiadása az 1.0-s verziót tartalmazza sklearn . A módosítás előkészítéséről a sklearndokumentációban tájékozódhat.

A Databricks Runtime ML két openblas csomagot tartalmaz. A /opt/OpenBLAS csomag elavult a Databricks Runtime 11.3 LTS ML-ben, és egy hamarosan megjelenő kiadásban el lesz távolítva.

Rendszerkörnyezet

A Databricks Runtime 11.3 LTS ML rendszerkörnyezete eltér a Databricks Runtime 11.3 LTS-től az alábbiak szerint:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Inkább használjon %pip parancsokat. Lásd: Jegyzetfüzetre korlátozott Python-könyvtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

A Databricks Runtime 11.3 LTS ML tartalmazza az XGBoost 1.6.1-et, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

Könyvtárak

Az alábbi szakaszok a Databricks Runtime 11.3 LTS ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 11.3 LTS-ben található kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-könyvtárak
• Java- és Scala-kódtárak (Scala 2.12-fürt)

Felső szintű kódtárak

A Databricks Runtime 11.3 LTS ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python-kódtárak

A Databricks Runtime 11.3 LTS ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 11.3 LTS ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• feature_store 0.7.0
• automl 1.13.2

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-11.3.txt fájlt, és futtassa pip install -r requirements-11.3.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód könytárat, de nem telepíti a Databricks által fejlesztett könyvtárakat, például a databricks-automl, a databricks-feature-store vagy a hyperopt Databricks elágazását.

Python könyvtárak CPU-fürtökön

Python-könyvtárak GPU-fürtökön

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 11.3 LTS R-kódtárával .

Java és Scala könyvtárak (Scala 2.12 fürt)

A Databricks Runtime 11.3 LTS Java- és Scala-kódtárak mellett a Databricks Runtime 11.3 LTS ML a következő JAR-eket tartalmazza:

CPU-klaszterek

GPU klaszterek