Databricks Runtime 13.3 LTS for Machine Learning

A Databricks Runtime 13.3 LTS for Machine Learning használatra kész környezetet biztosít a Databricks Runtime 13.3 LTS-en alapuló gépi tanuláshoz és adatelemzéshez. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

További információkért, beleértve a Databricks Runtime ML-fürt létrehozásának utasításait, tekintse meg a Databricks AI-jét és gépi tanulását.

Új funkciók és fejlesztések

A Databricks Runtime 13.3 LTS ML a Databricks Runtime 13.3 LTS-en alapul. A Databricks Runtime 13.3 LTS újdonságairól, beleértve az Apache Spark MLlib-et és a SparkR-t, tekintse meg a Databricks Runtime 13.3 LTS kibocsátási megjegyzéseit.

A Databricks szolgáltatástároló változásai

• A Databricks Runtime 13.3 LTS ML a 0.14.0-s verziójú Feature Store-ügyfelet tartalmazza. A kliens 0.14.0-s vagy újabb verziójával meg kell adni az időbélyegző kulcs oszlopait a primary_keys argumentumban. Az időbélyeg-kulcsok az "elsődleges kulcsok" részét képezik, amelyek egyedileg azonosítják a funkciótábla minden egyes sorát.
• Mostantól kizárhatja az időbélyegekkel rendelkező funkcióértékeket a betanítási készletből egy megadott időpont előtt. További részletekért lásd: Történeti jellemzők értékeinek időkorlátjának beállítása.
• A gépi tanulási funkciók mostantól igény szerint, következtetési időpontban kiszámíthatók. A funkciószámítási logikát, modelleket és adatokat a Unity Catalog szabályozza. Ez lehetővé teszi, hogy a modellek olyan bemeneteket használva számítsa ki a funkciókat, amelyek csak következtetési időpontban érhetők el, például a felhasználó aktuális tartózkodási helye. További információ: Igény szerinti számítási funkciók a Python által definiált függvények használatával.

Rendszerkörnyezet

A Databricks Runtime 13.3 LTS ML rendszerkörnyezete eltér a Databricks Runtime 13.3 LTS-től az alábbiak szerint:

• DBUtils: A Databricks Runtime ML nem tartalmazza a Library segédprogramot (dbutils.library) (örökölt). Használjon %pip inkább parancsokat. Lásd: Jegyzetfüzet-hatókörön belüli Python-kódtárak.
• GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

A Databricks Runtime 13.3 LTS ML tartalmazza az XGBoost 1.7.3-at, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

A minikondacsomagot eltávolítottuk a Databricks Runtime 13.0 ML-ből és újabb verziókból.

Kódtárak

Az alábbi szakaszok a Databricks Runtime 13.3 LTS ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 13.3 LTS-ben szereplő kódtáraktól.

Ebben a szakaszban:

• Felső szintű kódtárak
• Python-kódtárak
• R-kódtárak
• Java- és Scala-kódtárak (Scala 2.12-fürt)

Felső szintű kódtárak

A Databricks Runtime 13.3 LTS ML a következő legfelső szintű kódtárakat tartalmazza:

• GraphFrames
• Horovod és HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python-kódtárak

A Databricks Runtime 13.3 LTS ML a Virtualenv-t használja a Python-csomagkezeléshez, és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 13.3 LTS ML a következő csomagokat is tartalmazza:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.20.0

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-13.3.txt fájlt, és futtassa pip install -r requirements-13.3.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Python-kódtárak GPU-fürtökön

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 13.3 LTS R-kódtárával .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 13.3 LTS Java- és Scala-kódtárak mellett a Databricks Runtime 13.3 LTS ML a következő JAR-eket tartalmazza:

CPU-fürtök

GPU-fürtök