Megosztás a következőn keresztül:


Databricks Runtime 14.2 for Machine Learning (EoS)

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd a(z) Databricks Runtime kiadási megjegyzései: verziók és kompatibilitás alatt.

A Databricks Runtime 14.2 for Machine Learning egy használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 14.2 (EoS) alapján. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.

Tipp.

A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.

Új funkciók és fejlesztések

A Databricks Runtime 14.2 ML a Databricks Runtime 14.2-es verziójára épül. A Databricks Runtime 14.2 újdonságairól, beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 14.2 (EoS) kibocsátási megjegyzéseit.

Rendszerkörnyezet

A Databricks Runtime 14.2 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 14.2-től:

A Databricks Runtime 14.2 ML tartalmazza az XGBoost 1.7.6-ot, amely nem támogatja az 5.2-es és újabb számítási képességgel rendelkező GPU-fürtöket.

Könyvtárak

A következő szakaszok a Databricks Runtime 14.2 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 14.2-ben szereplő kódtáraktól.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 14.2 ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 14.2 ML Python-csomagkezeléshez használható virtualenv , és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 14.2 ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-14.2.txt fájlt, és futtassa pip install -r requirements-14.2.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskódú kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, mint például a databricks-automl, a databricks-feature-store, illetve a hyperopt Databricks elágazását.

Python könyvtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attribútumok 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake (Azure fájltároló adat-tó) 12.13.2
visszahívás 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
fekete 22.6.0 fehérítő 4.1.0 villogó 1.4
boldogság 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 katalógus 2.0.10 kategóriakódolók 2.6.2
minősítés 2022.12.7 cffi 1.15.1 karakterkódolás érzékelő könyvtár 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Kommunikáció 0.1.2
édesség 0.1.3 configparser 5.2.0 contourpy 1.0.5
kriptográfia 39.0.1 biciklista 0.11.0 cymem 2.0.8
Cython 0.29.32 dacitt 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering 0.1.2 Databricks jellemzőtár 0.16.1
databricks-sdk 0.1.6 adat osztályok JSON-hoz 0.6.1 adatkészletek 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
lakberendező 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
kapor 0.3.6 diskcache 5.6.3 distlib 0.3.7
docstring-to-markdown 0,11 belépési pontok 0,4 értékel 0.4.1
Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 fájlzár 3.9.0 Flask 2.2.5
flatbuffers 23.5.26 betűtípusok 4.25.0 lefagyasztott lista 1.4.0
fsspec 2023.6.0 jövő 0.18.3 vendég 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
Google hitelesítés 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google Cloud Tárhely 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
szünidő 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 kiegyensúlyozatlan tanulás 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 kulcstartó 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 nyelvkódok 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Makó 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
mályvacukor 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 rossz hangolás 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 többnyelvű szótár 6.0.4 többmódszeres 1.10
többfolyamatos 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
nindzsa 1.11.1.1 nltk 3.7 nodeenv 1.8.0
jegyzetfüzet 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 csomagolás 22,0 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 pathy 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Párna 9.4.0 mag 22.3.1
platformdirs 2.5.2 ábrázolás 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 kutya 1.4.0 előreképzés 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 próféta 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-szerkesztő 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytool konfiguráció 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 kérelmek 2.28.1
requests-oauthlib 1.3.1 Válaszok 0.18.0 kötél 1.7.0
rsa 4.9 s3transfer 0.6.2 safetensorok 0.4.0
scikit-learn 1.1.1 scipy (Python tudományos számítás könyvtár) 1.10.0 tengerből származó 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 mondat-átalakítók 2.2.2
mondatrész 0.1.99 setuptools 65.6.3 shap 0.43.0
simplejson 3.17.6 Hat 1.16.0 szeletelő 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
hangfájl 0.12.1 levesszűrő 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
tényleg 2.4.8 ssh-import-id 5,11 veremadatok 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy 1.11.1
táblázatba rendezni 0.8.10 összegabalyodva az Unicode-ban 0.2.0 Kitartás 8.1.0
tensorboard 2.14.0 tensorboard-data-server (adatkiszolgáló) 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-fájlrendszer 0.34.0
termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizálók 0.14.0 tomli 2.0.1
fáklya 2.0.1+cpu torchvision 0.15.2+cpu tornádó 6.1
tqdm 4.64.1 kis tulajdonságok 5.7.1 Transzformátorok 4.34.0
typeguard 2.13.3 Typer 0.9.0 gépelés ellenőrzése 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 felügyelet nélküli frissítések 0,1
urllib3 1.26.14 virtualenv 20.16.7 Látomások 0.7.5
wadllib 1.3.6 Wasabi 1.1.2 wcwidth 0.2.5
menyét 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.2 whatthepatch 1.0.2 kerék 0.38.4
widgetsnbextension 3.6.1 szófelhő 1.9.2 betakarva 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 ydata-profilkészítés 4.2.0 cipzár 3.11.0

Python-könyvtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 aszinkron időtúllépés 4.0.3
attribútumok 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob (Azure tárolás blobok) 12.18.3 azure-storage-file-datalake 12.13.2
visszahívás 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
fekete 22.6.0 fehérítő 4.1.0 villogó 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 katalógus 2.0.10 kategóriakódolók 2.6.2
tanúsítás 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
kommunikáció 0.1.2 édesség 0.1.3 konfiguráció-elemző 5.2.0
contourpy 1.0.5 kriptográfia 39.0.1 biciklista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacit 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 Databricks jellemzőtervezés 0.1.2
databricks-feature-store 0.16.1 databricks-sdk 0.1.6 dataclasses-json 0.6.1
adatkészletek 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 lakberendező 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 kapor 0.3.6 diskcache 5.6.3
distlib 0.3.7 docstring-to-markdown 0,11 einops 0.7.0
belépési pontok 0,4 értékelni 0.4.1 Végrehajtó 0.8.3
aspektusok áttekintése 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
fájlzár 3.9.0 flash-attn 2.3.2 Flask 2.2.5
flatbuffers 23.5.26 betűtípusok 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 jövő 0.18.3 vendég 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-hitelesítés 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google felhőalapú tárhely 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
szünidő 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 kiegyensúlyozatlan tanulás 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 ISO-dátum 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server (Jupyter-szerver) 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 kulcstartó 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 nyelvkódok 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 Világít 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Makó 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 mályvacukor 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 rosszul hangol 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 többnyelvű szótár 6.0.4
többmódszeres 1.10 többfolyamatú 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 nindzsa 1.11.1.1 nltk 3.7
nodeenv 1.8.0 jegyzetfüzet 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 csomagolás 22,0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 érzés (or betegség depending on context) 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Párna 9.4.0
pip 22.3.1 platformdirs 2.5.2 ábrázolás 5.9.0
bővítmény 1.0.0 pmdarima 2.0.3 kutya 1.4.0
előre összeállított tároló 3.0.9 prompt-toolkit 3.0.36 próféta 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python szerkesztő 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 kérelmek 2.28.1
requests-oauthlib 1.3.1 Válaszok 0.18.0 kötél 1.7.0
Rsa 4.9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 tengeri 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 mondat-átalakítók 2.2.2
mondatrész 0.1.99 setuptools 65.6.3 shap 0.43.0
simplejson 3.17.6 Hat 1.16.0 szeletelő 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
hangfájl 0.12.1 leves szűrő 2.3.2.post1 soxr 0.3.7
űrjellegű 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
komolyan 2.4.8 ssh-import-id 5,11 veremadatok 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy 1.11.1
táblázatba foglal 0.8.10 unicode-csomóban 0.2.0 Kitartás 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
TensorFlow 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-fájlrendszer 0.34.0
termcolor 2.3.0 befejezett 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizálók 0.14.0 tomli 2.0.1
fáklya 2.0.1+cu118 torchvision 0.15.2+cu118 tornádó 6.1
tqdm 4.64.1 traitlets 5.7.1 Transzformátorok 4.34.0
Triton 2.0.0 typeguard 2.13.3 Typer 0.9.0
gépelésvizsgálat 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.14 virtualenv 20.16.7
Látomások 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 menyét 0.3.3 webencodings 0.5.1
websocket-kliens 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
kerék 0.38.4 widgetsnbextension 3.6.1 szófelhő 1.9.2
becsomagolt 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 ydata-profilkészítés 4.2.0
zipp 3.11.0

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 14.2 R-kódtáraival .

Java- és Scala-könyvtárak (Scala 2.12-klaszter)

A Databricks Runtime 14.2 Java- és Scala-kódtárai mellett a Databricks Runtime 14.2 ML a következő JARs-eket tartalmazza:

CPU-klaszterek

Csoportazonosító Artefakt azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Lelet azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0