Databricks Runtime 15.0 for Machine Learning (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
A Databricks Runtime 15.0 for Machine Learning használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 15.0 (EoS) alapján. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulási képzést a Horovod használatával.
Új funkciók és fejlesztések
A Databricks Runtime 15.0 ML a Databricks Runtime 15.0-ra épül. A Databricks Runtime 15.0 újdonságairól , beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 15.0 (EoS) kibocsátási megjegyzéseit.
Kompatibilitástörő változások
Az örökölt Databricks parancssori felület alapértelmezés szerint nincs telepítve
A Databricks Runtime 14.3 LTS ML-ben és az alábbi verziókban, mivel az MLflow előre telepített verziója megköveteli az örökölt Databricks parancssori felületet (databricks/databricks-cli), automatikusan telepítve lett a $PATH. A Databricks Runtime 15.0 ML az MLflow 2.10.2-es verzióját tartalmazza, amelyhez nincs szükség az örökölt parancssori felületre.
A Databricks Runtime 15.0 ML-től kezdve az örökölt Databricks CLI már nem települ automatikusan $PATH. Ez egy kompatibilitástörő változás azon felhasználók számára, akik a futtatókörnyezetben telepített régi parancssori felülettől függenek. Az olyan parancsok, mint %sh databricks ... a Databricks Runtime 15.0 ML és újabb verziókban már nem működnek.
Ha továbbra is használni szeretné az örökölt Databricks parancssori felületet egy jegyzetfüzetből, telepítse fürtként vagy jegyzetfüzettárként. Az új Databricks CLI (databricks/cli) a webes terminálról érhető el. További információ: A webes terminál és a Databricks parancssori felület használata.
Az MLeap már nem érhető el a Databricks Runtime 15.0 ML-ben
Az MLeap már nem érhető el a Databricks Runtime 15.0 ML-ben és újabb verziókban. Az üzembe helyezési modellek JVM-alapú keretrendszerekre való csomagolásához a Databricks az ONNX formátum használatát javasolja.
A Horovod és a HorovodRunner elavulása
A Horovod és a HorovodRunner elavult. Elosztott mélytanulás esetén a Databricks azt javasolja, hogy a TorchDistributort használja elosztott betanításhoz a PyTorch-tal, vagy az API-t a tf.distribute.Strategy TensorFlow-tal való elosztott betanításhoz. A Horovod és a HorovodRunner előre telepítve van a Databricks Runtime 15.0 ML-ben, de a következő nagyobb Databricks Runtime ML-verzióban el lesz távolítva.
Feljegyzés
horovod.spark nem támogatja a Pyarrow 11.0-s és újabb verzióit (lásd a gitHub vonatkozó problémáját). A Databricks Runtime 15.0 ML tartalmazza a Pyarrow 14.0.1-es verzióját. A Databricks Runtime 15.0 ML vagy újabb verziójának használatához horovod.spark manuálisan kell telepítenie a Pyarrow-t, és meg kell adnia a 11.0-s verzió alatti verziót.
Rendszerkörnyezet
A Databricks Runtime 15.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 15.0-tól:
- GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
Kódtárak
Az alábbi szakaszok a Databricks Runtime 15.0 ML-ben található kódtárakat sorolják fel, amelyek eltérnek a Databricks Runtime 15.0-s verzióban szereplő kódtáraktól.
Ebben a szakaszban:
Felső szintű kódtárak
A Databricks Runtime 15.0 ML a következő legfelső szintű kódtárakat tartalmazza:
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (Elavult) Horovod és HorovodRunner
Python-kódtárak
A Databricks Runtime 15.0 ML a Python-csomagkezeléshez használható virtualenv , és számos népszerű ML-csomagot tartalmaz.
A következő szakaszokban megadott csomagok mellett a Databricks Runtime 15.0 ML a következő csomagokat is tartalmazza:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
A Databricks Runtime ML Python-környezetének a helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-15.0.txt fájlt, és futtassa pip install -r requirements-15.0.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-storeDatabricks elágazásáthyperopt.
Python-kódtárak CPU-fürtökön
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | gyorsít | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | aszinkron időtúllépés | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| fekete | 23.3.0 | fehérítő | 4.1.0 | áldott | 1.20.0 |
| villogó | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalógus | 2.0.10 |
| kategóriakódolók | 2.6.3 | minősítés | 2023.7.22 | cffi | 1.15.1 |
| karakterkészlet | 4.0.0 | charset-normalizer | 2.0.4 | kattintás | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| színes | 0.5.6 | Comm | 0.1.2 | édesség | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kriptográfia | 41.0.3 |
| biciklista | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | adatkészletek | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | hibakeresés | 1.6.7 |
| lakberendező | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| kapor | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | belépési pontok | 0,4 | evaluate | 0.4.1 |
| Végrehajtó | 0.8.3 | aspektusok áttekintése | 1.1.1 | Farama-Értesítések | 0.0.4 |
| fastjsonschema | 2.19.1 | gyorsszöveg | 0.9.2 | filelock | 3.9.0 |
| Flask | 2.2.5 | flatbuffers | 23.5.26 | betűtípusok | 4.25.0 |
| frozenlist | 1.3.3 | fsspec | 2023.5.0 | jövő | 0.18.3 |
| Gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | google-hitelesítés | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 |
| google-pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| tornaterem | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | szünidő | 0,38 | horovod | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
| ImageHash | 4.3.1 | imageio | 2.31.1 | kiegyensúlyozatlan tanulás | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
| jax-jumpy | 1.0.0 | jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2,4 |
| jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 3.0.5 |
| keras | 2.15.0 | kulcstartó | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
| langcode-k | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0,2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Makó | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | mályvacukor | 3.21.1 | matplotlib | 3.7.2 |
| matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack | 1.0.8 | többdimenziós | 6.0.2 |
| multimethod | 1.11.2 | többprocesszoros | 0.70.14 | murmurhash | 1.0.10 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | nindzsa | 1.11.1.1 | nltk | 3.8.1 |
| jegyzetfüzet | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opt-einsum | 3.3.0 | csomagolás | 23.2 | pandas | 2.0.3 |
| pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
| pathspec | 0.10.3 | Patsy | 0.5.3 | petastorm | 0.12.1 |
| pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
| Párna | 9.4.0 | mag | 23.2.1 | platformdirs | 3.10.0 |
| ábrázolás | 5.9.0 | pmdarima | 2.0.4 | Kuvasz | 1.8.1 |
| előre meg van nyitható | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| próféta | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6,0 | pyzmq | 23.2.0 | rája | 2.9.3 |
| regex | 2022.7.9 | kérelmek | 2.31.0 | requests-oauthlib | 1.3.1 |
| Válaszok | 0.13.3 | részletes | 13.7.1 | Rsa | 4.9 |
| s3transfer | 0.10.0 | széfek | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | tengeri | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | mondat-átalakítók | 2.2.2 |
| mondatrész | 0.1.99 | setuptools | 68.0.0 | shap | 0.44.0 |
| simplejson | 3.17.6 | Hat | 1.16.0 | uborkaszeletelő | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| soundfile | 0.12.1 | levessieve | 2,4 | soxr | 0.3.7 |
| spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.8 | ssh-import-id | 5,11 | veremadatok | 0.2.0 |
| stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| tangled-up-in-unicode | 0.2.0 | Kitartás | 8.2.2 | tensorboard | 2.15.1 |
| tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-fájlrendszer | 0.36.0 |
| termcolor | 2.4.0 | terminado | 0.17.1 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.15.0 |
| fáklya | 2.1.2+cpu | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
| tornádó | 6.3.2 | tqdm | 4.65.0 | árulók | 5.7.1 |
| Transformers | 4.36.2 | typeguard | 2.13.3 | Typer | 0.9.0 |
| gépelés-vizsgálat | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
| ujson | 5.4.0 | felügyelet nélküli frissítések | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | Látomások | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.2 | wcwidth | 0.2.5 | menyét | 0.3.4 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
| kerék | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
| wrapt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profilkészítés | 4.5.1 | zipp | 3.11.0 |
Python-kódtárak GPU-fürtökön
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | gyorsít | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | aszinkron időtúllépés | 4.0.2 |
| attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
| backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| fekete | 23.3.0 | fehérítő | 4.1.0 | áldott | 1.20.0 |
| villogó | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | katalógus | 2.0.10 |
| kategóriakódolók | 2.6.3 | minősítés | 2023.7.22 | cffi | 1.15.1 |
| karakterkészlet | 4.0.0 | charset-normalizer | 2.0.4 | kattintás | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| színes | 0.5.6 | Comm | 0.1.2 | édesség | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | kriptográfia | 41.0.3 |
| biciklista | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | adatkészletek | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | hibakeresés | 1.6.7 |
| lakberendező | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| kapor | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | einopok | 0.7.0 | belépési pontok | 0,4 |
| evaluate | 0.4.1 | Végrehajtó | 0.8.3 | aspektusok áttekintése | 1.1.1 |
| Farama-Értesítések | 0.0.4 | fastjsonschema | 2.19.1 | gyorsszöveg | 0.9.2 |
| filelock | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
| flatbuffers | 23.5.26 | betűtípusok | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | jövő | 0.18.3 | Gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| google-hitelesítés | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| greenlet | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | tornaterem | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| szünidő | 0,38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
| imageio | 2.31.1 | kiegyensúlyozatlan tanulás | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jax-jumpy | 1.0.0 |
| jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2,4 | jsonschema | 4.17.3 |
| jupyter-server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 3.0.5 | keras | 2.15.0 |
| kulcstartó | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
| langchain-community | 0.0.20 | langchain-core | 0.1.23 | langcode-k | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0,2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Makó | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| mályvacukor | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack | 1.0.8 | többdimenziós | 6.0.2 | multimethod | 1.11.2 |
| többprocesszoros | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| nindzsa | 1.11.1.1 | nltk | 3.8.1 | jegyzetfüzet | 6.5.4 |
| notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
| csomagolás | 23.2 | pandas | 2.0.3 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
| Patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | Párna | 9.4.0 |
| mag | 23.2.1 | platformdirs | 3.10.0 | ábrázolás | 5.9.0 |
| pmdarima | 2.0.4 | Kuvasz | 1.8.1 | előre meg van nyitható | 3.0.9 |
| prompt-toolkit | 3.0.36 | próféta | 1.1.5 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0,6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
| PyWavelets | 1.4.1 | PyYAML | 6,0 | pyzmq | 23.2.0 |
| rája | 2.9.3 | regex | 2022.7.9 | kérelmek | 2.31.0 |
| requests-oauthlib | 1.3.1 | Válaszok | 0.13.3 | részletes | 13.7.1 |
| Rsa | 4.9 | s3transfer | 0.10.0 | széfek | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
| tengeri | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| mondat-átalakítók | 2.2.2 | mondatrész | 0.1.99 | setuptools | 68.0.0 |
| shap | 0.44.0 | simplejson | 3.17.6 | Hat | 1.16.0 |
| uborkaszeletelő | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | soundfile | 0.12.1 | levessieve | 2,4 |
| soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5,11 |
| veremadatok | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
| sympy | 1.11.1 | tangled-up-in-unicode | 0.2.0 | Kitartás | 8.2.2 |
| tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
| tensorflow-io-gcs-fájlrendszer | 0.36.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
| thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| tokenizers | 0.15.0 | fáklya | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision | 0.16.2+cu121 | tornádó | 6.3.2 | tqdm | 4.65.0 |
| árulók | 5.7.1 | Transformers | 4.36.2 | Triton | 2.1.0 |
| typeguard | 2.13.3 | Typer | 0.9.0 | gépelés-vizsgálat | 0.9.0 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| felügyelet nélküli frissítések | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| Látomások | 0.7.5 | wadllib | 1.3.6 | Wasabi | 1.1.2 |
| wcwidth | 0.2.5 | menyét | 0.3.4 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | Werkzeug | 2.2.3 | kerék | 0.38.4 |
| widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
| ydata-profilkészítés | 4.5.1 | zipp | 3.11.0 |
R-kódtárak
Az R-kódtárak megegyeznek a Databricks Runtime 15.0 R-kódtárával .
Java- és Scala-kódtárak (Scala 2.12-fürt)
A Databricks Runtime 15.0 Java- és Scala-kódtárai mellett a Databricks Runtime 15.0 ML a következő JARs-eket tartalmazza:
CPU-fürtök
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-fürtök
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |