Megosztás a következőn keresztül:

Databricks Runtime 16.0 machine learninghez

  • Cikk

A Databricks Runtime 16.0 for Machine Learning egy használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez a Databricks Runtime 16.0-n alapulva. A Databricks Runtime ML számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow-t, a PyTorch-ot és az XGBoost-t. A Databricks Runtime ML tartalmazza az AutoML-t, amely a gépi tanulási folyamatok automatikus betanítására szolgáló eszköz. A Databricks Runtime ML támogatja az elosztott mélytanulást a TorchDistributor, a DeepSpeed és a Ray használatával.

Tipp.

A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.

Új funkciók és fejlesztések

A Databricks Runtime 16.0 ML a Databricks Runtime 16.0-ra épül. A Databricks Runtime 16.0 újdonságairól, beleértve az Apache Spark MLlib és a SparkR újdonságait, tekintse meg a Databricks Runtime 16.0 kibocsátási megjegyzéseit.

Új Python-csomagok

A következő Python-csomagokat adták hozzá a Databricks Runtime ML-hez:

  • zeneszerző 0.24.1
  • optuna 3.6.1

AutoML-mintasúlyok előrejelzéshez

Az AutoML mostantól támogatja a mintasúlyokat az előrejelzéshez, így módosíthatja az egyes idősorok fontosságát a több idősoros előrejelzési modellek betanításához. További információért tekintse meg az AutoML Python APIelőrejelzési fájlját.

Unity Catalog-ban egy nézet funkcióként való használata table

Mostantól a Unity Catalog nézetét használhatja, mint funkciót table. Lásd: meglévő nézet használata a Unity-ben mint szolgáltatás Catalogtable.

Egyéb változások

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor eltávolítva

A Databricks Runtime ML korábbi verzióiban szereplő alábbi csomagok nem szerepelnek a Databricks Runtime 16.0 ML-ben:

  • Horovod
  • HorovodRunner
  • Petastorm
  • spark-tensorflow-distributor

A Databricks a következő cserét javasolja:

  • Elosztott mélytanulás esetén a Databricks azt javasolja, hogy a TorchDistributort használja elosztott betanításhoz a PyTorch-tal, vagy az API-t a tf.distribute.Strategy TensorFlow-tal való elosztott betanításhoz.
  • Nagy adathalmazok felhőbeli tárolóból való betöltéséhez a Databricks a Mozaik streaming használatát javasolja.
  • TensorFlow- vagy Keras-modell elosztott betanításához a Databricks a Ray használatát javasolja. Lásd Ray on Databricks és a Ray dokumentációját.

Rendszerkörnyezet

A Databricks Runtime 16.0 ML rendszerkörnyezete az alábbiak szerint különbözik a Databricks Runtime 16.0-tól:

  • GPU-fürtök esetén a Databricks Runtime ML a következő NVIDIA GPU-kódtárakat tartalmazza:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Kódtárak

A következő szakaszok list a Databricks Runtime 16.0 ML-ben található kódtárakat, amelyek eltérnek a Databricks Runtime 16.0-ban szereplő kódtáraktól.

Ebben a szakaszban:

Felső szintű kódtárak

A Databricks Runtime 16.0 ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

A Databricks Runtime 16.0 ML Python-csomagkezeléshez használható virtualenv , és számos népszerű ML-csomagot tartalmaz.

A következő szakaszokban megadott csomagok mellett a Databricks Runtime 16.0 ML a következő csomagokat is tartalmazza:

  • hyperopt 0.2.7+db5
  • automl 1.29.0

A Databricks Runtime ML Python-környezet helyi Python virtuális környezetben való reprodukálásához töltse le a requirements-16.0.txt fájlt, és futtassa pip install -r requirements-16.0.txt. Ez a parancs telepíti a Databricks Runtime ML által használt összes nyílt forráskód kódtárat, de nem telepíti a Databricks által fejlesztett kódtárakat, például databricks-automla databricks-feature-engineeringDatabricks elágazásáthyperopt.

Python-kódtárak CPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembic 1.13.3
széljegyzetes típusok 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 nyíl 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 audioread 3.0.1
autocommand 2.2.2 azure-core 1.31.0 azure-cosmos 4.3.1
azure-identity 1.18.0 azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0
Bábel 2.11.0 visszakapcsolás 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 fekete 24.4.2
fehérítő 4.1.0 villogó 1.7.0 blis 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools 5.3.3 katalógus 2.0.10 kategóriakódolók 2.6.3
minősítés 2024.6.2 cffi 1.16.0 karakterkészlet 4.0.0
charset-normalizer 2.0.4 circuitbreaker 2.0.0 kattintás 8.1.7
cloudpathlib 0.19.0 cloudpickle 2.2.1 cmdstanpy 1.2.4
színes 0.5.6 colorlog 6.8.2 Comm 0.2.1
zeneszerző 0.24.1 édesség 0.1.5 configparser 5.2.0
contourpy 1.2.0 coolname 2.2.0 kriptográfia 42.0.5
biciklista 0.11.0 cymem 2.0.8 Cython 3.0.11
dacite 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0
databricks-sdk 0.30.0 adatkészletek 2.20.0 dbl-tempo 0.1.26
dbus-python 1.3.2 hibakeresés 1.6.7 lakberendező 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Elavult 1.2.14
kapor 0.3.8 distlib 0.3.8 dm-tree 0.1.8
docstring-to-markdown 0,11 belépési pontok 0,4 evaluate 0.4.2
Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1 Farama-Értesítések 0.0.4
fastjsonschema 2.20.0 gyorsszöveg-kerék 0.9.2 filelock 3.13.1
Flask 2.2.5 flatbuffers 24.3.25 betűtípusok 4.51.0
Fqdn 1.5.1 frozenlist 1.4.0 fsspec 2023.5.0
jövő 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 google-hitelesítés 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage 2.10.0
google-crc32c 1.6.0 google-pasta 0.2.0 google-resumable-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
greenlet 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 tornaterem 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
szünidő 0,54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.27.2 huggingface-hub 0.24.5
idna 3.7 ImageHash 4.3.1 imageio 2.33.1
kiegyensúlyozatlan tanulás 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
ragoz 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 izoduráció 20.11.0 itsdangerous 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.1 Jinja2 3.1.4
jiter 0.5.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-specifikációk 2023.7.1
jupyter-events 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
keras 3.5.0 kiwisolver 1.4.4 langchain 0.2.12
langchain-core 0.2.41 langchain-text-splitters 0.2.4 langcode-k 3.4.1
langsmith 0.1.129 language_data 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
villám-segédprogramok 0.11.7 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Makó 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
mistune 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools 10.3.0 mozaikml-cli 0.6.41 mozaikml-streamelés 0.8.0
mpmath 1.3.0 msal 1.31.0 msal-extensions 1.2.0
msgpack 1.1.0 többdimenziós 6.0.4 multimethod 1.12
többprocesszoros 0.70.16 murmurhash 1.0.10 mypy 1.10.0
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 nindzsa 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 jegyzetfüzet 7.0.8 notebook_shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib 3.2.0 Oci 2.135.0 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.27.0
opentelemetry-sdk 1.27.0 opentelemetry-szemantic-conventions 0,48b0 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 optuna-integráció 3.6.0
orjson 3.10.7 Felülbírálja 7.4.0 csomagolás 24.1
pandas 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.6
pexpect 4.8.0 phik 0.12.4 párna 10.3.0
mag 24.2 platformdirs 3.10.0 ábrázolás 5.22.0
pluggy 1.0.0 pmdarima 2.0.4 Kuvasz 1.8.2
portalocker 2.10.1 előre meg van nyitható 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.43 próféta 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 pyarrow 15.0.2 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
python-editor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 kérdőjeles 1.10.0
rája 2.35.0 Viszonyítási 0.30.2 regex 2023.10.3
kérelmek 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 részletes 13.3.5 kötél 1.12.0
rpds-py 0.10.6 Rsa 4.9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 széfek 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy 1.13.1
tengeri 0.13.2 Send2Trash 1.8.2 mondat-átalakítók 3.0.1
mondatrész 0.2.0 setuptools 74.0.0 shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Hat 1.16.0
uborkaszeletelő 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 soundfile 0.12.1 levessieve 2,5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 veremadatok 0.2.0
stanio 0.5.1 statsmodels 0.14.2 sympy 1.12
táblázatos 0.9.0 tangled-up-in-unicode 0.2.0 Kitartás 8.2.2
tensorboard 2.17.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.17.0
tensorboardX 2.6.2.2 tensorflow 2.18.0 tensorflow-estimator 2.15.0
termcolor 2.4.0 terminado 0.17.1 Szöveges 0.81.0
tf_keras 2.17.0 thinc 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizers 0.19.1 tomli 2.0.1
fáklya 2.4.0+cpu fáklyaoptimalizáló 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 0.19.0+cpu tornádó 6.4.1
tqdm 4.66.4 árulók 5.14.3 Transformers 4.44.0
typeguard 4.3.0 Typer 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
types-requests 2.31.0.0 types-setuptools 68.0.0.0 6-os típusok 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 felügyelet nélküli frissítések 0,1 uri-sablon 1.3.0
urllib3 1.26.16 validátorok 0.34.0 virtualenv 20.26.2
Látomások 0.7.5 wadllib 1.3.6 Wasabi 1.1.3
wcwidth 0.2.5 menyét 0.4.1 webszínek 24.8.0
webencodings 0.5.1 websocket-client 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 whatthepatch 1.0.2 kerék 0.43.0
wordcloud 1.9.3 wrapt 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.3 ydata-profilkészítés 4.9.0 zipp 3.17.0
zstd 1.5.5.1

Python-kódtárak GPU-fürtökön

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
absl-py 1.0.0 gyorsít 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 széljegyzetes típusok 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 nyíl 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 audioread 3.0.1 autocommand 2.2.2
azure-core 1.31.0 azure-cosmos 4.3.1 azure-identity 1.18.0
azure-storage-blob 12.23.1 azure-storage-file-datalake 12.17.0 Bábel 2.11.0
visszakapcsolás 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 fekete 24.4.2 fehérítő 4.1.0
villogó 1.7.0 blis 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools 5.3.3
katalógus 2.0.10 kategóriakódolók 2.6.3 minősítés 2024.6.2
cffi 1.16.0 karakterkészlet 4.0.0 charset-normalizer 2.0.4
circuitbreaker 2.0.0 kattintás 8.1.7 cloudpathlib 0.19.0
cloudpickle 2.2.1 cmdstanpy 1.2.4 színes 0.5.6
colorlog 6.8.2 Comm 0.2.1 zeneszerző 0.24.1
édesség 0.1.5 configparser 5.2.0 contourpy 1.2.0
coolname 2.2.0 kriptográfia 42.0.5 biciklista 0.11.0
cymem 2.0.8 Cython 3.0.11 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.7.0 databricks-sdk 0.30.0
adatkészletek 2.20.0 dbl-tempo 0.1.26 dbus-python 1.3.2
hibakeresés 1.6.7 lakberendező 5.1.1 deepspeed 0.14.4
defusedxml 0.7.1 Elavult 1.2.14 kapor 0.3.8
distlib 0.3.8 dm-tree 0.1.8 docstring-to-markdown 0,11
einopok 0.8.0 belépési pontok 0,4 evaluate 0.4.2
Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1 Farama-Értesítések 0.0.4
fastjsonschema 2.20.0 gyorsszöveg-kerék 0.9.2 filelock 3.13.1
flash_attn 2.5.6 Flask 2.2.5 flatbuffers 24.3.25
betűtípusok 4.51.0 Fqdn 1.5.1 frozenlist 1.4.0
fsspec 2023.5.0 jövő 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-hitelesítés 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
google-resumable-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 greenlet 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
tornaterem 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 szünidő 0,54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
huggingface-hub 0.24.5 idna 3.7 ImageHash 4.3.1
imageio 2.33.1 kiegyensúlyozatlan tanulás 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 ragoz 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 izoduráció 20.11.0
itsdangerous 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 jedi 0.19.1
Jinja2 3.1.4 jiter 0.5.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifikációk 2023.7.1 jupyter-events 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.5.0 kiwisolver 1.4.4
langchain 0.2.12 langchain-core 0.2.41 langchain-text-splitters 0.2.4
langcode-k 3.4.1 langsmith 0.1.129 language_data 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 villám-segédprogramok 0.11.7 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Makó 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 mistune 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mozaikml-cli 0.6.41
mozaikml-streamelés 0.8.0 mpmath 1.3.0 msal 1.31.0
msal-extensions 1.2.0 msgpack 1.1.0 többdimenziós 6.0.4
multimethod 1.12 többprocesszoros 0.70.16 murmurhash 1.0.10
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 nindzsa 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 jegyzetfüzet 7.0.8
notebook_shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.2.65 nvidia-cuda-cupti-cu12 12.4.99 nvidia-cuda-nvrtc-cu12 12.4.99
nvidia-cuda-runtime-cu12 12.4.99 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.0.44
nvidia-curand-cu12 10.3.5.119 nvidia-cusolver-cu12 11.6.0.99 nvidia-cusparse-cu12 12.3.0.142
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.4.99
nvidia-nvtx-cu12 12.4.99 oauthlib 3.2.0 Oci 2.135.0
openai 1.40.2 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-szemantic-conventions 0,48b0
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
optuna-integráció 3.6.0 orjson 3.10.7 Felülbírálja 7.4.0
csomagolás 24.1 pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect 4.8.0 phik 0.12.4
párna 10.3.0 mag 24.2 platformdirs 3.10.0
ábrázolás 5.22.0 pluggy 1.0.0 pmdarima 2.0.4
Kuvasz 1.8.2 portalocker 2.10.1 előre meg van nyitható 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.43 próféta 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.3.14 pyarrow 15.0.2
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser 2.21
pydantic 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 python-editor 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
kérdőjeles 1.10.0 rája 2.35.0 Viszonyítási 0.30.2
regex 2023.10.3 kérelmek 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 részletes 13.3.5
kötél 1.12.0 rpds-py 0.10.6 Rsa 4.9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
széfek 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy 1.13.1 tengeri 0.13.2 Send2Trash 1.8.2
mondat-átalakítók 3.0.1 mondatrész 0.2.0 setuptools 74.0.0
shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Hat 1.16.0 uborkaszeletelő 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 soundfile 0.12.1
levessieve 2,5 soxr 0.5.0.post1 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
veremadatok 0.2.0 stanio 0.5.1 statsmodels 0.14.2
sympy 1.12 táblázatos 0.9.0 tangled-up-in-unicode 0.2.0
Kitartás 8.2.2 tensorboard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.17.0 tensorboardX 2.6.2.2 tensorflow 2.18.0
tensorflow-estimator 2.15.0 termcolor 2.4.0 terminado 0.17.1
Szöveges 0.81.0 tf_keras 2.17.0 thinc 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizers 0.19.1
tomli 2.0.1 fáklya 2.4.0+cu124 fáklyaoptimalizáló 0.3.0
torcheval 0.0.7 torchmetrics 1.4.0.post0 torchvision 0.19.0+cu124
tornádó 6.4.1 tqdm 4.66.4 árulók 5.14.3
Transformers 4.44.0 Triton 3.0.0 typeguard 4.3.0
Typer 0.12.5 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 types-requests 2.31.0.0
types-setuptools 68.0.0.0 6-os típusok 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
felügyelet nélküli frissítések 0,1 uri-sablon 1.3.0 urllib3 1.26.16
validátorok 0.34.0 virtualenv 20.26.2 Látomások 0.7.5
wadllib 1.3.6 Wasabi 1.1.3 wcwidth 0.2.5
menyét 0.4.1 webszínek 24.8.0 webencodings 0.5.1
websocket-client 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
whatthepatch 1.0.2 kerék 0.43.0 wordcloud 1.9.3
wrapt 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
ydata-profilkészítés 4.9.0 zipp 3.17.0 zstd 1.5.5.1

R-kódtárak

Az R-kódtárak megegyeznek a Databricks Runtime 16.0 R-kódtáraival .

Java- és Scala-kódtárak (Scala 2.12-fürt)

A Databricks Runtime 16.0 Java- és Scala-kódtárai mellett a Databricks Runtime 16.0 ML a következő JAR-eket tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0