Databricks Runtime 16.2 for Machine Learning (ベータ)
重要
Databricks Runtime 16.2 for Machine Learning は ベータです。 サポートされている環境の内容は、ベータ期間中に変更される可能性があります。 変更には、パッケージの一覧やインストールされているパッケージのバージョンを含めることができます。
Databricks Runtime 16.2 for Machine Learning は、Databricks Runtime 16.2 (ベータ)に基づいて、機械学習とデータ サイエンスに対してすぐにto-go 環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、AutoML 、機械学習パイプラインを自動的にトレーニングするためのツールが含まれています。 Databricks Runtime ML では、TorchDistributor、DeepSpeed、Ray を使用した分散型ディープ ラーニング トレーニングもサポートされています。
ヒント
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリース ノートについては、サポート終了の Databricks Runtime リリース ノートを参照してください。 EoS Databricks Runtime のバージョンは廃止され、更新されない可能性があります。
新機能と機能強化
Databricks Runtime 16.2 ML は、Databricks Runtime 16.2 の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 16.2 の新機能については、Databricks Runtime 16.2 (ベータ) リリース ノートを参照してください。
システム環境
Databricks Runtime 16.2 ML のシステム環境は、次のように Databricks Runtime 16.2 と異なります。
- GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.2 ML に含まれている、Databricks Runtime 16.2 に含まれるライブラリと異なるライブラリを示します。
このセクションでは、次の操作を行います。
最上位レベルのライブラリ
Databricks Runtime 16.2 ML には、次の最上位レベルの ライブラリが含まれています。
- datasets
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- streaming
- TensorFlow
- TensorBoard
- transformers
Python ライブラリ
Databricks Runtime 16.2 ML は Python パッケージ管理に virtualenv を使用し、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 16.2 ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- hyperopt 0.2.8+db1
- automl 1.30.0
ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、requirements-16.2.txt ファイルをダウンロードし、pip install -r requirements-16.2.txt実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープン ソース ライブラリをインストールしますが、databricks-automl、databricks-feature-engineering、hyperoptの Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPU クラスター上の Python ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 1.2.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | alembic | 1.14.0 |
| annotated-types | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.5.3 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 矢印 | 1.2.3 |
| アスター | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 23.1.0 | audioread | 3.0.1 |
| autocommand | 2.2.2 | アズール・コア (azure-core) | 1.32.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.19.0 | azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 |
| バベル | 2.11.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 |
| 漂白剤 | 4.1.0 | ウィンカー | 1.7.0 | ブリス | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| キャッシュツールズ | 5.3.3 | カタログ | 2.0.10 | カテゴリエンコーダー | 2.6.3 |
| certifi | 2024年6月2日 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | circuitbreaker | 2.0.0 | click | 8.1.7 |
| cloudpathlib | 0.20.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| カラフル | 0.5.6 | colorlog | 6.9.0 | comm | 0.2.1 |
| 作曲家 | 0.28.0 | confection | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.2.0 | coolname | 2.2.0 | 暗号化手法 | 42.0.5 |
| サイクラー | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.8.0 |
| databricks-sdk | 0.30.0 | データセット | 3.2.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | デコレータ | 5.1.1 |
| ディープスピード | 0.16.2 | defusedxml | 0.7.1 | 非推奨 | 1.2.15 |
| ディル | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.8 |
| ドックストリングをMarkdownに変換 | 0.11 | einops | 0.8.0 | entrypoints | 0.4 |
| evaluate | 0.4.3 | executing | 0.8.3 | facets-overview | 1.1.1 |
| Farama-Notifications | 0.0.4 | fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 |
| ファイルロック | 3.13.1 | Flask | 2.2.5 | フラットバッファーズ | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | フローズンリスト | 1.4.0 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth（Google認証） | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| グーグルクラウドストレージ | 2.10.0 | google-crc32c | 1.6.0 | Googleパスタ | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | greenlet | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | holidays | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.27.1 | idna | 3.7 | ImageHash | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | ジェダイ | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | ジョブリブスパーク | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.19.2 |
| jsonschema-specifications (JSONスキーマ仕様) | 2023年7月1日 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | kiwisolver | 1.4.4 |
| langchain | 0.3.14 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| 言語コード | 3.5.0 | langsmith | 0.1.133 | 言語データ | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| lazy_loader | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.10.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | multidict | 6.0.4 |
| multimethod | 1.12 | マルチプロセス | 0.70.16 | マーマーハッシュ | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient（エヌビー・クライアント） | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | 忍者 | 1.11.1.1 |
| nltk | 3.8.1 | nodeenv | 1.9.1 | ノートパソコン | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.59.6 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| optree | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | overrides | 7.4.0 | 包装 | 24.1 |
| パンダ | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | フィック | 0.12.4 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | pooch | 1.8.2 |
| ポータルロッカー | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | 予言者 | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | ピュア-エバル | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | ピッコロ | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | Python エディター | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | アンケート | 2.1.0 | ray | 2.37.0 |
| referencing | 0.30.2 | regex | 2023.10.3 | リクエスト | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | 縄 | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4.9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | sentence-transformers | 3.3.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| slicer | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.13.1 |
| tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 | 持久力 | 8.2.2 |
| tensorboard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.5.0 | terminado | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | トークナイザー | 0.21.0 | tomli | 2.0.1 |
| torch | 2.5.1+cpu | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.20.1+cpu | 竜巻 | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | トランスフォーマー | 4.48.0 |
| typeguard | 4.4.1 | typer | 0.15.1 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| types-requests | 2.31.0.0 | types-setuptools | 68.0.0.0 | types-six | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | uri-template | 1.3.0 |
| urllib3 | 1.26.16 | validators | 0.34.0 | virtualenv | 20.26.2 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | 山葵 | 1.1.3 |
| wcwidth | 0.2.5 | weasel | 0.4.1 | webcolors | 24.11.1 |
| ウェブエンコーディングス | 0.5.1 | ウェブソケット・クライアント | 1.8.0 | ウェブソケット | 11.0.3 |
| Werkzeug | 3.0.3 | whatthepatch | 1.0.2 | wheel | 0.43.0 |
| ワードクラウド | 1.9.4 | wrapt | 1.14.1 | xgboost | 2.0.3 |
| xgboost-ray | 0.1.19 | xxhash | 3.4.1 | yapf | 0.33.0 |
| yarl | 1.9.3 | ydata-profiling | 4.9.0 | zipp | 3.17.0 |
| zstd | 1.5.5.1 |
CPU クラスター上の Python ライブラリ
手記
PyTorch は、CUDA PyPI 依存関係を使用して、Databricks Runtime 16.2 ML に組み込まれている CUDA ライブラリ バージョンの代わりに CUDA のサポートを提供します。
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 1.2.1 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | annotated-types | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.5.3 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | arrow | 1.2.3 | アスター | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-lru | 2.0.4 |
| attrs | 23.1.0 | audioread | 3.0.1 | autocommand | 2.2.2 |
| azure-core | 1.32.0 | azure-cosmos | 4.3.1 | azure-identity | 1.19.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | バベル | 2.11.0 |
| backoff | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | 黒い | 24.4.2 | 漂白剤 | 4.1.0 |
| ウィンカー | 1.7.0 | blis | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cachetools | 5.3.3 |
| カタログ | 2.0.10 | カテゴリ変換器 | 2.6.3 | certifi | 2024年6月2日 |
| cffi | 1.16.0 | チャーデット | 4.0.0 | charset-normalizer | 2.0.4 |
| 遮断器 | 2.0.0 | click | 8.1.7 | cloudpathlib | 0.20.0 |
| cloudpickle | 2.2.1 | cmdstanpy (コマンドスタンパイ) | 1.2.5 | カラフル | 0.5.6 |
| colorlog | 6.9.0 | comm | 0.2.1 | 作曲家 | 0.28.0 |
| confection | 0.1.5 | configparser | 5.2.0 | contourpy | 1.2.0 |
| クールネーム | 2.2.0 | 暗号化手法 | 42.0.5 | サイクラー | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.8.0 | databricks-sdk | 0.30.0 |
| データセット | 3.2.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | デコレータ | 5.1.1 | ディープスピード | 0.16.2 |
| defusedxml | 0.7.1 | 非推奨 | 1.2.15 | ディル | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.8 | docstring-to-markdown | 0.11 |
| einops | 0.8.0 | entrypoints | 0.4 | evaluate | 0.4.3 |
| executing | 0.8.3 | facets-overview | 1.1.1 | Farama-Notifications | 0.0.4 |
| fastjsonschema | 2.21.1 | fasttext-wheel | 0.9.2 | ファイルロック | 3.13.1 |
| flash-attn | 2.7.2.post1 | Flask | 2.2.5 | flatbuffers | 24.12.23 |
| fonttools | 4.51.0 | fqdn | 1.5.1 | frozenlist | 1.4.0 |
| fsspec | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.2.1 | google-cloud-core | 2.4.1 |
| Google Cloud Storage (グーグルクラウドストレージ) | 2.10.0 | google-crc32c | 1.6.0 | グーグル・パスタ | 0.2.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.66.0 | gql | 3.5.0 |
| graphql-core | 3.2.4 | グリーンレット | 3.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| 体育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.11.0 |
| hjson | 3.1.0 | holidays | 0.54 | htmlmin | 0.1.12 |
| httpcore | 1.0.7 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface-hub | 0.27.1 | idna | 3.7 | 画像ハッシュ | 4.3.1 |
| imageio | 2.33.1 | imbalanced-learn | 0.12.3 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.5.2 | inflect | 7.3.1 | ipyflow-core | 0.0.201 |
| ipykernel | 6.28.0 | ipython | 8.25.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | isodate | 0.6.1 | isoduration | 20.11.0 |
| itsdangerous | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | ジェダイ | 0.19.1 |
| Jinja2 | 3.1.4 | jiter | 0.8.2 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.5.1 | json5 | 0.9.6 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema (JSONスキーマ) | 4.19.2 |
| jsonschema-specifications | 2023年7月1日 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
| jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 | jupyterlab-pygments | 0.1.2 |
| jupyterlab_server | 2.25.1 | keras | 3.8.0 | キウイソルバー | 1.4.4 |
| langchain | 0.3.14 | langchain-core | 0.3.30 | langchain-text-splitters | 0.3.5 |
| 言語コード | 3.5.0 | langsmith | 0.1.133 | language_data | 1.3.0 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| レイジー・ローダー | 0.4 | libclang | 15.0.6.1 | librosa | 0.10.2 |
| lightgbm | 4.5.0 | lightning-utilities | 0.11.9 | linkify-it-py | 2.0.0 |
| llvmlite | 0.42.0 | lz4 | 4.3.2 | Mako | 1.2.0 |
| marisa-trie | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.3 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 |
| memray | 1.15.0 | mistune | 2.0.4 | ml-dtypes | 0.4.1 |
| mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 |
| mosaicml-streaming | 0.10.0 | mpmath | 1.3.0 | msal | 1.31.1 |
| msal-extensions | 1.2.0 | msgpack | 1.1.0 | マルチディクショナリ | 6.0.4 |
| マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | murmurhash | 1.0.12 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | namex | 0.0.8 |
| nbclient | 0.8.0 | nbconvert | 7.10.0 | nbformat | 5.9.2 |
| nest-asyncio | 1.6.0 | networkx | 3.2.1 | 忍者 | 1.11.1.1 |
| nltk(自然言語処理ツールキット) | 3.8.1 | nodeenv | 1.9.1 | ノートパソコン | 7.0.8 |
| notebook_shim | 0.2.3 | numba | 0.59.1 | numpy | 1.26.4 |
| nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
| nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
| nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.0 | oci | 2.142.0 | openai | 1.59.6 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.29.0 |
| opentelemetry-sdk | 1.29.0 | opentelemetry-semantic-conventions | 0.50b0 | opt_einsum | 3.4.0 |
| オプツリー | 0.14.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.10.14 | overrides | 7.4.0 | 包装 | 24.1 |
| パンダ | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | phik | 0.12.4 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.4 | pooch | 1.8.2 |
| portalocker | 2.10.1 | preshed | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.43 | 予言者 | 1.1.5 | proto-plus | 1.25.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | Pythonエディター | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig (パイトールコンフィグ) | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | 質問表 | 2.1.0 | ray | 2.37.0 |
| referencing | 0.30.2 | regex | 2023年10月3日 | リクエスト | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | rfc3339-validator（RFC3339検証ツール） | 0.1.4 |
| rfc3986-validator | 0.1.1 | rich | 13.3.5 | 縄 | 1.12.0 |
| rpds-py | 0.10.6 | rsa | 4.9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | safetensors | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | sentence-transformers | 3.3.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | shap | 0.46.0 |
| シェリンガム | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| slicer | 0.0.8 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | サウンドファイル | 0.12.1 | soupsieve | 2.5 |
| soxr | 0.5.0.post1 | spacy | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| srsly | 2.5.1 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.2 | sympy | 1.13.1 |
| tabulate | 0.9.0 | tangled-up-in-unicode | 0.2.0 | 持久力 | 8.2.2 |
| tensorboard | 2.18.0 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.18.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.18.0 | tensorflow-estimator | 2.15.0 |
| termcolor | 2.5.0 | terminado | 0.17.1 | textual | 1.0.0 |
| tf_keras | 2.18.0 | thinc | 8.2.5 | threadpoolctl | 2.2.0 |
| tifffile | 2023.4.12 | tiktoken | 0.7.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | トークナイザー | 0.21.0 | tomli | 2.0.1 |
| torch | 2.5.1+cu124 | torch-optimizer | 0.3.0 | torcheval | 0.0.7 |
| torchmetrics | 1.6.0 | torchvision | 0.20.1+cu124 | 竜巻 | 6.4.1 |
| tqdm | 4.66.4 | traitlets | 5.14.3 | トランスフォーマー | 4.48.0 |
| トライトン | 3.1.0 | typeguard | 4.4.1 | typer | 0.15.1 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | types-requests | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| タイプシックス | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| uri-template | 1.3.0 | urllib3 | 1.26.16 | validators | 0.34.0 |
| virtualenv | 20.26.2 | ビジョン | 0.7.5 | wadllib | 1.3.6 |
| 山葵 | 1.1.3 | wcwidth | 0.2.5 | weasel | 0.4.1 |
| webcolors | 24.11.1 | webエンコーディング | 0.5.1 | websocket-client | 1.8.0 |
| websockets | 11.0.3 | Werkzeug | 3.0.3 | whatthepatch | 1.0.2 |
| 車輪 | 0.43.0 | ワードクラウド | 1.9.4 | wrapt | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | yarl | 1.9.3 | ydata-profiling | 4.9.0 |
| zipp | 3.17.0 | zstd | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime 16.2 の R ライブラリ と同じです。
Java および Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.2 の Java および Scala ライブラリに加えて、Databricks Runtime 16.2 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |