Bagikan melalui


Databricks Runtime 13.0 untuk Pembelajaran Mesin (EoS)

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Databricks Runtime 13.0 untuk Pembelajaran Mesin menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 13.0 (EoS). Runtime Bahasa Umum Databricks ML berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, dan XGBoost. Databricks Runtime ML mencakup AutoML, alat untuk secara otomatis melatih alur pembelajaran mesin. Databricks Runtime ML juga mendukung pelatihan pembelajaran mendalam menggunakan Horovod.

Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.

Fitur dan peningkatan baru

Databricks Runtime 13.0 ML dibangun di atas Databricks Runtime 13.0. Untuk informasi tentang apa yang baru di Databricks Runtime 13.0, termasuk Apache Spark MLlib dan SparkR, lihat catatan rilis Databricks Runtime 13.0 (EoS).

Perubahan pada AutoML

Di Databricks Runtime 13.0 ML ke atas, AutoML tidak didukung untuk ruang kerja dengan kepatuhan FedRAMP .

Untuk informasi selengkapnya tentang AutoML, lihat Apa itu AutoML?.

Peningkatan ke Penyimpanan Fitur Databricks

Di ruang kerja yang mendukung Unity Catalog pada kluster yang menjalankan Databricks Runtime 13.0 ML atau lebih tinggi, Anda dapat menerbitkan tabel fitur ruang kerja dan Unity Catalog ke toko online Cosmos DB.

Untuk informasi selengkapnya tentang Penyimpanan Fitur Databricks, lihat Rekayasa fitur dan penyajian.

Lingkungan sistem

Lingkungan sistem di Databricks Runtime 13.0 ML berbeda dari Databricks Runtime 13.0 sebagai berikut:

Databricks Runtime 13.0 ML mencakup XGBoost 1.7.2, yang tidak mendukung kluster GPU dengan kemampuan komputasi 5.2 ke bawah.

Paket miniconda telah dihapus dari Databricks Runtime 13.0 ML.

Pustaka

Bagian berikut mencantumkan pustaka yang disertakan dalam Databricks Runtime 13.0 ML yang berbeda dari yang disertakan dalam Databricks Runtime 13.0.

Di bagian ini:

Pustaka tingkat atas

Databricks Runtime 13.0 ML menyertakan pustaka tingkat atas berikut:

Pustaka Python

Databricks Runtime 13.0 ML menggunakan Virtualenv untuk manajemen paket Python dan mencakup banyak paket ML populer.

Pustaka Python berikut telah diperkenalkan dengan Databricks Runtime 13.0 ML:

  • Mempercepat
  • datasets
  • evaluate
  • Pembuatan profil ydata

Selain paket yang ditentukan di bagian berikut, Databricks Runtime 13.0 ML juga mencakup paket berikut:

  • hyperopt 0.2.7+db3
  • 3.0.0_db1 sparkdl
  • automl 1.17.0

Untuk mereproduksi lingkungan Databricks Runtime ML Python di lingkungan virtual Python lokal Anda, unduh file requirements-13.0.txt dan jalankan pip install -r requirements-13.0.txt. Perintah ini menginstal semua pustaka sumber terbuka yang digunakan Databricks Runtime ML, tetapi tidak menginstal pustaka yang dikembangkan oleh Databricks, seperti databricks-automl, , databricks-feature-storeatau fork Databricks dari hyperopt.

Pustaka Phyton di kluster CPU

Pustaka Versi Pustaka Versi Pustaka Versi
absl-py 1.0.0 Mempercepat 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 astor 0.8.1 asttoken 2.2.1
astunparse 1.6.3 batas waktu asinkron 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 hitam 22.6.0
pemutih 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
catalogue 2.0.8 category-encoders 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfeksi 0.0.4 configparser 5.2.0 convertdate 2.4.0
cryptography 37.0.1 cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
penyimpanan fitur databricks 0.11.0 datasets 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0.11 titik masuk 0,4
ephem 4.1.4 evaluate 0.4.0 menjalankan 1.2.0
facets-overview 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 daftar beku 1.3.3 fsspec 2022.7.1
future 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn==19.9.0 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 hari libur 0.19
Horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.2 idna 3.3 ImageHash 4.3.1
imbalanced-learn 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 keyring 23.5.0
kiwisolver 1.4.2 korean-lunar-calendar 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidikat 6.0.4
multimethod 1.9.1 multiproscess 0.70.12.2 murmurhash 1.0.9
ekstensi mypy 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 buku catatan 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 packaging 21.3 pandas 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect=4.8.0 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdir 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 preshed 3.0.8
prometheus-client 0.14.1 prompt-toolkit 3.0.36 prophet 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modul 0.2.8 pybind11 2.10.3
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-editor teks 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
regex 2022.7.9 permintaan 2.28.1 requests-oauthlib 1.3.1
Responses to 0.18.0 tali 1.7.0 rsa 4.9
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 shap 0.41.0 simplejson 3.17.6
six 1.16.0 slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 soupsieve 2.3.1 spacy 3.5.0
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.6 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tabulate 0.8.10
tangled-up-in-unicode 0.2.0 tenacity 8.0.1 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0
termcolor 2.2.0 terminado 0.13.1 testpath 0.6.0
thinc 8.1.9 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizers 0.13.2 tomli 2.0.1 obor 1.13.1+cpu
torchvision 0.14.1+cpu tornado 6.1 tqdm 4.64.1
traitlets=5.0.5 5.1.1 Transformer 4.26.1 typeguard 2.13.3
typer 0.7.0 typing_extensions 4.3.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.11 virtualenv 20.16.3
visions 0.7.5 wadllib 1.3.6 wasabi 1.1.1
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.4
xxhash 3.2.0 yapf 0.31.0 yarl 1.8.2
Pembuatan profil ydata 4.1.0 zipp 3.8.0

Pustaka Phyton di kluster GPU

Pustaka Versi Pustaka Versi Pustaka Versi
absl-py 1.0.0 Mempercepat 0.16.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 astor 0.8.1 asttoken 2.2.1
astunparse 1.6.3 batas waktu asinkron 4.0.2 attrs 21.4.0
azure-core 1.26.3 azure-cosmos 4.3.1b1 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 hitam 22.6.0
pemutih 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
catalogue 2.0.8 category-encoders 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
konfeksi 0.0.4 configparser 5.2.0 convertdate 2.4.0
cryptography 37.0.1 cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.4
penyimpanan fitur databricks 0.11.0 datasets 2.10.0 dbl-tempo 0.1.12
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 dill 0.3.4 diskcache 5.4.0
distlib 0.3.6 docstring-to-markdown 0.11 titik masuk 0,4
ephem 4.1.4 evaluate 0.4.0 menjalankan 1.2.0
facets-overview 1.0.2 fastjsonschema 2.16.3 fasttext 0.9.2
filelock 3.6.0 Flask 1.1.2 flatbuffers 23.3.3
fonttools 4.25.0 daftar beku 1.3.3 fsspec 2022.7.1
future 0.18.2 gast 0.4.0 gitdb 4.0.10
GitPython 3.1.27 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-pasta 0.2.0 googleapis-common-protos 1.56.4 grpcio 1.48.1
grpcio-status 1.48.1 gunicorn==19.9.0 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hijri-converter 2.2.4 hari libur 0.19
Horovod 0.27.0 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.13.1 idna 3.3 ImageHash 4.3.1
imbalanced-learn 0.8.1 importlib-metadata 4.11.3 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 itsdangerous 2.0.1 jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 keyring 23.5.0
kiwisolver 1.4.2 korean-lunar-calendar 0.3.1 langcodes 3.3.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
libclang 15.0.6.1 lightgbm 3.3.5 llvmlite 0.38.0
LunarCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.2.1 more-itertools 8.10.0 multidikat 6.0.4
multimethod 1.9.1 multiproscess 0.70.12.2 murmurhash 1.0.9
ekstensi mypy 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
nltk 3.7 nodeenv 1.7.0 buku catatan 6.4.12
numba 0.55.1 numpy 1.21.5 oauthlib 3.2.0
opt-einsum 3.3.0 packaging 21.3 pandas 1.4.4
pandas-profiling 3.6.6 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect=4.8.0 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdir 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.2 preshed 3.0.8
prompt-toolkit 3.0.36 prophet 1.1.2 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modul 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-editor teks 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6.0 pyzmq 23.2.0 regex 2022.7.9
permintaan 2.28.1 requests-oauthlib 1.3.1 Responses to 0.18.0
tali 1.7.0 rsa 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
shap 0.41.0 simplejson 3.17.6 six 1.16.0
slicer 0.0.7 smart-open 5.2.1 smmap 5.0.0
soupsieve 2.3.1 spacy 3.5.0 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tabulate 0.8.10 tangled-up-in-unicode 0.2.0
tenacity 8.0.1 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.1 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.31.0 termcolor 2.2.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tokenizers 0.13.2
tomli 2.0.1 obor 1.13.1+cu117 torchvision 0.14.1+cu117
tornado 6.1 tqdm 4.64.1 traitlets=5.0.5 5.1.1
Transformer 4.26.1 typeguard 2.13.3 typer 0.7.0
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 visions 0.7.5
wadllib 1.3.6 wasabi 1.1.1 wcwidth 0.2.5
webencodings=0.5.1 0.5.1 websocket-client 0.58.0 Werkzeug 2.0.3
whatthepatch 1.0.2 wheel 0.37.1 widgetsnbextension 3.6.1
wrapt 1.14.1 xgboost 1.7.4 xxhash 3.2.0
yapf 0.31.0 yarl 1.8.2 Pembuatan profil ydata 4.1.0
zipp 3.8.0

Pustaka R

Pustaka R identik dengan Pustaka R di Databricks Runtime 13.0.

Pustaka Java dan Scala (Kluster Scala 2.12)

Selain pustaka Java dan Scala di Databricks Runtime 13.0, Databricks Runtime 13.0 ML berisi JAR berikut:

Kluster CPU

ID Grup ID Artefak Versi
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Kluster GPU

ID Grup ID Artefak Versi
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.2.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0