Databricks Runtime 5.0 ML (EoS)
Catatan
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.
Databricks merilis versi ini pada November 2018.
Databricks Runtime 5.0 ML menyediakan lingkungan siap pakai untuk pembelajaran mesin dan data science. Plus, berisi beberapa pustaka populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Aplikasi ini juga mendukung pelatihan terdistribusi menggunakan Horovod.
Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.
Fitur baru
Runtime Bahasa Umum Databricks 5.0 ML dibangun di atas Runtime Bahasa Umum Databricks 5.0. Untuk informasi tentang apa yang baru di Databricks Runtime 5.0, lihat catatan rilis Databricks Runtime 5.0 (EoS ). Selain fitur-fitur baru Databricks Runtime 5.0, Runtime Databricks 5.0 ML memiliki fitur-fitur baru berikut:
- HorovodRunner, untuk menjalankan pekerjaan pelatihan pembelajaran mendalam terdistribusi menggunakan Horovod.
- Dukungan Conda untuk manajemen paket.
- Integrasi MLeap.
- Integrasi GraphFrames.
Catatan
Rilis ML Databricks Runtime mengambil semua pembaruan pemeliharaan ke rilis Runtime Databricks dasar. Untuk daftar semua pembaruan pemeliharaan, lihat Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan).
Lingkungan sistem
Perbedaan dalam lingkungan sistem di Databricks Runtime 5.0 dan di Databricks Runtime 5.0 ML adalah:
- Python: 2.7.15 untuk kluster Python 2 dan 3.6.5 untuk kluster Python 3.
- Untuk kluster GPU, pustaka GPU NVIDIA berikut:
- Driver Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Pustaka
Perbedaan dalam pustaka yang termasuk dalam Databricks Runtime 5.0 dan yang termasuk dalam Databricks Runtime 5.0 ML tercantum di bagian ini.
Pustaka Python
Databricks Runtime 5.0 ML menggunakan Conda untuk manajemen paket Python. Berikut ini adalah daftar lengkap dari paket dan versi Python yang disediakan yang diinstal menggunakan manajer paket Conda.
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | pemutih | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptography | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | titik masuk | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| Horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.0 | pexpect=4.8.0 | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2,18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | permintaan | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | six | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.10.0 |
| tensorflow | 1.10.0 | termcolor | 1.1.0 | testpath | 0.3.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets=5.0.5 | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings=0.5.1 | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Selain itu, paket Spark berikut mencakup modul Python:
| Paket Spark | Modul Python | Versi |
|---|---|---|
| tensorframes | tensorframes | 0.5.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
Pustaka R
Pustaka R identik dengan Pustaka R di Runtime Databricks 5.0.
Pustaka Java dan Scala (Kluster Scala 2.11)
Selain pustaka Java dan Scala di Databricks Runtime 5.0, Databricks Runtime 5.0 ML berisi JAR berikut:
| ID Grup | ID Artefak | Versi |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | tensorflow | 1.10.0 |
| ml.dmlc | xgboost4j | 0,80 |
| ml.dmlc | xgboost4j-spark | 0,80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |