Databricks Runtime 5.2 ML
Databricks merilis versi ini pada Januari 2019.
Databricks Runtime 5.2 ML menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 5.2 (EoS). ML Databricks Runtime berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Aplikasi ini juga mendukung pelatihan terdistribusi menggunakan Horovod.
Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.
Fitur baru
ML Databricks Runtime 5.2 dibuat di atas Databricks Runtime 5.2. Untuk informasi tentang apa yang baru di Databricks Runtime 5.2, lihat catatan rilis Databricks Runtime 5.2 (EoS ). Selain pembaruan pustaka, ML Databricks Runtime 5.2 memperkenalkan fitur-fitur baru berikut:
- GraphFrames sekarang mendukung Pregel API (Python) dengan optimasi performa Databricks.
-
HorovodRunner menambahkan:
- Pada kluster GPU, proses pelatihan dipetakan ke GPU, bukan node pekerja untuk menyederhanakan dukungan jenis instans multi-GPU. Dukungan bawaan ini memungkinkan Anda untuk mendistribusikan ke semua GPU pada mesin multi-GPU tanpa kode khusus.
-
HorovodRunner.run()sekarang mengembalikan nilai pengembalian dari proses pelatihan pertama.
Catatan
Rilis ML Databricks Runtime mengambil semua pembaruan pemeliharaan ke rilis Runtime Databricks dasar. Untuk daftar semua pembaruan pemeliharaan, lihat Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan).
Lingkungan sistem
Lingkungan sistem di ML Databricks Runtime 5.2 berbeda dari Databricks Runtime 5.2 sebagai berikut:
- Python: 2.7.15 untuk kluster Python 2 dan 3.6.5 untuk kluster Python 3.
- DBUtils: Databricks Runtime 5.2 ML tidak berisi utilitas Pustaka (dbutils.library) (warisan).
- Untuk kluster GPU, pustaka GPU NVIDIA berikut:
- Driver Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Pustaka
Bagian berikut mencantumkan pustaka yang disertakan dalam ML Databricks Runtime 5.2 berbeda dari yang disertakan dalam Databricks Runtime 5.2.
Pustaka Python
ML Databricks Runtime 5.2 menggunakan Conda untuk pengelolaan paket Python. Akibatnya, ada perubahan besar dalam pustaka Python yang diinstal dibandingkan dengan Databricks Runtime. Berikut ini adalah daftar lengkap dari paket dan versi Python yang disediakan yang diinstal menggunakan manajer paket Conda.
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | pemutih | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptography | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | titik masuk | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| Horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect=4.8.0 | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2,18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | permintaan | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | six | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.2 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | obor | 0.4.1 | torchvision | 0.2.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets=5.0.5 | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings=0.5.1 | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Selain itu, paket Spark berikut mencakup modul Python:
| Paket Spark | Modul Python | Versi |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
Pustaka R
Pustaka R identik dengan Pustaka R di Databricks Runtime 5.2.
Pustaka Java dan Scala (Kluster Scala 2.11)
Selain pustaka Java dan Scala di Databricks Runtime 5.2, ML Databricks Runtime 5.2 berisi JAR berikut:
| ID Grup | ID Artefak | Versi |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |