Databricks Runtime 5.3 ML (EoS)
Catatan
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.
Databricks merilis versi ini pada Bulan April 2019.
Databricks Runtime 5.3 ML menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 5.3 (EoS). ML Databricks Runtime berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, Keras, dan XGBoost. Ini juga mendukung pelatihan pembelajaran mendalam terdistribusi menggunakan Horovod.
Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.
Fitur baru
Runtime Bahasa Umum Databricks 5.3 ML dibangun di atas Databricks Runtime 5.3. Untuk informasi tentang apa yang baru di Databricks Runtime 5.3, lihat catatan rilis Databricks Runtime 5.3 (EoS ). Selain pembaruan pustaka, Databricks Runtime 5.3 ML memperkenalkan fitur-fitur baru berikut:
MLflow + integrasi Apache Spark MLlib: Databricks Runtime 5.3 ML mendukung pengelogan otomatis eksekusi MLflow untuk model yang sesuai untuk menggunakan algoritma penyetelan PySpark
CrossValidatordanTrainValidationSplit.Penting
Fitur ini ada di Pratinjau Pribadi. Hubungi perwakilan penjualan Azure Databricks Anda untuk mempelajari tentang cara mengaktifkannya.
Meningkatkan pustaka berikut ke versi terbaru:
- PyArrow dari 0.8.0 ke 0.12.1:
BinaryTypedidukung oleh konversi berbasis Arrow dan dapat digunakan di PandasUDF. - Horovod dari 0.15.2 ke 0.16.0.
- TensorboardX dari 1.4 ke 1.6.
- PyArrow dari 0.8.0 ke 0.12.1:
API Ekspor Model ML Databricks telah tidak digunakan lagi. Azure Databricks merekomendasikan untuk menggunakan MLeap sebagai gantinya, yang memberikan cakupan yang lebih luas dari jenis model MLlib. Cari tahu lebih lanjut di Ekspor model MLeap ML.
Catatan
Selain itu, Databricks Runtime 5.3 berisi pemasangan FUSE baru yang dioptimalkan untuk pemuatan data, titik pemeriksaan model, dan pencatatan dari setiap pekerja ke lokasi penyimpanan bersama file:/dbfs/ml, yang menyediakan I/O berkinerja tinggi untuk beban kerja pembelajaran mendalam. Lihat Memuat data untuk pembelajaran mesin dan pembelajaran mendalam.
Pembaruan pemeliharaan
Lihat Pembaruan pemeliharaan Databricks Runtime 5.4 ML.
Lingkungan sistem
Lingkungan sistem di Databricks Runtime 5.3 ML berbeda dari Databricks Runtime 5.3 sebagai berikut:
- Python: 2.7.15 untuk kluster Python 2 dan 3.6.5 untuk kluster Python 3.
- DBUtils: Databricks Runtime 5.3 ML tidak berisi utilitas Pustaka (dbutils.library) (warisan).
- Untuk kluster GPU, pustaka GPU NVIDIA berikut:
- Driver Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Pustaka
Bagian berikut mencantumkan pustaka yang disertakan dalam Databricks Runtime 5.3 ML yang berbeda dari yang termasuk dalam Databricks Runtime 5.3.
Pustaka tingkat atas
Databricks Runtime 5.3 ML mencakup pustaka tingkat atas berikut:
- GraphFrames
- Horovod dan HorovodRunner
- PyTorch
- spark-tensorflow-connector
- TensorFlow 2.5.0
- TensorBoard
Pustaka Python
Databricks Runtime 5.3 ML menggunakan Conda untuk pengelolaan paket Python. Akibatnya, ada perubahan besar dalam pustaka Python yang diinstal dibandingkan dengan Databricks Runtime. Berikut ini adalah daftar lengkap dari paket dan versi Python yang disediakan yang diinstal menggunakan manajer paket Conda.
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| absl-py | 0.7.0 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.6 | pemutih | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| cryptography | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | titik masuk | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.2 | grpcio | 1.12.1 | h5py | 2.8.0 |
| Horovod | 0.16.0 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect=4.8.0 | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psutil | 5.6.0 |
| psycopg2 | 2.7.5 | ptyprocess | 0.5.2 | pyarrow | 0.12.1 |
| pyasn1 | 0.4.5 | pycparser | 2,18 | Pygments | 2.2.0 |
| PyNaCl | 1.3.0 | pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 |
| PySocks | 1.6.8 | Python | 2.7.15 | python-dateutil | 2.7.3 |
| pytz | 2018.4 | PyYAML | 3.12 | pyzmq | 17.0.0 |
| permintaan | 2.18.4 | s3transfer | 0.1.13 | scandir | 1.7 |
| scikit-learn | 0.19.1 | scipy | 1.1.0 | seaborn | 0.8.1 |
| setuptools | 39.1.0 | simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 |
| six | 1.11.0 | statsmodels | 0.9.0 | subprocess32 | 3.5.3 |
| tensorboard | 1.12.2 | tensorboardX | 1.6 | tensorflow | 1.12.0 |
| termcolor | 1.1.0 | testpath | 0.3.1 | obor | 0.4.1 |
| torchvision | 0.2.1 | tornado | 5.0.2 | traceback2 | 1.4.0 |
| traitlets=5.0.5 | 4.3.2 | unittest2 | 1.1.0 | urllib3 | 1.22 |
| virtualenv | 16.0.0 | wcwidth | 0.1.7 | webencodings=0.5.1 | 0.5.1 |
| Werkzeug | 0.14.1 | wheel | 0.31.1 | wrapt | 1.10.11 |
| wsgiref | 0.1.2 |
Selain itu, paket Spark berikut mencakup modul Python:
| Paket Spark | Modul Python | Versi |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
Pustaka R
Pustaka R identik dengan Pustaka R di Databricks Runtime 5.3.
Pustaka Java dan Scala (Kluster Scala 2.11)
Selain pustaka Java dan Scala di Databricks Runtime 5.3, Databricks Runtime 5.3 ML berisi JAR berikut:
| ID Grup | ID Artefak | Versi |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |