Databricks Runtime 10.2 untuk ML (EoS)

Databricks merilis versi ini pada Desember 2021.

Databricks Runtime 10.2 untuk Pembelajaran Mesin menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 10.2 (EoS). Runtime Bahasa Umum Databricks ML berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, dan XGBoost. Databricks Runtime ML mencakup AutoML, alat untuk secara otomatis melatih alur pembelajaran mesin. Databricks Runtime ML juga mendukung pelatihan pembelajaran mendalam menggunakan Horovod.

Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.

Fitur dan peningkatan baru

Runtime Bahasa Umum Databricks 10.2 ML dibangun di atas Runtime Bahasa Umum Databricks 10.2. Untuk informasi tentang apa yang baru di Databricks Runtime 10.2, termasuk Apache Spark MLlib dan SparkR, lihat catatan rilis Databricks Runtime 10.2 (EoS).

Pencatatan Otomatis Databricks (Pratinjau Umum)

Pencatatan Otomatis Databricks sekarang berada di Pratinjau Umum di semua wilayah. Pencatatan Otomatis Databricks adalah solusi tanpa kode yang menyediakan pelacakan percobaan otomatis untuk sesi pelatihan pembelajaran mesin di Azure Databricks. Dengan Autologging dari Databricks, parameter model, metrik, file, dan informasi garis keturunan secara otomatis dicatat ketika Anda melatih model menggunakan berbagai pustaka pembelajaran mesin yang populer. Sesi pelatihan direkam sebagai MLflow Tracking Runs. File model juga dilacak sehingga Anda dapat dengan mudah mencatatnya ke MLflow Model Registry dan menyebarkannya untuk penilaian real-time dengan MLflow Model Serving.

Untuk informasi selengkapnya tentang Pencatatan Otomatis Databricks, lihat Pencatatan Otomatis Databricks.

Penyempurnaan automl

Penyempurnaan berikut telah dilakukan pada AutoML.

• AutoML mengabaikan kolom yang hanya memiliki satu nilai.
• Untuk masalah klasifikasi dan regresi, kolom waktu yang digunakan untuk membagi himpunan data menjadi pelatihan, validasi, dan set pengujian secara kronologis sekarang dapat menjadi jenis string. Sebelumnya hanya stempel waktu dan bilangan bulat yang didukung. Lihat Memisahkan data menjadi kumpulan pelatihan, validasi, dan pengujian untuk detailnya.

Peningkatan ke Penyimpanan Fitur Databricks

Peningkatan berikut telah dilakukan ke Penyimpanan Fitur Databricks.

Antarmuka FeatureStoreClient yang disederhanakan

Antarmuka FeatureStoreClient telah disederhanakan.

• FeatureStoreClient.create_feature_table() sudah tidak digunakan lagi. Sebagai gantinya, gunakan FeatureStoreClient.create_table().
• FeatureStoreClient.get_feature_table() sudah tidak digunakan lagi. Sebagai gantinya, gunakan FeatureStoreClient.get_table().
• Semua argumen untuk FeatureStoreClient.publish_table() selain name dan online_store harus diteruskan sebagai argumen kata kunci.

Terbitkan hanya kolom terpilih ke toko online

Toko Fitur Databricks sekarang mendukung penerbitan kolom terpilih ke toko online. Untuk informasi selengkapnya, lihat Memublikasikan fitur yang dipilih ke penyimpanan online.

Perubahan besar pada lingkungan Phyton ML Databricks Runtime

Integrasi Pelacakan MLflow Otomatis untuk Apache Spark MLlib, yang tidak digunakan lagi di Runtime Bahasa Umum Databricks 10.1 ML, sekarang dinonaktifkan secara default di Runtime Bahasa Umum Databricks 10.2 ML. Ini telah digantikan oleh integrasi Pencatatan Otomatis PySpark ML MLflow, yang diaktifkan secara default dengan Pencatatan Otomatis Databricks. Autologging mencatat informasi tambahan yang tidak dicakup oleh pelacakan otomatis MLflow untuk MLlib, termasuk parameter, metrik, dan artefak yang terkait dengan model terbaik.

Paket Phyton ditingkatkan

• databricks-cli 0.14.3 => 0.16.2
• keras 2.6.0 => 2.7.0
• lightgbm 3.3.0 => 3.3.1
• mlflow 1.21.0 => 1.22.0
• plotly 5.3.0 -> 5.3.1
• shap 0.39.0 => 0.40.0
• spacy 3.1.3 => 3.2.0
• tensorboard 2.6.0 => 2.7.0
• tensorflow 2.6.0 => 2.7.0
• obor 1.9.1 => 1.10.0
• torchvision 0.10.1 => 0.11.1
• transformator 4.11.3 => 4.12.3
• xgboost 1.4.2 => 1.5.0

Lingkungan sistem

Lingkungan sistem di Databricks Runtime10.2 ML berbeda dari Databricks Runtime 10.2 sebagai berikut:

• DBUtils: Databricks Runtime ML tidak menyertakan utilitas Pustaka (dbutils.library) (warisan). Gunakan perintah %pip saja. Lihat Pustaka Python cakupan buku catatan.
• Untuk kluster GPU, Databricks Runtime ML menyertakan pustaka GPU NVIDIA berikut:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Pustaka

Bagian berikut mencantumkan pustaka yang disertakan dalam Databricks Runtime 10.2 ML yang berbeda dari yang disertakan dalam Databricks Runtime 10.2.

Di bagian ini:

• Pustaka tingkat atas
• Pustaka Python
• Pustaka R
• Pustaka Java dan Scala (Kluster Scala 2.12)

Pustaka tingkat atas

Runtime Bahasa Umum Databricks 10.2 ML mencakup pustaka tingkat atas berikut:

• GraphFrames
• Horovod dan HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow 2.5.0
• TensorBoard

Pustaka Python

Runtime Bahasa Umum Databricks 10.2 ML menggunakan Virtualenv untuk manajemen paket Python dan mencakup banyak paket ML populer.

Selain paket yang ditentukan di bagian berikut, Runtime Bahasa Umum Databricks 10.2 ML juga mencakup paket berikut:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.6
• automl 1.5.0

Pustaka Phyton di kluster CPU

Pustaka Phyton di kluster GPU

Paket Spark yang berisi modul Python

Pustaka R

Pustaka R identik dengan Pustaka R di Runtime Bahasa Umum Databricks 10.2.

Pustaka Java dan Scala (Kluster Scala 2.12)

Selain pustaka Java dan Scala di Runtime Bahasa Umum Databricks 10.2, Runtime Bahasa Umum Databricks 10.2 ML berisi JAR berikut:

Kluster CPU

Kluster GPU