Databricks Runtime 9.1 LTS untuk Pembelajaran Mesin

Databricks merilis gambar ini dan mendeklarasikannya Long Term Support (LTS) pada September 2021.

Runtime Bahasa Umum Databricks 9.1 LTS untuk Azure Machine Learning menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Runtime Bahasa Umum Databricks 9.1 LTS. Runtime Bahasa Umum Databricks ML berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, dan XGBoost. Databricks Runtime ML mencakup AutoML, alat untuk secara otomatis melatih alur pembelajaran mesin. Databricks Runtime ML juga mendukung pelatihan pembelajaran mendalam menggunakan Horovod.

Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.

Fitur dan peningkatan baru

AutoML

Peningkatan berikut tersedia di Runtime Bahasa Umum Databricks 9.1 LTS ML ke atas.

AutoML mendukung himpunan data yang lebih besar dengan pengambilan sampel

AutoML sekarang mengambil sampel himpunan data yang mungkin melebihi batasan memori, memungkinkannya berjalan pada himpunan data yang lebih besar dengan risiko kesalahan di luar memori yang lebih kecil. Untuk detailnya, lihat Mengambil sampel himpunan data besar.

Kolom praproses AutoML berdasarkan tipe semantik

AutoML mendeteksi kolom tertentu yang memiliki tipe semantik yang berbeda dari tipe data Spark atau panda mereka. AutoML kemudian mengonversi dan menerapkan langkah-langkah praproses data berdasarkan jenis semantik yang terdeteksi. Secara khusus, AutoML melakukan konversi berikut:

• Kolom string dan bilangan bulat yang mewakili data tanggal atau stempel waktu dikonversi menjadi jenis stempel waktu.
• Kolom string yang mewakili data numerik dikonversi menjadi jenis numerik.

Perbaikan pada buku catatan yang dibuat AutoML

Langkah-langkah praproses untuk kolom tanggal dan stempel waktu sekarang dimasukkan dalam paket databricks-automl-runtime, menyederhanakan buku catatan yang dihasilkan oleh pelatihan AutoML. databricks-automl-runtime termasuk dalam Databricks Runtime 9.1 LTS ML ke atas, dan juga tersedia di PyPI.

Penyimpanan fitur

Peningkatan berikut tersedia di Runtime Bahasa Umum Databricks 9.1 LTS ML ke atas.

• Saat Membuat TrainingSet, Anda sekarang dapat mengatur label=None untuk mendukung aplikasi pembelajaran tanpa pengawasan.
• Anda sekarang dapat menentukan lebih dari satu fitur dalam satu FeatureLookup.
• Anda sekarang dapat menentukan jalur kustom untuk tabel fitur. Gunakan parameter path dalam create_feature_table(). Defaultnya adalah lokasi database.
• Jenis data PySpark baru yang didukung: ArrayType dan ShortType.

MLflow

Peningkatan berikut tersedia mulai di Mlflow versi 1.20.2, yang termasuk dalam Runtime Bahasa Umum Databricks 9.1 LTS ML.

• Autologging untuk scikit-learn sekarang mencatat metrik pasca-pelatihan setiap kali API evaluasi scikit-learn, seperti sklearn.metrics.mean_squared_error, dipanggil.
• Pengelogan otomatis untuk PySpark ML sekarang mencatat metrik pasca-pelatihan setiap kali API evaluasi model, seperti Evaluator.evaluate(), disebut.
• mlflow.*.log_model dan mlflow.*.save_model sekarang memiliki argumen pip_requirements dan extra_pip_requirements sehingga Anda dapat langsung menentukan persyaratan pip dari model untuk log atau menyimpan.
• mlflow.*.log_model dan mlflow.*.save_model sekarang secara otomatis menyimpulkan persyaratan pip dari model untuk log atau menyimpan berdasarkan lingkungan perangkat lunak saat ini.
• Entri stdMetrics sekarang dicatat sebagai metrik pelatihan selama pencatatan otomatis PySpark CrossValidator.
• Pencatatan otomatis PyTorch Lightning sekarang mendukung eksekusi terdistribusi.

Pencatatan Otomatis Databricks (Pratinjau Umum)

Pratinjau Umum Pencatatan Otomatis Databricks telah diperluas ke wilayah baru. Pencatatan Otomatis Databricks adalah solusi tanpa kode yang menyediakan pelacakan percobaan otomatis untuk sesi pelatihan pembelajaran mesin di Azure Databricks. Dengan Pencatatan Otomatis Databricks, parameter model, metrik, file, dan informasi garis keturunan secara otomatis ditangkap saat Anda melatih model dari berbagai pustaka pembelajaran mesin populer. Sesi pelatihan direkam sebagai MLflow Tracking Runs. File model juga dilacak sehingga Anda dapat dengan mudah mencatatnya ke MLflow Model Registry dan menyebarkannya untuk penilaian real-time dengan MLflow Model Serving.

Untuk informasi selengkapnya tentang Pencatatan Otomatis Databricks, lihat Pencatatan Otomatis Databricks.

Perubahan besar pada lingkungan Phyton ML Databricks Runtime

Paket Phyton ditingkatkan

• automl 1.1.1 => 1.2.1
• feature_store 0.3.3 => 0.3.4.1
• hari libur 0.10.5.2 => 0.11.2
• keras 2.5.0 => 2.6.0
• mlflow 1.19.0 => 1.20.2
• petastorm 0.11.1 -> 0.11.2
• plotly 4.14.3 -> 5.1.0
• spark-tensorflow-distributor 0.1.0 => 1.0.0
• sparkdl 2.2.0_db1 => 2.2.0_db3
• tensorboard 2.5.0 => 2.6.0
• tensorflow 2.5.0 => 2.6.0

Paket Python yang ditambahkan

• databricks-automl-runtime 0.1.0

Lingkungan sistem

Lingkungan sistem di Runtime Bahasa Umum Databricks 9.1 ML berbeda dari Runtime Bahasa Umum Databricks 9.1 sebagai berikut:

• DBUtils: Databricks Runtime ML tidak menyertakan utilitas Pustaka (dbutils.library) (warisan). Gunakan perintah %pip saja. Lihat Pustaka Python cakupan buku catatan.
• Untuk kluster GPU, Databricks Runtime ML menyertakan pustaka GPU NVIDIA berikut:
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Pustaka

Bagian berikut mencantumkan pustaka yang disertakan dalam Runtime Bahasa Umum Databricks 9.1 ML yang berbeda dari yang disertakan dalam Databricks Runtime 9.1.

Di bagian ini:

• Pustaka tingkat atas
• Pustaka Python
• Pustaka R
• Pustaka Java dan Scala (Kluster Scala 2.12)

Pustaka tingkat atas

Runtime Bahasa Umum Databricks 9.1 ML mencakup pustaka tingkat atas berikut:

• AutoML
• GraphFrames
• Horovod dan HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow 2.5.0
• TensorBoard

Pustaka Python

Runtime Bahasa Umum Databricks 9.1 ML menggunakan Conda untuk manajemen paket Phyton dan mencakup banyak paket ML populer.

Selain paket yang ditentukan di lingkungan Conda di bagian berikut, Runtime Bahasa Umum Databricks 9.1 ML juga memasang paket berikut:

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db3
• feature_store 0.3.4.1
• automl 1.2.1

Pustaka Phyton di kluster CPU

Pustaka Phyton di kluster GPU

Paket Spark yang berisi modul Python

Pustaka R

Pustaka R identik dengan Pustaka R di Runtime Bahasa Umum Databricks 9.1 LTS.

Pustaka Java dan Scala (Kluster Scala 2.12)

Selain pustaka Java dan Scala di Runtime Bahasa Umum Databricks 9.1, Runtime Bahasa Umum Databricks 9.1 ML berisi JAR berikut:

Kluster CPU

Kluster GPU