Databricks Runtime 10.1 untuk ML (EoS)

Databricks Runtime 10.1 untuk Pembelajaran Mesin menyediakan lingkungan siap pakai untuk pembelajaran mesin dan ilmu data berdasarkan Databricks Runtime 10.1 (EoS). Runtime Bahasa Umum Databricks ML berisi banyak pustaka pembelajaran mesin populer, termasuk TensorFlow, PyTorch, dan XGBoost. Ini juga mendukung pelatihan pembelajaran mendalam terdistribusi menggunakan Horovod.

Untuk informasi selengkapnya, termasuk instruksi untuk membuat kluster ML Runtime Databricks, lihat AI dan pembelajaran mesin di Databricks.

Fitur dan peningkatan baru

Databricks Runtime 10.1 ML dibangun di atas Databricks Runtime 10.1. Untuk informasi tentang apa yang baru di Databricks Runtime 10.1, termasuk Apache Spark MLlib dan SparkR, lihat catatan rilis Databricks Runtime 10.1 (EoS).

Penyempurnaan automl

Dalam Databricks Runtime 10.1, AutoML mencakup peningkatan deteksi jenis semantik, peringatan baru untuk potensi masalah data selama pelatihan, kemampuan baru untuk mencegah model yang terlalu pas, dan kemampuan untuk membagi himpunan data input menjadi kumpulan pelatihan, validasi, dan pengujian secara kronologis.

Deteksi jenis semantik tambahan

AutoML sekarang mendukung deteksi jenis semantik tambahan:

• Kolom numerik yang berisi label kategoris diperlakukan sebagai jenis kategoris.
• Kolom string yang berisi teks bahasa Inggris diperlakukan sebagai fitur teks.

Anda sekarang juga dapat menambahkan anotasi untuk menentukan jenis data kolom. Untuk detailnya, lihat Deteksi jenis semantik.

Peringatan selama pelatihan untuk potensi masalah data

AutoML sekarang mendeteksi dan menghasilkan peringatan untuk potensi masalah dengan himpunan data. Contoh peringatan mencakup jenis kolom yang tidak didukung dan kolom kardinalitas tinggi. Peringatan ini muncul di halaman eksperimen di bawah tab Peringatan baru. Informasi tambahan tentang peringatan disertakan dalam buku catatan eksplorasi data. Untuk informasi selengkapnya, lihat Jalankan eksperimen dan pantau hasilnya.

Mengurangi model overfitting

Dua kemampuan baru mengurangi kemungkinan overfitting model saat menggunakan AutoML:

• AutoML sekarang melaporkan metrik pengujian selain metrik validasi dan pelatihan.
• AutoML sekarang menggunakan pemberhentian awal. Hal ini menghentikan model pelatihan dan penyetelan jika metrik validasi tidak lagi membaik.

Pisahkan himpunan data menjadi kumpulan train/validation/test secara kronologis

Untuk masalah klasifikasi dan regresi, Anda dapat membagi himpunan data menjadi train, validasi, dan rangkaian pengujian secara kronologis. Lihat Memisahkan data menjadi kumpulan pelatihan, validasi, dan pengujian untuk detailnya.

Peningkatan ke Penyimpanan Fitur Databricks

Databricks Feature Store sekarang mendukung jenis data tambahan untuk tabel fitur: BinaryType, DecimalType,dan MapType.

MLflow

Peningkatan berikut tersedia mulai dari Mlflow versi 1.21.0, yang termasuk dalam Databricks Runtime 10.1 ML.

• [Model] fastai Tingkatkan rasa model untuk mendukung fastai v2 (2.4.1 ke atas).
• [Model] perkenalkan rasa model mlflow.prophet untuk model deret waktu Nabi.
• [Mencetak gol] Perbaiki kesalahan penegakan skema yang salah mentransmisikan string seperti tanggal ke objek tanggalwaktu.

Hyperopt

SparkTrials sekarang mendukung early_stopping_fn parameter untuk fmin. Anda dapat menggunakan fungsi henti awal untuk menentukan kondisi ketika Hyperopt harus menghentikan penyetelan hiperparameter sebelum jumlah maksimum evaluasi tercapai. Misalnya, Anda dapat menggunakan parameter ini untuk mengakhiri penyetelan jika fungsi objektif tidak lagi menurun. Untuk detailnya, lihat fmin().

Perubahan besar pada lingkungan Phyton ML Databricks Runtime

Paket Phyton ditingkatkan

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• hari libur 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• simbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

Paket Python yang ditambahkan

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Penghentian

Pelacakan MLflow otomatis MLlib tidak digunakan lagi pada kluster yang menjalankan Databricks Runtime 10.1 ML ke atas. Sebagai gantinya, gunakan MLflow PySpark ML autologging dengan memanggil mlflow.pyspark.ml.autolog(). Pencatatan otomatis diaktifkan secara default dengan Pencatatan Otomatis Databricks.

Lingkungan sistem

Lingkungan sistem di Databricks Runtime10.1 ML berbeda dari Databricks Runtime 10.1 sebagai berikut:

• DBUtils: Databricks Runtime ML tidak menyertakan utilitas Pustaka (dbutils.library) (warisan). Gunakan perintah %pip saja. Lihat Pustaka Python cakupan buku catatan.
• Untuk kluster GPU, Databricks Runtime ML menyertakan pustaka GPU NVIDIA berikut:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Pustaka

Bagian berikut mencantumkan pustaka yang disertakan dalam Databricks Runtime 10.1 ML yang berbeda dari yang disertakan dalam Databricks Runtime 10.1.

Di bagian ini:

• Pustaka tingkat atas
• Pustaka Python
• Pustaka R
• Pustaka Java dan Scala (Kluster Scala 2.12)

Pustaka tingkat atas

Databricks Runtime 10.1 ML mencakup pustaka tingkat atas berikut:

• GraphFrames
• Horovod dan HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow 2.5.0
• TensorBoard

Pustaka Python

Databricks Runtime 10.1 ML menggunakan Virtualenv untuk manajemen paket Python dan mencakup banyak paket ML populer.

Selain paket yang ditentukan di bagian berikut, databricks Runtime 10.1 ML juga mencakup paket-paket berikut:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Pustaka Phyton di kluster CPU

Pustaka Phyton di kluster GPU

Paket Spark yang berisi modul Python

Pustaka R

Pustaka R identik dengan Pustaka R di Databricks Runtime 10.1.

Pustaka Java dan Scala (Kluster Scala 2.12)

Selain pustaka Java dan Scala di Databricks Runtime 10.1, Databricks Runtime 10.1 ML berisi JAR berikut:

Kluster CPU

Kluster GPU