Autologging di Microsoft Fabric
Synapse Ilmu Data di Microsoft Fabric mencakup autologging, yang secara signifikan mengurangi jumlah kode yang diperlukan untuk mencatat parameter, metrik, dan item model pembelajaran mesin secara otomatis selama pelatihan. Artikel ini menjelaskan autologging untuk Ilmu Data Synapse di Microsoft Fabric.
Autologging memperluas kemampuan Pelacakan MLflow dan diintegrasikan secara mendalam ke dalam pengalaman Synapse Ilmu Data dalam Microsoft Fabric. Autologging dapat mengambil berbagai metrik, termasuk akurasi, kehilangan, skor F1, dan metrik kustom yang Anda tentukan. Dengan menggunakan autologging, pengembang dan ilmuwan data dapat dengan mudah melacak dan membandingkan performa model dan eksperimen yang berbeda tanpa pelacakan manual.
Kerangka kerja yang didukung
Autologging mendukung berbagai kerangka kerja pembelajaran mesin, termasuk TensorFlow, PyTorch, Scikit-learn, dan XGBoost. Untuk mempelajari selengkapnya tentang properti khusus kerangka kerja yang diambil secara otomatis, lihat dokumentasi MLflow.
Konfigurasi
Autologging bekerja dengan menangkap nilai parameter input, metrik output, dan item output secara otomatis dari model pembelajaran mesin saat sedang dilatih. Informasi ini dicatat ke ruang kerja Microsoft Fabric Anda, di mana Anda dapat mengakses dan memvisualisasikannya dengan menggunakan API MLflow atau eksperimen dan item model yang sesuai di ruang kerja Microsoft Fabric Anda.
Saat Anda meluncurkan notebook Synapse Ilmu Data, Microsoft Fabric memanggil mlflow.autolog() untuk langsung mengaktifkan pelacakan dan memuat dependensi yang sesuai. Saat Anda melatih model di notebook Anda, MLflow secara otomatis melacak informasi model ini.
Konfigurasi terjadi secara otomatis di belakang layar saat Anda menjalankan import mlflow
. Konfigurasi default untuk hook notebook mlflow.autolog() adalah:
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Penyesuaian
Untuk menyesuaikan perilaku pengelogan, Anda dapat menggunakan konfigurasi mlflow.autolog(). Konfigurasi ini menyediakan parameter untuk mengaktifkan pengelogan model, mengumpulkan sampel input, mengonfigurasi peringatan, atau mengaktifkan pengelogan untuk konten tambahan yang Anda tentukan.
Melacak lebih banyak metrik, parameter, dan properti
Untuk eksekusi yang dibuat dengan MLflow, perbarui konfigurasi autologging MLflow untuk melacak metrik, parameter, file, dan metadata tambahan sebagai berikut:
Perbarui panggilan mlflow.autolog() untuk mengatur
exclusive=False
.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )
Gunakan API pelacakan MLflow untuk mencatat parameter dan metrik tambahan. Contoh kode berikut memungkinkan Anda mencatat metrik dan parameter kustom bersama properti tambahan.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Menonaktifkan autologging Microsoft Fabric
Anda dapat menonaktifkan autologging Microsoft Fabric untuk sesi notebook tertentu. Anda juga dapat menonaktifkan pembuatan log otomatis di semua buku catatan dengan menggunakan pengaturan ruang kerja.
Catatan
Jika autologging dinonaktifkan, Anda harus mencatat parameter dan metrik Anda secara manual dengan menggunakan API MLflow.
Menonaktifkan pembuatan log otomatis untuk sesi buku catatan
Untuk menonaktifkan autologging Microsoft Fabric untuk sesi notebook tertentu, panggil mlflow.autolog() dan atur disable=True
.
import mlflow
mlflow.autolog(disable=True)
Menonaktifkan pembuatan log otomatis untuk semua buku catatan dan sesi
Administrator ruang kerja dapat mengaktifkan atau menonaktifkan autologging Microsoft Fabric untuk semua buku catatan dan sesi di ruang kerja mereka dengan menggunakan pengaturan ruang kerja. Untuk mengaktifkan atau menonaktifkan pembuatan log otomatis Ilmu Data Synapse:
Di ruang kerja Synapse Ilmu Data Anda, pilih Pengaturan ruang kerja.
Pada layar Pengaturan ruang kerja, perluas Rekayasa Data/Sains di bilah navigasi kiri dan pilih Pengaturan Spark.
Pada layar Pengaturan Spark, pilih tab Log otomatis.
Atur Lacak eksperimen dan model pembelajaran mesin secara otomatis ke Aktif atau Nonaktif.
Pilih Simpan.