Autologging di Microsoft Fabric

Synapse Ilmu Data di Microsoft Fabric mencakup autologging, yang secara signifikan mengurangi jumlah kode yang diperlukan untuk mencatat parameter, metrik, dan item model pembelajaran mesin secara otomatis selama pelatihan. Artikel ini menjelaskan autologging untuk Ilmu Data Synapse di Microsoft Fabric.

Autologging memperluas kemampuan Pelacakan MLflow dan diintegrasikan secara mendalam ke dalam pengalaman Synapse Ilmu Data dalam Microsoft Fabric. Autologging dapat mengambil berbagai metrik, termasuk akurasi, kehilangan, skor F1, dan metrik kustom yang Anda tentukan. Dengan menggunakan autologging, pengembang dan ilmuwan data dapat dengan mudah melacak dan membandingkan performa model dan eksperimen yang berbeda tanpa pelacakan manual.

Kerangka kerja yang didukung

Autologging mendukung berbagai kerangka kerja pembelajaran mesin, termasuk TensorFlow, PyTorch, Scikit-learn, dan XGBoost. Untuk mempelajari selengkapnya tentang properti khusus kerangka kerja yang diambil secara otomatis, lihat dokumentasi MLflow.

Konfigurasi

Autologging bekerja dengan menangkap nilai parameter input, metrik output, dan item output secara otomatis dari model pembelajaran mesin saat sedang dilatih. Informasi ini dicatat ke ruang kerja Microsoft Fabric Anda, di mana Anda dapat mengakses dan memvisualisasikannya dengan menggunakan API MLflow atau eksperimen dan item model yang sesuai di ruang kerja Microsoft Fabric Anda.

Saat Anda meluncurkan notebook Synapse Ilmu Data, Microsoft Fabric memanggil mlflow.autolog() untuk langsung mengaktifkan pelacakan dan memuat dependensi yang sesuai. Saat Anda melatih model di notebook Anda, MLflow secara otomatis melacak informasi model ini.

Konfigurasi terjadi secara otomatis di belakang layar saat Anda menjalankan import mlflow. Konfigurasi default untuk hook notebook mlflow.autolog() adalah:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Penyesuaian

Untuk menyesuaikan perilaku pengelogan, Anda dapat menggunakan konfigurasi mlflow.autolog(). Konfigurasi ini menyediakan parameter untuk mengaktifkan pengelogan model, mengumpulkan sampel input, mengonfigurasi peringatan, atau mengaktifkan pengelogan untuk konten tambahan yang Anda tentukan.

Melacak lebih banyak metrik, parameter, dan properti

Untuk eksekusi yang dibuat dengan MLflow, perbarui konfigurasi autologging MLflow untuk melacak metrik, parameter, file, dan metadata tambahan sebagai berikut:

1. Perbarui panggilan mlflow.autolog() untuk mengatur exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Gunakan API pelacakan MLflow untuk mencatat parameter dan metrik tambahan. Contoh kode berikut memungkinkan Anda mencatat metrik dan parameter kustom bersama properti tambahan.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Menonaktifkan autologging Microsoft Fabric

Anda dapat menonaktifkan autologging Microsoft Fabric untuk sesi notebook tertentu. Anda juga dapat menonaktifkan pembuatan log otomatis di semua buku catatan dengan menggunakan pengaturan ruang kerja.

Menonaktifkan pembuatan log otomatis untuk sesi buku catatan

Untuk menonaktifkan autologging Microsoft Fabric untuk sesi notebook tertentu, panggil mlflow.autolog() dan atur disable=True.

import mlflow
mlflow.autolog(disable=True)

Menonaktifkan pembuatan log otomatis untuk semua buku catatan dan sesi

Administrator ruang kerja dapat mengaktifkan atau menonaktifkan autologging Microsoft Fabric untuk semua buku catatan dan sesi di ruang kerja mereka dengan menggunakan pengaturan ruang kerja. Untuk mengaktifkan atau menonaktifkan pembuatan log otomatis Ilmu Data Synapse:

1. Di ruang kerja Synapse Ilmu Data Anda, pilih Pengaturan ruang kerja.

   

2. Pada layar Pengaturan ruang kerja, perluas Rekayasa Data/Sains di bilah navigasi kiri dan pilih Pengaturan Spark.

3. Pada layar Pengaturan Spark, pilih tab Log otomatis.

4. Atur Lacak eksperimen dan model pembelajaran mesin secara otomatis ke Aktif atau Nonaktif.

5. Pilih Simpan.

   

Konten terkait

• Membangun model pembelajaran mesin dengan Apache Spark MLlib
• Eksperimen pembelajaran mesin di Microsoft Fabric