Melacak eksperimen dan model dengan MLflow

Untuk pelatihan interaktif, seperti di notebook Jupyter, gunakan perintah mlflow.set_experiment()MLflow . Misalnya, cuplikan kode berikut mengonfigurasi eksperimen:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Untuk mengirimkan pekerjaan dengan menggunakan Azure Pembelajaran Mesin CLI atau SDK, atur nama eksperimen dengan menggunakan experiment_name properti pekerjaan. Anda tidak perlu mengonfigurasi nama eksperimen dalam skrip pelatihan Anda.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Saat Anda bekerja secara interaktif, MLflow mulai melacak rutinitas pelatihan Anda segera setelah Anda mencatat informasi yang memerlukan eksekusi aktif. Misalnya, jika fungsionalitas autologging Mlflow diaktifkan, pelacakan MLflow dimulai saat Anda mencatat metrik atau parameter, atau memulai siklus pelatihan.

Namun, biasanya membantu untuk memulai eksekusi secara eksplisit, terutama jika Anda ingin mengambil total waktu untuk eksperimen Anda di bidang Durasi . Untuk memulai eksekusi secara eksplisit, gunakan mlflow.start_run().

Apakah Anda memulai eksekusi secara manual atau tidak, Anda akhirnya perlu menghentikan eksekusi, sehingga MLflow tahu bahwa eksekusi eksperimen Anda selesai dan dapat menandai status eksekusi sebagai Selesai. Untuk menghentikan eksekusi, gunakan mlflow.end_run().

Kode berikut memulai eksekusi secara manual dan mengakhirinya di akhir buku catatan:

mlflow.start_run()

# Your code

mlflow.end_run()

Yang terbaik adalah mulai berjalan secara manual sehingga Anda tidak lupa untuk mengakhirinya. Anda dapat menggunakan paradigma manajer konteks untuk membantu Anda mengingat untuk mengakhiri eksekusi.

with mlflow.start_run() as run:
    # Your code

Saat Anda memulai eksekusi baru dengan mlflow.start_run(), akan berguna untuk menentukan run_name parameter, yang nantinya diterjemahkan ke nama eksekusi di antarmuka pengguna Azure Pembelajaran Mesin. Praktik ini membantu Anda mengidentifikasi eksekusi dengan lebih cepat.

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Pekerjaan Azure Pembelajaran Mesin memungkinkan Anda mengirimkan rutinitas pelatihan atau inferensi yang berjalan lama sebagai eksekusi yang terisolasi dan dapat direproduksi.

Membuat rutinitas pelatihan yang memiliki pelacakan

Saat bekerja dengan pekerjaan, Anda biasanya menempatkan semua logika pelatihan Anda sebagai file di dalam folder, seperti src. Salah satu file adalah file Python dengan titik masuk kode pelatihan Anda.

Dalam rutinitas pelatihan, Anda dapat menggunakan MLflow SDK untuk melacak metrik, parameter, artefak, atau model apa pun. Misalnya, lihat Metrik log, parameter, dan file dengan MLflow.

Contoh berikut menunjukkan rutinitas pelatihan hello_world.py yang menambahkan pengelogan:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

Contoh kode sebelumnya tidak menggunakan mlflow.start_run() tetapi jika digunakan, MLflow menggunakan kembali eksekusi aktif saat ini. Oleh karena itu, Anda tidak perlu menghapus baris jika Anda memigrasikan mlflow.start_run() kode ke Azure Pembelajaran Mesin.

Pastikan lingkungan pekerjaan Anda telah menginstal MLflow

Semua lingkungan yang dikumpulkan Azure Pembelajaran Mesin sudah menginstal MLflow. Namun, jika Anda menggunakan lingkungan kustom, buat file conda.yaml yang memiliki dependensi yang Anda butuhkan, dan referensikan lingkungan dalam pekerjaan Anda.

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

Mengonfigurasi nama pekerjaan

Gunakan parameter display_name pekerjaan Azure Pembelajaran Mesin untuk mengonfigurasi nama eksekusi.

1. display_name Gunakan properti untuk mengonfigurasi pekerjaan.

   • Azure CLI
   • Python SDK

   Untuk mengonfigurasi pekerjaan, buat file YAML dengan definisi pekerjaan Anda dalam file job.yml di luar direktori src .

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

2. Pastikan untuk tidak menggunakan mlflow.start_run(run_name="") di dalam rutinitas pelatihan Anda.

Mengirimkan pekerjaan

1. Ruang kerja adalah sumber daya tingkat atas untuk Azure Pembelajaran Mesin, menyediakan tempat terpusat untuk bekerja dengan semua artefak Azure Pembelajaran Mesin yang Anda buat. Sambungkan ke ruang kerja Azure Pembelajaran Mesin.

   • Azure CLI
   • Python SDK

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

2. Buka terminal Anda dan gunakan kode berikut untuk mengirimkan pekerjaan. Pekerjaan yang menggunakan MLflow dan berjalan di Azure Pembelajaran Mesin secara otomatis mencatat informasi pelacakan apa pun ke ruang kerja.

   • Azure CLI
   • Python SDK

   Gunakan Azure Pembelajaran Mesin CLI untuk mengirimkan pekerjaan Anda.

   az ml job create -f job.yml --web
   

3. Pantau kemajuan pekerjaan di studio Azure Pembelajaran Mesin.