Bagikan melalui

Eksperimen MLflow

  • Artikel

Sumber data eksperimen MLflow menyediakan API standar untuk memuat data eksekusi eksperimen MLflow. Anda dapat memuat data dari eksperimen notebook , atau Anda bisa menggunakan nama eksperimen MLflow atau ID eksperimen.

Persyaratan

Databricks Runtime 6.0 ML atau lebih tinggi.

Memuat data dari eksperimen notebook

Untuk memuat data dari eksperimen notebook, gunakan load().

Python

df = spark.read.format("mlflow-experiment").load()
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load()
display(df)

Memuat data menggunakan ID eksperimen

Untuk memuat data dari satu atau beberapa eksperimen ruang kerja, tentukan ID eksperimen seperti yang ditunjukkan.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
display(df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272,953590262154175")
display(df)

Memuat data menggunakan nama eksperimen

Anda juga dapat meneruskan nama eksperimen ke metode load().

Python

expId = mlflow.get_experiment_by_name("/Shared/diabetes_experiment/").experiment_id
df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Scala

val expId = mlflow.getExperimentByName("/Shared/diabetes_experiment/").get.getExperimentId
val df = spark.read.format("mlflow-experiment").load(expId)
display(df)

Memfilter data berdasarkan metrik dan parameter

Contoh di bagian ini menunjukkan bagaimana Anda dapat memfilter data setelah memuatnya dari eksperimen.

Python

df = spark.read.format("mlflow-experiment").load("3270527066281272")
filtered_df = df.filter("metrics.loss < 0.01 AND params.learning_rate > '0.001'")
display(filtered_df)

Scala

val df = spark.read.format("mlflow-experiment").load("3270527066281272")
val filtered_df = df.filter("metrics.loss < 1.85 AND params.num_epochs > '30'")
display(filtered_df)

Skema

Skema DataFrame yang dikembalikan oleh sumber data adalah:

root
|-- run_id: string
|-- experiment_id: string
|-- metrics: map
|    |-- key: string
|    |-- value: double
|-- params: map
|    |-- key: string
|    |-- value: string
|-- tags: map
|    |-- key: string
|    |-- value: string
|-- start_time: timestamp
|-- end_time: timestamp
|-- status: string
|-- artifact_uri: string