MLflow kullanarak model geliştirmeyi izleme

MLflow izleme, bir makine öğrenmesi veya derin öğrenme modeli eğitmeyle ilgili not defterlerini ve eğitim veri kümelerini, parametreleri, ölçümleri, etiketleri ve yapıtları kaydetmenizi sağlar. MLflow'u kullanmaya başlamak için örnek bir not defteri için bkz. Öğretici: Azure Databricks'te uçtan uca ML modelleri.

Denemeler ve çalıştırmalarla MLflow izleme

Model geliştirme süreci yinelemeli bir süreçtir ve bir modeli geliştirip iyileştirdikçe çalışmalarınızı takip etmek zor olabilir. Azure Databricks'te MLflow takip sistemi kullanarak model geliştirme sürecini, denediğiniz parametre ayarları veya birleşimler ve bunların modelin performansını nasıl etkilediği dahil olmak üzere takip etmenize yardımcı olabilirsiniz.

MLflow izleme, ML ve derin öğrenme modeli geliştirmenizi günlüğe kaydetmek ve izlemek için deneyler ve çalışmaları kullanır. Çalıştırma, model kodunun tek bir yürütülmesidir. MLflow çalıştırması sırasında model parametrelerini ve sonuçlarını günlüğe kaydedebilirsiniz. Deney, bağlantılı çalıştırmaların bir koleksiyonudur. Bir denemede, modelinizin performansını ve performansının parametre ayarlarına, giriş verilerine vb. nasıl bağlı olduğunu anlamak için çalıştırmaları karşılaştırabilir ve filtreleyebilirsiniz.

• MLflow denemeleriyle eğitim çalıştırmalarını düzenleme
• MLflow çalıştırmalarıyla eğitim sonuçlarını görüntüleme

MLflow izleme API'si

MLflow İzleme API'sinde bir model çalıştırmasından parametreler, ölçümler, etiketler ve yapıtlar günlüğe kaydedilir. İzleme API'si bir MLflow izleme sunucusuyla iletişim kurar. Databricks kullandığınızda, Databricks tarafından barındırılan bir izleme sunucusu verileri günlüğe kaydeder. Barındırılan MLflow izleme sunucusunda Python, Java ve R API'leri vardır.

MLflow, Databricks Runtime ML kümelerine önceden yüklenmiştir. Databricks Runtime kümesinde MLflow kullanmak için kitaplığı yüklemeniz mlflow gerekir. Kümeye kitaplık yükleme yönergeleri için bkz . Kümeye kitaplık yükleme.

MLflow çalıştırmalarının günlüğe kaydedildiği yer

Tüm MLflow çalıştırmaları etkin denemede günlüğe kaydedilir ve aşağıdaki yollardan herhangi biri kullanılarak ayarlanabilir:

• mlflow.set_experiment() komutunu kullanın.
• experiment_id mlflow.start_run() komutunda parametresini kullanın.
• MLFLOW_EXPERIMENT_NAME veya MLFLOW_EXPERIMENT_ID MLflow ortam değişkenlerinden birini ayarlayın.

Etkin deneme ayarlı değilse, çalıştırmalar not defteri denemesine kaydedilir.

Deneme sonuçlarınızı, denemenizi çalıştırdığınız çalışma alanı dışında bir çalışma alanında uzaktan barındırılan bir MLflow İzleme sunucusuna günlüğe kaydetmek için, ile mlflow.set_tracking_uri()uzak çalışma alanına başvurmak için izleme URI'sini ayarlayın ve kullanarak mlflow.set_experiment()uzak çalışma alanında denemenizin yolunu ayarlayın.

mlflow.set_tracking_uri(<uri-of-remote-workspace>)
mlflow.set_experiment("path to experiment in remote workspace")

Denemeleri yerel olarak çalıştırıyorsanız ve deneme sonuçlarını Databricks MLflow İzleme sunucusuna kaydetmek istiyorsanız, Databricks çalışma alanı örneğinizi (DATABRICKS_HOST) ve Databricks kişisel erişim belirtecinizi (DATABRICKS_TOKEN) sağlayın. Ardından, ile çalışma alanına mlflow.set_tracking_uri()başvurmak için izleme URI'sini ayarlayabilir ve kullanarak mlflow.set_experiment()denemenizin yolunu ayarlayabilirsiniz. ve ortam değişkenleri için değerlerin nerede bulunacağı hakkında ayrıntılı bilgi için bkzDATABRICKS_HOSTDATABRICKS_TOKEN gerçekleştirme.

Aşağıdaki kod örneğinde bu değerlerin ayarlanması gösterilmektedir:

os.environ["DATABRICKS_HOST"] = "https://dbc-1234567890123456.cloud.databricks.com" # set to your server URI
os.environ["DATABRICKS_TOKEN"] = "dapixxxxxxxxxxxxx"

mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/your-experiment")

Log, bir deneye kaydedilir.

MLflow, birçok makine öğrenmesi ve derin öğrenme çerçevesinde yazılmış eğitim kodunu otomatik olarak günlüğe kaydedebilir. Bu, MLflow izlemeyi kullanmaya başlamanın en kolay yoludur. örnek not defterine bakın.

Hangi parametrelerin ve ölçümlerin günlüğe kaydedildiği üzerinde daha fazla denetim sahibi olmak veya CSV dosyaları veya çizimleri gibi ek yapıtları günlüğe kaydetmek için MLflow günlük API'sini kullanın. örnek not defterine bakın.

Model geliştirmeyi izlemek için otomatik kaydetmeyi kullanma

Bu örnek not defteri, scikit-learnile otomatik kaydetmenin nasıl kullanılacağını gösterir. Diğer Python kitaplıklarıyla otomatik kaydetme hakkında bilgi içinMLflow otomatik kaydetme belgelerine bakın.

MLflow python not defterini otomatik olarak kaydetme

Not defterini alma

Model geliştirmeyi izlemek için günlük API'sini kullanma

Bu örnek not defteri,Python günlük API'sinin nasıl kullanılacağını gösterir. MLflow ayrıca REST, R ve Java API'lerinesahiptir.

MLflow loglama API'si Python defteri

Not defterini alma

Çalışma alanı deneyine günlük çalıştırmaları kaydet

Varsayılan olarak, databricks not defterinde bir modeli eğittiğinizde çalıştırmalar not defteri denemesine kaydedilir. Not defteri denemesinde yalnızca bir not defteri içinde başlatılan MLflow çalıştırmaları günlüğe kaydedilebilir.

Herhangi bir not defterinden veya API'lerden başlatılan MLflow çalıştırmaları bir çalışma alanı denemesine kaydedilebilir. Çalışma alanı deneyine çalışma kaydetmek için, not defterinizde veya API çağrınızda aşağıdakine benzer bir kod kullanın:

experiment_name = "/Shared/name_of_experiment/"
mlflow.set_experiment(experiment_name)

Çalışma alanı denemesi oluşturma yönergeleri için bkz. çalışma alanı denemesi oluşturma. Günlüğe kaydedilen çalıştırmaları görüntüleme hakkında bilgi için bkz . Not defteri denemesini görüntüleme ve Çalışma alanı denemesini görüntüleme.

Azure Databricks dışından MLflow izleme sunucusuna erişme

Ayrıca, örneğin MLflow CLI kullanarak Azure Databricks dışından izleme sunucusuna yazabilir ve bu sunucudan okuyabilirsiniz. Bkz. Azure Databricks dışından MLflow izleme sunucusuna erişme.

MLflow çalıştırmalarını program aracılığıyla analiz etme

Aşağıdaki iki DataFrame API'sini kullanarak MLflow çalıştırma verilerine program aracılığıyla erişebilirsiniz:

• MLflow Python istemcisi search_runs API bir pandas DataFrame döndürür.
• MLflow denemesi veri kaynağı bir Apache Spark DataFrame döndürür.

Bu örnekte, MLflow Python istemcisinin zaman içindeki değerlendirme ölçümlerindeki değişiklikleri görselleştiren, belirli bir kullanıcı tarafından başlatılan çalıştırma sayısını izleyen ve tüm kullanıcılar genelindeki toplam çalıştırma sayısını ölçen bir pano oluşturmak için nasıl kullanılacağı gösterilmektedir:

• MLflow Arama API'siyle pano oluşturma

Model eğitim ölçümleri ve çıkışları neden farklılık gösterebilir?

ML'de kullanılan algoritmaların çoğu, algoritmanın kendi içinde örnekleme veya rastgele başlangıç koşulları gibi rastgele bir öğeye sahiptir. Modeli bu algoritmalardan birini kullanarak eğittiğiniz zaman, çalıştırmayı aynı koşullarla başlatsanız bile sonuçlar her çalıştırmada aynı olmayabilir. Birçok kitaplık, bu stokastik öğelerin ilk koşullarını düzeltmek için bir tohumlama mekanizması sunar. Ancak, tohumlar tarafından kontrol edilmeyen başka çeşitleme kaynakları da olabilir. Bazı algoritmalar verilerin sırasına duyarlıdır ve dağıtılmış ML algoritmaları da verilerin bölümlenmesinden etkilenebilir. Bu varyasyon genellikle model geliştirme sürecinde önemli değildir ve önemli değildir.

Sıralama ve bölümleme farklılıklarının neden olduğu varyasyonu denetlemek için PySpark işlevlerini yeniden bölümleme ve sortWithinPartitions kullanın.

MLflow izleme örnekleri

Aşağıdaki not defterleri, MLflow kullanarak model geliştirmenin nasıl izlenir göstermektedir.

• MLflow ile scikit-learn model eğitimini izleme
• Öğreticisi: Azure Databricks'da uçtan uca ML modelleri
• MLflow ile Keras model eğitimini izleme