MLflow kullanarak model geliştirmeyi izleme
MLflow izleme, bir makine öğrenmesi veya derin öğrenme modeli eğitmeyle ilgili not defterlerini ve eğitim veri kümelerini, parametreleri, ölçümleri, etiketleri ve yapıtları kaydetmenizi sağlar. MLflow'u kullanmaya başlamak için örnek bir not defteri için bkz. Öğretici: Azure Databricks'te uçtan uca ML modelleri.
Denemeler ve çalıştırmalarla MLflow izleme
Model geliştirme süreci yinelemeli bir süreçtir ve bir modeli geliştirip iyileştirdikçe çalışmalarınızı takip etmek zor olabilir. Azure Databricks'te MLflow takip sistemi kullanarak model geliştirme sürecini, denediğiniz parametre ayarları veya birleşimler ve bunların modelin performansını nasıl etkilediği dahil olmak üzere takip etmenize yardımcı olabilirsiniz.
MLflow izleme, ML ve derin öğrenme modeli geliştirmenizi günlüğe kaydetmek ve izlemek için deneyler ve çalışmaları kullanır. Çalıştırma, model kodunun tek bir yürütülmesidir. MLflow çalıştırması sırasında model parametrelerini ve sonuçlarını günlüğe kaydedebilirsiniz. Deney, bağlantılı çalıştırmaların bir koleksiyonudur. Bir denemede, modelinizin performansını ve performansının parametre ayarlarına, giriş verilerine vb. nasıl bağlı olduğunu anlamak için çalıştırmaları karşılaştırabilir ve filtreleyebilirsiniz.
- MLflow denemeleriyle eğitim çalıştırmalarını düzenleme
- MLflow çalıştırmalarıyla eğitim sonuçlarını görüntüleme
Not
27 Mart 2024'den itibaren MLflow, tüm mevcut ve yeni çalıştırmalar için toplam parametre, etiket ve ölçüm adımı sayısına ve tüm mevcut ve yeni denemelerin toplam çalıştırma sayısına kota sınırı uygular. Bkz . Kaynak sınırları. Deneme kotası başına çalıştırmalara isabet ederseniz Databricks, Python'da silme çalıştırmaları API'sini kullanmanıza gerek olmayan çalıştırmaları silmenizi önerir. Diğer kota sınırlarına ulaştıysanız Databricks, günlük stratejinizi sınırın altında tutmak için ayarlamanızı önerir. Bu sınırda bir artışa ihtiyacınız varsa, kullanım örneğinizin kısa bir açıklamasını, önerilen risk azaltma yaklaşımlarının neden çalışmadığını ve istediğiniz yeni sınırı içeren Databricks hesap ekibinize ulaşın.
MLflow izleme API'si
MLflow İzleme API'sinde bir model çalıştırmasından parametreler, ölçümler, etiketler ve yapıtlar günlüğe kaydedilir. İzleme API'si bir MLflow izleme sunucusuyla iletişim kurar. Databricks kullandığınızda, Databricks tarafından barındırılan bir izleme sunucusu verileri günlüğe kaydeder. Barındırılan MLflow izleme sunucusunda Python, Java ve R API'leri vardır.
MLflow, Databricks Runtime ML kümelerine önceden yüklenmiştir. Databricks Runtime kümesinde MLflow kullanmak için kitaplığı yüklemeniz mlflow
gerekir. Kümeye kitaplık yükleme yönergeleri için bkz . Kümeye kitaplık yükleme.
MLflow çalıştırmalarının günlüğe kaydedildiği yer
Tüm MLflow çalıştırmaları etkin denemede günlüğe kaydedilir ve aşağıdaki yollardan herhangi biri kullanılarak ayarlanabilir:
- mlflow.set_experiment() komutunu kullanın.
-
experiment_id
mlflow.start_run() komutunda parametresini kullanın. - MLFLOW_EXPERIMENT_NAME veya MLFLOW_EXPERIMENT_ID MLflow ortam değişkenlerinden birini ayarlayın.
Etkin deneme ayarlı değilse, çalıştırmalar not defteri denemesine kaydedilir.
Deneme sonuçlarınızı, denemenizi çalıştırdığınız çalışma alanı dışında bir çalışma alanında uzaktan barındırılan bir MLflow İzleme sunucusuna günlüğe kaydetmek için, ile mlflow.set_tracking_uri()
uzak çalışma alanına başvurmak için izleme URI'sini ayarlayın ve kullanarak mlflow.set_experiment()
uzak çalışma alanında denemenizin yolunu ayarlayın.
mlflow.set_tracking_uri(<uri-of-remote-workspace>)
mlflow.set_experiment("path to experiment in remote workspace")
Denemeleri yerel olarak çalıştırıyorsanız ve deneme sonuçlarını Databricks MLflow İzleme sunucusuna kaydetmek istiyorsanız, Databricks çalışma alanı örneğinizi (DATABRICKS_HOST
) ve Databricks kişisel erişim belirtecinizi (DATABRICKS_TOKEN
) sağlayın. Ardından, ile çalışma alanına mlflow.set_tracking_uri()
başvurmak için izleme URI'sini ayarlayabilir ve kullanarak mlflow.set_experiment()
denemenizin yolunu ayarlayabilirsiniz. ve ortam değişkenleri için değerlerin nerede bulunacağı hakkında ayrıntılı bilgi için bkzDATABRICKS_HOST
DATABRICKS_TOKEN
gerçekleştirme.
Aşağıdaki kod örneğinde bu değerlerin ayarlanması gösterilmektedir:
os.environ["DATABRICKS_HOST"] = "https://dbc-1234567890123456.cloud.databricks.com" # set to your server URI
os.environ["DATABRICKS_TOKEN"] = "dapixxxxxxxxxxxxx"
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/your-experiment")
Log, bir deneye kaydedilir.
MLflow, birçok makine öğrenmesi ve derin öğrenme çerçevesinde yazılmış eğitim kodunu otomatik olarak günlüğe kaydedebilir. Bu, MLflow izlemeyi kullanmaya başlamanın en kolay yoludur.
Hangi parametrelerin ve ölçümlerin günlüğe kaydedildiği üzerinde daha fazla denetim sahibi olmak veya CSV dosyaları veya çizimleri gibi ek yapıtları günlüğe kaydetmek için MLflow günlük API'sini kullanın.
Model geliştirmeyi izlemek için otomatik kaydetmeyi kullanma
Bu örnek not defteri, scikit-learnile otomatik kaydetmenin nasıl kullanılacağını gösterir. Diğer Python kitaplıklarıyla otomatik kaydetme hakkında bilgi içinMLflow otomatik kaydetme belgelerine
MLflow python not defterini otomatik olarak kaydetme
Model geliştirmeyi izlemek için günlük API'sini kullanma
Bu örnek not defteri,
MLflow loglama API'si Python defteri
Çalışma alanı deneyine günlük çalıştırmaları kaydet
Varsayılan olarak, databricks not defterinde bir modeli eğittiğinizde çalıştırmalar not defteri denemesine kaydedilir. Not defteri denemesinde yalnızca bir not defteri içinde başlatılan MLflow çalıştırmaları günlüğe kaydedilebilir.
Herhangi bir not defterinden veya API'lerden başlatılan MLflow çalıştırmaları bir çalışma alanı denemesine kaydedilebilir. Çalışma alanı deneyine çalışma kaydetmek için, not defterinizde veya API çağrınızda aşağıdakine benzer bir kod kullanın:
experiment_name = "/Shared/name_of_experiment/"
mlflow.set_experiment(experiment_name)
Çalışma alanı denemesi oluşturma yönergeleri için bkz. çalışma alanı denemesi oluşturma
Azure Databricks dışından MLflow izleme sunucusuna erişme
Ayrıca, örneğin MLflow CLI kullanarak Azure Databricks dışından izleme sunucusuna yazabilir ve bu sunucudan okuyabilirsiniz. Bkz. Azure Databricks dışından MLflow izleme sunucusuna erişme.
MLflow çalıştırmalarını program aracılığıyla analiz etme
Aşağıdaki iki DataFrame API'sini kullanarak MLflow çalıştırma verilerine program aracılığıyla erişebilirsiniz:
- MLflow Python istemcisi search_runs API bir pandas DataFrame döndürür.
- MLflow denemesi veri kaynağı bir Apache Spark DataFrame döndürür.
Bu örnekte, MLflow Python istemcisinin zaman içindeki değerlendirme ölçümlerindeki değişiklikleri görselleştiren, belirli bir kullanıcı tarafından başlatılan çalıştırma sayısını izleyen ve tüm kullanıcılar genelindeki toplam çalıştırma sayısını ölçen bir pano oluşturmak için nasıl kullanılacağı gösterilmektedir:
Model eğitim ölçümleri ve çıkışları neden farklılık gösterebilir?
ML'de kullanılan algoritmaların çoğu, algoritmanın kendi içinde örnekleme veya rastgele başlangıç koşulları gibi rastgele bir öğeye sahiptir. Modeli bu algoritmalardan birini kullanarak eğittiğiniz zaman, çalıştırmayı aynı koşullarla başlatsanız bile sonuçlar her çalıştırmada aynı olmayabilir. Birçok kitaplık, bu stokastik öğelerin ilk koşullarını düzeltmek için bir tohumlama mekanizması sunar. Ancak, tohumlar tarafından kontrol edilmeyen başka çeşitleme kaynakları da olabilir. Bazı algoritmalar verilerin sırasına duyarlıdır ve dağıtılmış ML algoritmaları da verilerin bölümlenmesinden etkilenebilir. Bu varyasyon genellikle model geliştirme sürecinde önemli değildir ve önemli değildir.
Sıralama ve bölümleme farklılıklarının neden olduğu varyasyonu denetlemek için PySpark işlevlerini yeniden bölümleme ve sortWithinPartitions kullanın.
MLflow izleme örnekleri
Aşağıdaki not defterleri, MLflow kullanarak model geliştirmenin nasıl izlenir göstermektedir.