Nesilsel yapay zeka aracısı ve ML modeli yaşam döngüsü için MLflow

Bu makalede, yüksek kaliteli üretken yapay zeka aracıları ve makine öğrenmesi modelleri geliştirmek için Databricks'te MLflow'un nasıl kullanıldığı açıklanmaktadır.

MLflow nedir?

MLflow, model ve üretken yapay zeka uygulamaları geliştirmeye yönelik açık kaynak bir platformdur. Aşağıdaki bileşenlere sahiptir:

• İzleme: Parametreleri ve sonuçları kaydetmek ve karşılaştırmak için denemeleri izlemenizi sağlar.
• Modeller: Çeşitli ML kitaplıklarındaki modelleri yönetmenize ve çeşitli model sunma ve çıkarım platformlarına dağıtmanıza olanak tanır.
• Model Kayıt Defteri: Model sürüm oluşturma ve ek açıklama özellikleriyle, model dağıtım sürecini hazırlama aşamasından üretime kadar yönetmenize olanak tanır.
• Yapay zeka aracısı değerlendirme ve izleme: Aracıları karşılaştırmanıza, değerlendirmenize ve sorun gidermenize yardımcı olarak yüksek kaliteli yapay zeka aracıları geliştirmenize olanak tanır.

MLflow Java, Python, R ve REST API'lerini destekler.

Databricks tarafından yönetilen MLflow

Databricks, MLflow'u kurumsal kullanım için daha sağlam ve ölçeklenebilir hale getirmek için açık kaynak deneyimini temel alan, tam olarak yönetilen ve barındırılan bir sürümü sağlar.

Aşağıdaki diyagramda Databricks'in makine öğrenmesi modellerini eğitmek ve dağıtmak için MLflow ile tümleştirmesi gösterilmektedir.

Databricks tarafından yönetilen MLflow, ML yaşam döngüsündeki tüm verilerinizi ve yapay zeka varlıklarınızı birleştirmek için Unity Kataloğu ve Cloud Data Lake'i kullanır:

1. Özellik deposu: Databricks otomatik özellik aramaları tümleştirmeyi basitleştirir ve hataları azaltır.
2. Modelleri Eğitin: Model eğitmek veya temel modellerde ince ayar yapmak için Mozaik Yapay Zeka kullanın.
3. İzleme: MLflow, model performansını değerlendirmek ve karşılaştırmak için parametreleri, metrikleri ve çıktıları kaydederek eğitimi izler.
4. Model Kayıt Defteri: Unity Kataloğu ile tümleştirilmiş MLflow Model Kayıt Defteri, yapay zeka modellerini ve yapıtlarını merkezileştirir.
5. Model Sunumu: Mosaic AI Model Hizmeti, modelleri bir REST API uç noktasına sunar.
6. İzleme: Mosaic Yapay Zeka Modeli Yönetimi, modelleri izlemek ve hata ayıklamak için istek ve yanıtları otomatik olarak yakalar. MLflow bu verileri her istek için izleme verileriyle genişleter.

Model eğitimi

MLflow Modelleri, Databricks'te yapay zeka ve ML geliştirmenin temelini oluşturur. MLflow Modelleri, makine öğrenmesi modellerini ve üretken yapay zeka aracılarını paketlemek için standartlaştırılmış bir biçimdir. Standartlaştırılmış biçim, modellerin ve aracıların Databricks'te aşağı akış araçları ve iş akışları tarafından kullanılabilmesini sağlar.

• MLflow belgeleri - Modelleri.

Databricks, farklı ml modellerini eğitmeye yardımcı olacak özellikler sağlar.

• Mozaik AIkullanarak yapay zeka modellerini eğitin.

Deneme izleme

Databricks, model geliştirirken çalışmanızı izlemek için kuruluş birimleri olarak MLflow denemelerini kullanır.

Deney takibi, makine öğrenmesi eğitimi ve aracı geliştirme sırasında parametreleri, ölçümleri, çıkartıları ve kod sürümlerini günlüğe kaydetmenize ve yönetmenize olanak tanır. Günlükleri denemeler ve çalıştırmalar halinde düzenlemek modelleri karşılaştırmanıza, performansı analiz etmenizi ve daha kolay yinelemenizi sağlar.

• Databricks kullanarak deney takibi.
• çalıştırmaları ve deney takibihakkında genel bilgi için MLflow belgelerine bakın.

Unity Katalog ile Model Kayıt Defteri

MLflow Model Kayıt Defteri, model dağıtım işlemini yönetmek için merkezi bir model deposu, kullanıcı arabirimi ve API kümesidir.

Databricks, modellere merkezi idare sağlamak için Model Kayıt Defteri'ni Unity Kataloğu ile tümleştirir. Unity Kataloğu tümleştirmesi, çalışma alanlarındaki modellere erişmenizi, model kökenini izlemenizi ve modelleri yeniden kullanmak üzere keşfetmenizi sağlar.

• Databricks Unity Kataloğukullanarak modelleri yönetme.
• Model Kayıt Defterihakkında genel bilgi için MLflow belgelerine bakın.

Model Hizmeti

Databricks Model Sunma, MLflow Model Kayıt Defteri ile sıkı bir şekilde tümleşiktir ve yapay zeka modellerini dağıtmak, yönetmek ve sorgulamak için birleşik, ölçeklenebilir bir arabirim sağlar. Hizmet ettiğiniz her model, web veya istemci uygulamalarıyla tümleştirebileceğiniz bir REST API olarak kullanılabilir.

Bunlar ayrı bileşenler olsa da Model Sunma, model sürümü oluşturma, bağımlılık yönetimi, doğrulama ve idareyi işlemek için MLflow Model Kayıt Defteri'ni yoğun bir şekilde kullanır.

• Databricks kullanarak Model Sunma.

Yapay zeka aracısı geliştirme ve değerlendirme

Yapay zeka aracısı geliştirme için Databricks, ML modeli geliştirmeye benzer şekilde MLflow ile tümleşir. Ancak, birkaç önemli fark vardır:

• Databricks'te yapay zeka ajanları oluşturmak için, aracı kodunu, performans ölçümlerini ve ajan izlemelerini izlemek amacıyla MLflow'ya dayanan Mosaic AI Agent Frameworkkullanın.
• Databricks'te aracıları değerlendirmek için, değerlendirme sonuçlarını izleyen MLflow'a dayanan Mosaic AI Agent Evaluation'ı kullanın.
• Aracılar için MLflow takibi ayrıca MLflow İzleme içerir. MLflow İzleme aracınızın hizmetlerinin yürütülmesiyle ilgili ayrıntılı bilgileri görmenizi sağlar. İzleme, bir isteğin her ara adımıyla ilişkili girişleri, çıkışları ve meta verileri kaydederek aracılarda beklenmeyen davranışın kaynağını hızlı bir şekilde bulmanızı sağlar.

Aşağıdaki diyagramda Databricks'in yapay zeka aracıları oluşturmak ve dağıtmak için MLflow ile tümleştirmesi gösterilmektedir.

Databricks tarafından yönetilen MLflow, tüm verilerinizi ve yapay zeka varlıklarınızı yapay zeka uygulaması yaşam döngüsünde birleştirmek için Unity Kataloğu ve Cloud Data Lake üzerine kurulmuştur:

1. Vector & özellik deposu: Databricks otomatik vektör ve özellik aramaları tümleştirmeyi basitleştirir ve hataları azaltır.
2. Yapay zeka aracıları oluşturma ve değerlendirme: Mozaik Yapay Zeka Aracısı Çerçevesi ve Aracı Değerlendirmesi aracılar oluşturmanıza ve bunların çıktılarını değerlendirmenize yardımcı olur.
3. İzleme & izleme: MLflow izleme, gelişmiş üretken yapay zeka gözlemlenebilirliği için ayrıntılı aracı yürütme bilgilerini yakalar.
4. Model Kayıt Defteri: Unity Kataloğu ile tümleştirilmiş MLflow Model Kayıt Defteri, yapay zeka modellerini ve yapıtlarını merkezileştirir.
5. Model Sunumu: Mosaic AI Model Hizmeti, modelleri bir REST API uç noktasına sunar.
6. İzleme: MLflow, modelleri izlemek ve hatalarını ayıklamak için istekleri ve yanıtları otomatik olarak yakalar.

Açık kaynak ve Databricks tarafından yönetilen MLflow özellikleri karşılaştırması

Açık kaynak ve Databricks tarafından yönetilen sürümler arasında paylaşılan genel MLflow kavramları, API'leri ve özellikleri içinMLflow belgelerine bakın. Databricks tarafından yönetilen MLflow'a özel özellikler için Databricks belgelerine bakın.

Aşağıdaki tabloda, açık kaynak MLflow ile Databricks tarafından yönetilen MLflow arasındaki temel farklar vurgulanır ve daha fazla bilgi edinmenize yardımcı olacak belge bağlantıları sağlanır: