Azure'da yapay zeka iş yükü işlemleri

Yapay zeka iş yüklerinizi derleyip üretime geçirdiğinizde, operasyon ekiplerinizin diğer tüm üretim iş yükleri gibi bu iş yüklerini destekleyecek şekilde tam donanıma sahip olması önemlidir. Operasyon ekipleriniz yapay zeka teknolojileri konusunda sınırlı deneyime sahip olabileceğinden, bu teknolojileri eğitmek ve yapay zeka iş yüklerini sürecin başlarında iş akışlarıyla tümleştirmek çok önemlidir. Her ekibin süreçlerinin karşılıklı olarak anlaşılmasını sağlamak için yapay zeka iş yükünün geliştirilmesinin erken aşamalarında operasyon ve veri ekiplerini bir araya getirin. Her iki ekibin de yapay zeka iş yükünü etkili bir şekilde desteklemek için yakından çalışması gerektiğinden bu erken işbirliği çok önemlidir. Veri ekipleri, güvenilir sistem durumu sinyalleri ve eyleme dönüştürülebilir uyarılar sağlamak için operasyon ekiplerine bağlıdır. operasyon ekipleri, olası sorunları tanılamaya ve gerçek sorunları operasyonel standartlara göre çözmeye yardımcı olmak için veri ekiplerine bağımlıdır. Bu ortaklık, sorunsuz ve verimli bir sistem performansı sağlamaya yardımcı olur.

Bu kılavuz, yapay zeka iş yüklerine yönelik desteği geliştirmeye yönelik operasyonel mekanizmalar ve uygulamalar geliştirmeye yönelik öneriler sağlar. Operasyonlar ve veri ekipleri arasındaki verimli işbirliğini vurgular.

Öneriler

Bu makalede sağlanan önerilerin özeti aşağıda verilmiştir.

Gözlemlenebilirlik platformunu genişletme

Operasyonel mükemmelliğe ulaşmak için sağlam gözlemlenebilirlik gereklidir. Kuruluşunuz yapay zeka teknolojilerini benimsediğinde, iş yükü durumunun kapsamlı bir şekilde izlenmesine yardımcı olmak için gözlemlenebilirlik platformunuzu geliştirmeniz çok önemlidir. Yapay zekaya yeni yeni eklenen kuruluşlar operasyon ekibinde büyük veri, veri bilimi ve DataOps uzmanlığından yoksun olabilir. Bu nedenle, operasyonel en iyi yöntemler hakkında eğitim, gözlemlenebilirlik platformunuzu geliştirmek için önemli bir ilk adımdır. Bu nedenle operasyonlar ve veri ekipleri, yakalamak ve analiz etmek için doğru izleme modlarını ve ölçümleri belirlemek için işbirliği yapmalıdır.

Modelin durumunu değerlendirmek için, modelin belirli kalite ölçümlerine kapsamlı bir genel bakış gerekir. Kalite ölçümleri genellikle model güncelliği, çıkış doğruluğu ve yanıt gecikme süresi gibi ölçümleri içerir. Ancak, iş yükünüzün kalitesini tanımlayan belirli ölçümleri oluşturmak için veri bilimciler ve mühendislerle işbirliği yapmalısınız. Yapay zeka iş yüklerinin belirsiz doğası, kalitenin dikkatli izlenmesini özellikle önemli hale getirir çünkü bu ölçümler dağıtımdan sonra herhangi bir zamanda beklenmedik bir şekilde değişebilir. Gözlemlenebilirlik önerileri şunlardır:

• Kalite ölçümlerini belirlemek için veri bilimciler ve mühendislerle birlikte çalışın.

• İş yükünün genel durumunu değerlendirmek için panolar oluşturun veya genişletin. Bu yaklaşım, bileşen kullanılabilirliği ölçümlerini ve kalite ölçümlerini içermelidir.

• operasyon ekiplerinin anlayabileceği ve üzerinde işlem gerçekleştirebileceği iyi tasarlanmış kullanılabilirlik ve kalite uyarıları uygulayın.

• Olası arızaları araştırmak ve düzeltmek için veri ekipleriyle çalışma gibi operasyon ekiplerinin kalite uyarılarına nasıl yanıt verdiğini tanımlayan standart işletim yordamlarını koordine edin.

• Yapay zeka iş yüklerini çalıştırmak maliyet açısından yoğun olabileceği için kullanım ölçümlerine çok dikkat edin. İş yükü ekibi kullanımda olmayan kaynakları kapatmaz, ölçeği azaltmaz veya serbest bırakmazsa maliyetler hızla büyüyebilir. İşlemler, kullanımı izleyerek maliyetlerin beklenen parametreler içinde kalmasını sağlamaya yardımcı olabilir.

Yapay zeka iş yükü bileşenlerini güvenli dağıtım uygulamalarınıza dahil edin

Yapay zeka iş yükleri genellikle hassas bilgiler içeren üretim verilerine bağlıdır. Bu nedenle, bu iş yükleri etrafında en yüksek güvenlik düzeyini korumak önemlidir. Verilerinizi korumaya yardımcı olmak için güvenli dağıtım uygulamalarınızı iş yükünüzün yapay zeka bileşenleriyle ilgili tüm kodları içerecek şekilde genişletin. İş yükünüz için sıfır kapalı kalma süresi gereksinimleriniz varsa yapay zeka bileşenleri için dağıtım yaklaşımınızı uygun şekilde tasarlayın.

• Uç noktaları çıkarım için, dağıtım modelinize bağlı olarak trafik yansıtmalı veya trafik yansıtmasız mavi-yeşil veya kanarya dağıtımları kullanın.

• Dizin sunma için, trafiği kesmek için diğer ad güncelleştirmeleriyle yan yana dağıtım modeli kullanın.

• Düzenleme kodu için özellik bayraklarını veya mavi-yeşil dağıtımları kullanın.

Uygulamanıza, veri platformunuza ve belirli ağ topolojisine bağlı olarak Azure Uygulaması lication Gateway veya Azure Front Door gibi bir ağ geçidi çözümü kullanmanız gerekebilir.

Araçlar

Azure Machine Learning, yerleşik trafik bölme ile yerel olarak mavi-yeşil dağıtımları destekler.

Yeni bir çözüm üretmek için zaman kaybetmenize gerek yok

Çevrimiçi çıkarım uç noktaları temelde mikro hizmetler olduğundan, iş akışında belirli bir işleve hizmet eden kendi verileri ve kodlarıyla tamamen bağımsız iş yükü bileşenleri olarak çalışırlar. Bu nedenle, çevrimiçi çıkarım uç noktalarını kendi yaşam döngüleri olan diğer kritik mikro hizmetler gibi değerlendirin. Çevrimiçi çıkarım uç noktalarını tek tek güncelleştirebilirsiniz. Ancak, daha büyük bir iş yükündeki diğer mikro hizmetler gibi bunların da sorunsuz bir şekilde birlikte çalışması gerekir. Bu nedenle, güncelleştirmeleri dağıtırken tümleştirme testlerine öncelik vermelisiniz. Dağıtımlarınızın model sunma ve düzenleyici gibi diğer hizmetleri olumsuz etkilemediğinden emin olun. Alternatif olarak, toplu çıkarım uç noktaları genellikle iş işleme işlemiyle yakından ilişkilendirilir ve veri işlem hattına dahil edilir. Bu gibi durumlarda, bunları mikro hizmetler yerine daha büyük bir çözümün parçası olarak değerlendirin.

Üretimde test desteği

operasyon ekipleri büyük olasılıkla yapay zeka iş yükü testi tasarlamaz veya gerçekleştirmez. Ancak üretimde test yapılması gerektiğinden izleme, uyarı ve araştırma yoluyla yapay zeka iş yükü testlerini desteklemesi gerekir. Yapay zekanın belirsiz yapısı nedeniyle, iş yükünün zaman içinde beklendiği gibi çalıştığından emin olmak için üretimde test yapılması gerekir. Operasyon ekibi, anormal test sonuçlarını verimli bir şekilde ve operasyonel standartlara göre yakalamak ve tanılamak için iş yükü ekibiyle yakın işbirliği yapmalıdır. operasyonların testi destekleyeebilmesini ve iş yükü ekiplerinin test gerçekleştirebilmesini sağlamak için her iki ekibin de birlikte çalışmak için kendi süreçlerine uygun olması gerekir. Üretim dışı ortamlardaki test etkinlikleri hakkında eğitim, ekibin operasyon sırasını tanımaya yardımcı olur.

Mümkün olduğunda operasyonel uygulamaları otomatikleştirme

İzleme, uyarı ve test süreçleri dahil olmak üzere iş yüküyle ilgili tüm operasyonel uygulamaları otomatikleştirin. Otomasyon, işlemleri yinelenebilir, verimli ve tutarlı tutmaya yönelik birincil bir stratejidir. Otomasyon stratejilerinizi tasarlarken, model tutarsızlıklarını ve diğer kalite sinyallerini doğru tanılama gibi etkinlikler için insan gözetimi gerektirebilir. Bu özellikle ilk sürümler için geçerlidir. Modelin bakımıyla ilgili süreçler operasyon ekipleri için yenidir, bu nedenle kalite sinyallerine yanlış yanıt verme riski bu aşamada daha yüksektir. İş yükünüz büyüdükçe, iyi tasarlanmış kalite geçitleriyle hatalı alarmları belirlemek için otomasyonu kullanabilirsiniz, ancak bu noktaya gitmek uzun ve karmaşık bir süreç olabilir.

Mümkün olduğunda, mevcut otomasyon araçlarını kullanarak yapay zeka iş yükünüz için yeni otomasyon görevleri gerçekleştirin. Örneğin, Zaten Azure Pipelines veya GitHub İş Akışları kullanıyorsanız, bunları ayrı bir araç kullanmak yerine düzenleme kodu dağıtmak için kullanmaya devam edin. Ancak, yalnızca bir otomasyon aracı kullanmak için aşırı mühendislik kullanmaktan kaçının. Belirli görevler veya işler seçtiğiniz araç için uygun değilse, gereksiz karmaşıklık katan özel bir çözüm oluşturmak yerine daha uygun bir araç seçin.

DevOps uygulamalarını benimseme

İş yükü geliştirme sürecinizin başlarında geliştirme süreçlerinizde DevOps uygulamalarının kullanımını standartlaştırın. Korumalı alan ortamlarının yanı sıra tüm ortamlar için, geliştirme yaşam döngüsünün tamamını kesin olarak tanımlanmış ve zorunlu standartlar yönetmelidir. El ile dağıtım etkinliklerini kesinlikle yasaklayarak bu standartları uygulayın. İster güncelleştirmeler, düzeltme ekleri ister yeni kaynak dağıtımları olsun tüm dağıtımlar, güvenli dağıtım uygulamalarına uygun bir sürekli tümleştirme ve sürekli dağıtım işlem hattı aracılığıyla yapılmalıdır. İyi DevOps hijyen uygulamaları şunları içermelidir:

• Sürüm denetimi: Tüm kod varlıkları için sürüm denetimini mümkün olduğunca kullanın. Sürüm denetimi, DevOps ve iyi değişiklik yönetimi uygulamalarının köşe taşıdır ve sorunsuz işbirliği için çok önemlidir. SDK'lar ve kapsayıcı görüntüleri de dahil olmak üzere kitaplık paketlerine sürüm denetimi uygulayın. Yazılım geliştirme yaşam döngüsü (SDLC) genelinde kitaplık paketlerinin belirli bir sürümünü kullanırken tutarlı olun. Çeşitli geliştirme ortamlarındaki XGBoost veya scikit-learn gibi farklı kitaplık sürümleri, iş yükünüzün davranışında çeşitlemelere neden olabilir. Model sürümü oluşturma için de aynı durum geçerlidir. Modelin bir sürümünü üretim öncesi ortamda test etmemesi ve üretim ortamında farklı bir sürüm yayınlamaması için model sürümlerinin SDLC genelinde tutarlı olduğundan emin olun.

• Basit sürüm adlandırma düzeni: Belirli bir varlığın her zaman en son onaylanan sürümünü kullandığınızdan emin olmak için basit bir sürüm adlandırma düzeni kullanın. Yapay zekaya özgü varlıklar şunları içerebilir:

  • Not defteri kodu.
  • Orchestrator kodu.
  • Veri işleme iş kodu.
  • Machine Learning iş kodu.
  • Model.

• Kullanıma hazır hale getirebileceğiniz araçlar: Bazı araçlar denemeler için mükemmeldir, ancak kullanıma hazır hale getirme için tasarlanmamıştır. Bu sınırlama, bunları operasyonel otomasyonunuzla tümleştirmeyi zorlaştırabilir veya imkansız hale getirir. Örneğin, not defterleri deneme ve keşif veri analizi çalışmaları için iyi bir araçtır, ancak üretim işlem hattı geliştirme çalışmaları için iyi bir araç değildir. Denemenizi tamamladığınızda, mantığı bu araçlardan çıkarın ve iş kodunuz için kullanabileceğiniz bir Python paketine yerleştirin.

İyi belge uygulamalarını benimseme

İyi belge alışkanlıkları her tür iş yükü için önemlidir. Yapay zeka iş yüklerinin karmaşıklığı bu alışkanlıkları daha da önemli hale getirir. belgelerin güvenli bir şekilde depolandığı ve sürümün denetlendiği iş yükü ekibinize özgü bir deponuz olduğundan emin olun. Diğer iş yüklerinde olduğu gibi standart bilgileri de belgelemelisiniz. Bu standart bilgiler iş yükünde, güvenlik yapılandırmalarında, ağ tasarımlarında ve kurulum kılavuzlarında kullanılan tüm araçları içerir. Aşağıdaki yapay zekaya özgü iş yükü bilgilerini belgelemeniz önerilir:

• Model eğitimi ve temel veri dizini yönetim bilgileri: Modeli eğitmeyi ve topraklama verilerini işlemeyi kurmak için veri kaynaklarını, veri kaynaklarının sahibini, yenileme sıklığını ve yanlılık ortadan kaldırma işlemlerini belgeleyin.

• Eğitim sürecinin geçmişi: Belirli hiper parametreleri, sıcaklıkları, ağırlıkları ve diğer parametreleri neden seçtiğinizi belgeleyerek geçerli onaylanan yapılandırmaya nasıl ulaştığınızı ayrıntılarıyla anlatın. Test ettiğiniz diğer yapılandırmaları ve eğitim sürecinde gözlemlediğiniz davranış değişikliklerini ekleyin. Bu bilgiler başarısız veya verimsiz yapılandırmaların tekrarlanmasını önlemeye yardımcı olur.

• Özellik deposu bilgileri: Hangi özelliklerin en iyi tahmine dayalı güce sahip olduğunu ve bu belirlemeyi nasıl yaptığınıza ilişkin belge.

• Veri bilimcisi iş istasyonu yapılandırması: Veri bilimcileri için ekleme sürecini kolaylaştırmak için iş istasyonu yapılandırmalarını ayrıntılı bir şekilde belgeleyin. Conda ortamlarını kullanmak için gereken kitaplıkları ve bağımlılıkları belirtin.

• Veri dönüştürme bilgileri: Veri dönüştürme gerçekleştiğinde sürecin başından sonuna kadar belgeleyin. Verilerin alım sırasında nasıl göründüğünü ve dönüştürmeden sonra nasıl sunulduğunu belgeleme.

Araçlar

MLFlow ve Machine Learning aracılığıyla otomatik yapılandırma ve geçmiş yakalamadan yararlanın.

Sonraki adımlar