Azure'da yapay zeka iş yükleri için tasarım ilkeleri
Bu makalede, mimarinin yapay zeka özelliklerine odaklanarak Azure'da yapay zeka iş yüklerine yönelik temel ilkeler özetlenmektedir. Tüm Azure Well-Architected Framework yapılarını, dezavantajları da dahil olmak üzere toplu olarak göz önünde bulundurmak önemlidir. Her sütunu iş yükünün işlevsel ve işlevsiz gereksinimlerine uygulayın.
Güvenilirlik
Azure'da çalışan yapay zeka iş yükleri, diğer iş yükü sınıflarıyla aynı güvenilirlik gereksinimlerinin çoğunu dikkate almalıdır. Model eğitimi, barındırma ve çıkarım için dikkat edilmesi gereken belirli noktalar özellikle önemlidir ve öncelikli olarak bu ilkede ele alınmalıdır. Burada açıklanan uygulamalar, bulut uygulamaları için standart tasarım en iyi yöntemlerine ek olarak ve buna göre entegre edilmelidir.
Burada açıklanan kavramları temel olarak anlamak için
| Tasarım ilkesi | Dikkat edilmesi gereken noktalar |
|---|---|
| Tek hata noktalarını azaltma. | Kritik bileşenler için tek bir örneğe güvenmek önemli sorunlara yol açabilir. Sorunları önlemek için tüm kritik bileşenlerde yedeklilik oluşturun. Yerleşik hataya dayanıklılık ve yüksek kullanılabilirlik özelliklerine sahip platformlar kullanın. Yedekleme uygulamak için birden çok örnek veya düğüm dağıtın. |
| Hata modu analizi gerçekleştirin. İyi bilinen tasarım desenlerinden yararlanın. |
Sistem bileşenlerinizdeki olası hata modlarını düzenli olarak analiz edin ve bu hatalara karşı dayanıklılık oluşturun. Sisteminizin bölümlerini yalıtmak ve basamaklı hataları önlemek için iyi bilinen tasarım desenlerini kullanın. Örneğin, Bulkhead Deseni hataları yalıtmada yardımcı olabilir. Yeniden deneme mekanizmaları ve devre kesiciler, istek sınırlandırılması gibi geçici hataları işleyebilir. |
| Bağımlı bileşenler arasında güvenilirlik hedeflerini dengeleyin. | Çıkarım uç noktasının veya modelinin ve veri deposunun güvenilirlik açısından uyumlu olduğundan emin olun. Uygulama bileşenlerinin eşzamanlı kullanıcılardaki artış gibi beklenmeyen koşullar altında bile kullanılabilir durumda kalması gerekir. İş yükü, hata durumunda yedekleme sistemlerine yük devretme özelliğine de sahip olmalıdır. Bir bileşen başarısız olursa, diğerinin güvenilirliğini etkiler. Benzer şekilde hizmet katmanı API'leri kritik üretim kaynakları olduğundan, diğer yüksek kritikliğe sahip iş yükü akışlarıyla aynı güvenilirlik standartlarına uymaları gerekir. Bu API'ler yüksek kullanılabilirlik gerektiriyorsa, sürekli çalışma ve dayanıklılık sağlamak için barındırma platformunun kullanılabilirlik alanlarını veya çoklu bölge tasarımını desteklemesi gerekir. |
| Operasyonel güvenilirlik için tasarım. | Güncelleştirmelerin sık ve zamanında olduğundan emin olarak model yanıtlarının güvenilirliğini koruyun. Son verileri mi kullanacağınıza yoksa biraz daha eski verilerin mi yeterli olduğuna karar verin. up-totarih bilgisi gereksinimini güncelleştirme sıklığının pratikliğiyle dengeleyin. Sıklık ve güvenilirlik gereksinimleri nedeniyle çevrimiçi eğitimi otomatikleştirin. Maliyet-fayda analizi yaparak çevrimdışı eğitimi gerekçelendirin ve daha ucuz kaynaklar kullanarak gerçekleştirin. |
| Güvenilir bir kullanıcı deneyimi için tasarım. | İş yükünüzün stresi nasıl işlediğini değerlendirmek ve yanıt süreleriyle ilgili kullanıcı beklentilerini yönetmek için kullanıcı arabiriminizi tasarlamak için yük testini kullanın. Kullanıcıları olası bekleme süreleri konusunda bilgilendiren ve zaman uyumsuz bulut tasarımı ilkelerini benimseyen kullanıcı arabirimi öğelerini uygulayarak aralıklı olarak, gecikme süresiyle veya hatalarla ilgilenin. |
Güvenlik
Modeller genellikle hassas üretim verilerini ilgili sonuçlar üretmek için kullanır. Bu nedenle, mimarinin tüm katmanlarında güçlü güvenlik önlemleri kullanmanız gerekir. Yaşam döngüsünün başlarında güvenli uygulama tasarımı uygulayın, hem bekleyen hem de aktarımdaki verileri şifreleyin ve sektör uyumluluk standartlarına uyun. Güvenlik açıklarını tanımlamak ve azaltmak için düzenli güvenlik değerlendirmeleri çok önemlidir. Gelişmiş tehdit algılama mekanizmaları, olası tehditlere hızlı yanıtlar sağlar.
Güvenlik ilkeleri veri bütünlüğünü, tasarım bütünlüğünü ve kullanıcı gizliliğini korumaya yönelik yapay zeka çözümleri için temeldir. bir iş yükü sahibi olarak, güvenli bir kullanıcı deneyimi sağlamak için güven oluşturmak ve hassas bilgileri korumak sizin sorumluluğundadır.
| Tasarım ilkesi | Dikkat edilmesi gereken noktalar |
|---|---|
| Kullanıcı güveni kazanın. | Özel kod, uygun araçlar ve etkili güvenlik denetimleri kullanarak yaşam döngüsünün her aşamasında içerik güvenliğini tümleştirin. Toplanan veri depoları, arama dizinleri, önbellekler ve uygulamalar gibi tüm veri depolama noktalarında gereksiz kişisel ve gizli bilgileri kaldırın. Mimari boyunca bu güvenlik düzeyini tutarlı bir şekilde koruyun. Kapsamlı içerik denetlemenin verileri her iki yönde de denetlediğinden ve uygunsuz ve rahatsız edici içeriği filtrelediğinden emin olun. |
| bekleyen, aktarımdaki ve kullanımdaki verileri iş yükünün duyarlılık gereksinimlerine göre koruyun. | En azından, mimaride kullanılan tüm veri depolarında Microsoft tarafından yönetilen veya müşteri tarafından yönetilen anahtarlarla platform düzeyinde şifreleme kullanın. Daha yüksek şifreleme düzeylerine ihtiyacınız olan yerleri değerlendirin ve gerekirse çift şifreleme kullanın. Tüm trafiğin şifreleme için HTTPS kullandığına emin olun. Her atlamadaki TLS sonlandırma noktalarına karar verin. Saldırganların eğitim sırasında kullanılan hassas bilgileri ayıklamasını önlemek için modelin kendisi korunmalıdır. Bu koruma için en yüksek düzeyde güvenlik önlemleri gerekir. Şifrelenmiş verilerde çıkarıma izin veren homomorfik şifrelemeyi kullanmayı göz önünde bulundurun. |
| Sisteme erişen kimlikleri (kullanıcı ve sistem) korumak için güçlü erişim yönetimine yatırım yapın. | Hem denetim hem de veri düzlemleri için rol tabanlı erişim denetimi veya öznitelik tabanlı erişim denetimi uygulayın. Gizliliği korumak için doğru kimlik segmentasyonu sağlayın. yalnızca görüntüleme yetkisine sahip oldukları içeriğe erişim izni verir. |
| Segmentasyon aracılığıyla tasarımın bütünlüğünü koruyun. | Kapsayıcı görüntüleri, verileri ve kod varlıkları için merkezi depolara erişim için özel ağ sağlayın. Altyapı paylaşımı diğer iş yükleri ile bölümlendirme oluşturduğunda, örneğin çıkarım sunucunuz Azure Kubernetes Hizmetinde barındırıldığında, düğüm havuzunu diğer API'lerden veya herhangi diğer iş yüklerinden bağımsız hale getirin. |
| Güvenlik testi gerçekleştirin. | Sistemde her değişiklik olduğunda etik olmayan davranışları algılamaya yönelik testler içeren ayrıntılı bir test planı geliştirin. Yapay zeka bileşenlerini mevcut güvenlik testlerinizle tümleştirin. Örneğin, çıkarım uç noktasını diğer genel uç noktaların yanı sıra rutin testlerinize dahil edin. Olası güvenlik açıklarını etkili bir şekilde belirlemek ve ele almak için sızma testi veya kırmızı ekip alıştırmaları gibi canlı sistemde testler yapmayı göz önünde bulundurun. |
| Katı kullanıcı erişimi ve API tasarımını zorunlu kılarak saldırı yüzeyini azaltın. | Sistemden sisteme çağrılar da dahil olmak üzere tüm çıkarım uç noktaları için kimlik doğrulaması gerektir. Anonim uç noktalardan kaçının. İstemci tarafı esnekliği karşılığında kısıtlanmış API tasarımını tercih edin. |
Tradeoff. Şifrelenmiş verileri analiz etme, inceleme veya günlüğe kaydetme yeteneği sınırlı olduğundan, en yüksek güvenlik sağlamanın maliyet ve doğrulukta dezavantajları vardır. İçerik güvenliği denetimleri ve açıklanabilirlik elde etmek, yüksek oranda güvenli ortamlarda da zor olabilir.
Aşağıdaki tasarım alanları, önceki ilkeler ve dikkat edilmesi gerekenler hakkında ayrıntılı bilgi sağlar:
Maliyet İyileştirmesi
Maliyet İyileştirme sütunu, yatırımı azami düzeye çıkarmayı amaçlar, ancak maliyetleri düşürmeyi zorunlu kılmaz. Her mimari seçimi hem doğrudan hem de dolaylı finansal etkiler taşır. Derleme ve satın alma kararları, teknoloji seçimleri, faturalama modelleri, lisanslama, eğitim ve operasyonel giderler gibi çeşitli seçeneklere bağlı maliyetleri anlayın. Seçilen katmanda yatırımınızı en üst düzeye çıkarın ve faturalama modellerini sürekli olarak yeniden değerlendirin. Mimari, iş ihtiyaçları, süreçler ve ekip yapısındaki değişikliklerle ilişkili maliyetleri sürekli değerlendirin.
Fiyat ve kullanım iyileştirmesine odaklanarak
| Tasarım ilkesi | Dikkat edilmesi gereken noktalar |
|---|---|
| Kapsamlı bir maliyet modelleme alıştırması yaparak maliyet etmenlerini belirleyin. | Veri ve uygulama platformunun temel faktörlerini göz önünde bulundurun: - Veri hacmi. Dizine alıp işlenecek veri miktarını tahmin edin. Daha büyük hacimler depolama ve işleme maliyetlerini artırabilir. - Sorgu sayısı. Sorguların sıklığını ve karmaşıklığını tahmin edin. Daha yüksek sorgu birimleri, özellikle önemli hesaplama kaynaklarına ihtiyaç duyduklarında maliyetleri artırabilir. - Aktarım hızı. İhtiyacınız olan performans katmanını etkileyen beklenen aktarım hızını değerlendirin. Daha yüksek aktarım hızı talepleri daha yüksek maliyetlere yol açabilir. - Bağımlılık maliyetleri. Bağımlılıklarda gizli maliyetler olabilir. Örneğin, bir dizinin maliyetini hesaplarken, veri işlemenin bir parçası olan ancak dizin kapsamının dışında olan beceri kümesinin maliyetini ekleyin. |
| Kullanmak istediklerinizi ödeyin. | Gereksiz harcamalar yapmadan ihtiyaçlarınızı karşılayan bir teknoloji çözümü seçin. Gelişmiş özellikler gerekli değilse, daha ekonomik seçenekleri ve açık kaynak araçları göz önünde bulundurun. Kullanım sıklığını dikkate alır. Kullanım maliyetlerini en aza indirmek için düzenleme araçları için esnek işlem seçeneklerini tercih edin çünkü her zaman açık. Olası maliyet yükseltmesi nedeniyle tam zamanlı işlemler için sunucusuz işlemden kaçının. Tam kapasitelerini kullanmadan daha yüksek katmanlar için ödeme yapmayın. Harcamayı iyileştirmek için seçtiğiniz katmanın üretim kullanım desenlerinizle uyumlu olduğundan emin olun. Normal görevler için standart fiyatlandırmayı ve yüksek oranda kesintiye uğrayılabilir eğitim için spot fiyatlandırmayı kullanın. Maliyetleri azaltmak için yalnızca yapay zeka iş yükü işlevleri için GPU tabanlı işlem kullanın. Performansı ve maliyeti dengeleyen ideal ürün sürümünü bulmak için eğitiminizi ve ince ayarlarınızı kapsamlı bir şekilde test edin ve kıyaslayın. |
| Ne kadar ödediğinizi kullanın. İsrafı en aza indirin. | Kullanım ölçümlerini yakından izleyin. Yapay zeka iş yükleri pahalı olabilir ve kaynaklar kapatılmadığında, ölçeklendirilmediğinde veya kullanımda olmadığında serbest bırakılmadığında maliyetler hızla yükseltilebilir. Sistemi bir kez yazma için iyileştirin, veri depolamada fazla harcamayı önlemek için çok sayıda okuyun. Eğitim verilerinin üretim veritabanının anlık yanıt verme hızına ihtiyacı yoktur. Azure OpenAI Hizmeti çıkarım uç noktasının stres testi, her çağrı için ücretlendirildiği için pahalı olabilir. Maliyetleri azaltmak için test ortamında kullanılmayan Azure OpenAI PTU'larını kullanın veya çıkarım uç noktasının benzetimini yapın. Keşif veri analizi (EDA), model eğitimi ve ince ayar gibi etkinlikler genellikle tam zamanlı olarak çalıştırılmaz. Kullanılmadığında durdurabileceğiniz bir platform tercih edin. Örneğin, EDA işleri genellikle etkileşimlidir, bu nedenle kullanıcıların vm'leri başlatabilmeleri ve işleri çalıştırırken durdurabilmeleri gerekir. Operasyon ekiplerinde maliyet sorumluluklarını ayarlayın. Kaynak kullanımını etkin bir şekilde izleyerek ve yöneterek maliyetlerin beklenen parametreler içinde kalmasını sağlamalıdır. |
| operasyonel maliyetleri iyileştirin. | Çevrimiçi eğitim, sık kullanılan doğası nedeniyle pahalıya mal olabilir. Bu işlemin otomatikleştirilmesi tutarlılığın korunmasına yardımcı olur ve insan hatalarından kaynaklanan maliyetleri en aza indirir. Model doğruluğunu önemli ölçüde etkilemeden giderleri daha da azaltmak için mümkün olduğunda güncelleştirmeleri eğitmek ve geciktirmek için biraz daha eski verileri kullanın. Çevrimdışı eğitim için çevrimdışı donanım gibi daha ucuz kaynaklar kullanıp kullanamadığını değerlendirin. Genel olarak, özelliklerin dağınıklık ve depolama maliyetlerini azaltmak için özellik depolarından verileri silin. |
Operasyonel Mükemmellik
Operasyonel üstün başarının birincil hedefi, geliştirme yaşam döngüsü boyunca yetenekleri verimli bir şekilde sunmaktır. Model performansını geliştirmek için denemelerin tasarım metodolojisini destekleyen ve sonuç veren tekrarlanabilir süreçler oluşturmanız gerekir. Operasyonel mükemmellik ayrıca zaman içinde modellerin sürekli doğruluğunu gözlemlemek, riskleri en aza indirmek için etkili izleme uygulamaları ve idare uygulamak ve model kaymalarına uyum sağlamak için değişiklik yönetimi süreçleri geliştirmektir.
Tüm Operasyonel Mükemmellik ilkeleri yapay zeka iş yükleri için geçerli olsa da, temel operasyonel stratejileriniz olarak otomasyon ve izleme önceliklerini belirleyin.
| Tasarım ilkesi | Dikkat edilmesi gereken noktalar |
|---|---|
| Uygulama geliştirme, veri işleme ve yapay zeka modeli yönetimi yaşam döngüleri boyunca sürekli öğrenme ve deneme zihniyetini geliştirin. | İş yükü işlemleri DevOps, DataOps, MLOps ve GenAIOps gibi endüstride kanıtlanmış yöntemlere dayalı olmalıdır. İşlemler, uygulama geliştirme ve veri ekipleri arasındaki erken işbirliği, kabul edilebilir model performansı konusunda karşılıklı bir anlayış oluşturmak için gereklidir. operasyon ekipleri kalite sinyalleri ve eyleme dönüştürülebilir uyarılar sağlar. Uygulama ve veri ekipleri sorunları verimli bir şekilde tanılamaya ve çözmeye yardımcı olur. |
| Operasyonel yükü en aza indiren teknolojileri seçin. | Platform çözümlerini seçtiğinizde tasarımı basitleştirmek, iş akışı düzenlemeyi otomatikleştirmek ve 2. Gün işlemlerini kolaylaştırmak için şirket içinde barındırılan seçenekler yerine hizmet olarak platform (PaaS) tercih edin. |
| Uyarı işlevselliğini destekleyen ve günlüğe kaydetme ve denetlenebilirlik içeren otomatik bir izleme sistemi oluşturun. | Yapay zekanın belirsiz doğası nedeniyle kalite ölçümleri yaşam döngüsünün erken aşamalarında oluşturulması açısından önemlidir. Kalite ölçümlerini tanımlamak ve kapsamlı panolarda sürekli içgörüleri görselleştirmek için veri bilimciler ile birlikte çalışın. Kod sürümleri, ortamlar, parametreler, çalıştırmalar ve sonuçlar gibi ayrıntıları yakalayabilen araçlar aracılığıyla denemeleri izleyin. operatörlerin hızlı yanıt vermesi için yeterli bilgiyle eyleme dönüştürülebilir uyarılar uygulayın. |
| Model bozulmasını algılama ve azaltmayı otomatikleştirin. | Zaman içinde kaymayı değerlendirmek için otomatikleştirilmiş testleri kullanın. Yanıtlar beklenen sonuçlardan sapmaya başladığında ve bunu düzenli aralıklarla yapmaya başladığında izleme sisteminizin uyarı gönderdiğinden emin olun. Yeni modelleri otomatik olarak bulabilen ve güncelleştirebilen araçları kullanın. Veri işleme ve model eğitim mantığını gerektiği gibi ayarlayarak yeni kullanım örneklerine uyarlayın. |
| Güvenli dağıtımlar uygulayın. | Kapalı kalma süresini en aza indirmek için yan yana dağıtımlar veya yerinde güncelleştirmeler arasında seçim yapın. Modelin doğru yapılandırıldığından ve hedefleri, kullanıcı beklentilerini ve kalite standartlarını karşıladığından emin olmak için dağıtımdan önce kapsamlı testler uygulayın. Dağıtım stratejisinden bağımsız olarak her zaman acil durum operasyonları planlayın. |
| Üretimdeki kullanıcı deneyimini sürekli değerlendirin. | İş yükü kullanıcılarının deneyimleri hakkında geri bildirim sağlamalarına ve sorun giderme için ilişkili bir günlükte konuşmalarının bir bölümünü veya tamamını paylaşma izni almalarına olanak tanıyın. Bir kullanıcı etkileşiminin ne kadarının uygulanabilir, uyumlu, güvenli ve yakalamak için yararlı olduğunu göz önünde bulundurun. İş yükünüzün performansını gerçek kullanıcı etkileşimleriyle değerlendirmek için verileri özenle kullanın. |
Aşağıdaki tasarım alanları, önceki ilkeler ve dikkat edilmesi gerekenler hakkında ayrıntılı bilgi sağlar:
Performans Verimliliği
Yapay zeka modeli performans değerlendirmesinin amacı, bir modelin hedeflenen görevleri ne kadar etkili bir şekilde yerine getireceğini belirlemektir. Değerlendirme, doğruluk, hassasiyet ve eşitlik gibi çeşitli ölçümlerin değerlendirilmesini içerir. Modeli destekleyen platform ve uygulama bileşenlerinin performansı çok önemlidir.
Model performansı, deneme izleme ve veri işleme gibi işlemlerin verimliliğinden de etkilenir. Performansı kabul edilebilir bir kalite çubuğuna göre ölçmeye yardımcı olmak için Performans Verimliliği ilkeleri uygulayın. Bu, düşüşü veya bozulmayı algılamada kilit öneme sahiptir. Yapay zeka bileşenleri de dahil olmak üzere iş yükünü korumak için sürekli izleme ve değerlendirme için otomatik süreçler gereklidir.
| Tasarım ilkesi | Dikkat edilmesi gereken noktalar |
|---|---|
| Performans karşılaştırmaları oluşturun. | Farklı mimari alanlarda zorlu performans testleri yapın ve kabul edilebilir hedefler belirleyin. Bu devam eden değerlendirme, yalnızca tek seferlik bir test değil, operasyonel süreçlerinizin bir parçası olmalıdır. Karşılaştırma, tahmin performansı için geçerlidir. İlk model performansını anlamak için bir temelle başlayın ve beklentileri karşıladığından emin olmak için sürekli olarak yeniden değerlendirin. |
| Performans hedeflerini karşılamak için kaynak gereksinimlerini değerlendirin. | Doğru platformu ve doğru boyuttaki kaynakları seçmek için yük özelliklerini anlayın. Kapasite planlamasında uygun ölçekte çalışmak için bu verileri dikkate alın. Örneğin, en uygun işlem platformunu ve ürün sürümünü belirlemek için yük testini kullanın. Yüksek performanslı GPU için iyileştirilmiş işlem genellikle model eğitimi ve ince ayar için gereklidir. Genel amaçlı ürün sürümleri düzenleme araçları için uygundur. Benzer şekilde, veri alımını verimli bir şekilde işleyen, eşzamanlı yazma işlemlerini yöneten ve ayrı ayrı yazma performansını bozulmadan koruyan bir veri platformu seçin. Farklı çıkarım sunucuları, çalışma zamanında model performansını etkileyen çeşitli performans özelliklerine sahiptir. Temel beklentileri karşılayan bir sunucu seçin. |
| Performans ölçümlerini toplayın ve analiz edin ve performans sorunlarını belirleyin. |
Aktarım hızı ve okuma/yazma işlemleri için performans hedeflerinin karşılandığından emin olmak için veri işlem hattından telemetriyi değerlendirin. Arama dizini için sorgu gecikme süresi, aktarım hızı ve sonuçların doğruluğu gibi ölçümleri göz önünde bulundurun. Veri hacmi arttıkça hata oranları artmamalıdır. Hizmet çağrılarından veri toplayan orchestrator gibi kod bileşenlerinden telemetriyi analiz edin. Yerel işleme ve ağ çağrıları için harcanan zamanı anlamanıza ve diğer bileşenlerde olası gecikme süresini belirlemenize yardımcı olması için bu verileri analiz edin. Kullanıcı etkileşimi ölçümlerini kullanarak kullanıcı arabirimi deneyimini değerlendirerek kullanıcıların olumlu etkileşime mi yoksa hayal kırıklığına mı uğradığını belirleyin. Sayfadaki sürenin artması iki durumdan birini gösterebilir. Ses veya video yanıtları gibi çok modüllü özellikler önemli gecikme süresiyle karşılaşabilir ve bu da daha uzun yanıt sürelerine yol açar. |
| Üretimden alınan kalite ölçümlerini kullanarak karşılaştırma performansını sürekli geliştirin. | Model etkinliğini korumak için performans ölçümlerinin, uyarıların ve model yeniden eğitme işlemlerinin otomatik toplanması ve analizi gerekir. |
Aşağıdaki tasarım alanları, önceki ilkeler ve dikkat edilmesi gerekenler hakkında ayrıntılı bilgi sağlar: