Yapay zekayı yönetme – Yapay zekayı yönetme süreci
Bu makalede yapay zeka iş yüklerini yönetmeye yönelik kuruluş süreci özetlenmiştir. Geliştirme, dağıtım ve operasyonlardan yapay zeka iş yüklerini yönetmeye yönelik öneriler sağlar. Etkili yapay zeka yönetimi, dağıtım ve devam eden işlemler aracılığıyla geliştirmeden yapılandırılmış bir yaklaşım gerektirir. İşletmeler, yapay zekanın zaman içinde doğru ve güvenilir kalmasını sağlayarak veri ve model kayması gibi sorunları önlemek için standartlaştırılmış uygulamalara ve düzenli izlemelere ihtiyaç duyar.
Yapay zeka işlemlerini yönetme
Yapay zeka işlemlerinin yönetilmesi, yapay zeka yaşam döngüsü boyunca görünürlük ve tutarlılık sağlar. MLOps gibi operasyonel çerçeveleri benimseyerek, korumalı alan ortamları oluşturarak ve CI/CD işlem hatları oluşturarak geliştirme, test ve dağıtımı denetleyebilirsiniz.
Yapay zeka operasyonel çerçeveyi benimseyin. Geleneksel makine öğrenmesi iş akışları için MLOps (Makine öğrenmesi işlemleri) çerçeveleri ve üretken yapay zeka iş yükleri için GenAIOps uygulayın. Bu operasyonel çerçeveler, yapay zeka geliştirme için uçtan uca döngüyü düzenler. Her çerçeve iş yükü ekibinin yaklaşımını ve araçlarını etkiler. Daha fazla bilgi için MLOps ve GenAIOps'ye bakın.
Yapay zeka geliştirme araçlarını standartlaştırma. Sdk'ların ve API'lerin geliştirme ekiplerinde tutarlılık için kullanımını tanımlayın ve standartlaştırın. Yapay zeka iş yükleri için Azure SDK gibi araçlar, yapay zeka modellerini ölçeklendirmek ve bunları uygulamalarla tümleştirmek için iyileştirilmiş kitaplıklar ve API'ler sağlar. Üretken yapay zeka için yapay zeka platformunuzu ve Semantik Çekirdek, LangChain ve prompt Flow gibi düzenleyicileri standartlaştırabilirsiniz.
Yapay zeka denemesi için korumalı alan ortamı kullanın. Yapay zeka modeli denemeleri için korumalı alan ortamı kullanın. Geliştirme, test ve üretim ortamlarında tutarlılık sağlamak istiyorsunuz. Bu nedenle korumalı alan ortamı yapay zeka geliştirme yaşam döngüsündeki geliştirme, test ve üretim ortamlarından farklı olmalıdır. Geliştirme, test ve üretim ortamları arasında dağıtım ve idare modellerini değiştirirseniz, değişiklikler gizlenebilir ve hataya neden olabilir.
Dağıtım için sürekli tümleştirme ve sürekli teslim işlem hatları oluşturun. Veri işlem hatlarınızın lint ve statik analiz de dahil olmak üzere kod kalitesi denetimlerini kapsadığından emin olun. Veri işlem hatları, birim ve tümleştirme testlerinin yanı sıra deneme ve değerlendirme akışlarını da içermelidir. Son olarak, el ile yapılan onayların ardından sürümleri test ve üretim ortamlarına yükseltme gibi üretim dağıtım adımlarını ekleyin. Bir bileşendeki güncelleştirmelerin diğer bileşenleri etkilemediğinden emin olmak için modeller, istem akışları ve istemci kullanıcı arabirimi arasında ayrım yapın. Bağımsız yükseltme için her akışın kendi yaşam döngüsü olmalıdır.
Yapay zeka dağıtımlarını yönetme
Yapay zeka dağıtım yönetimi, yapay zeka kaynaklarını kimlerin dağıtabileceğini ve bu uç noktaları kimin yönetebileceğini tanımlamayla ilgilidir. Yapay zeka mükemmellik merkezi tarafından yönetilen yapılandırılmış bir yaklaşım, işletmelerin iş yükü ekiplerinin mi yoksa merkezi bir ekibin mi kaynakları yönetmesi gerektiğine karar vermesine ve geliştirme hızını idare gereksinimleriyle dengelemesine yardımcı olur. AI CoE, en iyi yaklaşımı belirleme çabasına öncülük etmelidir.
Daha hızlı geliştirme için yapay zeka kaynaklarının iş yükü ekip yönetimini kullanın. İş yükü ekipleri yapay zeka kaynaklarını yönetirken, idare ilkelerinizin sınırları içinde yapay zeka kaynaklarını dağıtıp yönetebilir. tüm iş yükü ortamlarında idareyi tutarlı bir şekilde zorlamak için Azure İlkesi kullanın. İş yükü ekiplerinin idare boşluklarını gidermek için izlemesi gereken yapay zeka ilkeleri oluşturun ve iletin. Örneğin, içerik filtresi ayarlarını zorunlu kılmak ve izin verilmeyen modellerin kullanılmasını önlemek için üretken yapay zeka ilkeleri oluşturun. Bu ilkeleri iş yükü ekipleri tarafından açıkça bilin ve düzenli olarak denetle.
Şekil 1. Yapay zeka kaynaklarının iş yükü ekibi yönetimi.Yapay zeka kaynaklarının paylaşılan yönetimini kullanarak yapay zeka idaresini artırın. Paylaşılan yapay zeka yönetimi yaklaşımında merkezi bir ekip tüm yapay zeka iş yükleri için yapay zeka kaynaklarını yönetir. Bu ekip temel yapay zeka kaynaklarını dağıtır ve tüm iş yükü ekiplerinin kullandığı güvenlik ve idareyi yapılandırıyor. Tek bir ekibin iş yükleriniz genelinde yapay zeka dağıtımlarını ve idaresini denetlemesini istiyorsanız bu yaklaşımı kullanın.
Şekil 2. Yapay zeka kaynaklarının merkezi yapay zeka ekip yönetimi.
Yapay zeka uç nokta paylaşımını yönetme
Yapay zeka uç noktalarının iş yükleri arasında paylaşılması yönetimi kolaylaştırabilir, ancak idare ve model gereksinimlerinin dikkatli bir şekilde dikkate alınmasını gerektirir. Farklı ihtiyaçlar arasında paylaşılan kullanım idareyi karmaşık hale getirebilir ve maliyetleri artırabİlene kadar işletmeler yalnızca tek bir iş yükündeki uç noktaları tutarlı gereksinimlerle paylaşmalıdır.
İdare ve model gereksinimleri farklılık gösterdiğinde yapay zeka uç noktalarını paylaşmaktan kaçının. Giriş ve çıkış idaresi gibi farklı içerik filtresi ayarları gerektiren iş yükleri bir uç noktayı paylaşmamalıdır. Ayrıca, farklı bir yapay zeka modeli iş yükü gereksinimlerini karşılamak için daha uygun maliyetli bir yol sağlayacaksa tek bir yapay zeka uç noktasını paylaşmayın.
Yapay zeka uç noktalarını yalnızca tek bir iş yükü içinde paylaşın. Bir iş yükü ekibinin aynı iş yükünün parçası olarak birden çok uygulaması olduğunda yapay zeka uç noktasının paylaşılması en iyi sonucu sağlar. Yapay zeka uç noktası paylaşımı en az yönetim yükü sağlar ve dağıtımı basitleştirir. Bu uygulamaların aynı idare gereksinimlerini ve yapay zeka modeli gereksinimlerini paylaşması gerekir. Uç noktaları paylaşma, hız sınırlarına ve kota sınırlamalarına ulaşmanıza neden olabilir. Çoğu Azure hizmeti abonelik başına sınırlara sahiptir. Abonelik içinde her bölgenin kota sınırları vardır.
Yapay zeka modellerini yönetme
Yapay zeka modeli yönetimi, zaman içinde performansı korumak için idare yapılarını ayarlamayı, sürekli izlemeyi ve yeniden eğitmeyi içerir. Bu süreç, işletmelerin modelleri etik standartlarla uyumlu hale getirmelerine, model performansını izlemelerine ve yapay zeka sistemlerinin etkili ve iş hedefleriyle uyumlu kalmasını sağlamaya yardımcı olur.
Yapay zeka gözetimi için bir idare yapısı oluşturun. Yapay zeka mükemmellik merkezi (AI CoE) oluşturun veya bir yapay zeka lideri atayın. Sorumlu yapay zeka standartlarına uymalıdır. Sistemlerin bu raporlara göre ayarlanması gerekip gerekmediğine ilişkin kararlar vermelidir. Model çıkışlarıyla ilgili raporlar oluşturmak için Sorumlu Yapay Zeka panosunu kullanın.
Yapay zeka ölçüm temeli tanımlama. Yapay zeka modellerinin iş hedeflerine ve etik standartlara uygun olduğundan emin olmak için bir ölçüm temeli oluşturun. Eşitlik, saydamlık ve doğruluk gibi sorumlu yapay zeka ilkeleriyle ilgili KPI'leri kullanın. Bu KPI'leri yapay zeka iş yükleriyle eşleyin. Örneğin, bir müşteri hizmetleri sohbet botunda modelin farklı demografik gruplarda ne kadar iyi performans sergilediği değerlendirilerek eşitliği ölçün. Bu ölçümleri almak için Sorumlu yapay zeka panosunda kullanılan araçlarla başlayın.
Sürekli izleme uygulayın. Yapay zeka iş yükleri, değişen veriler, model güncelleştirmeleri veya kullanıcı davranışındaki değişiklikler nedeniyle zaman içinde değişebilir. Bu iş yüklerinin KPI'lerle uyumlu kalmasını sağlamak için yapay zeka modellerini, yapay zeka kaynaklarını ve yapay zeka verilerini izleyin. Yapay zeka sistemlerini tanımlanan sorumlu yapay zeka ilkelerine ve ölçümlerine göre değerlendirmek için denetimler gerçekleştirin.
Performans sorunlarının kök nedenlerini belirleyin. Yapay zekayı izleyerek performans veya doğrulukta bir düşüş algılandığında sorunun kaynağını saptayın. Sorunu yalıtmak ve düzeltici eylemleri daha hızlı uygulamak için etkileşimin her aşamasına görünürlük sağladığından emin olun. Örneğin, bir müşteri hizmetleri sohbet botu yanlış yanıtlar oluşturuyorsa izleme, hatanın istem oluşturmada mı yoksa modelin bağlamı anlamasında mı olduğunu belirlemenize yardımcı olmalıdır. Performans sorunlarını ve anomalileri proaktif olarak belirlemek için Azure İzleyici ve Application Insights gibi yerleşik araçları kullanın.
Modelin kullanımdan kaldırılmasını izleyin. Satıcı desteği sona erdikçe performans sorunlarını önlemek için önceden eğitilmiş modeller için kullanımdan kaldırmayı izleyin. Örneğin, üretken bir yapay zeka modeli kullanım dışı bırakılabilir, bu nedenle işlevselliği korumak için bu modeli güncelleştirmeniz gerekir. Azure AI Foundry portalı, tüm dağıtımlar için modeli kullanımdan kaldırma tarihini gösterir.
Gerektiğinde yapay zeka modellerini yeniden eğitin. Verilerdeki değişiklikler nedeniyle zaman içinde azalan modellerin hesabını verin. Yapay zeka sisteminin ilgili kalmasını sağlamak için model performansına veya iş gereksinimlerine göre düzenli olarak yeniden eğitim zamanlayın. Yeniden eğitme pahalı olabilir, bu nedenle ilk eğitim maliyetini değerlendirin ve yapay zeka modellerini ne sıklıkta yeniden eğitmeniz gerektiğini değerlendirmek için bu maliyeti kullanın. Modeller için sürüm denetimini koruyun ve alt performansa sahip sürümler için bir geri alma mekanizması sağlayın.
Model yükseltme işlemini oluşturun. Eğitilmiş, ince ayarlı ve yeniden eğitilmiş modelleri performans ölçütlerine göre daha yüksek ortamlara yükseltmek için kalite geçitlerini kullanın. Performans ölçütleri her uygulama için benzersizdir.
Yapay zeka maliyetlerini yönetme
Yapay zeka maliyetlerini yönetmek için işlem, depolama ve belirteç işleme gibi kaynaklarla ilgili giderlerin net bir şekilde anlaşılması gerekir. Maliyet yönetimi en iyi yöntemlerini uygulamalı, kullanımı izlemeli ve beklenmeyen giderleri önlemek ve kaynak verimliliğini iyileştirmek için otomatik uyarılar ayarlamalısınız.
Her hizmet için maliyet yönetimi en iyi yöntemlerini izleyin. Her Azure hizmeti, maliyet iyileştirmeyi en üst düzeye çıkaran belirli özelliklere ve en iyi yöntemlere sahiptir. Azure AI Foundry, Azure OpenAI Serviceve Azure Machine Learningiçinde maliyetleri planlama ve yönetme yönergeleri hakkında bilgi edinin.
Faturalama verimliliğini izleyin ve en üst düzeye çıkarın. Gereksiz ücretlerden kaçınmak için maliyet kesme noktalarını anlayın. Örnek olarak, görüntü oluşturma veya saatlik ince ayarlama için sabit fiyat eşiklerinin tam olarak kullanılması verilebilir. Dakika başına belirteçler (TPM) ve dakika başına istekler (RPM) dahil olmak üzere kullanım desenlerinizi izleyin ve modelleri ve mimariyi buna göre ayarlayın. Tutarlı kullanım desenleri için taahhüt tabanlı faturalama modelini göz önünde bulundurun.
Otomatik maliyet uyarıları ayarlayın. Bütçe uyarılarını kullanarak beklenmeyen ücretler hakkında sizi bilgilendirin ve yapay zeka giderlerinizi denetlemek ve tahmin etmek için bütçeleme stratejileri oluşturun.
Azure OpenAI kullanan üretken yapay zeka uygulamaları için bu maliyet iyileştirme önerilerine bakın.
Yapay zeka verilerini yönetme
Etkili yapay zeka veri yönetimi, yapay zeka yaşam döngüsü boyunca veri doğruluğunu, bütünlüğünü ve duyarlılığını korumaya odaklanır. Yüksek kaliteli veri kümeleri seçerken ve veri işlem hatlarının güvenliğini sağladığınızda, kuruluşunuz verilerin güvenilir ve değişen mevzuat gereksinimleriyle uyumlu kalmasını sağlayabilir.
Veri doğruluğunu koruyun ve altın veri kümelerini seçin. Her iki yapay zeka türünde de düzenli test ve doğrulama için kullanılan yetkili bir veri kümesi geliştirin. Güncel ve doğru bilgileri yansıtması için bu veri kümesini sürekli olarak seçin.
Veri işlem hattı bütünlüğünü güvence altına alma. Veri toplamadan ön işleme ve depolamaya kadar veri bütünlüğünü sağlamak için özel veri işlem hatları geliştirin ve koruyun. her iki yapay zeka uygulamasında da performansı ve güvenilirliği korumak için işlem hattının her adımının güvenli olması gerekir.
Veri duyarlılığı değişikliklerini yönetme. Verilerin duyarlılık sınıflandırmasının zaman içinde değişebileceğini anlayın. İş veya mevzuat değişiklikleri nedeniyle düşük hassasiyetli verileri yüksek oranda hassas olarak yeniden sınıflandırmak isteyebilirsiniz. Aşağı akış sistemlerindeki hassas verileri kaldırmak veya değiştirmek için süreçler geliştirin. Bulut için Microsoft Defender ve Microsoft Purview hassas verileri etiketlemenize ve yönetmenize yardımcı olabilir. Bu işlem, yapay zeka alımı öncesinde iyi bir veri kataloğuyla başlar. Değişiklikler gerçekleştiğinde, hassas verileri kullanan tüm modelleri veya sistemleri tanımlayın. Mümkünse, yeniden sınıflandırılmış hassas verileri dışlayan veri kümelerini kullanarak yapay zeka modellerini yeniden eğitin.
Yapay zeka iş sürekliliğini yönetme
Yapay zeka için iş sürekliliği ve olağanüstü durum kurtarma, çok bölgeli dağıtımlar oluşturmayı ve düzenli olarak kurtarma planlarını test etmeyi içerir. Bu stratejiler, kesintiler sırasında yapay zeka sistemlerinin çalışır durumda kalmasını sağlamaya ve uzun süreli kesinti veya veri kaybı riskini en aza indirmeye yardımcı olur.
Yapay zeka için çok bölgeli dağıtımları kullanın. Hem üretken hem de üretken olmayan yapay zeka sistemleri için yüksek kullanılabilirlik ve dayanıklılık sağlamak için çok bölgeli dağıtımlar uygulayın. Bu stratejiler kapalı kalma süresini en aza indirir ve bölgesel kesintiler veya altyapı hataları sırasında kritik yapay zeka uygulamalarının çalışır durumda kalmasını sağlar. Kesinti sırasında yeniden eğitme gereksinimini önlemek için eğitilmiş ve hassas ayarlanmış modeller için gerekli yedekliliği uyguladığından emin olun.
Olağanüstü durum kurtarma planlarını düzenli olarak test edin ve doğrulayın. Üretken ve yaratıcı olmayan yapay zeka sistemlerini etkili bir şekilde geri yükleyebildiğinizi doğrulamak için düzenli olağanüstü durum kurtarma planları testleri gerçekleştirin. Kurtarma sonrasında tüm yapay zeka bileşenlerinin düzgün çalıştığından emin olmak için veri geri yükleme işlemlerinin ve doğrulama yordamlarının test edilmesini ekleyin. Düzenli olarak doğrulama, kuruluşun gerçek dünya olaylarına hazırlıklı olmasını sağlar ve kurtarma sırasında hata riskini en aza indirir.
Yapay zeka sistemlerindeki değişiklikleri yönetme ve izleme. Modellerde, verilerde ve yapılandırmalarda yapılan tüm değişikliklerin Git gibi sürüm denetim sistemleri aracılığıyla yönetildiğinden emin olun. Bunu yapmak, değişiklikleri izlemek ve kurtarma sırasında önceki sürümleri geri yükleme olanağı sağlamak için kritik öneme sahiptir. Üretken ve yaratıcı olmayan yapay zeka için planlanmamış değişiklikleri hızla belirleyebilmeniz ve geri döndürebilmeniz için model ve sistem değişikliklerinin otomatik olarak denetlenmesi sağlanmalıdır.