Azure'da yapay zeka iş yükleri için eğitim verileri tasarlama

Uygulamalarda yapay zeka işlevselliği için veri tasarlarken hem çalışabilirlik, maliyet ve güvenlik gibi işlevsel olmayan gereksinimleri hem de veri alımı, hazırlık ve doğrulamayla ilgili işlevsel gereksinimleri göz önünde bulundurun.

Veri tasarımı ve uygulama tasarımı ayrıştırılamaz. Uygulama tasarımı kullanım örneklerini, sorgu desenlerini ve yenilik gereksinimlerini anlamanız gerekir. Yapay zeka kullanımı gereksinimini yönlendiren iş gereksinimlerini karşılamak için uygulamanın ayrımcı modellerden, üretken modellerden veya model türlerinin bir birleşiminden çıkışı gerekebilir.

Anlamlı sonuçlar elde etmek için yapay zeka modellerinin eğitilmesi gerekir. Model eğitimi, modele yeni veya görünmeyen durumları sınıflandırmak veya tahmin etmek için eğitim vermeyi içerir. Eğitim verileri belirli bir sorun ve iş yükü bağlamı için uyarlanmalıdır.

Denetimli eğitim, modele etiketli örnekler sağlamayı içerir. bu tür bir eğitim, istenen sonuç net olduğunda kullanışlıdır. Buna karşılık, denetimsiz öğrenme modelin beklenen çıkışla ilgili yönergeler olmadan verilerdeki desenleri ve ilişkileri tanımlamasını sağlar. Eğitim sırasında algoritma türü ve parametreleri modelin nasıl öğrentiğini denetlemek için ayarlanır. Yaklaşım, sinir ağlarını, karar ağaçlarını ve diğerlerini içerebilen modelin türüne bağlı olarak değişir.

Örneğin, görüntü algılama modelleri genellikle nesne algılama, yüz tanıma veya sahne anlama gibi görevler üzerinde eğitilir. Belirli nesneleri veya özellikleri tanımlamak için açıklamalı görüntülerden öğrenirler. Diğer yaygın örnekler arasında sahtekarlık algılama algoritmaları ve fiyat noktası tahmin modelleri yer alır. Bu modeller, bilinçli kararlar almak için geçmiş finansal verilerden öğrenir.

Bu makale öncelikli olarak modellerin uygulamaya anlamlı girişler vermeden önce eğitildiği önceki kullanım örneğine odaklanır. Makale, veri toplama, işleme, depolama, test etme ve bakım hakkında rehberlik içerir. Yapay zeka aracılığıyla keşif veri bilimi veya iş zekası için veri tasarımı ele alınmıyor. Amaç, yapay zeka iş yükünün eğitim verileri işlem hattıyla ilgili öneriler sağlayarak iş yükü gereksinimleriyle uyumlu stratejiler aracılığıyla eğitim gereksinimlerini desteklemektir.

Çıkarım sırasında bağlam gerektiren yapay zeka modellerinin veri tasarımı hakkında bilgi için bkz. Veri tasarımını temel alma.

Öneriler

Bu makalede sağlanan önerilerin özeti aşağıda verilmiştir.

Veri türleri

Modellerde tahmine dayalı güç oluşturmak için veri toplamanız, işlemeniz ve modele beslemeniz gerekir. Bu işlem genellikle aşamalara ayrılmış bir işlem hattı olarak kavramsallaştırılır. İşlem hattının her aşaması aynı veri kümesiyle ilgilenebilir, ancak farklı amaçlara hizmet edebilir. Genellikle şu türlerdeki verileri işlersiniz:

• Kaynak veriler belirli bir noktaya gözlem verileridir. Ayrıca, veri işlem hattına olası bir giriş olarak hizmet vermek üzere etiketlenebilen veriler de olabilir.

  Bu veriler genellikle üretimden veya dış kaynaktan alınır. Bu veri kaynakları depolama hesaplarında, veritabanlarında, API'lerde veya diğer kaynaklarda olabilir. Veriler OLTP veritabanları, yapılandırılmamış belgeler veya günlük dosyaları gibi çeşitli veri biçimlerinde olabilir. Bu veriler, veri işlem hattına olası bir giriş görevi görür.

• Eğitim verileri , modele örnekler sağlamak için kullanılan kaynak verilerin bir alt kümesidir. Örnekler, modelin desenleri ve ilişkileri öğrenmesine yardımcı olan açıklayıcı önceden hesaplanmış verilerdir. Bu veriler olmadan model ilgili çıkışı oluşturamaz.

• Değerlendirme verileri , eğitim sırasında makine öğrenmesi modelinin performansını izlemek ve doğrulamak için kullanılan kaynak verilerin bir alt kümesidir. Eğitim ve test verilerinden farklıdır ve eğitim aşamasında modelin performansını düzenli aralıklarla değerlendirmek ve hiper parametre ayarlamayı yönlendirmek için kullanılır. Daha fazla bilgi için bkz . Model değerlendirmesi.

• Test verileri , eğitilen bir modelin tahmine dayalı gücünü doğrulamak için kullanılır. Bu veriler, eğitim için kullanılmayan kaynak verilerden örneklendirilir. Test işleminin kesin olması için üretimden gözlemler içerir. Veri tasarımı açısından bu verileri depolamanız gerekir. Test modelleri hakkında bilgi için bkz . Test tasarımı alanı.

Bazı durumlarda, uygulamayla etkileşimler sırasında kullanıcılar tarafından sağlanan bilgiler sonunda kaynak veri haline gelebilir. Genel olarak, bu şekilde kullanılan kullanıcı girişinin yüksek kalitede olması önerilir. Aksi takdirde, kalite sorunlarını sürekli olarak işleme ihtiyacı aşağı akış sorunlu hale gelebilir. Kullanıcı verilerini işlemeyle ilgili yönergeler bu makalede ele alınmıyor.

Veri alımı ve analizi

Eğitim verileri, seçtiğiniz model türünü eğit etmek için yeterli gösterimleri olan önceden belirlenmiş bir pencerede toplanır. Örneğin, ikili sınıflandırma modelini eğittiğiniz zaman eğitim verileri, durumun ne olduğunu (pozitif örnekler) ve durumun ne olmadığını (negatif örnekler) temsil etmelidir. Eğitim verilerinin anlamlı olması için özellik tasarımı sırasında EDA'yı erken yürütür.

EDA özellikleri, ilişkileri, desenleri ve kalite sorunlarını belirlemek için kaynak verilerin analiz edilmesine yardımcı olur. EDA'yı doğrudan kaynak veri deposundan yürütebilir veya verileri bir veri gölü veya veri ambarı gibi merkezi depolara çoğaltabilirsiniz. Sürecin sonucu, etkili model eğitimi için veri toplama ve işlemeyi bilgilendirmektir.

Aşağıda, model eğitimine hazırlanırken veri toplama konusunda dikkat edilmesi gereken bazı noktalar yer alır.

Veri kaynakları

Veriler şu kaynaklardan toplanabilir:

• Özel veriler kuruluşa aittir veya oluşturulur. Genel kullanıma yönelik değildir. İç amaçlara hizmet eder.

• Genel kaynaklara herkes erişebilir. Bu kaynaklar web sitelerini, araştırma makalelerini ve genel olarak paylaşılan veritabanlarını içerir. Bir niş alana özgü olabilir. Örneğin Wikipedia ve PubMed içeriklerinin herkese açık olduğu kabul edilir.

Veri kaynakları seçiminiz iş yükü gereksinimlerine, kullanılabilir kaynaklara ve modeli eğiten kabul edilebilir verilerin kalitesine bağlıdır. Dengesiz veri kümeleri taraflı modellere yol açabilir, bu nedenle yeterli temsili veri örnekleri almak için veri toplama tasarlamanız gerekir. Azınlık verilerini fazla örneklemeniz veya çoğunluk verilerinin altını örneklemeniz gerekebilir. Veriler az veya dengesizse SMOTE ve Yapay veri oluşturma gibi teknikleri göz önünde bulundurun.

Veri toplama deposu

Kaynak verileri toplamak için iki ana seçenek vardır:

• Veri kaynağındaki verileri sorgulama
• Verileri yerelleştirilmiş bir veri deposuna kopyalama ve ardından bu depoyu sorgulama

Seçim, iş yükü gereksinimlerine ve veri hacmine bağlıdır. Nispeten az miktarda veriniz varsa kaynak sistem ham sorgularınızı doğrudan işleyebilir. Ancak yaygın olarak kullanılan yöntem, yerelleştirilmiş depoyu sorgulamak ve analiz etmektir.

Tradeoff. Yerelleştirilmiş veri depoları analizi ve eğitim sürecini kolaylaştırsa da maliyetleri, güvenliği ve model gereksinimlerini de dengelemeniz gerekir.

Verileri çoğaltmak depolama ve işlem maliyetlerine neden olur. Ayrı bir kopyanın tutulması ek kaynaklar gerektirir. Yerel kopyalar hassas bilgiler içerebilir. Varsa, düzenli güvenlik önlemlerini kullanarak verileri korumanız gerekir.

Eğitim verileri için üretim verileri kullanıyorsanız, bu verilerin tüm özgün veri sınıflandırma kısıtlamalarına tabi olması gerekir.

Veriler eğitim işlemine (gönderme modu) sağlanabilir veya işlemin kendisi veri kaynağını (çekme modu) sorgulayabilir. Seçim sahiplik, verimlilik ve kaynak kısıtlamalarına bağlıdır.

Veriler iş yüküne gönderildiğinde, yeni veriler sağlamak veri kaynağı sahibinin sorumluluğundadır. İş yükü sahibi, yerelleştirilmiş veri deposunda verileri depolamak için uygun bir konum sağlar. Bu yaklaşım, genel kaynaklar için değil kuruluşa ait olan özel veriler için geçerlidir.

Veri çekmek için kullanabileceğiniz iki yaklaşım vardır. Bir yaklaşımda iş yükü veri deposuna sorgular, gerekli verileri alır ve yerelleştirilmiş depoya yerleştirir. Bir diğer yol da bellekte gerçek zamanlı sorgular gerçekleştirmektir. Karar veri hacmine ve kullanılabilir işlem kaynaklarına bağlıdır. Daha küçük veri kümeleri için bellek içi alma, model eğitimi için yeterli olabilir.

Gönderme veya çekme modunu kullanmanızdan bağımsız olarak, eski verilerde modelleri eğitmekten kaçının. Veri güncelleştirmelerinin sıklığı iş yükü gereksinimleriyle uyumlu olmalıdır.

Veri segmentasyonu

İş yüküne özgü gereksinimler veri segmentasyonu gerektirebilir. Bazı olası kullanım örnekleri şunlardır:

• Güvenlik gereksinimleri genellikle segmentasyon kararlarını yönlendirir. Örneğin, mevzuat kısıtlamaları verileri jeopolitik bölgeler arasında dışarı aktarmayı engelleyebilir. Uygulama tasarımınız ayrı modellerin kullanılmasına izin veriyorsa, veri tasarımı her model için ayrı veri işlem hatları içerir.

  Ancak, tek bir model kullanılırsa, segmentlere ayrılmış veri kaynakları bu modele aktarılır. Modeli her iki coğrafyadaki veriler üzerinde eğitmelisiniz ve bu da karmaşıklık katıyor.

  Uygulama ister tek bir model ister birden çok model kullanıyor olsun, her veri kesimindeki güvenlik önlemlerini koruyarak kaynağındaki verilerle aynı düzeyde sıkı bir şekilde korunmasını sağlayın.

• Veri yenileme hızı , verileri ayırmak için bir faktör olabilir. Farklı kaynaklardan gelen veriler farklı zaman aralıklarında yenilenebilir. Veriler değişirse, yeniden eğitme gerekli hale gelir. Segmentasyon, veri yaşam döngüsünün ayrıntılı denetimini sağlar. Farklı veri kesimleri için ayrı tablolar veya işlem hatları kullanmayı göz önünde bulundurun.

Kullanım örneğinden bağımsız olarak, veriler segmentlere ayrıldığında erişim denetimleri önemlidir. Veri mühendisleri ve veri bilimcileri gibi veri uzmanları, desenleri ve ilişkileri anlamak için kullanılabilir kaynak verileri keşfeder. İçgörüleri, sonuçları tahmin eden eğitim modellerine katkıda bulunur. Yalnızca yetkili kullanıcıların belirli veri alt kümeleriyle etkileşime geçebilmesini sağlamak için erişim denetimleri oluşturun. İlgili olduğu düşünülen verilere en az ayrıcalık uygulayın. Uygun izinleri ayarlamak için veri sahipleriyle işbirliği yapın.

Veri ön işleme

Gerçek dünya senaryosunda kaynak veriler yalnızca yapay zeka senaryoları için depolanmaz. Verileri eğitim için hazırlayan bir ara işlem vardır. Bu aşamada, veriler kirliliklerden arındırılır ve bu da tüketim için yararlı olur. Veri bilimciler kaynak verilerle ilgilenirken araştırma, deneme ve karar alma sürecine girer. Birincil hedefleri, kaynak verilerin tahmine dayalı gücü olan bölümlerini tanımlamak ve ayıklamaktır.

Ön işleme mantığı soruna, veri türüne ve istenen sonuçlara bağlıdır. Aşağıda, ön işlemeye yönelik bazı yaygın teknikler yer alır. Bu liste kapsamlı değil. İş yükünüz için gerçek ölçütler iş gereksinimlerine göre belirlenir.

• Kalite. Ön işleme, eğitim verilerinin kirliliklerden arındırıldığından emin olmanıza yardımcı olabilir. Amaç, eğitim verilerinizdeki her satırın açık bir gözlemi veya kullanım örneğinizle ilgili iyi bir örneği temsil etmesini sağlamak ve kalite veya tahmin gücü olmayan gözlemleri ortadan kaldırmaktır. Örneğin, ürün incelemelerini harmanlarsanız, çok kısa olan verileri ortadan kaldırmayı seçebilirsiniz. Hangi veri kalitesinin anlamlı tahmine dayalı sonuçlar ürettiğini keşfetmeniz gerekir.

• Kapsam belirleme. Çok özel kaynak veri alanları tahmine dayalı güçleri kısıtlayabilir. Örneğin, bir adres alanı düşünün. Kapsamın tam adresten (ev numarası ve sokak adı) şehir, eyalet veya ülke/bölge gibi daha yüksek bir düzeye genişletilmesi daha ilgili olabilir.

• Yinelenenleri Kaldırma. Yedekliliği ortadan kaldırmak, eğitim verilerinizin doğru ve temsili kalmasını sağlayabilir. Bazı durumlarda, gözlem yapma sıklığı ilgili değildir. Örneğin, günlükleri taradığınızda, bir günlük girdisi 1.000 kez görünürse, bu, sıklığını gösterir. Bunun yalnızca bir kez oluşan bir günlükten daha ciddi bir hata olduğu anlamına gelmez. Bu yedeklilik türü gürültüye neden olabilir.

• Hassas veri işleme. Modelin tahmine dayalı gücü için anonimleştirme yoluyla ulaşılamadığı sürece kişisel verileri ortadan kaldırın. Eğitim verileri gizlilikten ödün vermeden etkili olmalıdır. Veriler değer sağlıyorsa hassas verileri işlemenin etik hususlarının farkında olmanız gerekir. Daha fazla bilgi için bkz. Sorumlu Yapay Zeka.

• Standartlaştırılmış dönüştürme. Etki alanı uzmanları, önceki teknikleri özellik mühendisliğinin temel bir parçası olarak kabul eder. Geniş kapsamlı ve çeşitli kaynak verilerin, eğitim modellerinin açık amacı doğrultusunda özelliklerin düzenlendiği özellik depolarında (örneğin, özellik tablolarında) birleştirilmesi gerekir. Eğitim için tahmine dayalı verileri seçtikten sonra verileri standart bir biçime dönüştürün. Standartlaştırma, eğitim modeliyle uyumluluğu da sağlar.

  Görüntüleri metin gösterimlerine dönüştürmek bir dönüşüm biçimidir. Örneğin, taranan belgeleri veya görüntüleri makine tarafından okunabilir metne dönüştürebilirsiniz.

  Modellerle uyumluluğu sağlamak için görüntülerin yönlendirmelerini veya en boy oranlarını modelin beklentilerine uyacak şekilde ayarlamanız gerekebilir.

Veri saklama

Modeli eğitdikten sonra, eğitim için kullanılan verilerin silinip silinmeyeceğini değerlendirin ve sonraki eğitim penceresi için modeli yeniden oluşturun.

Veriler görece değişmeden kalırsa, model kayması gerçekleşmediği sürece yeniden eğitme gerekli olmayabilir. Tahminin doğruluğu azalırsa modeli yeniden eğitmelisiniz. Verileri yeniden almayı, ön işlemeyi ve modeli oluşturmayı seçebilirsiniz. Son eğitim penceresinden bu yana verilerde önemli bir değişiklik olması durumunda bu eylem en iyisidir. Büyük miktarda veri varsa ve çok fazla değişmediyse modeli önceden işlemeniz ve yeniden oluşturmanız gerekmeyebilir. Bu durumda verileri koruyun, yerinde güncelleştirmeler yapın ve modeli yeniden eğitin. Eğitim verilerini ne kadar süreyle saklamak istediğinize karar verin.

Genel olarak, performansı düşük olan ve artık geçerli veya gelecekteki modellerle ilgili olmayan özelliklerin dağınıklık ve depolama maliyetlerini azaltmak için özellik depolarından verileri silin. Verileri saklarsanız, maliyetleri yönetmeyi ve veri yinelemeyle ilgili tipik endişeler olan güvenlik sorunlarını çözmeyi bekleyebilirsiniz.

Köken izleme

Veri kökeni , veri yolunu kaynağından model eğitiminde kullanımına kadar izlemeyi ifade eder. Veri kökenini izlemek, açıklanabilirlik için gereklidir. Kullanıcıların veri kaynakları hakkında ayrıntılı bilgilere ihtiyacı olmayabilir ancak bu bilgiler iç veri idaresi ekipleri için çok önemlidir. Köken meta verileri, model tarafından doğrudan kullanılmasa bile saydamlık ve sorumluluk sağlar. Bu, hata ayıklama amacıyla kullanışlıdır. Ayrıca, veri ön işleme sırasında sapmaların ortaya olup olmadığını belirlemenize de yardımcı olur.

Ne zaman yapabilirseniz köken izleme için platform özelliklerini kullanın. Örneğin Azure Machine Learning, Microsoft Purview ile tümleşiktir. Bu tümleştirme, MLOps yaşam döngüsünün bir parçası olarak veri bulma, köken izleme ve idare özelliklerine erişmenizi sağlar.

Veri bakımı

Tüm modeller zaman içinde eskiye dönüşebilir ve bu da modelin tahmine dayalı gücünün veya ilgi düzeyinin bozulmasına neden olur. Kullanıcı davranışında, pazar dinamiklerinde veya diğer faktörlerde değişiklik de dahil olmak üzere çeşitli dış değişiklikler bozulmaya neden olabilir. Bir süre önce eğitilen modeller, değişen koşullar nedeniyle daha az ilgili olabilir. Daha iyi aslına uygun tahminler yapmak için son verilere ihtiyacınız vardır.

• Daha yeni modelleri benimseme. İlgiyi sağlamak için, model performansını sürekli değerlendiren ve veri işlem hattını en düşük düzeyde kesintiye uğrayan yeni modelleri dikkate alan bir işlem döngüsüne ihtiyacınız vardır. Alternatif olarak, veri yaşam döngüsünü ve işlem hattını yeniden tasarlamayı içeren daha büyük bir değişikliğe hazırlayabilirsiniz.

  Yeni bir model seçtiğinizde, yeni bir veri kümesiyle başlamanız gerekmez. Eğitim için kullanılan mevcut gözlemler, model değişikliği sırasında bile değerli kalabilir. Yeni modeller daha dar senaryolar ortaya çıkarsa da temel süreç benzer olmaya devam eder. Özellik depoları ve veri ağları gibi veri yönetimi yaklaşımları, yeni makine öğrenmesi modellerinin benimsenmesini kolaylaştırabilir.

• Tetikleyici tabanlı ve rutin işlemler karşılaştırması. Model yeniden eğitme işleminin belirli olaylar veya koşullar tarafından tetiklenip tetiklenmeyeceğini göz önünde bulundurun. Örneğin, yeni, daha ilgili verilerin kullanılabilirliği veya yerleşik bir temelin altındaki ilgililik düşüşü yeniden eğitme işlemini tetikleyebilir. Bu yaklaşımın avantajları yanıt verme ve zamanında güncelleştirmelerdir.

  Bakım, günlük veya haftalık gibi düzenli sabit aralıklarla da zamanlanabilir. Başarısızlığa dayanıklı işlemler için her iki yaklaşımı da göz önünde bulundurun.

• Verileri kaldırma. Kaynak kullanımını iyileştirmek ve model eğitimi için güncel olmayan veya ilgisiz verileri kullanma riskini en aza indirmek için artık eğitim için kullanılmayan verileri kaldırın.

  Unutulma hakkı, bir kişinin kişisel verilerini çevrimiçi platformlardan veya veritabanlarından kaldırma hakkını ifade eder. Eğitim için kullanılan kişisel verileri kaldırmak için ilkelerin hazır olduğundan emin olun.

• Veri saklama. Bazı durumlarda mevcut bir modeli yeniden oluşturmanız gerekir. Örneğin, olağanüstü durum kurtarma için bir modelin tam olarak yıkıcı olaydan önceki gibi yeniden üretilmesi gerekir. Model bozulmasını ele alma, tetikleyici tabanlı veya rutin işlemler aracılığıyla düzenli güncelleştirmeler ve diğer bakım görevleri gibi birincil işlem hattının iş yükü gereksinimlerini karşılayan ikincil bir veri işlem hattına sahip olmanız önerilir.

Tradeoff. Veri bakımı pahalıdır. Verilerin kopyalanmasını, yedekli işlem hatlarının oluşturulmasını ve rutin işlemlerin çalıştırılmasını içerir. Düzenli eğitimin yanıt kalitesini geliştirmeyebileceğini unutmayın. Yalnızca eskimelere karşı güvence sağlar. Güncelleştirmelerin sıklığını belirlemek için veri değişikliklerinin önemini bir sinyal olarak değerlendirin.

Veri bakımının model işlemlerinin bir parçası olarak yapıldığından emin olun. Mümkün olduğunca otomasyon aracılığıyla değişiklikleri işlemek için süreçler oluşturmalı ve doğru araç kümesini kullanmalısınız. Daha fazla bilgi için bkz . Azure'da yapay zeka iş yükleri için MLOps ve GenAIOps.

Sonraki adımlar