ML Mühendisleri için Yapay Zeka Risk Değerlendirmesi

ML sistemlerinin güvenliğini sağlamanın cazip nedenlerine rağmen, Microsoft'un 28 işletmeyi kapsayan anketi , endüstri uygulayıcılarının çoğunun saldırgan makine öğrenmesi (ML) ile henüz anlaşmadığını belirledi. 28 işletmeden 25'i ML sistemlerinin güvenliğini sağlamak için doğru araçlara sahip olmadığını belirtti. Dahası, açıkça rehberlik arıyorlar. Hazırlık eksikliğinin daha küçük kuruluşlarla sınırlı olmadığını fark ettik. Bunlar Fortune 500 şirketlerinden, hükümetlerden kar amacı gütmeyen kuruluşlara kadar uzanıyor. Müşteriler yapay zeka sistemlerinin güvenliğini sağlama gereksinimini kabul etmekle birlikte nasıl yapılacağını bilmiyor.

Bu belge, kuruluşların yapay zeka sistemlerinin güvenlik duruşunu değerlendirmesi için ilk adımdır. Ancak kuruluşların izlemesi gereken başka bir çerçeve eklemek yerine içeriği mevcut geleneksel güvenlik riski değerlendirme çerçevelerine tutturabilecek şekilde sağlamaya çalıştık.

Bu belge için üç hedef vardır:

• Yapay zeka sistemi güvenliğine kapsamlı bir bakış açısı sağlayın. Yapay zeka sistemi yaşam döngüsünün her bir öğesini bir üretim ayarında inceledik: veri toplama, veri işlemeden model dağıtımına kadar. Ayrıca yapay zeka tedarik zincirini ve yapay zeka sistemleriyle ilgili yedekleme, kurtarma ve acil durum planlamasıyla ilgili denetimler ve ilkeler de hesaba karıştı.
• Kritik yapay zeka varlıklarına yönelik tehditleri ve bunların güvenliğini sağlama yönergelerini özetleyin. Mühendislere ve güvenlik uzmanlarına doğrudan yardımcı olmak için yapay zeka sistemi oluşturma sürecinin her adımında tehdit bildirimini numaralandırdık. Ardından, yapay zeka sistemleri bağlamında mevcut uygulamaları kapsayan ve güçlendiren bir dizi yönerge sağlayacağız.
• Kuruluşların yapay zeka güvenlik riski değerlendirmeleri gerçekleştirmesini sağlama. Çerçeve, bir kuruluştaki yapay zeka sistemlerinin geçerli güvenlik durumu hakkında bilgi toplamaya, boşluk analizi gerçekleştirmeye ve güvenlik duruşunun ilerleme durumunu izlemeye yardımcı olur.

Bunu Microsoft genelindeki paydaşlarla birlikte, Azure Güvenliği, Mühendislikte Sorumlu Yapay Zeka Stratejisi, Microsoft Güvenlik Yanıt Merkezi, Azure Güvenliği ve Yapay Zeka, Mühendislik ve Araştırmada Etik ve Etkiler (Aether) temsilcileriyle birlikte formüle ettik.

Giriş

Devam eden bilgi güvenliği çabalarına ve iş hedeflerine uygun yapay zeka sistemlerinin güvenliğini sağlama konusunda tartışma başlatmak için bu belgeyi kullanmanızı öneririz. Belge yapay zeka sistemlerine ve geleneksel denetimlerin dahil edilmesine odaklanmaktadır çünkü yapay zeka sistemleri geleneksel BT altyapısı üzerine kurulmuştur.

Yapay zeka sistemleriyle ilgili aşağıdaki alanları ele alacağız.

Yönetici istrative denetimleri	Açıklama
Makine öğrenmesi güvenlik ilkeleri	Makine öğrenmesi, yapay zeka ve bilgi güvenliğini yöneten belgelenmiş ilkeler ile ilgili denetimler ve ilkeler.

Teknik denetimler	Açıklama
Veri toplama	Makine öğrenmesi ve yapay zeka için kullanılan verilerin toplanması, depolanması ve sınıflandırılmasıyla ilgili denetimler ve ilkeler.
Veri işleme	Makine öğrenmesi ve yapay zeka için kullanılan verilerin işlenmesi ve mühendisliğiyle ilgili denetimler ve ilkeler.
Model eğitimi	Modellerin tasarımı, eğitimi ve doğrulamasıyla ilgili denetimler ve ilkeler.
Model dağıtımı	Modellerin dağıtımı ve destekleyici altyapı ile ilgili denetimler ve ilkeler.
Sistem izleme	Makine öğrenmesi sistemlerinin sürekli izlenmesiyle ilgili denetimler ve ilkeler.
Olay yönetimi	Yapay zeka sistemiyle ilgili olayların nasıl işleneceğini gösteren denetimler ve ilkeler.
İş sürekliliği ve olağanüstü durum kurtarma	Model çalma, hizmette düşüş veya diğer yapay zekaya özgü güvenlik açıkları aracılığıyla fikri mülkiyet kaybıyla ilgili denetimler ve ilkeler.

Popüler ISO27001:2013 standardına göre mevcut denetim ve ilke çerçevesini uyarladık ve veri toplama aşamasından yapay zeka sistemlerine yönelik tehditlere yanıt vermeye kadar tüm yapay zeka sistemi oluşturma sürecinde eşledik. Kuruluşlarda ISO27001:2013'ten itibaren mevcut denetimlerin bir kısmı veya tamamı uygulanmış olabilir veya mevcut bilgi güvenliği çalışmalarının bir parçası olarak zaten çeşitli risk çerçeveleriyle (NIST 800-53, PCI-DSS, FedRamp vb.) uyumlu olabilir.

Yapay zeka sistemlerinin yeterince güvenliğinin sağlanamaması, yalnızca bu değerlendirmede ele alınan yapay zeka sistemlerine değil, daha genel olarak bilgi teknolojisi ve uyumluluk ortamının tamamına yönelik riski artırır.

Bu belgenin amacı bu mevcut çabaların hiçbirinin yerini almak değil, mevcut araçların ve çerçevelerin bakış açısından yapay zeka sistemlerinin güvenliğini sağlamayı açıklamak ve bunu yapay zeka oluşturma sürecinin tüm bölümlerine genişletmektir.

Temel alınan platform, temel alınan veri türü ve algoritma seçimi gibi daha fazla bağlam gerektireceğinden, burada listelenen yönergeler açıklayıcı değildir. Azure Machine Learning müşterisiyseniz Kurumsal güvenlik ve idare makalesine bakın.

Önerilen önem derecesi, olasılık, etki

Tüm denetimler yapay zeka sisteminin güvenliği açısından kritik öneme sahip değildir. Bu nedenle, işin düzgün bir şekilde önceliklendirilmesi için, her denetim kuruluş tarafından belirli bir denetimi uygulamama işleminin iş etkisiyle ilgili önem derecesine sahip bir derecelendirilmelidir. Bir kuruluş kritik denetim riskini kabul etmeyi ve bunun yerine riski azaltmak için telafi denetimi uygulamayı seçebilir. Sonuç olarak, bu derecelendirmeler etkinlikleri reçete etmek yerine risk tabanlı karar alma sürecini yönlendirmeye yardımcı olmaktır.

Önem

Güvenliği aşmanın önem derecesi yapay zeka modeli kullanım örneğine bağlı olacak. Neyse ki, makine öğrenmesi tümleştirilmadan önce kullanılan veriler veya sistemler kritik önem taşıyorsa, aynı kalmalıdır. Benzer şekilde, kullanılan model başka giriş olmadan "kullanıma açık" ise, modelin kullanıldığı bağlama bağlı olarak, güvenliği aşmanın önem derecesi büyük olasılıkla daha düşüktür. Değişiklik gizliliği gibi teknikler, gizliliğin tehlikeye atılmasına neden olabilecek etkiyi azaltabilir. Ancak bu bağlam sistemin, verilerin veya modelin kritikliğini azaltmaz. Modellerin herhangi bir savunma uygulamasına güvenmek yerine derinlemesine savunma stratejisi kullanılarak korunmasını öneririz.

Önerilen önem düzeyi

Kritik olarak önerilen

• Yapay zeka modeli pci, HIPAA, GLBA gibi uyumluluk gereksinimleriyle yönetilen hassas kişisel veriler, sınıflandırılmış veriler veya veriler üzerinde eğitiliyorsa veya alınıyorsa.
• Yapay zeka modeli iş açısından kritik bir uygulamada veya sistemde kullanılıyorsa, güvenliğin aşılması iş operasyonlarını büyük ölçüde olumsuz etkileyebilir
• Yapay zeka modeli fiziksel veya zarar veya ölüm olası bir sonuç olan uygulamalarda kullanılıyorsa
• Yapay zeka modeli kritik altyapıyı destekleyen bir sistemde kullanılıyorsa (örneğin, su, güç, sistem durumu)

Yüksek olarak önerilen

• Yapay zeka modeli hassas kişisel veriler, gizli bilgiler veya kuruluş tarafından başka bir şekilde kritik olarak kabul edilen veriler üzerinde eğitilir veya alınırsa
• Bu yapay zeka modelinin güvenliğinin aşılmış olması, iş operasyonları üzerinde büyük ama kapsamlı bir etkiye sahip olabilir
• Yapay zeka modeli iş açısından kritik uygulamalarda veya sistemlerde kullanılıyorsa

Orta düzeyde önerilen

• Yapay zeka modeli hassas veri türleri içeren eğitim verilerinin bir alt kümesinde eğitildiyse
• Bu yapay zeka modelinin güvenliğinin aşılmış olması üretimde dağıtılan modelleri etkilerse
• Yapay zeka modeli kritik olmayan ancak iş uygulamalarına yönelik uygulamalarda kullanılıyorsa
• Yapay zeka modeli üretimde kullanılmıyorsa ancak üretim modellerine ilişkin bilgilere sahipse

Düşük olarak önerilen

• Yapay zeka modeli üretimde kullanılmayan veriler üzerinde eğitildiyse
• Yapay zeka modeli üretimde kullanılmıyorsa ve üretim modelleri hakkında bilgi yoksa

Bilgilendiren olarak önerilen

• Veriler, ayrıntılı bir kaynaktan sınıflandırılmamışsa
• Yapay zeka modeli üretimde kullanılmıyorsa

Olasılığını

Olasılık, modelin kullanılabilirliği ve tekniklerin kullanılabilirliği olmak üzere iki ana bileşene sahiptir. Bir kuruluşun saldırı olasılığını azaltmak için şunların denetimlerini uygulaması gerekir:

1. Saldırı yüzeyini kaldırın veya saldırı yüzeyini numaralandırmayı zorlaştırın.
2. Günlüğe kaydetme ve uyarıların, sorunların hızlı bir şekilde çözülmesini sağlamak için tasarlandığı şekilde çalıştığından emin olun.
3. Tüm destekleyici sistemlerin güvenlik gereksinimleriyle güncel olduğundan emin olun.

Denetimler arasında uç noktaları ayırma, ağ segmentasyonu veya hız sınırlama sayılabilir. Trafik akışlarına ve ağ veya işlem hattı diyagramlarına özellikle dikkat edilmelidir. Örneğin, bir saldırgan, dış uç noktayı tehlikeye atıp işlem hattı üzerinden geriye doğru çalışır.

Etki

Etki, kuruluş üzerindeki etkilerle ilgilidir. ML sistemlerinin saldırıya uğrayabileceği farklı yöntemler hakkında bilgi sahibi olmaya başlamanızı ve üretim modellerinin kuruluşu nasıl etkileyebileceğini göz önünde bulundurmanızı öneririz. Daha fazla bilgi için Machine Learning'de Hata Modları makalesine bakın. Bu tanıma işlemi tamamlandıktan sonra bir önem derecesi matrisine eşlenebilir.

Önem derecesi matrisi

Aşağıdaki tablo, kuruluşların başlamasını sağlamak için temel bir risk ve güvenlik açığı önem derecesi matrisidir. Güvenlik mimarları, makine öğrenmesi mühendisleri ve yapay zeka kırmızısı ekip üyelerini toplayarak benzer bir kategoriyi doldurmanızı öneririz.

Saldırı türü	Olasılığını	Etki	Yararlanma
Çıkarma	Yüksek	Düşük	Yüksek
Kaçırma	Yüksek	Orta	Yüksek
Kesmesi	Orta	Orta	Orta
Inversiyon	Orta	Yüksek	Orta
Zehirlenmesi	Düşük	Yüksek	Düşük

"Güvenli yapay zeka tasarlama ve geliştirme, BCG'de yapay zeka ürün geliştirmenin temel taşıdır. Yapay zeka sistemlerimizin güvenliğini sağlama ihtiyacı giderek daha belirgin hale geldikçe, Microsoft'un Yapay Zeka Güvenliği Risk Yönetimi Çerçevesi gibi varlıklar temel katkılar olabilir. Müşterilerimiz için geliştirdiğimiz yapay zeka sistemlerinde bu çerçevede bulunan en iyi uygulamaları zaten uyguluyoruz ve Microsoft'un bu çerçeveyi tüm sektörün yararına geliştirmesi ve açık kaynak için heyecanlıyız." —Jack Molloy, Kıdemli Güvenlik Mühendisi, Boston Danışmanlık Grubu

Temel kullanım

Belgenin geri kalanı şu yapıyı izler:

• Risk denetimi, denetimin hangi alanı kapsadığının açıklamasını içerir.
• Denetimin amacı ve gerçekleştirmesi gerekenler.
• Risk azaltma işleminin açıklamasını veren bir tehdit bildirimi .
• Denetim uygulama kılavuzu. Tüm kılavuzların meşru iş nedenleriyle uygulanamadığını anlıyoruz. Uygulanamaz yönergeleri belgelemenizi öneririz.

Aşağıdaki tablo, yapay zeka sistemleri risk değerlendirmesinden alınan bir denetimdir. Risk kategorileri yapısının her bir bölümünü açıklamak için notlar eklenmiştir.

Örnek denetim

Nasıl okunur?

1. Veri toplama

Birincil kategori

Makine öğrenmesi ve yapay zeka için kullanılan tüm kaynaklardan veri toplama ve depolama ile ilgili denetimler ve ilkeler.

Bu kategorideki denetimlerin üst düzeyde neleri kapsadığı açıklanır.

2. Veri kaynakları

Denetim kategorisi

Amaç: Eğitilen modeller için kullanılan toplanan verilerin bütünlüğünü sağlamak.

Denetimlerle risk azaltmayı açıklamalıdır.

Tehdit bildirimi: Veriler, Hassas Kişisel Veriler içerebilen güvenilmeyen kaynaklardan, modelin güvenliğini etkileyebilecek veya kuruluşa uyumluluk riskleri sunan diğer istenmeyen verilerden toplanır.

Denetimi uygulamama sonucunu açıklayan bir deyim.

Denetim: Veriler güvenilir kaynaklardan toplanmalıdır. Güvenilir kaynakların listesi tutulmalıdır ve güncelleştirilmelidir. Güvenilmeyen verileri toplamaya yönelik Onaylar büyük/küçük harf temelinde dikkate alınmalıdır.

Denetim için en iyi yöntemi açıklayan belirli bir ayrıntı düzeyi.

Rehber:

1. Modeli eğitmeden önce verilerin güvenilir olmasını sağlamak için tüm makul çaba gösterilmelidir. Güvenilmeyen veya bilinmeyen veriler, işlem hattının ilerleyen bölümlerinde güvenlik açıklarına neden olabilir.
2. Veri bilimi amacıyla veya başka bir amaçla kullanılan hassas kişisel veriler içeren veriler temizlenmeli veya depolanmalı ve uygun şekilde erişilmelidir.
3. Bağlamı dikkate alınmadan veri toplanması, geçersiz veri içeren veri kümelerine neden olabilir. Veri toplama çalışmaları telif hakkıyla korunan malzemeler, veri ihlalleri, yanlışlıkla veri sızdıran güvenli olmayan uç noktalar hakkında dikkatli olmalıdır.

Rehberlik, yukarıdaki ölçütleri karşılamaya yönelik önerilerdir. Kuruluşlara sorunu kendileri için anlamlı bir şekilde çözmeleri için yer açmak için onlara ürün ve satıcıdan bağımsız bir yöntem sağlıyoruz.

Makine öğrenmesi güvenlik değerlendirmesi

Başlamadan önce

Bu değerlendirmenin amacı, kuruluşların yapay zeka sistemleri tarafından sunulan iş operasyonlarına yönelik riskleri ifade etmelerine, izlemelerine ve düzeltmelerine yardımcı olmaktır. Bu değerlendirme aşağıdakiler için kullanılmalıdır:

1. Kuruluş içindeki yapay zeka güvenliğinin geçerli durumu hakkında bilgi toplayın.
2. Boşluk analizi gerçekleştirin ve önerileri uygulamak için bir yol haritası oluşturun.
3. Bu değerlendirmeyi yıllık veya iki yıllık olarak gerçekleştirerek güvenlik ilerleme durumunu izleyin.

Bir kuruluşun güvenlik programı yoksa, bu değerlendirme başlangıç yeri değildir. Bir kuruluşun bu değerlendirmede öneriler uygulamadan önce işlevli bir bilgi güvenlik programına sahip olması gerekir. Daha fazla bilgi için Bulut Benimseme Çerçevesi Azure güvenlik kılavuzu makalesine bakın.

Veri toplama

Makine öğrenmesi ve yapay zeka için kullanılan tüm kaynaklardan veri toplama ve depolama ile ilgili denetimler ve ilkeler.

Amaç: Yapay zeka sistemlerinde kullanılan verilerin bütünlüğünü sağlamak.

Veri kaynakları

Denetim: Veriler güvenilir kaynaklardan toplanmalıdır. Güvenilir kaynakların listesi tutulmalıdır ve güncelleştirilmelidir. Güvenilmeyen verileri toplamaya yönelik yönetim onayları, büyük/küçük harf temelinde dikkate alınmalıdır. Güvenilmeyen bir kaynak onaylanırsa belgelenmelidir.

Tehdit bildirimi: Veriler, hassas kişisel veriler içerebilen güvenilmeyen kaynaklardan, modelin performansını etkileyebilecek veya kuruluşa uyumluluk riskleri sunan diğer istenmeyen verilerden toplanır.

Rehber:

1. Giriş verileri, yapay zeka sisteminde kullanılmadan önce yönetim onayı yoluyla doğrulanmalı ve güvenilir olmalıdır.
2. Yapay zeka sistemi için toplanan veriler, kullanımdan veya depolamadan önce gözden geçirilmelidir.
3. Uygunsa, toplanan veriler istenmeyen girdilerden temizlenmelidir.
4. Veri kaynağı belgelenmeli ve verilerle birlikte tutulmalıdır.
5. Modeli eğitmek için kullanılan çıkarım verilerine örtük olarak güvenilmemeli ve yeni veri olarak ele alınmalıdır.
6. Veri toplama çalışmaları belgelenmeli ve denetlenmelidir. Toplanan verilerin, belgelenmiş ilkelere bağlılığından sorumlu bir sahibi olmalıdır.

Hassas veri türleri

Denetim: Yapay zeka sistemleri için depolanan verilerin hassaslığına ve kullanım durumuna göre düzgün bir şekilde güvenli hale getirildiğinden, izlendiğinden ve sınıflandırıldığından emin olmak için. Bu denetim uygun, veri sınıflandırma etiketlerini, erişim ilkelerini, lisans bilgilerini, açıklayıcı istatistikleri, kaynak kaynağı ve toplama tarihini içerir.

Tehdit deyimi: Gerekli öznitelikler, meta veriler veya belgelerin olmaması nedeniyle yapay zeka sistemlerinde kullanılan veriler uygunsuz bir şekilde kullanılır, depolanır veya bunlara erişilir.

Rehber:

1. Hassas veri türlerinin gizliliğini ve korumasını kapsayan bir veri ilkesi geliştirin ve yapay zeka sistemlerinin kullanımı veya oluşturulmasıyla ilgili tüm personele ilkeyi iletin.
2. Yapay zeka sistemlerinde kullanılan verilerin gizliliğini ve bütünlüğünü koruyan eğitim ve dağıtım işlem hatlarını uygulayın.

Veri depolama

Denetim: Veriler, belgelenmiş bir sınıflandırma işlemine göre uygun şekilde depolanmalıdır. Veri kümeleri dizine alınmalı ve varlık yönetimi ve erişim denetimi ilkelerine tabi bir varlık olarak kabul edilmelidir.

Tehdit bildirimi: Veriler güvensiz bir şekilde depolanır ve yetkisiz taraflar veya sistemler tarafından kurcalanabilir veya değiştirilebilir. Veriler doğru sınıflandırılmadığından gizli bilgilerin veya hassas kişisel verilerin açığa çıkmasına yol açar.

Rehber

1. Geliştirme veya yapay zeka araştırma sistemlerinin veya hesaplarının üretim veritabanlarına erişimi olmadığından emin olun(veya tam tersi).
2. Yapay zeka sistemlerinde kullanılan veriler, belgelenmiş sınıflandırma ilkesine göre sınıflandırılmalı ve korunmalıdır.
3. Yapay zeka sistemlerinde kullanılan veriler, belgelenmiş bir varlık yönetimi ilkesi altında izlenir.
4. Hassas yapay zeka kullanım örnekleri için kullanılan veriler onaylı ve yönetilen sistemlerde depolanır.
5. Verilere erişim denetlenmeli ve erişim isteyen kullanıcılar yönetim onayı içeren resmi bir erişim denetimi sürecinden geçmelidir.
6. Makine öğrenmesi süreçlerinde kullanılan verilerin İnternet'e açık olmaması gerekir.
7. İnternet'ten (veya diğer güvenilmeyen kaynaklardan) çekilen veriler, yönetim onayı içeren bir filtreleme işleminden geçmelidir.
8. Veri kümelerinin, resmi değişiklik denetimi işlemleri yerinde olacak şekilde sürümü oluşturulmalıdır.

Veri erişimi

Denetim: Veri kümeleri, kullanılmadan önce şifreleme karması aracılığıyla uygun şekilde izlenmeli ve doğrulanmalıdır.

Threat deyimi: Veri kümeleri yetkilendirme olmadan değiştirilir.

Rehber:

1. Veri kümeleri için rol tabanlı erişim denetimi zorunlu kılınmalıdır.
2. Veri kümelerine erişimi olan hesapların veri kümelerine erişimi olduğundan emin olmak için düzenli erişim denetimleri gerçekleştirin. Her hesabın normal sınırlar içinde çalıştığından emin olun.
3. Merkezi izleme platformu kullanılmıyorsa ham erişim günlükleri aracılığıyla verilere erişim amacı doğrultusunda gözden geçirilmelidir. Her hesabın normal sınırlar içinde çalıştığından emin olun.
4. Üçüncü taraf kaynak sağlayıcıları, yükleniciler veya diğer dış taraflar, sözleşme yapılmadan bir şirketin eğitme/test veri varlıklarına aşırı veya uygunsuz erişime sahip olmamalıdır.

Veri bütünlüğü

Denetim: Yapay zeka sistemi yaşam döngüsü boyunca veri kümelerine güvenilmeli ve güvenilir kalmalıdır.

Tehdit deyimi: Yapay zeka yaşam döngüsü sırasında veri kümeleri, değişiklikleri denetleme veya izleme özelliği olmadan değiştirilir.

Rehber:

1. Onaylanan bir veri kümesinde yapılan yetkisiz değişikliklerin veri kümesinin gözden geçirilmesine neden olması için veri kümeleri benzersiz olarak tanımlanmalıdır.
2. Veri kümeleri ve bunların şifreleme açıklamaları merkezi bir konumda izlenmelidir. Veri kümesine erişim denetlenmelidir.
3. Veri kümesindeki değişiklikler, merkezi izleme hizmetine gönderilmeden önce güncelleştirilmiş bir şifreleme açıklamaları ve yönetim onayı içermelidir.

Bilgi işlem

Makine öğrenmesi ve yapay zeka için kullanılan verilerin işlenmesiyle ilgili denetimler ve ilkeler.

Amaç: Verilerin ham biçiminden eğitime hazır bir aracı forma güvenli bir şekilde işlenmesini sağlamak.

İşlem hatlarını işleme

Denetim: İşlem hatlarının yeterince güvenli hale getirilmesi gerekir.

Tehdit bildirimi: Tehdit aktörü, veri işleme işlem hatlarını değiştirerek sistemde yetkisiz değişiklikler yapabilir.

Rehber:

1. Bir üretim sisteminde taşınan tüm veriler veri bilimi çalışmalarıyla ilgili değildir. Yalnızca gerekli verileri ayrıştırmak ve güvenli bir üretim ayarından geliştirme ayarına taşınan tüm verilerin uygun şekilde izlendiğinden emin olmak önemlidir. Belirli veri türlerinin geliştirme ortamına taşınamadığını düşünün. Veri biliminin güvenli bir aracı ortamda gerçekleşmesi gerekebilir.
2. Veri işleme yaşam döngüsü boyunca veri erişiminin düzgün denetlenilmesi önemlidir. Ayrı hesaplar olmadan erişim denetimi yeterli olamaz. Ayrıca, bir olaya yanıt verme olanağı, iş süreçlerini etkileme olasılığı olmadan gerçekleşemez. Tek bir hesabın güvenliğinin aşılmasına neden olmak, tüm verilerin güvenli üretim ortamından ayrılmasına neden olur.
3. Veri bilimi işlemleri, katı bir uyumluluk sınırının dışında olan kaynaklar gerektirebilir.
4. Veri bilimi süreçleri her zaman mevcut gereksinimlerle uyumlu olmalıdır. Bu süreç, veri bilimi kaynaklarını ve süreçlerini uyumlu bir ortama taşımayı içerebilir.
5. Veriler yaşam döngüsünün tamamı boyunca izlenmelidir; bu izleme, daha büyük veri kümelerinin alt kümelerini içerir. Modelin eğitildiği verilere kadar izlenmesi gerekir. Ayrıca, bu verilerin bir kopyası tamamen mevcut olmalıdır.

Veri kümesi diyafram açıklığı

Denetim: Model oluşturmaya dahil edilen verilerin alt kümelerini (örneğin, zamansal, kategorik dilimler) ve bunun güvenlik tehlikelerini (gizlilik sızıntısı, zehirlenme/bütünlük, geri bildirimde aşırı kullanım yoluyla) nasıl etkileyebileceğinden emin olmak için.

Threat deyimi: Tehdit aktörü, verilerin alt kümelerini yeniden yapılandırarak/kurtararak verilerin bölümlerini kurtarabilir.

Rehber:

1. Veri alt kümeleri veri kümeleridir. Bu alt kümelerin üst veri kümesiyle aynı meta verilere sahip olması gerekir ve hassas veri türleri için benzer şekilde gözden geçirilmelidir.
2. Makine öğrenmesi uygulamalarıyla (SLA'lar, sapma ölçümleri vb.) ilgili ilkelere bağlı olarak, model oluşturmada kullanılacak olan tüm veri kümeleri (alt kümeler dahil) bu ölçümleri çevreleyen en düşük belgelenmiş standardı karşılamalıdır. Meta veriler her zaman veri kümesine eklenmelidir.
3. Mevcut ilkeleri ihlal eden tüm veri kümelerinin, yönetim tarafından onaylanan belgelenmiş bir özel durumu olmalıdır. Özel duruma dahil edilenler, gerekli meta verilerin yanı sıra özel durumun belgelenmiş bir nedeni olmalıdır.
4. Model oluşturma için kullanılan tüm veriler merkezi bir konumda izlenmelidir. Veriler her zaman denetlenebilir olmalıdır. Ayrıca, izlenmeyen veriler üzerinde eğitildiği belirlenen modeller, gerekli meta verilerle bilinen bir veri kümesiyle eşleştirilene kadar üretimden çekilmelidir.
5. Veri kümeleri, tüm meta verilerin güncelleştirilmesi ve verilerin kullanıcılarının içeriği ve istatistiksel özellikleri anlaması için uygun sürüme sahip olmalıdır. Gerekirse, hassas kullanım örnekleri için yönetim onayı gerekir.

Model eğitimi

Modellerin ve algoritmaların eğitimiyle ilgili denetimler ve ilkeler.

Model tasarımı

Denetim: Model eğitim kodu sorumlu bir taraf tarafından gözden geçirilir.

Tehdit bildirimi: Model kodundaki hatalı kod veya güvenlik açıkları kullanılabilirlik, bütünlük veya gizlilik riskleri oluşturur.

Rehber:

1. Model tasarımı ve araştırması uygun ortamda gerçekleşmelidir. Model tasarımı ve mimarisi, modelin etkinliği üzerinde büyük bir etkiye sahip olabilir. Üretim ortamları, bir tasarımın etkinliği hakkında araştırma yapmak veya üretilemeyen talepleri test etmek için uygun bir yer değildir.
2. Bir üretim sistemi için model seçimi yönetim tarafından gözden geçirilmeli ve onaylanmalıdır. Bu işlem geliştirme aşamasında erken gerçekleşmelidir ve kullanılabilir herhangi bir mekanizma (Excel, DevOps, Git vb.) aracılığıyla izlenmelidir. Özel durumlar belgelenmelidir.
3. Modeller genellikle etki alanına özgüdür ve bir kuruluştaki kullanımı boyunca modele eşlik eden yeterli belgeler olmalıdır.
4. Model meta verilerinin kullanıcılar tarafından erişilebilir olduğundan ve modellerin onaylanmamış kullanımlarının belgelendiğinden ve uygulandığından emin olun. Yeni meta veriler uygun şekilde eklenip izlendiği sürece kullanıcının mevcut modelde ince ayarlamalar yapması kabul edilebilir.

Model eğitimi

Denetim: Model seçimi ölçütü (ölçüm ve bekleme kümeleri), doğal kaymayı ve dağıtım zamanında bekleyebilecek saldırgan koşulları taklit eder.

Threat deyimi: İdeal koşullar altında eğitilen bir model, saldırgan ayarlarda dağıtıldığında kırılgan olabilir.

Rehber

1. Eğitim ve doğrulama kümeleri doğal zamana bağlı bağımlılıklara uygun olmalıdır. Örneğin, kötü amaçlı yazılım sınıflandırıcıları için bir doğrulama kümesi yalnızca eğitim kümesinde bulunanlardan sonraki yazılım sürümlerini içermelidir.
2. Veri kümelerini vahşi ortamda makul bir şekilde bulunabilecek yaygın bozulmalarla genişleterek model sağlamlığını açıkça ekleyin.
3. Saldırgan yeniden eğitme kullanarak en kötü durum koşullarına karşı açıkça eğitin.
4. Denemeleri ve ilişkili meta verileri izleyin.

Model seçimi

Model seçimi, her adayın benzersiz bir model parametreleri kümesine, eğitim algoritmasına ve hiper parametreleri eğitmesine sahip olduğu bir dizi adaydan bir model seçmekten oluşur. Kazanan modelin seçim ölçütü genellikle ortak bir saklama veri kümesinde ölçülen tek bir ölçülebilir ölçümü (örneğin, minimum kayıp, maksimum algılama oranı) veya K katlamalı doğrulama kümesinde ortalama olarak temel alır.

Denetim: Model tasarımı ve eğitim algoritması, açık veya örtük model düzenlileştirmeyi içerir.

Tehdit bildirimi: Modeller bir eğitim ve/veya tek doğrulama veri kümesine fazla uygundur ve hata modlarına karşı daha savunmasızdır.

Rehber:

1. Hesaplama açısından uygun olduğunda, tek bir ayrı tutma kümesine fazla uygunluk oluşmasını önlemek için K katlanmış çapraz doğrulama kullanılmalıdır.
2. Seçilen modellerin fazla sığdırmadıklarını doğrulamak için ayrı ayrı tutma kümelerinde iyi performans sergilediklerini doğrulayın.
3. İşlemlerin mevcut olduğundan emin olun.

Model sürümü oluşturma

Denetim: Yeni eğitim verileri eğitim işlem hatlarına aktıkça modeller sürekli olarak yeniden eğitilir.

Tehdit bildirimi: Bir olay oluşur ancak ilgili model araştırma için bulunamaz.

Rehber:

1. Bir model her eğitildiğinde yeni bir sürüm atanması için sürüm modelleri. Üretim öncesi modellerden üretimin çizgisini tanımlamak için my_model_dev_1.1 veya my_model_prod_1.1 gibi niteleyiciler kullanılmalıdır. Bu sürüm oluşturma, sorunları üretim veya üretim öncesi sorunla yalıtmaya yardımcı olur. Mevcut güvenli SDL işlemlerine veya ilkelerine başvurun.

Model dağıtımı

Modellerin, algoritmaların ve destekleyici altyapının dağıtımıyla ilgili denetimler ve ilkeler.

Güvenlik testi

Denetim: Üretime alınan modeller yeterince güvenlidir.

Tehdit bildirimi: Yapay zeka sistemleri dağıtım öncesinde güvenlik açıkları için yeterince test edilmedi.

Rehber:

1. Yeni yapay zeka sistemleri, yükseltmeler ve yeni sürümler için resmi kabul testi ölçütleri tanımlanmamış ve belgelenmemiştir.
2. Yeni yapay zeka sistemleri, yükseltmeler veya yeni sürümler resmi testlerle uygulanmalıdır.
3. Bilgi sistemlerini, yükseltmeleri veya yeni sürümleri test etme amacıyla otomatik araçlar kullanılmalıdır.
4. Test ortamı son üretim ortamına benzer olmalıdır.
5. Bağımsız güvenlik gözden geçirmelerinin sıklığı, kapsamı ve yöntemleri belgelenmelidir.

Güvenlik ve uyumluluk gözden geçirmesi

Denetim: Temel ağın sağlam yönetimi, ML sisteminin ve altyapının güvenliğini sağlamak için önemlidir.

Threat deyimi: Güvenli olmayan ağa erişerek ML sisteminin güvenliğinin aşılmasına neden olur.

Rehber:

1. Ağ geçidi cihazlarının ML sistemlerine yapılandırılması, etki alanları arasındaki trafiği filtreleyecek ve yetkisiz erişimi engelleyecek şekilde yapılandırılmalıdır.
2. İlgili yasal, mevzuat ve sözleşme gereksinimleri, belirli denetimler ve bireysel sorumlulukların yanı sıra açıkça tanımlanmalı ve belgelenmeli ve ele alınmalıdır.
3. Güvenli yapılandırma yönergeleri de belgelenmeli, uygulanmalıdır veya gözden geçirilmelidir.
4. ML ağlarının etki alanlarına ayrılmasının ölçütü, kuruluşun erişim denetimi ilkesi veya kuruluşun erişim gereksinimleriyle tutarlı olmalıdır.
5. Güvenli ağ geçidi, VPN, ML sistemleri için yönlendirme gibi mekanizmalar, bir dizi denetime olanak tanımak için yeterince uygulanmalıdır.
6. Kullanıcılar ve ML mühendisleri, genel olarak erişilebilen sistemlerin, iç ağların ve kritik varlıkların kullanımını düzgün bir şekilde ayırmak ve kısıtlamak için denetimlerin uygulanmasına yönelik gereksinimleri kullanmalı veya izlemelidir.

Sistem izleme

Makine öğrenmesi sistemlerinin ve destekleyici altyapının sürekli izlenmesiyle ilgili denetimler ve ilkeler.

Günlükler ve günlük incelemesi

Denetim: Günlüğe kaydetme ve izleme, güvenlik nedeniyle ML sistemleri için çok önemlidir.

Tehdit bildirimi: Araştırma sırasında ML sistemleri için günlükler bulunmaz.

Rehber:

1. Depolama, işlem hatları, üretim sunucuları vb. dahil olmak üzere tüm yapay zeka sistemlerinde ve bileşenlerinde günlüğe kaydetme ve izleme tutarlı bir şekilde gerçekleşmelidir.
2. Anormal davranışlar için olay ve güvenlik günlükleri düzenli olarak gözden geçirilmelidir.
3. Sistem etkinliğiyle ilgili birleştirilmiş raporlar ve uyarılar yönetim veya güvenlik temsilcisi tarafından oluşturulup gözden geçirilmelidir.

Olay yönetimi

Roller ve sorumluluklar

Denetim: Güvenlik günlükleri merkezi bir konumda toplanmalıdır.

Tehdit açıklaması: Bir araştırma sırasında güvenlik analistlerinin resmileştirilmiş bir playbook'u yoktur.

Rehber:

1. kuruluşlarının hizmet kaybı, ekipman kaybı, tesis kaybı, sistem arızaları, sistem aşırı yüklemeleri, insan hataları, ilke veya yönergelerle uyumsuzluklar, fiziksel güvenlik ihlalleri, kontrolsüz sistem değişiklikleri, yazılım arızaları, donanım arızaları ve erişim ihlalleri bağlamında yapay zeka sistemleri olaylarını raporlamak için resmi bir süreç izlemesi gerekir.
2. Resmi olay yanıtı ve yükseltme yordamları, bir bilgi güvenliği olayının raporunun alınması üzerine gerçekleştirilen belge eylemleri için geliştirilmelidir.
3. Olay yanıtı yordamları, yanıt ölçümlerini izleyerek düzenli aralıklarla test edilmelidir.

İş sürekliliği planlaması

Planlama, gözden geçirme ve sonuçlar

Denetim: Ml sistemlerinin bir olaydan sonra düzeltilip kurtarılabilmesini sağlayın.

Tehdit bildirimi: Olaylar kritik ML sistemlerinde kalıcı gizlilik, bütünlük veya kullanılabilirlik sorunlarına neden olur.

Rehber:

1. Kritik yapay zeka varlıkları tanımlanmalı ve envantere alınmalıdır.
2. Kuruluş, yapay zeka sistemlerine yönelik saldırılar karşısında bir iş sürekliliği planı (BCP) veya olağanüstü durum kurtarma (DR) süreci geliştirmelidir.
3. Kuruluşun kritik yapay zeka sistemlerini saldırılara kaybetmenin etkisiyle ilişkili riskleri önceliklendirilmiş olarak belirlemesi gerekir.
4. Kuruluşların kritik yapay zeka sistemleri için yinelenen bir zamanlamaya göre çalıştırılan bir iş sürekliliği testi olmalıdır.

Başvurular

• ISO 27001 Ek A Denetimleri - Genel Bakış (isms.online)
• Resmi PCI Güvenlik Standartları Konseyi Sitesi
• Machine Learning'de Hata Modları
• Tehdit Modelleme AI/ML Sistemleri ve Bağımlılıkları
• Güvenlik Geliştirme Yaşam Döngüsü Hata Çubuğu'na AI/ML Özetleri
• Kurumsal güvenlik ve idare

Sorularınız, yorumlarınız veya geri bildiriminiz varsa ile iletişime geçin atml@microsoft.com.

Bu belgenin PDF dosyasını GitHub depomuzdan indirin.