Kötüye Kullanımı İzleme

Azure OpenAI Hizmeti, hizmetin Kullanım Kuralları'nı veya diğer geçerli ürün koşullarını ihlal eden bir şekilde kullanılmasını öneren yinelenen içerik ve/veya davranışların örneklerini algılar ve azaltır. Verilerin nasıl işlendiğinin ayrıntıları Veri, Gizlilik ve Güvenlik sayfasında bulunabilir.

Uygunsuz kullanımı izlemenin bileşenleri

Uygunsuz izlemenin çeşitli bileşenleri vardır:

• İçerik Sınıflandırması: Sınıflandırıcı modelleri, kullanıcı istemlerinde (girişler) ve tamamlamalarda (çıkışlar) zararlı metinleri ve/veya görüntüleri algılar. Sistem, İçerik Gereksinimleri'nde tanımlandığı gibi zarar kategorilerini arar ve İçerik Filtreleme sayfasında daha ayrıntılı olarak açıklandığı gibi önem derecesi düzeylerini atar. İçerik sınıflandırma sinyalleri, aşağıda açıklandığı gibi desen algılamaya katkıda bulunur.
• Kötüye Kullanım Deseni Yakalama: Azure OpenAI Hizmeti'nin kötüye kullanım izleme sistemi, müşteri kullanım desenlerine bakar ve olası kötüye kullanım göstergelerini algılamak ve puanlamak için algoritmalar ve buluşsal yöntemler kullanır. Algılanan desenler, örneğin müşterinin istemlerinde ve tamamlamalarında zararlı içeriğin algılandığı sıklığı ve önem derecesini ve davranışın kasıtlılığını dikkate alır. Algılanan desenin eğilimleri ve aciliyeti, olası kötüye kullanım önem derecesinin puanlanmasında da etkilenecektir. Örneğin, daha yüksek önem derecesi olarak sınıflandırılan daha yüksek miktarda zararlı içerik veya kasıtlılığı belirten yinelenen davranış (yinelenen jailbreak girişimleri gibi) her ikisi de olası kötüye kullanımı gösteren yüksek bir puan alma olasılığı daha yüksektir.
• Gözden Geçirme ve Karar: İçerik sınıflandırması aracılığıyla işaretlenen ve/veya kötü amaçlı olabilecek bir kullanım düzeninin parçası olarak tanımlanan istemler ve tamamlamalar, sistemin analizini onaylamaya ve eylem kararlarını bilgilendirmeye yardımcı olmak için başka bir gözden geçirme sürecine tabi tutulur. Bu inceleme iki yöntemle gerçekleştirilen bir incelemedir: insan incelemesi ve yapay zeka incelemesi.
  • Varsayılan olarak, istemler ve tamamlamalar içerik sınıflandırması aracılığıyla zararlı olarak işaretlenirse ve/veya kötü amaçlı olabilecek bir kullanım düzeninin parçası olarak tanımlanırsa, insan gözden geçiren yerine LLM kullanılarak otomatik, gözlerden uzak gözden geçirme için örneklenebilir. Bu amaçla kullanılan LLM, yalnızca sistemin analizini onaylamak ve eylem kararlarını bilgilendirmek için istemleri ve tamamlamaları işler; bu tür LLM gözden geçirmesinden geçen istemler ve tamamlamalar sistem tarafından depolanmaz veya LLM'yi veya diğer sistemleri eğitmek için kullanılmaz.
  • Bazı durumlarda, otomatik gözden geçirme karmaşık bağlamlarda geçerli güvenilirlik eşiklerini karşılamıyorsa veya LLM gözden geçirme sistemleri kullanılamıyorsa, ek bir karar vermek için insan gözüyle inceleme yapılabilir. Bu, genel kötüye kullanım analizi doğruluğunu iyileştirmeye yardımcı olabilir. Yetkili Microsoft çalışanları bayrak eklenmiş içeriği değerlendirebilir ve önceden tanımlanmış yönergelere ve ilkelere göre sınıflandırmayı veya belirlemeyi onaylayabilir veya düzeltebilir. İstemlere ve tamamlamalara yalnızca yetkili Microsoft çalışanları tarafından Tam Zamanında (JIT) istek onayı verilen Güvenli Erişim İş İstasyonları (SAW) aracılığıyla erişilebilir. Avrupa Ekonomik Alanı'nda dağıtılan Azure OpenAI Hizmeti kaynakları için, yetkili Microsoft çalışanları Avrupa Ekonomik Alanı'nda bulunur. Bu insan inceleme süreci, müşterinin değiştirilmiş kötüye kullanım izleme için onaylanması durumunda gerçekleşmez.
• Bildirim ve Eylem: Önceki adımlara göre kötü davranış eşiği doğrulandığında, müşteri e-postayla belirleme konusunda bilgilendirilir. Ciddi veya yinelenen uygunsuz kullanım durumları dışında, müşterilere genellikle kötü amaçlı davranışı açıklama veya düzeltme ve yinelenmeyi önleme mekanizmaları uygulama fırsatı verilir. Davranışın ele alınamaması veya yinelenen veya ciddi kötüye kullanım, müşterinin Azure OpenAI kaynaklarına ve/veya özelliklerine erişiminin askıya alınmasına veya sonlandırılmasına neden olabilir.

Değiştirilmiş uygunsuz kullanım izleme

Bazı müşteriler Azure OpenAI Hizmetini son derece hassas veya son derece gizli verilerin işlenmesini içeren bir kullanım örneği için kullanmak isteyebilir ya da başka bir şekilde Microsoft'un kötüye kullanım algılama için istemlerini ve tamamlamalarını depolamasına ve gerçekleştirmesine izin verme hakkına sahip olmadığı sonucuna varabilir. Microsoft, bu endişeleri gidermek için, ek Sınırlı Erişim uygunluğu ölçütlerini karşılayan müşterilerin bu formu tamamlayarak uygunsuz kullanım izlemesini değiştirmek için başvurmasına izin verir. Azure OpenAI Hizmeti'ne sınırlı erişim sayfasından değiştirilmiş kötüye kullanım izlemesi için başvurma ve değiştirilmiş kötüye kullanım izlemenin veri işleme üzerindeki etkisi hakkında daha fazla bilgi için bkz. Azure OpenAI Hizmeti için Veri, gizlilik ve güvenlik.

Sonraki adımlar

• Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.
• Uygulamanızla ilişkili riskleri anlama ve azaltma hakkında daha fazla bilgi edinin: Azure OpenAI modelleri için sorumlu yapay zeka uygulamalarına genel bakış.
• verilerin içerik filtreleme ve kötüye kullanım izlemesinde nasıl işlendiği hakkında daha fazla bilgi edinin: Azure OpenAI Hizmeti için veriler, gizlilik ve güvenlik.