Azure AI Foundry ile içerik filtrelerini yapılandırma
Azure AI Foundry ile tümleştirilmiş içerik filtreleme sistemi, DALL-E görüntü oluşturma modelleri de dahil olmak üzere çekirdek modellerle birlikte çalışır. Sırasıyla dört önem düzeyinde (güvenli, düşük, orta ve yüksek) dört zararlı içerik kategorisini (şiddet, nefret, cinsel ve kendine zarar verme) ve jailbreak riskini, mevcut metni ve genel depolardaki kodu algılamak için isteğe bağlı ikili sınıflandırıcıları algılamak için çok sınıflı sınıflandırma modellerinden oluşan bir grup kullanır.
Varsayılan içerik filtreleme yapılandırması, hem bilgi istemleri hem de tamamlamalar için dört içerik zarar kategorisinin tümünde orta önem derecesi eşiğinde filtreleme yapacak şekilde ayarlanmıştır. Bu, önem düzeyi orta veya yüksek olarak algılanan içeriğin filtrelendiği, önem düzeyi düşük veya güvenli olarak algılanan içeriğin ise içerik filtreleri tarafından filtrelenmediği anlamına gelir. İçerik kategorileri, önem derecesi düzeyleri ve içerik filtreleme sisteminin davranışı hakkında buradan daha fazla bilgi edinin.
Jailbreak risk algılama ve korumalı metin ve kod modelleri isteğe bağlıdır ve varsayılan olarak açıktır. Jailbreak ve korumalı malzeme metin ve kod modelleri için, yapılandırılabilirlik özelliği tüm müşterilerin modelleri açıp kapatmasını sağlar. Modeller varsayılan olarak açıktır ve senaryonuza göre kapatılabilir. Müşteri Telif Hakkı Taahhüdü kapsamındaki kapsamı korumak için bazı modellerin belirli senaryolarda açık olması gerekir.
Not
Tüm müşteriler içerik filtrelerini değiştirme ve önem derecesi eşiklerini (düşük, orta, yüksek) yapılandırma olanağına sahiptir. İçerik filtrelerini kısmen veya tamamen kapatmak için onay gereklidir. Yönetilen müşteriler yalnızca bu form aracılığıyla tam içerik filtreleme denetimine başvurabilir: Azure OpenAI Sınırlı Erişim gözden geçirmesi: Değiştirilmiş İçerik Filtreleri. Şu anda yönetilen müşteri olmak mümkün değildir.
İçerik filtreleri kaynak düzeyinde yapılandırılabilir. Yeni bir yapılandırma oluşturulduktan sonra bir veya daha fazla dağıtımla ilişkilendirilebilir. Model dağıtımı hakkında daha fazla bilgi için bkz. kaynak dağıtım kılavuzu.
Önkoşullar
- İçerik filtrelerini yapılandırmak için bir Azure OpenAI kaynağınız ve büyük bir dil modeli (LLM) dağıtımınız olmalıdır. Başlamak için hızlı başlangıcı izleyin.
İçerik filtresi yapılandırılabilirliğini anlama
Azure OpenAI Hizmeti, Azure OpenAI Whisper hariç tüm modellere uygulanan varsayılan güvenlik ayarlarını içerir. Bu yapılandırmalar, içerik filtreleme modelleri, blok listeleri, istem dönüştürme, içerik kimlik bilgileri ve diğerleri dahil olmak üzere varsayılan olarak sorumlu bir deneyim sunar. Bu konuda daha fazla bilgiyi burada bulabilirsiniz.
Ayrıca tüm müşteriler içerik filtrelerini yapılandırabilir ve kullanım örneği gereksinimlerine göre uyarlanmış özel güvenlik ilkeleri oluşturabilir. Yapılandırılabilirlik özelliği, müşterilerin aşağıdaki tabloda açıklandığı gibi her içerik kategorisinin içeriğini farklı önem düzeylerinde filtrelemek üzere istemler ve tamamlamalar için ayrı olarak ayarları yapmasına olanak tanır. 'Güvenli' önem düzeyinde algılanan içerik ek açıklamalarda etiketlenmiştir, ancak filtrelemeye tabi değildir ve yapılandırılamaz.
| Önem derecesi filtrelendi | İstemler için yapılandırılabilir | Tamamlamalar için yapılandırılabilir | Açıklamalar |
|---|---|---|---|
| Düşük, orta, yüksek | Yes | Yes | En katı filtreleme yapılandırması. Önem derecesi düşük, orta ve yüksek düzeylerde algılanan içeriğe filtre uygulanmış. |
| Orta, yüksek | Yes | Yes | Önem derecesi düşük düzeyde algılanan içerik filtrelenmez, orta ve yüksek düzeydeki içerik filtrelenmiştir. |
| Yüksek | Yes | Yes | Önem derecesi düşük ve orta düzeylerde algılanan içerik filtrelenmez. Yalnızca önem derecesi yüksek içerik filtrelenmiştir. |
| Filtre yok | Onaylanırsa1 | Onaylanırsa1 | Algılanan önem düzeyinden bağımsız olarak hiçbir içerik filtrelenmez. Onaygerektirir 1. |
| Yalnızca açıklama ekle | Onaylanırsa1 | Onaylanırsa1 | Filtre işlevini devre dışı bırakır, bu nedenle içerik engellenmez, ancak ek açıklamalar API yanıtı aracılığıyla döndürülür. Onaygerektirir 1. |
1 Azure OpenAI modellerinde yalnızca değiştirilmiş içerik filtrelemesi için onaylanan müşteriler tam içerik filtreleme denetimine sahiptir ve içerik filtrelerini kapatabilir. Değiştirilen içerik filtreleri için şu form aracılığıyla uygulayın: Azure OpenAI Sınırlı Erişim gözden geçirmesi: Değiştirilen İçerik Filtreleri. Azure Kamu müşteriler için şu form aracılığıyla değiştirilmiş içerik filtreleri için uygulayın: Azure Kamu - Azure OpenAI Hizmeti için Değiştirilmiş İçerik Filtreleme İsteği.
Girişler (istemler) ve çıkışlar (tamamlamalar) için yapılandırılabilir içerik filtreleri tüm Azure OpenAI modellerinde kullanılabilir.
İçerik filtreleme yapılandırmaları Azure AI Foundry portalındaki bir Kaynak içinde oluşturulur ve Dağıtımlarla ilişkilendirilebilir. Yapılandırılabilirlik hakkında daha fazla bilgiyi burada bulabilirsiniz.
Müşteriler, Azure OpenAI'yi tümleştiren uygulamaların Kullanım Kuralları ile uyumlu olduğundan emin olmakla sorumludur.
Diğer filtreleri anlama
Varsayılan zarar kategorisi filtrelerine ek olarak aşağıdaki filtre kategorilerini yapılandırabilirsiniz.
| Filtre kategorisi | Durum | Varsayılan ayar | İstem veya tamamlamaya uygulandı mı? | Açıklama |
|---|---|---|---|---|
| Doğrudan saldırılar için Kalkanları iste (jailbreak) | GA | Açık | Kullanıcı istemi | Jailbreak Riski sunabilecek kullanıcı istemlerini filtreler / açıklama ekler. Ek açıklamalar hakkında daha fazla bilgi için Bkz . Azure AI Foundry içerik filtreleme. |
| Dolaylı saldırılar için Kalkanları iste | GA | Kapalı | Kullanıcı istemi | Dolaylı İstem Saldırıları veya Etki Alanları Arası İstem Ekleme Saldırıları olarak da adlandırılan Dolaylı Saldırılara filtre uygulama/açıklama ekleme; üçüncü tarafların, oluşturan yapay zeka sisteminin erişebileceği ve işleyebileceği belgelerin içine kötü amaçlı yönergeler yerleştirdiği olası bir güvenlik açığıdır. Gerekli: Belge ekleme ve biçimlendirme. |
| Korumalı malzeme - kod | GA | Açık | Tamamlama | Korumalı kodu filtreler veya GitHub Copilot tarafından desteklenen genel kod kaynaklarıyla eşleşen kod parçacıkları için ek açıklamalarda örnek alıntı ve lisans bilgilerini alır. Ek açıklamaları kullanma hakkında daha fazla bilgi için içerik filtreleme kavramları kılavuzuna bakın |
| Korumalı malzeme - metin | GA | Açık | Tamamlama | Bilinen metin içeriğinin model çıkışında (örneğin, şarkı sözleri, tarifler ve seçili web içeriği) görüntülenmesini tanımlar ve engeller. |
| Topraklanmışlık* | Önizle | Kapalı | Tamamlama | Büyük dil modellerinin (LLM' ler) metin yanıtlarının, kullanıcılar tarafından sağlanan kaynak malzemelerde yer alıp almadığını algılar. Arka plansızlık, LLM'lerin gerçek olmayan veya kaynak malzemelerde bulunanlardan doğru olmayan bilgiler ürettiği örnekleri ifade eder. Gerekli: Belge ekleme ve biçimlendirme. |
Azure AI Foundry'de içerik filtresi oluşturma
Azure AI Foundry'deki tüm model dağıtımları için varsayılan içerik filtresini doğrudan kullanabilirsiniz, ancak daha fazla denetim sahibi olmak isteyebilirsiniz. Örneğin, filtreyi daha katı veya daha esnek yapabilir veya istem kalkanları ve korumalı malzeme algılama gibi daha gelişmiş özellikleri etkinleştirebilirsiniz.
İpucu
Azure AI Foundry projenizdeki içerik filtreleriyle ilgili yönergeler için Azure AI Foundry içerik filtreleme makalesinde daha fazla bilgi edinebilirsiniz.
İçerik filtresi oluşturmak için şu adımları izleyin:
Azure AI Foundry'ye gidin ve projenize gidin. Ardından soldaki menüden Güvenlik + güvenlik sayfasını seçin ve İçerik filtreleri sekmesini seçin.
+ İçerik filtresi oluştur'u seçin.
Temel bilgiler sayfasında, içerik filtreleme yapılandırmanız için bir ad girin. İçerik filtresiyle ilişkilendirilecek bağlantıyı seçin. Sonra İleri'yi seçin.
Artık giriş filtrelerini (kullanıcı istemleri için) ve çıkış filtrelerini (model tamamlama için) yapılandırabilirsiniz.
Giriş filtreleri sayfasında, giriş istemi için filtreyi ayarlayabilirsiniz. İlk dört içerik kategorisi için yapılandırılabilir üç önem düzeyi vardır: Düşük, orta ve yüksek. Uygulamanızın veya kullanım senaryonuzun varsayılan değerlerden farklı filtreleme gerektirdiğini belirlerseniz, önem eşiğini ayarlamak için kaydırıcıları kullanabilirsiniz. İstem Kalkanları ve Korumalı malzeme algılama gibi bazı filtreler, modelin içeriğe ek açıklama eklemesi ve/veya içeriği engellemesi gerekip gerekmediğini belirlemenizi sağlar. Açıklama ekle'yi seçtiğinizde yalnızca ilgili model çalıştırılır ve API yanıtı aracılığıyla ek açıklamalar döndürülür, ancak içerik filtrelenmez. Açıklama eklemeye ek olarak, içeriği engellemeyi de seçebilirsiniz.
Kullanım örneğiniz değiştirilmiş içerik filtreleri için onaylandıysa, içerik filtreleme yapılandırmaları üzerinde tam denetim sahibi olursunuz ve filtrelemeyi kısmen veya tamamen kapatmayı seçebilir ya da yalnızca içerik zararları kategorileri (şiddet, nefret, cinsel ve kendine zarar) için açıklama ekleme özelliğini etkinleştirebilirsiniz.
İçerik kategoriye göre ek açıklamalı olarak gösterilir ve belirlediğiniz eşiğe göre engellenir. Şiddet, nefret, cinsel ve kendine zarar verme kategorileri için kaydırıcıyı yüksek, orta veya düşük önem derecesine sahip içeriği engelleyecek şekilde ayarlayın.
Çıkış filtreleri sayfasında, modeliniz tarafından oluşturulan tüm çıkış içeriğine uygulanacak olan çıkış filtresini yapılandırabilirsiniz. Tek tek filtreleri daha önce olduğu gibi yapılandırın. Bu sayfada ayrıca, model tarafından oluşturulan içeriğe neredeyse gerçek zamanlı olarak filtre uygulamanıza olanak tanıyan Akış modu seçeneği de sağlanır ve bu da gecikme süresini azaltır. İşiniz bittiğinde İleri'yi seçin.
İçerik, her kategori tarafından ek açıklamalı olarak gösterilir ve eşiğe göre engellenir. Şiddet içeren içerik, nefret içeriği, cinsel içerik ve kendine zarar verme içerik kategorisi için eşiği eşit veya daha yüksek önem düzeyine sahip zararlı içeriği engelleyecek şekilde ayarlayın.
İsteğe bağlı olarak, Dağıtım sayfasında içerik filtresini bir dağıtımla ilişkilendirebilirsiniz. Seçili bir dağıtımın zaten eklenmiş bir filtresi varsa, bunu değiştirmek istediğinizi onaylamanız gerekir. İçerik filtresini daha sonra bir dağıtımla da ilişkilendirebilirsiniz. Oluştur'u belirleyin.
İçerik filtreleme yapılandırmaları, Azure AI Foundry portalında hub düzeyinde oluşturulur. Azure OpenAI Hizmeti belgelerinde yapılandırılabilirlik hakkında daha fazla bilgi edinin.
Gözden Geçir sayfasında ayarları gözden geçirin ve filtre oluştur'u seçin.
Filtre olarak blok listesi kullanma
Engellenenler listesini giriş veya çıkış filtresi olarak ya da her ikisini birden uygulayabilirsiniz. Giriş filtresi ve/veya Çıkış filtresi sayfasında Engelle listesi seçeneğini etkinleştirin. Açılan listeden bir veya daha fazla engellenenler listesi seçin veya yerleşik küfür engelleme listesini kullanın. Birden çok engellenenler listesini aynı filtrede birleştirebilirsiniz.
İçerik filtresi uygulama
Filtre oluşturma işlemi, filtreyi istediğiniz dağıtımlara uygulama seçeneği sunar. ayrıca istediğiniz zaman içerik filtrelerini değiştirebilir veya dağıtımlarınızdan kaldırabilirsiniz.
Dağıtıma içerik filtresi uygulamak için şu adımları izleyin:
Sol bölmede Modeller + uç noktalar'ı seçin ve dağıtımlarınızdan birini seçin ve ardından Düzenle'yi seçin.
Dağıtımı güncelleştir penceresinde, dağıtıma uygulamak istediğiniz içerik filtresini seçin. Ardından Kaydet ve kapat'ı seçin.
Gerekirse bir içerik filtresi yapılandırmasını düzenleyebilir ve silebilirsiniz. İçerik filtreleme yapılandırmasını silmeden önce, Dağıtımlar sekmesindeki herhangi bir dağıtımdaki atamasını kaldırmanız ve değiştirmeniz gerekir.
Artık içerik filtresinin beklendiği gibi çalışıp çalışmadığını test etmek için oyun bahçesine gidebilirsiniz.
Rapor içeriği filtreleme geri bildirimi
İçerik filtreleme sorunuyla karşılaşıyorsanız oyun alanının üst kısmındaki Filtreler Geri Bildirimi düğmesini seçin. Bu, bir istem gönderdikten sonra Resimler, Sohbet ve Tamamlamalar oyun alanında etkinleştirilir.
İletişim kutusu görüntülendiğinde uygun içerik filtreleme sorununu seçin. İçerik filtreleme sorununuzla ilgili olarak, karşılaştığınız belirli istem ve içerik filtreleme hatası gibi olabildiğince fazla ayrıntı ekleyin. Herhangi bir özel veya hassas bilgi eklemeyin.
Destek için lütfen bir destek bileti gönderin.
En iyi yöntemleri izleyin
Belirli bir model, uygulama ve dağıtım senaryosuyla ilgili olası zararları gidermek için içerik filtreleme yapılandırma kararlarınızı yinelemeli bir tanımlama (örneğin, kırmızı ekip testi, stres testi ve analiz) ve ölçüm süreciyle bilgilendirmenizi öneririz. İçerik filtreleme gibi risk azaltmaları uyguladıktan sonra etkinliği test etmek için ölçümü yineleyin. Microsoft Sorumlu Yapay Zeka Standardı'nda temellenen Azure OpenAI için Sorumlu Yapay Zeka önerileri ve en iyi yöntemler, Azure OpenAI için Sorumlu Yapay Zekaya Genel Bakış sayfasında bulunabilir.
İlgili içerik
- Azure OpenAI için Sorumlu yapay zeka uygulamaları hakkında daha fazla bilgi edinin: Azure OpenAI modelleri için sorumlu yapay zeka uygulamalarına genel bakış.
- Azure AI Foundry ile içerik filtreleme kategorileri ve önem derecesi düzeyleri hakkında daha fazla bilgi edinin.
- Kırmızı grup oluşturma hakkında daha fazla bilgi için bkz. Büyük dil modellerinde (LLM) kırmızı grup oluşturma makalemize giriş.