Cara mengonfigurasi filter konten dengan Azure AI Foundry
Sistem pemfilteran konten yang diintegrasikan ke dalam Azure AI Foundry berjalan bersama model inti, termasuk model pembuatan gambar DALL-E. Ini menggunakan ansambel model klasifikasi multi-kelas untuk mendeteksi empat kategori konten berbahaya (kekerasan, kebencian, seksual, dan bahaya diri) masing-masing pada empat tingkat keparahan (aman, rendah, sedang, dan tinggi), dan pengklasifikasi biner opsional untuk mendeteksi risiko jailbreak, teks yang ada, dan kode di repositori publik.
Konfigurasi pemfilteran konten default disetel agar memfilter keempat kategori konten berbahaya pada ambang keparahan sedang untuk perintah dan penyelesaian. Itu berarti bahwa konten yang terdeteksi pada tingkat keparahan sedang atau tinggi difilter, sementara konten yang terdeteksi pada tingkat keparahan rendah atau aman tidak difilter oleh filter konten. Pelajari selengkapnya tentang kategori konten, tingkat keparahan, dan perilaku sistem pemfilteran konten di sini.
Deteksi risiko Jailbreak dan model teks dan kode yang dilindungi bersifat opsional dan aktif secara default. Untuk model teks dan kode material yang dilindungi dan jailbreak, fitur konfigurasi memungkinkan semua pelanggan untuk mengaktifkan dan menonaktifkan model. Model secara default aktif dan dapat dinonaktifkan per skenario Anda. Beberapa model harus aktif untuk skenario tertentu untuk mempertahankan cakupan berdasarkan Komitmen Hak Cipta Pelanggan.
Catatan
Semua pelanggan dapat mengubah filter konten dan mengonfigurasi ambang keparahan (rendah, sedang, tinggi). Persetujuan diperlukan untuk menonaktifkan filter konten sebagian atau sepenuhnya. Pelanggan terkelola hanya dapat mengajukan permohonan kontrol pemfilteran konten penuh melalui formulir ini: Tinjauan Akses Terbatas Azure OpenAI: Filter Konten yang Dimodifikasi. Saat ini, tidak memungkinkan untuk menjadi pelanggan terkelola.
Filter konten dapat dikonfigurasi di tingkat sumber daya. Setelah konfigurasi baru dibuat, konfigurasi dapat dikaitkan dengan satu atau beberapa penyebaran. Untuk informasi selengkapnya tentang penyebaran model, lihat panduan penyebaran sumber daya.
Prasyarat
- Anda harus memiliki sumber daya Azure OpenAI dan penyebaran model bahasa besar (LLM) untuk mengonfigurasi filter konten. Ikuti mulai cepat untuk memulai.
Memahami konfigurasi filter konten
Layanan Azure OpenAI menyertakan pengaturan keamanan default yang diterapkan ke semua model, tidak termasuk Azure OpenAI Whisper. Konfigurasi ini memberi Anda pengalaman yang bertanggung jawab secara default, termasuk model pemfilteran konten, daftar blokir, transformasi permintaan, kredensial konten, dan lainnya. Baca selengkapnya tentang hal itu di sini.
Semua pelanggan juga dapat mengonfigurasi filter konten dan membuat kebijakan keamanan kustom yang disesuaikan dengan persyaratan kasus penggunaan mereka. Fitur konfigurasi memungkinkan pelanggan untuk menyesuaikan pengaturan, secara terpisah untuk permintaan dan penyelesaian, untuk memfilter konten untuk setiap kategori konten pada tingkat keparahan yang berbeda seperti yang dijelaskan dalam tabel di bawah ini. Konten yang terdeteksi pada tingkat keparahan 'aman' diberi label dalam anotasi tetapi tidak tunduk pada pemfilteran dan tidak dapat dikonfigurasi.
| Tingkat keparahan difilter | Dapat dikonfigurasi untuk perintah | Dapat dikonfigurasi untuk penyelesaian | Deskripsi |
|---|---|---|---|
| Rendah, sedang, tinggi | Ya | Ya | Konfigurasi pemfilteran paling ketat. Konten yang terdeteksi pada tingkat keparahan rendah, sedang, dan tinggi difilter. |
| Sedang, tinggi | Ya | Ya | Konten yang terdeteksi pada tingkat keparahan rendah tidak difilter, konten pada sedang dan tinggi difilter. |
| Sangat Penting | Ya | Ya | Konten yang terdeteksi pada tingkat keparahan rendah dan sedang tidak difilter. Hanya konten pada tingkat keparahan tinggi yang difilter. |
| Tidak ada filter | Jika disetujui1 | Jika disetujui1 | Tidak ada konten yang difilter terlepas dari tingkat keparahan yang terdeteksi. Memerlukan persetujuan1. |
| Anotasi saja | Jika disetujui1 | Jika disetujui1 | Menonaktifkan fungsionalitas filter, sehingga konten tidak akan diblokir, tetapi anotasi dikembalikan melalui respons API. Memerlukan persetujuan1. |
1 Untuk model Azure OpenAI, hanya pelanggan yang telah disetujui untuk pemfilteran konten yang dimodifikasi yang memiliki kontrol pemfilteran konten penuh dan dapat menonaktifkan filter konten. Terapkan untuk filter konten yang dimodifikasi melalui formulir ini: Tinjauan Akses Terbatas Azure OpenAI: Filter Konten yang Dimodifikasi. Untuk pelanggan Azure Government, ajukan filter konten yang dimodifikasi melalui formulir ini: Azure Government - Minta Pemfilteran Konten yang Dimodifikasi untuk Layanan Azure OpenAI.
Filter konten yang dapat dikonfigurasi untuk input (perintah) dan output (penyelesaian) tersedia untuk semua model Azure OpenAI.
Konfigurasi pemfilteran konten dibuat dalam Sumber Daya di portal Azure AI Foundry, dan dapat dikaitkan dengan Penyebaran. Pelajari selengkapnya tentang konfigurasi di sini.
Pelanggan bertanggung jawab untuk memastikan bahwa aplikasi yang mengintegrasikan Azure OpenAI mematuhi Kode Etik.
Memahami filter lain
Anda dapat mengonfigurasi kategori filter berikut selain filter kategori bahaya default.
| Kategori filter | Keadaan | Pengaturan default | Diterapkan untuk perintah atau penyelesaian? | Deskripsi |
|---|---|---|---|---|
| Prompt Shields untuk serangan langsung (jailbreak) | GA | Aktif | Permintaan pengguna | Filter / membuat anotasi permintaan pengguna yang mungkin menyajikan Risiko Jailbreak. Untuk informasi selengkapnya tentang anotasi, kunjungi Pemfilteran konten Azure AI Foundry. |
| Prompt Shields untuk serangan tidak langsung | GA | Nonaktif | Permintaan pengguna | Filter /anotasi Serangan Tidak Langsung, juga disebut sebagai Serangan Prompt Tidak Langsung atau Serangan Injeksi Prompt Lintas Domain, potensi kerentanan di mana pihak ketiga menempatkan instruksi berbahaya di dalam dokumen yang dapat diakses dan diproses oleh sistem AI generatif. Memerlukan: Penyematan dan pemformatan dokumen. |
| Bahan yang dilindungi - kode | GA | Aktif | Penyelesaian | Memfilter kode yang dilindungi atau mendapatkan contoh kutipan dan informasi lisensi dalam anotasi untuk cuplikan kode yang cocok dengan sumber kode publik apa pun, yang didukung oleh GitHub Copilot. Untuk informasi selengkapnya tentang menggunakan anotasi, lihat panduan konsep pemfilteran konten |
| Bahan yang dilindungi - teks | GA | Aktif | Penyelesaian | Mengidentifikasi dan memblokir konten teks yang diketahui agar tidak ditampilkan dalam output model (misalnya, lirik lagu, resep, dan konten web yang dipilih). |
| Groundedness* | Pratinjau | Nonaktif | Penyelesaian | Mendeteksi apakah respons teks model bahasa besar (LLM) di-grounded dalam materi sumber yang disediakan oleh pengguna. Ketidakalahan mengacu pada instans di mana LLM menghasilkan informasi yang tidak faktual atau tidak akurat dari apa yang ada dalam materi sumber. Memerlukan: Penyematan dan pemformatan dokumen. |
Membuat filter konten di Azure AI Foundry
Untuk penyebaran model apa pun di Azure AI Foundry, Anda dapat langsung menggunakan filter konten default, tetapi Anda mungkin ingin memiliki lebih banyak kontrol. Misalnya, Anda dapat membuat filter lebih ketat atau lebih lenient, atau mengaktifkan kemampuan yang lebih canggih seperti perisai prompt dan deteksi material yang dilindungi.
Tip
Untuk panduan tentang filter konten di proyek Azure AI Foundry, Anda dapat membaca selengkapnya di pemfilteran konten Azure AI Foundry.
Ikuti langkah-langkah berikut untuk membuat filter konten:
Buka Azure AI Foundry dan navigasikan ke proyek Anda. Lalu pilih halaman Keamanan + keamanan dari menu sebelah kiri dan pilih tab Filter konten .
Pilih + Buat filter konten.
Pada halaman Informasi dasar, masukkan nama untuk konfigurasi pemfilteran konten Anda. Pilih koneksi untuk dikaitkan dengan filter konten. Kemudian pilih Berikutnya.
Sekarang Anda dapat mengonfigurasi filter input (untuk permintaan pengguna) dan filter output (untuk penyelesaian model).
Pada halaman Filter input, Anda dapat mengatur filter untuk perintah input. Untuk empat kategori konten pertama ada tiga tingkat keparahan yang dapat dikonfigurasi: Rendah, sedang, dan tinggi. Anda dapat menggunakan penggeser untuk mengatur ambang keparahan jika Anda menentukan bahwa aplikasi atau skenario penggunaan Anda memerlukan pemfilteran yang berbeda dari nilai default. Beberapa filter, seperti Prompt Shields dan Deteksi material yang dilindungi, memungkinkan Anda menentukan apakah model harus membuat anotasi dan/atau memblokir konten. Memilih Anotasi hanya menjalankan model masing-masing dan mengembalikan anotasi melalui respons API, tetapi tidak akan memfilter konten. Selain membuat anotasi, Anda juga dapat memilih untuk memblokir konten.
Jika kasus penggunaan Anda disetujui untuk filter konten yang dimodifikasi, Anda menerima kontrol penuh atas konfigurasi pemfilteran konten dan dapat memilih untuk mengaktifkan pemfilteran sebagian atau sepenuhnya, atau mengaktifkan anotasi hanya untuk kategori bahaya konten (kekerasan, kebencian, seksual, dan bahaya diri).
Konten akan dianotasikan menurut kategori dan diblokir sesuai dengan ambang yang Anda tetapkan. Untuk kategori kekerasan, kebencian, seksual, dan melukai diri sendiri, sesuaikan slider untuk memblokir konten dengan tingkat keparahan tinggi, sedang, atau rendah.
Pada halaman Filter output, Anda dapat mengonfigurasi filter output, yang akan diterapkan ke semua konten output yang dihasilkan oleh model Anda. Konfigurasikan filter individual seperti sebelumnya. Halaman ini juga menyediakan opsi Mode streaming, yang memungkinkan Anda memfilter konten mendekati real-time seperti yang dihasilkan oleh model, mengurangi latensi. Setelah selesai, pilih Berikutnya.
Konten akan dianotasikan oleh setiap kategori dan diblokir sesuai dengan ambang batas. Untuk konten kekerasan, konten kebencian, konten seksual, dan kategori konten yang merugikan diri sendiri, sesuaikan ambang batas untuk memblokir konten berbahaya dengan tingkat keparahan yang sama atau lebih tinggi.
Secara opsional, pada halaman Penyebaran , Anda dapat mengaitkan filter konten dengan penyebaran. Jika penyebaran yang dipilih sudah melampirkan filter, Anda harus mengonfirmasi bahwa Anda ingin menggantinya. Anda juga dapat mengaitkan filter konten dengan penyebaran nanti. Pilih Buat.
Konfigurasi pemfilteran konten dibuat di tingkat hub di portal Azure AI Foundry. Pelajari selengkapnya tentang konfigurasi dalam dokumentasi Azure OpenAI Service.
Pada halaman Tinjau , tinjau pengaturan lalu pilih Buat filter.
Menggunakan daftar blokir sebagai filter
Anda dapat menerapkan daftar blokir sebagai filter input atau output, atau keduanya. Aktifkan opsi Daftar blokir pada halaman Filter input dan/atau Filter output. Pilih satu atau beberapa daftar blokir dari menu dropdown, atau gunakan daftar blokir kata-kata kocek bawaan. Anda dapat menggabungkan beberapa daftar blok ke dalam filter yang sama.
Menerapkan filter konten
Proses pembuatan filter memberi Anda opsi untuk menerapkan filter ke penyebaran yang Anda inginkan. Anda juga dapat mengubah atau menghapus filter konten dari penyebaran Kapan saja.
Ikuti langkah-langkah berikut untuk menerapkan filter konten ke penyebaran:
Buka Azure AI Foundry dan pilih proyek.
Pilih Model + titik akhir di panel kiri dan pilih salah satu penyebaran Anda, lalu pilih Edit.
Di jendela Perbarui penyebaran , pilih filter konten yang ingin Anda terapkan ke penyebaran. Lalu pilih Simpan dan tutup.
Anda juga dapat mengedit dan menghapus konfigurasi filter konten jika diperlukan. Sebelum menghapus konfigurasi pemfilteran konten, Anda harus menghapus penetapan dan menggantinya dari penyebaran apa pun di tab Penyebaran .
Sekarang, Anda dapat pergi ke taman bermain untuk menguji apakah filter konten berfungsi seperti yang diharapkan.
Laporkan umpan balik pemfilteran konten
Jika Anda mengalami masalah pemfilteran konten, pilih tombol Umpan Balik Filter di bagian atas taman bermain. Ini diaktifkan di playground Gambar, Obrolan, dan Penyelesaian setelah Anda mengirimkan permintaan.
Saat dialog muncul, pilih masalah pemfilteran konten yang sesuai. Sertakan detail sebanyak mungkin yang berkaitan dengan masalah pemfilteran konten Anda, seperti permintaan tertentu dan kesalahan pemfilteran konten yang Anda temui. Jangan sertakan informasi privat atau sensitif apa pun.
Untuk dukungan, kirimkan tiket dukungan.
Mengikutii praktik terbaik
Sebaiknya informasikan keputusan konfigurasi pemfilteran konten Anda melalui identifikasi berulang (misalnya, pengujian tim merah, pengujian stres, dan analisis) dan proses pengukuran untuk mengatasi potensi bahaya yang relevan untuk model, aplikasi, dan skenario penyebaran tertentu. Setelah Anda menerapkan mitigasi seperti pemfilteran konten, ulangi pengukuran untuk menguji efektivitas. Rekomendasi dan praktik terbaik untuk AI Bertanggung Jawab untuk Azure OpenAI, yang beralasan di Microsoft Responsible AI Standard dapat ditemukan di Gambaran Umum AI yang Bertanggung Jawab untuk Azure OpenAI.
Konten terkait
- Pelajari selengkapnya tentang praktik AI yang Bertanggung Jawab untuk Azure OpenAI: Gambaran umum praktik AI yang Bertanggung Jawab untuk model Azure OpenAI.
- Baca selengkapnya tentang kategori pemfilteran konten dan tingkat keparahan dengan Azure AI Foundry.
- Pelajari selengkapnya tentang tim merah dari kami: Pengantar artikel model bahasa besar (LLM) beregu merah.