Pemantauan Penyalahgunaan

Layanan Azure OpenAI mendeteksi dan mengurangi instans konten dan/atau perilaku berulang yang menyarankan penggunaan layanan dengan cara yang mungkin melanggar Kode Etik atau ketentuan produk lain yang berlaku. Detail tentang bagaimana data ditangani dapat ditemukan di halaman Data, Privasi, dan Keamanan .

Komponen pemantauan penyalahgunaan

Ada beberapa komponen untuk menyalahgunakan pemantauan:

• Klasifikasi Konten: Model pengklasifikasi mendeteksi teks dan/atau gambar berbahaya dalam perintah pengguna (input) dan penyelesaian (output). Sistem mencari kategori bahaya seperti yang didefinisikan dalam Persyaratan Konten, dan menetapkan tingkat keparahan seperti yang dijelaskan secara lebih rinci di halaman Pemfilteran Konten. Sinyal klasifikasi konten berkontribusi pada deteksi pola seperti yang dijelaskan di bawah ini.
• Abuse Pattern Capture: Sistem pemantauan penyalahgunaan Azure OpenAI Service melihat pola penggunaan pelanggan dan menggunakan algoritma dan heuristik untuk mendeteksi dan menilai indikator potensi penyalahgunaan. Pola yang terdeteksi mempertimbangkan, misalnya, frekuensi dan tingkat keparahan di mana konten berbahaya terdeteksi (seperti yang ditunjukkan dalam sinyal pengklasifikasi konten) dalam permintaan dan penyelesaian pelanggan, serta kesengajaan perilaku. Tren dan urgensi pola yang terdeteksi juga akan memengaruhi penilaian potensi tingkat keparahan penyalahgunaan. Misalnya, volume konten berbahaya yang lebih tinggi yang diklasifikasikan sebagai tingkat keparahan yang lebih tinggi, atau perilaku berulang yang menunjukkan kesengajaan (seperti upaya jailbreak berulang) keduanya lebih mungkin menerima skor tinggi yang menunjukkan potensi penyalahgunaan.
• Tinjauan dan Keputusan: Perintah dan penyelesaian yang ditandai melalui klasifikasi konten dan/atau diidentifikasi sebagai bagian dari pola penggunaan yang berpotensi melecehkan tunduk pada proses peninjauan lain untuk membantu mengonfirmasi analisis sistem dan menginformasikan keputusan tindakan. Peninjauan tersebut dilakukan melalui dua metode: peninjauan manusia & peninjauan AI.
  • Secara default, jika perintah dan penyelesaian ditandai melalui klasifikasi konten sebagai berbahaya dan/atau diidentifikasi sebagai bagian dari pola penggunaan yang berpotensi melecehkan, perintah tersebut dapat diambil sampelnya untuk peninjauan otomatis dan tanpa mata dengan menggunakan LLM alih-alih peninjau manusia. LLM yang digunakan untuk tujuan ini memproses permintaan dan penyelesaian hanya untuk mengonfirmasi analisis sistem dan menginformasikan keputusan tindakan; permintaan dan penyelesaian yang mengalami peninjauan LLM tersebut tidak disimpan oleh sistem atau digunakan untuk melatih LLM atau sistem lainnya.
  • Dalam beberapa kasus, ketika tinjauan otomatis tidak memenuhi ambang keyakinan yang berlaku dalam konteks kompleks atau jika sistem peninjauan LLM tidak tersedia, tinjauan mata manusia dapat diperkenalkan untuk membuat penilaian ekstra. Ini dapat membantu meningkatkan akurasi analisis penyalahgunaan secara keseluruhan. Karyawan Microsoft yang berwenang dapat menilai konten yang ditandai, dan mengonfirmasi atau memperbaiki klasifikasi atau penentuan berdasarkan pedoman dan kebijakan yang telah ditentukan sebelumnya. Perintah dan penyelesaian dapat diakses untuk peninjauan manusia hanya oleh karyawan Microsoft yang berwenang melalui Secure Access Workstations (SAW) dengan persetujuan permintaan Just-In-Time (JIT) yang diberikan oleh manajer tim. Untuk sumber daya Azure OpenAI Service yang disebarkan di Area Ekonomi Eropa, karyawan Resmi Microsoft terletak di Area Ekonomi Eropa. Proses peninjauan manusia ini tidak akan berlangsung jika pelanggan telah disetujui untuk pemantauan penyalahgunaan yang dimodifikasi.
• Pemberitahuan dan Tindakan: Ketika ambang perilaku kasar telah dikonfirmasi berdasarkan langkah-langkah sebelumnya, pelanggan diberitahu tentang penentuan melalui email. Kecuali dalam kasus penyalahgunaan yang parah atau berulang, pelanggan biasanya diberi kesempatan untuk menjelaskan atau memulihkan—dan menerapkan mekanisme untuk mencegah pengulangan—perilaku kasar. Kegagalan untuk mengatasi perilaku—atau penyalahgunaan berulang atau parah—dapat mengakibatkan penangguhan atau penghentian akses pelanggan ke sumber daya dan/atau kemampuan Azure OpenAI.

Pemantauan penyalahgunaan yang dimodifikasi

Beberapa pelanggan mungkin ingin menggunakan Layanan Azure OpenAI untuk kasus penggunaan yang melibatkan pemrosesan data yang sangat sensitif atau sangat rahasia, atau mungkin menyimpulkan bahwa mereka tidak ingin atau tidak memiliki hak untuk mengizinkan Microsoft menyimpan dan melakukan peninjauan manusia pada permintaan dan penyelesaian mereka untuk deteksi penyalahgunaan. Untuk mengatasi masalah ini, Microsoft memungkinkan pelanggan yang memenuhi kriteria kelayakan Akses Terbatas tambahan untuk diterapkan untuk memodifikasi pemantauan penyalahgunaan dengan mengisi formulir ini . Pelajari selengkapnya tentang menerapkan pemantauan penyalahgunaan yang dimodifikasi di Akses terbatas ke Layanan Azure OpenAI, dan tentang dampak pemantauan penyalahgunaan yang dimodifikasi pada pemrosesan data di Data, privasi, dan keamanan untuk Azure OpenAI Service.

Langkah berikutnya

• Pelajari selengkapnya tentang model yang mendasari yang mendukung Azure OpenAI.
• Pelajari selengkapnya tentang memahami dan mengurangi risiko yang terkait dengan aplikasi Anda: Gambaran umum praktik AI yang Bertanggung Jawab untuk model Azure OpenAI.
• Pelajari selengkapnya tentang cara data diproses dalam pemfilteran konten dan pemantauan penyalahgunaan: Data, privasi, dan keamanan untuk Azure OpenAI Service.