AI yang bertanggung jawab dalam beban kerja Azure

Tujuan dari AI yang bertanggung jawab dalam desain beban kerja adalah untuk membantu memastikan bahwa penggunaan algoritma AI yang adil, transparan , dan inklusif . Prinsip keamanan Microsoft Azure Well-Architected Framework saling terkait dan berfokus pada kerahasiaan dan integritas . Langkah-langkah keamanan harus diberlakukan untuk menjaga privasi pengguna, melindungi data, dan melindungi integritas desain. Desain tidak boleh disalahgunakan untuk tujuan yang tidak diinginkan.

Dalam beban kerja AI, model sering menggunakan logika buram untuk membuat keputusan. Pengguna harus mempercayai fungsionalitas sistem dan merasa yakin bahwa model membuat keputusan ini secara bertanggung jawab. Perilaku yang tidak dapat diterima, seperti manipulasi, toksisitas konten, pelanggaran IP, dan respons fabrikasi, harus dicegah.

Pertimbangkan kasus penggunaan di mana perusahaan hiburan media ingin memberikan rekomendasi dengan menggunakan model AI. Jika perusahaan tidak menerapkan AI yang bertanggung jawab dan protokol keamanan yang tepat, aktor jahat mungkin mengambil kendali atas model. Model mungkin merekomendasikan konten yang menyebabkan kerusakan. Untuk organisasi, perilaku ini dapat mengakibatkan kerusakan merek, lingkungan yang tidak aman, dan masalah hukum. Oleh karena itu, menjaga kewaspadaan yang sesuai sepanjang siklus hidup sistem sangat penting dan tidak dapat dinegosiasikan.

Anda harus memprioritaskan keamanan dan manajemen beban kerja, serta mempertimbangkan dampak pada manusia saat membuat keputusan desain. Biasakan diri Anda dengan kerangka kerja Microsoft untuk AI yang bertanggung jawab dan pastikan Anda mengukur dan menerapkan prinsip kerangka kerja dalam desain Anda. Gambar berikut menunjukkan konsep inti kerangka kerja.

Artikel ini memberikan rekomendasi tentang pengambilan keputusan yang bertanggung jawab, memvalidasi input pengguna, dan membantu memastikan pengalaman pengguna yang aman. Ini juga memberikan panduan tentang keamanan data untuk membantu melindungi data pengguna.

Rekomendasi

Tabel berikut ini meringkas rekomendasi dalam artikel ini.

Mengembangkan kebijakan untuk AI yang bertanggung jawab

Dokumentasikan pendekatan Anda untuk penggunaan AI yang bertanggung jawab. Secara eksplisit menyatakan kebijakan yang Anda terapkan di setiap tahap siklus hidup sehingga tim beban kerja memahami tanggung jawab mereka. Standar Microsoft untuk AI yang bertanggung jawab memberikan panduan, tetapi Anda harus menentukan arti pedoman ini khusus untuk konteks Anda.

Misalnya, kebijakan harus menyertakan item daftar periksa untuk mekanisme yang mendukung transparansi data pengguna dan konfigurasi persetujuan. Idealnya, mekanisme ini harus memungkinkan pengguna untuk menolak penyertaan data. Alur data, analisis, pelatihan model, dan tahapan lainnya semuanya harus menghormati pilihan tersebut. Contoh lain adalah prosedur untuk menangani RTBF. Konsultasikan dengan departemen etika dan tim hukum organisasi Anda untuk membuat keputusan berdasarkan informasi.

Buat kebijakan transparan untuk penggunaan data dan pengambilan keputusan algoritma untuk membantu pengguna memahami dan mempercayai prosesnya. Dokumentasikan keputusan ini untuk mempertahankan riwayat yang jelas untuk potensi litigasi di masa mendatang.

Implementasi AI yang bertanggung jawab mencakup tiga peran utama: tim peneliti, tim kebijakan, dan tim teknik. Kolaborasi di antara tim-tim ini harus dioptimalisasikan. Jika organisasi Anda memiliki tim yang sudah ada, gunakan pekerjaan mereka. Jika tidak, tetapkan praktik ini sendiri.

Setiap tim harus memiliki tanggung jawab mereka sendiri. Misalnya:

• Tim peneliti melakukan penemuan risiko dengan berkonsultasi dengan pedoman organisasi, standar industri, hukum, peraturan, dan taktik tim merah yang diketahui.

• Tim kebijakan mengembangkan kebijakan yang khusus untuk beban kerja. Mereka menggabungkan pedoman dari organisasi induk dan peraturan pemerintah.

• Tim teknik menerapkan kebijakan yang ke dalam proses dan hasil kerja mereka. Tim memvalidasi dan menguji kepatuhan.

Setiap tim memformalkan pedomannya, tetapi tim beban kerja harus bertanggung jawab atas praktiknya sendiri yang didokumenkan. Tim harus dengan jelas mendokumenkan langkah tambahan atau penyimpangan yang disengaja untuk memastikan bahwa tidak ada ambiguitas tentang apa yang diizinkan. Tim juga harus transparan tentang setiap potensi kekurangan atau hasil yang tidak terduga dalam solusi.

Menerapkan tata kelola pada kebijakan untuk AI yang bertanggung jawab

Rancang beban kerja Anda untuk mematuhi tata kelola organisasi dan peraturan. Misalnya, jika transparansi adalah persyaratan organisasi, tentukan bagaimana hal itu berlaku untuk beban kerja Anda. Identifikasi area dalam desain, siklus hidup, kode, atau komponen lain tempat Anda harus memperkenalkan fitur transparansi untuk memenuhi standar tersebut.

Pahami tata kelola, akuntabilitas, papan ulasan, dan mandat pelaporan yang diperlukan. Pastikan dewan pemerintahan Anda menyetujui dan menandatangani desain beban kerja untuk menghindari desain ulang dan mengurangi masalah keamanan atau privasi. Anda mungkin perlu melalui beberapa lapisan persetujuan. Diagram berikut menguraikan struktur tata kelola umum dalam organisasi.

Untuk informasi selengkapnya tentang kebijakan dan pemberi persetujuan organisasi, lihat Menentukan strategi AI yang bertanggung jawab.

Membuat pengalaman pengguna aman

Pengalaman pengguna harus didasarkan pada pedoman industri. Gunakan Pustaka Desain Pengalaman Microsoft Human-AI, yang mencakup prinsip-prinsip dan memberikan panduan implementasi. Ini juga memberikan contoh dari produk Microsoft dan sumber industri lainnya.

Ada tanggung jawab beban kerja sepanjang siklus hidup interaksi pengguna. Mereka mulai dengan niat pengguna untuk menggunakan sistem, dan mereka melanjutkan sepanjang sesi dan selama gangguan yang disebabkan kesalahan sistem. Pertimbangkan praktik berikut:

• Membangun transparansi. Buat pengguna mengetahui bagaimana sistem menghasilkan respons terhadap kueri mereka.

  Sertakan tautan ke sumber data yang dikonsultasikan model untuk prediksi. Praktik ini meningkatkan kepercayaan pengguna dengan menunjukkan asal-usul informasi. Desain data harus menyertakan sumber-sumber ini dalam metadata. Misalnya, ketika orkestrator dalam aplikasi yang diperkuat pengambilan melakukan pencarian, orkestrator mengambil 20 potongan dokumen dan mengirim 10 potongan teratas ke model sebagai konteks. 10 potongan teratas milik tiga dokumen yang berbeda. UI kemudian dapat mereferensikan ketiga dokumen sumber ini saat menampilkan respons model. Transparansi ini meningkatkan kepercayaan pengguna.

  Transparansi menjadi lebih penting ketika Anda menggunakan agen, yang bertindak sebagai perantara antara antarmuka front-end dan sistem back-end. Misalnya, dalam sistem tiket, kode orkestrasi menginterpretasikan niat pengguna dan melakukan panggilan antarmuka pemrograman aplikasi (API) ke agen untuk mengambil informasi yang diperlukan. Mengekspos interaksi ini membantu membuat pengguna mengetahui tindakan sistem.

  Untuk alur kerja otomatis yang menyertakan beberapa agen, buat file log yang merekam setiap langkah. File log dapat membantu Anda mengidentifikasi dan memperbaiki kesalahan. Mereka juga memberikan penjelasan kepada pengguna tentang keputusan, yang mengoprasikan transparansi.

  Perhatian

  Saat Anda menerapkan rekomendasi transparansi, hindari membuat pengguna kewalahan dengan terlalu banyak informasi. Ambil pendekatan bertahap dengan menggunakan metode UI yang minimal mengganggu.

  Misalnya, tampilkan tooltip yang menunjukkan tingkat kepercayaan dari model. Anda dapat menggabungkan tautan, seperti tautan ke dokumen sumber, yang dapat dipilih pengguna untuk detail selengkapnya. Metode yang dimulai pengguna ini membuat UI tidak mengganggu dan memungkinkan pengguna mencari informasi lebih lanjut hanya jika mereka memilih.

• Kumpulkan umpan balik. Menerapkan mekanisme umpan balik.

  Hindari pengguna yang kewalahan dengan kuesioner ekstensif setelah setiap respons. Gunakan mekanisme umpan balik cepat dan sederhana sebagai gantinya, seperti jempol ke atas atau jempol ke bawah, atau sistem peringkat untuk aspek jawaban tertentu pada skala 1 hingga 5. Metode ini membantu meningkatkan sistem dari waktu ke waktu dan memungkinkan umpan balik terperinci tanpa mengganggu. Perhatikan potensi masalah kewajaran dalam umpan balik karena mungkin ada alasan sekunder di balik respons pengguna.

  Menerapkan mekanisme umpan balik memengaruhi arsitektur karena kebutuhan akan penyimpanan data. Perlakukan umpan balik seperti data pengguna dan terapkan tingkat kontrol privasi sesuai kebutuhan.

  Selain umpan balik respons, kumpulkan umpan balik tentang kemanjuran pengalaman pengguna. Kumpulkan metrik keterlibatan melalui tumpukan pemantauan sistem Anda.

Mengoprasionalkan langkah-langkah keamanan konten

Integrasikan keamanan konten ke dalam setiap tahap siklus hidup AI dengan menggunakan kode solusi kustom, alat yang sesuai, dan praktik keamanan yang efektif. Pertimbangkan strategi berikut:

• Menganonimkan data. Saat data berpindah dari penyerapan ke pelatihan atau evaluasi, terapkan pemeriksaan di sepanjang jalan untuk meminimalkan risiko kebocoran informasi pribadi dan menghindari paparan data pengguna mentah.

• Memoderasi konten. Gunakan API keamanan konten yang mengevaluasi permintaan dan respons secara real time. Pastikan API ini dapat dijangkau.

• Identifikasi dan mitigasi ancaman. Terapkan praktik keamanan terkenal ke skenario AI Anda. Misalnya, lakukan pemodelan ancaman lalu dokumentasikan ancaman dan cara Anda menguranginya. Praktik keamanan umum seperti latihan tim merah berlaku untuk beban kerja AI. Tim merah dapat menguji apakah model dapat dimanipulasi untuk menghasilkan konten berbahaya. Kegiatan ini harus diintegrasikan ke dalam operasi AI.

  Untuk informasi, lihat Merencanakan tim merah untuk model bahasa besar dan aplikasi mereka.

• Gunakan metrik yang tepat. Gunakan metrik yang secara efektif mengukur perilaku model. Metrik bervariasi tergantung pada jenis model AI. Dalam beberapa kasus, pengukuran model generatif mungkin tidak berlaku untuk model regresi. Misalnya, model memprediksi harapan hidup, dan hasilnya memengaruhi tarif asuransi. Masalah kewajaran dalam model ini dapat mengakibatkan bahaya terkait kewajaran. Masalah ini berasal dari penyimpangan dalam pengujian metrik inti karena metrik kewajaran dan akurasi biasanya saling terhubung. Meningkatkan akurasi untuk membantu mengurangi bahaya terkait keadilan.

• Tambahkan instrumentasi yang sesuai. Hasil model AI harus dapat dijelaskan. Anda perlu menjelaskan dan melacak bagaimana inferensi dibuat, termasuk data pelatihan, fitur yang dihitung, dan data grounding. Dalam AI diskriminatif, Anda dapat membenarkan keputusan langkah demi langkah. Namun, untuk model generatif, menjelaskan hasilnya bisa menjadi kompleks. Dokumentasikan proses pengambilan keputusan untuk mengatasi potensi implikasi hukum dan memberikan transparansi.

  Anda harus menerapkan aspek kemampuan penjelasan ini di seluruh siklus hidup AI. Pembersihan data, silsilah data, kriteria pemilihan, dan pemrosesan adalah tahap penting di mana keputusan harus dilacak.

Alat

Integrasikan alat untuk keamanan konten dan keterlacakan data, seperti Microsoft Purview. AZURE AI Content Safety API dapat dipanggil dari pengujian Anda untuk memfasilitasi pengujian keamanan konten.

Azure AI Foundry menyediakan metrik yang mengevaluasi perilaku model. Untuk informasi selengkapnya, lihat Metrik evaluasi dan pemantauan untuk AI generatif.

Untuk model pelatihan, lihat metrik yang disediakan Azure Machine Learning.

Memeriksa data masuk dan keluar

Serangan injeksi prompt, seperti jailbreaking, adalah perhatian umum untuk beban kerja AI. Dalam hal ini, beberapa pengguna mungkin mencoba menyalahgunakan model untuk tujuan yang tidak diinginkan. Untuk membantu memastikan keamanan, memeriksa data untuk mencegah serangan dan memfilter konten yang tidak pantas. Terapkan analisis ini ke input pengguna dan respons sistem untuk membantu memastikan moderasi konten menyeluruh dalam alur masuk dan alur keluar.

Dalam beberapa kasus, Anda perlu membuat beberapa pemanggilan model, seperti melalui Azure OpenAI Service, untuk melayani satu permintaan klien. Dalam skenario ini, menerapkan pemeriksaan keamanan konten ke setiap pemanggilan bisa mahal dan tidak perlu. Pertimbangkan untuk memusatkan pekerjaan tersebut dalam arsitektur sambil menjaga keamanan sebagai tanggung jawab sisi server. Misalkan arsitektur memiliki gateway di depan titik akhir inferensi model untuk meneruskan fungsi back-end tertentu. Anda dapat merancang gateway tersebut untuk menangani pemeriksaan keamanan konten untuk permintaan dan respons yang mungkin tidak didukung oleh back end secara asli. Meskipun gateway adalah solusi umum, lapisan orkestrasi dapat menangani tugas-tugas ini secara efektif dalam arsitektur yang lebih sederhana. Dalam kedua kasus, Anda dapat secara selektif menerapkan pemeriksaan ini saat diperlukan, yang mengoptimalkan performa dan biaya.

Inspeksi harus multimodal dan mencakup berbagai format. Saat Anda menggunakan input multimodal, seperti gambar, penting untuk menganalisisnya untuk pesan tersembunyi yang mungkin berbahaya atau kekerasan. Pesan-pesan ini mungkin tidak segera terlihat, sehingga memerlukan inspeksi yang cermat. Gunakan alat seperti CONTENT Safety API untuk tujuan ini.

Untuk membantu menerapkan kebijakan privasi dan keamanan data, periksa data pengguna dan data dasar untuk kepatuhan terhadap peraturan privasi. Pastikan bahwa data dibersihkan atau difilter saat mengalir melalui sistem. Misalnya, data dari percakapan dukungan pelanggan sebelumnya dapat berfungsi sebagai data dasar. Data ini harus disanitasi sebelum digunakan kembali.

Menangani data pengguna dengan tepat

Praktik yang bertanggung jawab melibatkan penanganan manajemen data pengguna yang cermat. Manajemen ini termasuk mengetahui kapan harus menggunakan data dan kapan harus menghindari mengandalkan data pengguna.

• Berlatih inferensi tanpa berbagi data pengguna. Untuk berbagi data pengguna dengan aman dengan organisasi lain untuk wawasan, gunakan model clearinghouse. Dalam skenario ini, organisasi menyediakan data kepada mitra tepercaya yang melatih model dengan menggunakan data agregat. Kemudian semua institusi dapat menggunakan model ini dan berbagi wawasan tanpa mengekspos himpunan data individual. Tujuannya adalah untuk menggunakan kemampuan inferensi model tanpa berbagi data pelatihan terperinci.

• Mempromosikan keragaman dan inklusivitas. Saat data pengguna diperlukan, gunakan berbagai data, termasuk genre dan pembuat yang kurang terwakili, untuk mengurangi bahaya terkait kewajaran. Terapkan fitur yang mendorong pengguna untuk menjelajahi konten baru dan bervariasi. Pantau penggunaan secara berkelanjutan dan sesuaikan rekomendasi untuk menghindari terlalu merepresentasikan jenis konten tunggal apa pun.

• Hormati RTBF. Hindari menggunakan data pengguna jika memungkinkan. Bantu pastikan kepatuhan terhadap RTBF dengan menerapkan langkah-langkah yang diperlukan untuk memastikan bahwa data pengguna dihapus dengan rajin.

  Untuk membantu memastikan kepatuhan, mungkin ada permintaan untuk menghapus data pengguna dari sistem. Untuk model yang lebih kecil, Anda dapat menghapus data pengguna dengan melatih kembali model dengan menggunakan data yang mengecualikan informasi pribadi. Untuk model yang lebih besar, yang dapat terdiri dari beberapa model yang lebih kecil dan terlatih secara independen, prosesnya lebih kompleks dan biaya dan upayanya signifikan. Cari panduan hukum dan etika tentang menangani situasi ini dan pastikan untuk menyertakan panduan dalam kebijakan Anda untukAI yang bertanggung jawab.

• Pertahankan data secara bertanggung jawab. Jika penghapusan data tidak dimungkinkan, dapatkan persetujuan pengguna eksplisit untuk pengumpulan data dan berikan kebijakan privasi yang jelas. Kumpulkan dan pertahankan data hanya jika benar-benar diperlukan. Memiliki operasi untuk menghapus data secara agresif saat tidak lagi diperlukan. Misalnya, bersihkan riwayat obrolan segera setelah praktis, dan anonimkan data sensitif sebelum retensi. Gunakan metode enkripsi tingkat lanjut untuk data ini saat tidak aktif.

• Dukung kejelasan penjelasan. Lacak keputusan dalam sistem untuk mendukung persyaratan penjelasan. Kembangkan penjelasan yang jelas tentang cara kerja algoritma rekomendasi. Berikan wawasan kepada pengguna tentang mengapa konten tertentu direkomendasikan kepada mereka. Tujuannya adalah untuk memastikan bahwa beban kerja AI dan hasilnya transparan dan dapat ditegaskan dengan merinci bagaimana mereka membuat keputusan, data apa yang mereka gunakan, dan bagaimana model dilatih.

• Mengenkripsi data pengguna. Data input harus dienkripsi pada setiap tahap alur pemrosesan data sejak pengguna memasukkan data. Tahapan ini mencakup data saat berpindah dari satu titik ke titik lainnya, data yang disimpan, dan data yang disimpulkan, jika perlu. Seimbangkan keamanan dan fungsionalitas dan bertujuan untuk menjaga data tetap privat sepanjang siklus hidupnya.

• Menyediakan kontrol akses yang kuat. Beberapa jenis identitas berpotensi mengakses data pengguna. Terapkan kontrol akses berbasis peran untuk sarana kontrol dan sarana data sehingga mencakup komunikasi pengguna dan sistem-ke-sistem.

  Pertahankan segmentasi pengguna yang tepat untuk melindungi privasi. Misalnya, Microsoft 365 Copilot dapat mencari dan memberikan jawaban berdasarkan dokumen dan email tertentu pengguna, sambil memastikan bahwa hanya konten yang relevan dengan pengguna tersebut yang diakses.

• Kurangi area permukaan. Strategi mendasar pilar Well-Architected Framework Security adalah meminimalkan permukaan serangan dan memperkuat sumber daya. Anda harus menerapkan strategi ini ke praktik keamanan titik akhir standar dengan mengontrol titik akhir API dengan ketat, hanya mengekspos data penting, dan menghindari informasi asing sebagai respons. Seimbangkan pilihan desain antara fleksibilitas dan kontrol.

  Pastikan bahwa tidak ada titik akhir anonim. Secara umum, hindari memberi pengguna kontrol lebih dari yang diperlukan. Dalam sebagian besar skenario, pengguna tidak perlu menyesuaikan hiperparameter kecuali di lingkungan eksperimental. Untuk kasus penggunaan umum, seperti berinteraksi dengan agen virtual, pengguna hanya boleh mengontrol aspek penting untuk membantu memastikan keamanan dengan membatasi kontrol yang tidak perlu.

Untuk informasi selengkapnya, lihat desain aplikasi untuk beban kerja AI di Azure.

Langkah berikutnya