Tinjauan manusia untuk otomatisasi dengan perintah
Artikel ini menekankan peran penting tinjauan manusia dalam menerapkan fitur Buat teks dengan GPT Power Automate. Fitur ini menggunakan model pembuatan teks dari AI Builder, didukung oleh Azure OpenAI Service. Meskipun model ini sangat efektif, mereka terkadang dapat menghasilkan informasi yang menyesatkan atau dibuat-buat dan rentan terhadap serangan injeksi yang cepat.
Penting
- AI Builder perintah berjalan pada model GPT 4o Mini dan GPT 4o yang didukung oleh Azure OpenAI Service.
- Kemampuan ini terbatas pada beberapa wilayah.
- Kemampuan ini mungkin tunduk pada batas penggunaan atau pembatasan kapasitas.
Serangan injeksi cepat
Serangan injeksi cepat terjadi ketika pihak ketiga memanfaatkan kepercayaan yang melekat pada model di semua sumber input. Penyerang menyuntikkan prompt ke dalam konten yang diminta oleh pengguna yang sah untuk berinteraksi dengan solusi AI, yang mengarah pada perubahan output solusi AI, dan berpotensi, tindakannya.
Misalnya, pertimbangkan skenario di mana pengembang warga menggunakan tindakan Buat teks dengan GPT untuk merumuskan tanggapan atas keluhan pelanggan yang dikumpulkan dari berbagai platform seperti email, media sosial, atau forum. Penyerang dapat menyisipkan prompt ke dalam konten dari salah satu sumber ini. Skenario ini dapat menipu model untuk menghasilkan respons yang berbeda dari yang dimaksudkan. Respons tersebut bisa tidak pantas, tidak benar, atau berbahaya. Informasi yang salah yang dikirimkan ke pelanggan dapat berdampak negatif pada reputasi perusahaan dan Relasi pelanggan.
Fabrikasi dalam model AI
Fabrikasi, juga dikenal sebagai halusinasi, adalah tantangan lain yang dihadapi oleh model AI, termasuk model pembuatan teks. Fabrikasi terjadi ketika model AI menghasilkan informasi yang tidak didasarkan pada input yang diberikan atau data yang sudah ada sebelumnya, pada dasarnya menciptakan atau berhalusinasi informasi.
Misalnya, jika model AI diminta untuk membuat ringkasan peristiwa historis berdasarkan teks yang diberikan, model tersebut mungkin menyertakan detail atau peristiwa yang tidak disebutkan dalam teks sumber. Misalnya, alur membuat sinopsis rapat berdasarkan transkrip rekaman. Data input mencakup detail tentang peserta, artikel yang dibahas, dan keputusan yang dibuat. Namun, model mungkin menghasilkan ringkasan yang mencakup item tindakan atau keputusan yang tidak pernah dibahas dalam rapat. Situasi ini adalah contoh fabrikasi, di mana model memiliki informasi halusinasi yang tidak ada dalam data input.
Untuk mengurangi risiko fabrikasi, sangat penting untuk menerapkan praktik AI yang bertanggung jawab. Ini termasuk pengujian prompt dan alirannya yang ketat, memberikan model informasi grounding sebanyak mungkin dan akhirnya menerapkan sistem yang kuat untuk pengawasan manusia.
Atasi risiko melalui praktik AI yang bertanggung jawab
Kami mengadvokasi praktik AI yang bertanggung jawab sebagai sarana untuk mengurangi risiko. Meskipun memiliki strategi untuk memoderasi konten yang dihasilkan oleh model, mengelola kecenderungan model untuk menghasilkan respons palsu atau menyerah pada serangan injeksi yang cepat tetap menjadi tantangan yang kompleks. Kami mengakui risiko ini dan menegaskan kembali komitmen kami terhadap pengawasan dan kontrol manusia.
Sebagai pengakuan atas perlunya otomatisasi tanpa batas, kami secara proaktif meningkatkan sistem keselamatan kami dan mencari pemahaman yang lebih dalam tentang tantangan ini. Tujuan kami adalah untuk lebih menyempurnakan model pembuatan teks dengan langkah-langkah keamanan yang tepat, sejalan dengan prinsip kami tentang AI yang bertanggung jawab dengan desain, mengembalikan kendali kepada pengembang jika memungkinkan.