Аналіз даних спеціалістами для автоматизації за допомогою запиту
У цій статті наголошується на важливій ролі людського огляду в розгортанні функції створення тексту за допомогою GPT у Power Automate. Ця функція використовує модель генерації тексту зі AI Builder служби Azure, що працює на основі Azure OpenAI Service. Хоча ці моделі дуже ефективні, вони іноді можуть генерувати оманливу або сфабриковану інформацію та вразливі до швидких атак із застосуванням ін’єкцій.
Важливо
- AI Builder підказки виконуються на моделях GPT 4o Mini та GPT 4o на базі служби OpenAI Azure.
- Ця можливість обмежена деякими регіонами.
- Ця можливість може залежати від обмежень використання або обмеження потужності.
Оперативні атаки ін’єкцій
Атака негайної ін’єкції відбувається, коли третя сторона користується властивою моделі довірою до всіх джерел вхідного сигналу. Зловмисник вводить запит у контент, з яким законний користувач просить взаємодіяти AI-рішення, що призводить до зміни результатів AI-рішення та, можливо, його дій.
Для екземпляр розгляньте сценарій, де citizen-розробник використовує дію «Створити текст за допомогою GPT», щоб формулювати відповіді на скарги клієнтів, зібрані з різних платформ, таких як електронні листи, соціальні мережі або форуми. Зловмисник може вставити запит у контент з одного з цих джерел. Цей сценарій може обдурити модель, згенерувавши відповідь, яка відрізняється від запланованої. відповідь може бути недоречною, неправильною або шкідливою. Неправильна інформація, що надсилається клієнтам, може негативно вплинути на репутацію компанії та відносини з клієнтами.
Виготовлення в моделях штучного інтелекту
Фабрикація, також відома як галюцинація, є ще однією проблемою, з якою стикаються моделі штучного інтелекту, включаючи модель генерації тексту. Фабрикація відбувається, коли модель штучного інтелекту генерує інформацію, яка не ґрунтується на наданих вхідних даних або вже існуючих даних, по суті , вигадуючи або галюцинуючи інформацію.
Для екземпляр, якщо модель штучного інтелекту попросити згенерувати підсумок історичної події на основі заданого тексту, вона може включати деталі або події, які не були згадані у вихідному тексті. Наприклад, ланцюжок створює синопсис зустрічі на основі розшифровки запису. Вхідні дані включають детальну інформацію про учасників, статті, які обговорювалися, та прийняті рішення. Однак модель може генерувати підсумок, який включає пункт дії або рішення, яке ніколи не обговорювалося на нараді. Ця ситуація є екземпляром фабрикації, коли модель має галюциновану інформацію, якої немає у вхідних даних.
Щоб зменшити ризик фабрикації, дуже важливо впроваджувати відповідальні методи використання штучного інтелекту. Це включає в себе ретельне тестування підказки та потоку, надання моделі якомога більшої кількості інформації про заземлення та, нарешті, впровадження надійної системи для нагляду з боку людини.
Усувайте ризики за допомогою відповідальних практик штучного інтелекту
Ми виступаємо за відповідальні методи використання штучного інтелекту як засобу зниження ризиків. Незважаючи на наявність стратегій для модерації контенту, створеного моделлю, управління схильністю моделі генерувати сфабриковані відповіді або піддаватися швидким атакам ін’єкцій залишається складним завданням. Ми визнаємо ці ризики та підтверджуємо нашу відданість людському нагляду та контролю.
Визнаючи необхідність безперебійної автоматизації, ми активно вдосконалюємо наші системи безпеки та прагнемо глибше зрозуміти ці проблеми. Наша мета полягає в подальшому вдосконаленні моделі генерації тексту за допомогою відповідних заходів безпеки відповідно до наших принципів відповідального штучного інтелекту за задумом, повертаючи контроль розробникам, де це можливо.