Ljudski pregled za automatizaciju sa odzivom
Ovaj članak naglašava kritičnu ulogu ljudskog pregleda u primeni funkcije Kreiraj tekst sa GPT-om Power Automate. Ova funkcija koristi model generisanja teksta iz , koji pokreće Azure AI BuilderService. OpenAI Iako su ovi modeli veoma efikasni, oni ponekad mogu generisati obmanjujuće ili izmišljene informacije i podložni su brzim napadima ubrizgavanja.
Važno
- AI Builder upiti se pokreću na GPT 4o Mini i GPT 4o modelima koje pokreće Azure OpenAI Service.
- Ova mogućnost je ograničena na neke regione.
- Ova mogućnost može biti podložna ograničenjima korišćenja ili prigušivanju kapaciteta.
Brzi napadi ubrizgavanja
Napad brzog ubrizgavanja nastaje kada treća strana iskoristi inherentno poverenje modela u sve ulazne izvore. Napadač ubrizgava upit u sadržaj koji legitimni korisnik traži AI rešenje za interakciju, što dovodi do promene u izlazu AI rešenja, i potencijalno, njegove akcije.
Na primer, razmotrite scenario u kojem programer građana koristi akciju Kreiraj tekst sa GPT-om za formulisanje odgovora na žalbe kupaca prikupljene sa različitih platformi kao što su e-pošta, društveni mediji ili forumi. Napadač bi mogao da ubaci upit u sadržaj iz jednog od ovih izvora. Ovaj scenario bi mogao prevariti model u generisanju odgovor koji se razlikuje od predviđenog. Odgovor može biti neprikladan, netačan ili štetan. Netačne informacije koje se šalju klijentima mogu negativno uticati na reputaciju kompanije i odnosi sa klijentima.
Izrada u AI modelima
Izrada, poznata i kao halucinacija, je još jedan izazov sa kojim se suočavaju AI modeli, uključujući model generisanja teksta. Izrada se dešava kada AI model generiše informacije koje se ne zasnivaju na obezbeđenim ulazima ili već postojećim podacima, u suštini izmišljajući ili halucinirajući informacije.
Na primer, ako se od AI modela traži da generiše sažetak istorijskog događaja na osnovu datog teksta, on može uključivati detalje ili događaje koji nisu pomenuti u izvornom tekstu. Na primer, tok stvara sinopsis sastanka na osnovu transkripta snimka. Ulazni podaci uključuju detalje o prisutnima, člancima o kojima se raspravlja i donesenim odlukama. Međutim, model može generisati sažetak koji uključuje akcionu stavku ili odluku o kojoj se nikada nije raspravljalo na sastanku. Ova situacija je primer izmišljotine, gde model ima halucinirane informacije koje ne postoje u ulaznim podacima.
Da bi se ublažio rizik od izrade, ključno je implementirati odgovorne AI prakse. To uključuje rigorozno testiranje prompta i protoka, pružajući modelu što više informacija o uzemljenju i konačno implementirajući robustan sistem za ljudski nadzor.
Adresirajte rizike kroz odgovorne AI prakse
Zalažemo se za odgovorne AI prakse kao sredstvo za smanjenje rizika. Uprkos tome što postoje strategije za moderiranje sadržaja koji proizvodi model, upravljanje sklonošću modela da generiše izmišljene odgovore ili podlegne brzim napadima ubrizgavanja ostaje složen izazov. Priznajemo ove rizike i potvrđujemo našu posvećenost ljudskom nadzoru i kontroli.
U prepoznavanju neophodnosti za besprekornu automatizaciju, proaktivno unapređujemo naše bezbednosne sisteme i tražimo dublje razumevanje ovih izazova. Naš cilj je da dodatno usavršimo model generisanja teksta odgovarajućim bezbednosnim merama, u skladu sa našim principima odgovorne AI po dizajnu, vraćajući kontrolu programerima gde god je to moguće.