Automatizavimo žmogaus peržiūra su raginimu
Šiame straipsnyje pabrėžiamas kritinis žmogaus peržiūros vaidmuo diegiant funkciją Kurti tekstą naudojant GPT Power Automate. Ši funkcija naudoja teksto generavimo modelį iš AI Builder, kurį teikia "Azure" OpenAI tarnyba. Nors šie modeliai yra labai veiksmingi, jie kartais gali generuoti klaidinančią ar suklastotą informaciją ir yra jautrūs greitoms injekcijos atakoms.
Svarbu
- AI Builder raginimai veikia GPT 4o Mini ir GPT 4o modeliuose, kuriuos teikia "Azure OpenAI Service".
- Ši galimybė taikoma tik kai kuriuose regionuose.
- Šiai galimybei gali būti taikomi naudojimo apribojimai arba pajėgumo ribojimas.
Greiti injekcijos priepuoliai
Greita injekcijos ataka įvyksta, kai trečioji šalis pasinaudoja modeliui būdingu pasitikėjimu visais įvesties šaltiniais. Užpuolikas įveda raginimą į turinį, su kuriuo teisėtas vartotojas prašo dirbtinio intelekto sprendimo sąveikauti, todėl pasikeičia AI sprendimo išvestis ir galbūt jo veiksmai.
Pavyzdžiui, apsvarstykite scenarijų, kai kūrėjas pilietis naudoja veiksmą Kurti tekstą su GPT , kad suformuluotų atsakymus į klientų skundus, surinktus iš įvairių platformų, pvz., el. laiškų, socialinės žiniasklaidos ar forumų. Užpuolikas gali įterpti raginimą į turinį iš vieno iš šių šaltinių. Šis scenarijus gali apgauti modelį, kad sukurtų atsakymas, kuris skiriasi nuo numatyto. Atsakymas gali būti netinkamas, neteisingas arba žalingas. Klientams siunčiama neteisinga informacija gali neigiamai paveikti įmonės reputaciją ir santykius su klientais.
Gamyba AI modeliuose
Gamyba, dar vadinama haliucinacija, yra dar vienas iššūkis, su kuriuo susiduria dirbtinio intelekto modeliai, įskaitant teksto generavimo modelį. Gamyba vyksta tada, kai AI modelis generuoja informaciją, kuri nėra pagrįsta pateiktomis įvestimis ar jau esamais duomenimis, iš esmės išradinėdama ar haliucinuodama informaciją.
Pavyzdžiui, jei DI modelio prašoma sugeneruoti istorinio įvykio suvestinę pagal tam tikrą tekstą, jame gali būti pateikta išsami informacija arba įvykiai, kurie nebuvo paminėti šaltinio tekste. Pavyzdžiui, srautas sukuria susitikimo santrauką pagal įrašo nuorašą. Įvesties duomenys apima išsamią informaciją apie dalyvius, aptartus straipsnius ir priimtus sprendimus. Tačiau modelis gali generuoti suvestinę, kurioje yra veiksmo elementas arba sprendimas, kuris niekada nebuvo aptartas susitikime. Ši situacija yra gamybos atvejis, kai modelis turi haliucinuotą informaciją, kurios nėra įvesties duomenyse.
Siekiant sumažinti gamybos riziką, labai svarbu įgyvendinti atsakingas DI praktikas. Tai apima griežtą raginimo ir srauto testavimą, suteikiant modeliui kuo daugiau įžeminimo informacijos ir galiausiai įdiegiant patikimą žmogaus priežiūros sistemą.
Šalinkite riziką taikydami atsakingą DI praktiką
Mes pasisakome už atsakingą dirbtinio intelekto praktiką kaip priemonę rizikai sumažinti. Nepaisant to, kad yra strategijų, skirtų modelio sukurtam turiniui moderuoti, modelio polinkio generuoti sufabrikuotus atsakymus ar pasiduoti greitoms injekcijos atakoms valdymas tebėra sudėtingas iššūkis. Mes pripažįstame šią riziką ir dar kartą patvirtiname savo įsipareigojimą vykdyti žmogaus vykdomą priežiūrą ir kontrolę.
Pripažindami sklandaus automatizavimo būtinybę, aktyviai tobuliname savo saugos sistemas ir siekiame geriau suprasti šiuos iššūkius. Mūsų tikslas – toliau tobulinti teksto generavimo modelį, taikant tinkamas saugos priemones, laikantis mūsų atsakingo dirbtinio intelekto projektavimo principų, kai tik įmanoma, grąžinant valdymą kūrėjams.