Emberi ellenőrzés a kérdéssel való automatizáláshoz
Ez a cikk hangsúlyozza az emberi felülvizsgálat kritikus szerepét a Szöveg létrehozása GPT-vel funkció üzembe helyezésében Power Automate. Ez a funkció az Azure-szolgáltatás által működtetett szöveggenerálási AI Buildermodellt OpenAI használja. Bár ezek a modellek rendkívül hatékonyak, néha félrevezető vagy koholt információkat generálhatnak, és hajlamosak az azonnali injekciós támadásokra.
Fontos
- AI Builder A kérések az Azure-szolgáltatás OpenAI általműködtetett GPT 4o Mini és GPT 4o modelleken futnak.
- Ez a képesség néhány régióra korlátozódik.
- Erre a képességre használati korlátok vagy kapacitásszabályozás vonatkozhat.
Azonnali injekciós támadások
Azonnali injektálási támadás akkor fordul elő, ha egy harmadik fél kihasználja a modell eredendő bizalmát az összes bemeneti forrásban. A támadó egy kérést injektál be olyan tartalomba, amellyel egy legitim felhasználó interakciót kér az AI-megoldástól, ami megváltoztatja az AI-megoldás kimenetét és potenciálisan műveleteit.
Vegyünk például egy olyan forgatókönyvet, amelyben egy polgári fejlesztő a Szöveg létrehozása GPT-vel műveletet használja a különböző platformokról, például e-mailekből, közösségi médiából vagy fórumokról gyűjtött ügyfélpanaszokra adott válaszok megfogalmazására. A támadó figyelmeztetést szúrhat be ezen források egyikének tartalmába. Ez a forgatókönyv megtévesztheti a modellt, hogy a tervezetttől eltérő válasz hozzon létre. A válasz lehet nem megfelelő, helytelen vagy káros. Az ügyfeleknek küldött helytelen információk negatívan befolyásolhatják a vállalat hírnevét és az ügyfelek kapcsolatok.
Gyártás AI-modellekben
A gyártás, más néven hallucináció, egy másik kihívás, amellyel az AI-modelleknek szembe kell nézniük, beleértve a szöveggenerálási modellt is. A gyártás akkor következik be, amikor az AI-modell olyan információkat generál, amelyek nem a megadott bemeneteken vagy már meglévő adatokon alapulnak, lényegében információkat találnak ki vagy hallucinálnak .
Ha például az AI-modellt arra kérik, hogy egy adott szöveg alapján hozzon létre összegzést egy történelmi eseményről, az tartalmazhat olyan részleteket vagy eseményeket, amelyek nem szerepelnek a forrásszövegben. Egy folyamat például létrehoz egy értekezlet szinopszisát a felvétel átirata alapján. A bemeneti adatok tartalmazzák a résztvevők részleteit, a megvitatott cikkeket és a meghozott döntéseket. A modell azonban létrehozhat egy összegzést, amely tartalmaz egy műveleti elemet vagy egy döntést, amelyet soha nem vitattak meg az értekezleten. Ez a helyzet a gyártás egy példája, ahol a modell olyan információkat hallucinált , amelyek nem léteznek a bemeneti adatokban.
A gyártás kockázatának csökkentése érdekében elengedhetetlen a felelősségteljes AI-gyakorlatok bevezetése. Ez magában foglalja az azonnali és az áramlás szigorú tesztelését, a modell lehető legtöbb földelési információval való ellátását, és végül egy robusztus rendszer megvalósítását az emberi felügyelet számára.
A kockázatok kezelése felelősségteljes AI-gyakorlatokkal
Támogatjuk a felelősségteljes AI-gyakorlatokat a kockázatok csökkentésének eszközeként. Annak ellenére, hogy vannak stratégiák a modell által előállított tartalom moderálására, a modell azon hajlandóságának kezelése, hogy koholt válaszokat generáljon, vagy megadja magát az azonnali injekciós támadásoknak, továbbra is összetett kihívás. Elismerjük ezeket a kockázatokat, és megerősítjük elkötelezettségünket az emberi felügyelet és ellenőrzés iránt.
Felismerve a zökkenőmentes automatizálás szükségességét, proaktívan fejlesztjük biztonsági rendszereinket, és igyekszünk jobban megérteni ezeket a kihívásokat. Célunk, hogy megfelelő biztonsági intézkedésekkel tovább finomítsuk a szöveggenerálási modellt, összhangban a felelős mesterséges intelligencia alapelveivel, ahol csak lehetséges, visszaadva az irányítást a fejlesztőknek.