Revisió humana per a l'automatització amb una sol·licitud
Aquest article emfatitza el paper crític de la revisió humana en el desplegament de la funció Crea text amb GPT a Power Automate. Aquesta característica utilitza el model de generació de text de AI Builder, impulsat pel servei de l'Azure OpenAI . Tot i que aquests models són altament efectius, de vegades poden generar informació enganyosa o fabricada i són susceptibles a atacs d'injecció ràpida.
Important
- AI Builder s'executen als models GPT 4o Mini i GPT 4o amb tecnologia Azure OpenAI Service.
- Aquesta capacitat està limitada a algunes regions.
- Aquesta capacitat pot estar subjecta a límits d'ús o limitació de capacitat.
Atacs d'injecció ràpida
Un atac d'injecció ràpida es produeix quan un tercer s'aprofita de la confiança inherent del model en totes les fonts d'entrada. L'atacant injecta un missatge al contingut amb el qual un usuari legítim demana a la solució d'IA que interactuï, cosa que provoca un canvi en la sortida de la solució d'IA i, potencialment, en les seves accions.
Per exemple, considereu un escenari en què un desenvolupador ciutadà utilitza l'acció Crea text amb GPT per formular respostes a les queixes dels clients recollides de diverses plataformes, com ara correus electrònics, xarxes socials o fòrums. Un atacant podria inserir una sol·licitud al contingut d'una d'aquestes fonts. Aquest escenari podria enganyar el model perquè generi una resposta diferent de la prevista. La resposta pot ser inadequada, incorrecta o perjudicial. La informació incorrecta que s'envia als clients pot afectar negativament la reputació de l'empresa i les relacions amb els clients.
Fabricació en models d'IA
La fabricació, també coneguda com a al·lucinació, és un altre repte al qual s'enfronten els models d'IA, inclòs el model de generació de text. La fabricació es produeix quan el model d'IA genera informació que no es basa en entrades proporcionades o dades preexistents, essencialment inventant o al·lucinant informació.
Per exemple, si es demana al model d'IA que generi un resum d'un esdeveniment històric basat en un text determinat, pot incloure detalls o esdeveniments que no s'han esmentat al text font. Per exemple, un flux crea una sinopsi d'una reunió basada en la transcripció de l'enregistrament. Les dades d'entrada inclouen detalls sobre els assistents, els articles discutits i les decisions preses. Tanmateix, el model pot generar un resum que inclogui un element d'acció o una decisió que mai no s'ha discutit a la reunió. Aquesta situació és un cas de fabricació, on el model té informació al·lucinada que no existeix a les dades d'entrada.
Per mitigar el risc de fabricació, és crucial implementar pràctiques d'IA responsables. Això inclou proves rigoroses de la sol·licitud i el flux, proporcionant al model tanta informació de base com sigui possible i, finalment, implementant un sistema robust per a la supervisió humana.
Abordar els riscos mitjançant pràctiques responsables d'IA
Advoquem per pràctiques responsables d'IA com a mitjà per reduir els riscos. Tot i disposar d'estratègies per moderar el contingut produït pel model, la gestió de la propensió del model a generar respostes fabricades o sucumbir als atacs d'injecció ràpida segueix sent un repte complex. Reconeixem aquests riscos i reafirmem el nostre compromís amb la supervisió i el control humans.
En reconeixement de la necessitat d'una automatització perfecta, estem millorant proactivament els nostres sistemes de seguretat i buscant una comprensió més profunda d'aquests reptes. El nostre objectiu és perfeccionar encara més el model de generació de text amb mesures de seguretat adequades, d'acord amb els nostres principis d'IA responsable des del disseny, retornant el control als desenvolupadors sempre que sigui possible.