مراجعة بشرية للأتمتة مع موجه

يؤكد هذا المقال على الدور الحاسم للمراجعة البشرية في نشر ميزة إنشاء النص باستخدام GPT في Power Automate. وتستخدم هذه الميزة نموذج إنشاء النص من AI Builder، المدعوم بواسطة Azure OpenAI. على الرغم من أن هذه النماذج فعالة للغاية، إلا أنها يمكن أن تنشئ في بعض الأحيان معلومات مضللة أو ملفقة وتكون عرضة لهجمات الحقن السريعة.

هجمات الحقن الفوري

يحدث هجوم الحقن الفوري عندما يستغل طرف ثالث الثقة المتأصلة في النموذج في جميع مصادر الإدخال. يقوم المهاجم بإدخال مطالبة في المحتوى الذي يطلب المستخدم الشرعي من حل الذكاء الاصطناعي التفاعل معه، مما يؤدي إلى تغيير في مخرجات حل الذكاء الاصطناعي، وربما في إجراءاته.

على سبيل المثال، فكر في سيناريو حيث يستخدم مطور مواطن إجراء إنشاء نص باستخدام GPT لصياغة ردود على شكاوى العملاء التي تم جمعها من منصات مختلفة مثل رسائل البريد الإلكتروني أو وسائل التواصل الاجتماعي أو المنتديات. يمكن للمهاجم إدراج مطالبة في المحتوى من أحد هذه المصادر. قد يؤدي هذا السيناريو إلى خداع النموذج لإنشاء استجابة تنحرف عن الاستجابة المقصودة. وقد تكون النتيجة إرسال ردود غير مناسبة أو غير صحيحة أو حتى ضارة إلى العملاء، مما يؤثر سلبًا على سمعة الشركة وعلاقاتها مع العملاء.

الفبركة في نماذج الذكاء الاصطناعي

تعد الفبركة، المعروف أيضًا باسم الهلوسة، تحديًا آخر تواجهه نماذج الذكاء الاصطناعي، بما في ذلك ‏‎نموذج إنشاء النص. تحدث هذه الظاهرة عندما يقوم نموذج الذكاء الاصطناعي بإنشاء معلومات لا تعتمد على المدخلات المقدمة أو البيانات الموجودة مسبقًا، وهي في الأساس معلومات اختراع أو هلوسة.

على سبيل المثال، إذا طُلب من نموذج الذكاء الاصطناعي إنشاء ملخص لحدث تاريخي استنادًا إلى نص معين، فقد يتضمن تفاصيل أو أحداث لم يتم ذكرها في النص المصدر، أو حتى حقائق غير صحيحة تاريخيًا. على سبيل المثال، يقوم سير المهام بإنشاء ملخص للاجتماع استنادًا إلى نص التسجيل. تتضمن بيانات الإدخال تفاصيل حول الحضور والمقالات التي تمت مناقشتها والقرارات المتخذة. ومع ذلك، قد يقوم النموذج بإنشاء ملخص يتضمن بند عمل أو قرارًا لم تتم مناقشته مطلقًا في الاجتماع. هذا الموقف هو مثال للفبركة، حيث يهلوس النموذج بجزء من المعلومات غير الموجودة في البيانات المدخلة.**

للتخفيف من مخاطر الفبركة، من الضروري تنفيذ ممارسات الذكاء الاصطناعي المسؤولة. ويتضمن ذلك اختبارًا صارمًا للموجه والتدفق، وتزويد النموذج بأكبر قدر ممكن من المعلومات الأساسية، وأخيرًا تنفيذ نظام قوي للرقابة البشرية.

معالجة المخاطر من خلال ممارسات الذكاء الاصطناعي المسؤولة

نحن ندعو إلى ممارسات مسؤولة للذكاء الاصطناعي كوسيلة للتخفيف من هذه المخاطر. على الرغم من وجود استراتيجيات معمول بها لتخفيف المحتوى الذي ينتجه النموذج، فإن إدارة ميل النموذج إلى إنشاء استجابات ملفقة أو الاستسلام لهجمات الحقن الفورية تظل تحديًا معقدًا. نحن ندرك هذه المخاطر ونؤكد من جديد التزامنا بالإشراف والسيطرة البشرية.

وإدراكًا لضرورة التشغيل التلقائي السلس، فإننا نعمل بشكل استباقي على تعزيز أنظمة السلامة لدينا ونسعى إلى فهم أعمق لهذه التحديات. هدفنا هو تحسين نموذج إنشاء النص بشكل أكبر باستخدام تدابير السلامة المناسبة، بما يتماشى مع مبادئ الذكاء الاصطناعي المسؤول حسب التصميم، وإعادة التحكم إلى المطورين حيثما كان ذلك ممكنًا.

(راجع أيضًا)

الذكاء الاصطناعي المسؤول - الأسئلة الشائعة