एक संकेत के साथ स्वचालन के लिए मानव समीक्षा
यह लेख GPT के साथ टेक्स्ट बनाएँ सुविधा को लागू करने में मानवीय समीक्षा की महत्वपूर्ण भूमिका पर जोर देता है। Power Automate यह सुविधा Azure सेवा द्वारा संचालित टेक्स्ट जनरेशन AI Builderमॉडल का उपयोग करती है। OpenAI यद्यपि ये मॉडल अत्यधिक प्रभावी हैं, लेकिन वे कभी-कभी भ्रामक या मनगढ़ंत जानकारी उत्पन्न कर सकते हैं और त्वरित इंजेक्शन हमलों के प्रति संवेदनशील होते हैं।
महत्त्वपूर्ण
- AI Builder संकेत GPT 4o मिनी और GPT 4o मॉडल पर चल रहे हैं जो Azure OpenAI Service द्वारा संचालित हैं।
- यह क्षमता कुछ क्षेत्रों तक सीमित है।
- यह क्षमता उपयोग सीमा या क्षमता थ्रॉटलिंग के अधीन हो सकती है।
शीघ्र इंजेक्शन हमले
त्वरित इंजेक्शन हमला तब होता है जब कोई तृतीय पक्ष सभी इनपुट स्रोतों में मॉडल के अंतर्निहित विश्वास का लाभ उठाता है। हमलावर सामग्री में एक संकेत डालता है, जिसे एक वैध उपयोगकर्ता AI समाधान से इंटरैक्ट करने के लिए कहता है, जिसके परिणामस्वरूप AI समाधान के आउटपुट में परिवर्तन होता है, और संभवतः, इसकी क्रियाएं भी बदल जाती हैं।
उदाहरण के लिए, एक परिदृश्य पर विचार करें जहां एक नागरिक डेवलपर ईमेल, सोशल मीडिया या फ़ोरम जैसे विभिन्न प्लेटफ़ॉर्म से एकत्रित ग्राहक शिकायतों के जवाब तैयार करने के लिए GPT के साथ टेक्स्ट बनाएं कार्रवाई का उपयोग करता है। कोई हमलावर इनमें से किसी भी स्रोत से सामग्री में प्रॉम्प्ट डाल सकता है। यह परिदृश्य मॉडल को धोखा देकर प्रत्युत्तर उत्पन्न कर सकता है जो इच्छित से भिन्न होता है। प्रत्युत्तर अनुपयुक्त, गलत या हानिकारक हो सकता है। ग्राहकों को भेजी जा रही गलत जानकारी कंपनी की प्रतिष्ठा और ग्राहक संतुष्टि पर नकारात्मक प्रभाव डाल सकती है।
एआई मॉडल में निर्माण
निर्माण, जिसे मतिभ्रम के रूप में भी जाना जाता है, एआई मॉडलों के सामने एक और चुनौती है, जिसमें टेक्स्ट जनरेशन मॉडल भी शामिल है। निर्माण तब होता है जब एआई मॉडल ऐसी जानकारी उत्पन्न करता है जो प्रदान किए गए इनपुट या पहले से मौजूद डेटा पर आधारित नहीं होती है, अनिवार्य रूप से आविष्कार या भ्रम जानकारी होती है।
उदाहरण के लिए, यदि AI मॉडल को किसी दिए गए पाठ के आधार पर किसी ऐतिहासिक घटना का सारांश तैयार करने के लिए कहा जाता है, तो इसमें ऐसे विवरण या घटनाएं शामिल हो सकती हैं जिनका स्रोत पाठ में उल्लेख नहीं किया गया था। उदाहरण के लिए, एक प्रवाह रिकॉर्डिंग के ट्रांसक्रिप्ट के आधार पर एक मीटिंग का सारांश बनाता है। इनपुट डेटा में उपस्थित लोगों, चर्चा किये गये लेखों और लिए गए निर्णयों के बारे में विवरण शामिल होते हैं। हालाँकि, मॉडल एक सारांश तैयार कर सकता है जिसमें कोई कार्य-वस्तु या निर्णय शामिल हो, जिस पर बैठक में कभी चर्चा नहीं की गई। यह स्थिति निर्माण का एक उदाहरण है, जहां मॉडल में ऐसी जानकारी होती है जो इनपुट डेटा में मौजूद नहीं होती है।
निर्माण के जोखिम को कम करने के लिए, जिम्मेदार एआई प्रथाओं को लागू करना महत्वपूर्ण है। इसमें प्रॉम्प्ट और प्रवाह का कठोर परीक्षण, मॉडल को यथासंभव आधारभूत जानकारी प्रदान करना और अंततः मानवीय निगरानी के लिए एक मजबूत प्रणाली का क्रियान्वयन करना शामिल है।
जिम्मेदार एआई प्रथाओं के माध्यम से जोखिमों का समाधान करें
हम जोखिम को कम करने के साधन के रूप में जिम्मेदार एआई प्रथाओं की वकालत करते हैं। मॉडल द्वारा उत्पादित विषय-वस्तु को नियंत्रित करने के लिए रणनीतियां मौजूद होने के बावजूद, मनगढ़ंत प्रतिक्रियाएं उत्पन्न करने या त्वरित इंजेक्शन हमलों के आगे झुक जाने की मॉडल की प्रवृत्ति को प्रबंधित करना एक जटिल चुनौती बनी हुई है। हम इन जोखिमों को स्वीकार करते हैं तथा मानवीय निगरानी एवं नियंत्रण के प्रति अपनी प्रतिबद्धता की पुनः पुष्टि करते हैं।
निर्बाध स्वचालन की आवश्यकता को समझते हुए, हम अपनी सुरक्षा प्रणालियों को सक्रिय रूप से बढ़ा रहे हैं तथा इन चुनौतियों की गहन समझ प्राप्त करने का प्रयास कर रहे हैं। हमारा उद्देश्य उचित सुरक्षा उपायों के साथ पाठ निर्माण मॉडल को और अधिक परिष्कृत करना है, जो कि डिजाइन द्वारा जिम्मेदार एआई के हमारे सिद्धांतों के अनुरूप है, तथा जहां भी संभव हो, डेवलपर्स को नियंत्रण वापस करना है।