प्रॉम्प्ट टोकन
प्रॉम्प्ट मॉडल शब्दों या वर्णों पर पाठ की इकाइयों के रूप में कार्य नहीं करता है, बल्कि इनके बीच में कुछ का उपयोग करता है: टोकन।
- टोकन एक एकल अक्षर, शब्द का अंश या संपूर्ण शब्द हो सकता है।
- कई सामान्य शब्दों को एक ही टोकन द्वारा दर्शाया जाता है।
- कम प्रचलित शब्दों को अनेक टोकनों द्वारा दर्शाया जाता है।
- जब छवियों या दस्तावेज़ों को प्रॉम्प्ट निर्देश में शामिल किया जाता है, तो उन्हें रूपांतरण नियमों का पालन करते हुए टोकन में अनुवादित किया जाता है।
प्रॉम्प्ट द्वारा उपभोग किए गए टोकन
जब आप कोई प्रॉम्प्ट निर्देश बनाते हैं और उसे चलाते हैं, तो निम्नलिखित घटित होता है:
- प्रॉम्प्ट निर्देश टोकन के एक अनुक्रम में विखंडित हो जाता है, जिसे इनपुट टोकन कहा जाता है।
- मॉडल टोकन के अनुक्रम के रूप में उत्तर उत्पन्न करता है जिसे आउटपुट टोकन कहा जाता है।
इनपुट टोकन निम्नलिखित से आने वाले टोकन का योग हैं:
- माइक्रोसॉफ्ट से सिस्टम मेटाप्रॉम्प्ट. यह सिस्टम प्रॉम्प्ट दृश्यमान नहीं है और आपकी त्वरित प्रतिक्रिया की सुरक्षा के लिए आवश्यक है। यह कुछ सौ टोकनों का प्रतिनिधित्व करता है।
- शीघ्र अनुदेश.
- यदि कोई हो, तो इनपुट मान.
- यदि कोई हो, तो ज्ञान डेटा पुनर्प्राप्त किया गया।
आउटपुट टोकन मॉडल प्रतिक्रिया से आने वाले टोकन हैं।
टोकन लाइसेंसिंग को कैसे प्रभावित करते हैं
इनपुट टोकन, आउटपुट टोकन और मॉडल संस्करण का संयोजन आपको अपने प्रॉम्प्ट रन की लागत की गणना करने की अनुमति देता है। अधिक जानकारी के लिए लाइसेंसिंग गाइड AI Builder डाउनलोड करने योग्य पीडीएफ फाइल में रेट कार्ड Microsoft Power Platform अनुभाग देखें।
जब आप ऐसे समाधान बनाते हैं जिसमें संकेत शामिल होते हैं, तो आपके लिए किसी संकेत की औसत लागत का आकलन करना महत्वपूर्ण हो सकता है। इस लक्ष्य को प्राप्त करने की दो संभावनाओं को निम्नलिखित अनुभागों में समझाया गया है।
प्रॉम्प्ट बिल्डर में क्रेडिट की गणना
जब आप पोर्टल के भीतर AI हब में किसी प्रॉम्प्ट का परीक्षण करते हैं, तो आप अपने प्रॉम्प्ट द्वारा उपभोग किए गए क्रेडिट प्रदर्शित कर सकते हैं। Power Automate Power Apps परीक्षण निःशुल्क है, इसलिए यह एक अनुमानित मूल्य है।
एक Power Automate प्रवाह से टोकन गणना
जब आप किसी प्रवाह में प्रॉम्प्ट क्रिया को कॉल करते हैं, तो आप सूत्रों का उपयोग करके संबंधित इनपुट और टोकन प्राप्त कर सकते हैं।
इनपुट टोकन
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
आउटपुट टोकन
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
छवि या दस्तावेज़ों को टोकन में कैसे अनुवादित किया जाता है
जब आप किसी प्रॉम्प्ट को कोई छवि भेजते हैं, तो वह टोकन में परिवर्तित हो जाती है।
जब आप किसी पीडीएफ दस्तावेज़ को प्रॉम्प्ट में भेजते हैं, तो वह पहले प्रति पृष्ठ एक छवि में परिवर्तित हो जाता है, और फिर टोकन में परिवर्तित हो जाता है।
टोकन-से-छवि रूपांतरण पूरी तरह से Azure OpenAI तर्क को लागू करता है।
हम Azure को छवियाँ भेजते समय स्वतः सेटिंग का उपयोग करते हैं। OpenAI इसका मतलब यह है कि किसी छवि की टोकन लागत उसके प्रारंभिक रिज़ॉल्यूशन पर निर्भर करती है।
कम रिज़ॉल्यूशन वाली छवि
512 x 512 पिक्सल से कम रिज़ॉल्यूशन वाली छवियों की, आकार की परवाह किए बिना, प्रति छवि 85 टोकन की फ्लैट रूपांतरण दर होती है।
उच्च रिज़ॉल्यूशन छवियाँ
512 x 512 पिक्सल से अधिक रिज़ॉल्यूशन वाली छवियों के लिए, टोकन रूपांतरण दो चरणों में होता है। चरणों का वर्णन निम्नलिखित तालिका में किया गया है।
| चरण | विवरण | रूपांतरण प्रक्रिया |
|---|---|---|
| 1 | छवि का आकार बदलें | छवि का आकार 2048 x 2048 पिक्सेल वर्ग में फिट करने के लिए पुनः परिवर्तित किया गया है। यदि सबसे छोटी भुजा 768 पिक्सेल से बड़ी है, तो छवि का आकार और अधिक बदल दिया जाता है, ताकि सबसे छोटी भुजा 768 पिक्सेल लंबी हो जाए। आकार बदलने के दौरान पहलू अनुपात संरक्षित रहता है। |
| 2 | टोकन रूपांतरण | पुनःआकारित छवि को 512 x 512 पिक्सेल टाइलों में विभाजित किया गया है। किसी भी आंशिक टाइल को पूर्ण टाइल में परिवर्तित कर दिया जाता है। टाइल्स की संख्या कुल टोकन लागत निर्धारित करती है: प्रत्येक 512 x 512 पिक्सेल टाइल की लागत 170 टोकन है। कुल में 85 अतिरिक्त आधार टोकन जोड़े जाते हैं। |