Подканващи жетони
Моделът на подкана не оперира с думи или знаци като единици текст, а вместо това използва нещо средно: жетони.
- Токенът може да бъде един знак, част от дума или цяла дума.
- Много често срещани думи са представени от един символ.
- По-рядко срещаните думи са представени от множество токени.
- Когато изображенията или документите са включени в инструкция за подканване, те се преобразуват в токени, следвайки правилата за преобразуване.
Токени, консумирани от подкана
Когато създадете инструкция за подкана и я изпълните, се случва следното:
- Инструкцията за подкана се деконструира в последователност от токени, наречени входни токени.
- Моделът генерира отговор като последователност от токени, наречени изходни токени.
Входните токени са сбор от токените, идващи от:
- Системната метаprompt от Microsoft. Тази системна подкана не се вижда и е от съществено значение за безопасността на вашата бърза реакция. Той представлява няколкостотин токена.
- Бързата инструкция.
- Ако има такива, входните стойности.
- Ако има такива, извлечените данни от знанията.
Изходните токени са токените, идващи от отговора на модела.
Как токените влияят върху лицензирането
Комбинацията от входни токени, изходни токени и версията на модела ви позволява да изчислите цената на вашето подканено изпълнение. Научете повече в раздела за AI Builder тарифна карта в Microsoft Power Platform PDF файла за изтегляне на Ръководството за лицензиране.
Когато създавате решения, които включват подкани, може да е важно да оцените средната цена на подкана. Двете възможности за постигане на тази цел са обяснени в следващите раздели.
Кредитите се броят в конструктора на подкани
Когато тествате подкана в AI Hub в портала Power Automate или Power Apps , можете да покажете кредитите, консумирани от вашата подкана. Тестването е безплатно, така че е прогнозирана стойност.
Брой токени от Power Automate поток
Когато извикате подканващо действие в поток, можете да получите свързаните входни данни и маркери с помощта на формули.
Входни токени
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
Изходни токени
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
Как изображението или документите се превръщат в токени
Когато предадете изображение на подкана, то се преобразува в токени.
Когато предадете PDF документ в подкана, той първо се преобразува в изображения с едно изображение на страница, а след това в маркери.
Преобразуването на токени в изображение напълно прилага логиката на OpenAI Azure.
Използваме автоматичната настройка при предаване на изображения в Azure OpenAI. Това означава, че цената на токена на изображението зависи от първоначалната му разделителна способност.
Изображение с ниска разделителна способност
Изображенията с разделителна способност по-ниска от 512 x 512 пиксела имат фиксиран процент на конвертиране от 85 токена на изображение, независимо от размера.
Изображения с висока разделителна способност
За изображения с разделителна способност над 512 x 512 пиксела преобразуването на токени се извършва в две стъпки. Стъпките са описани в таблицата по-долу.
| Стъпка | Описание | Процес на преобразуване |
|---|---|---|
| 1 | Преоразмеряване на изображението | Изображението се преоразмерява, за да се побере в квадрат с размери 2048 x 2048 пиксела. Ако най-късата страна е по-голяма от 768 пиксела, изображението се преоразмерява допълнително, така че най-късата страна да е дълга 768 пиксела. Съотношението на страните се запазва по време на преоразмеряване. |
| 2 | Конвертиране на токени | Преоразмереното изображение е разделено на плочки с размери 512 x 512 пиксела. Всички частични плочки се закръглят до цяла плочка. Броят на плочките определя общата цена на токена: Всяка плочка с размери 512 x 512 пиксела струва 170 токена. Към общата сума се добавят допълнителни 85 базови жетона. |