Підказкові токени
Модель підказок не оперує словами або символами як одиницями тексту, а замість цього використовує щось середнє: токени.
- Токеном може бути один символ, частка слова або ціле слово.
- Багато поширених слів представлені одним знаком.
- Менш поширені слова представлені декількома токенами.
- Коли зображення або документи включені в оперативну інструкцію, вони перетворюються на токени відповідно до правил конвертації.
Токени, спожиті підказкою
Коли ви створюєте команду-запит і запускаєте її, відбувається наступне:
- Інструкція prompt розбирається на послідовність токенів, які називаються вхідними токенами.
- Модель генерує відповідь у вигляді послідовності токенів, які називаються вихідними токенами.
Вхідні токени – це сума токенів, що надходять з:
- Системний метаprompt від Microsoft. Цей системний запит не відображається та має важливе значення для безпеки вашої швидкої реакції. Він являє собою кілька сотень токенів.
- Оперативна інструкція.
- Якщо є, то вхідні значення.
- Якщо такі є, то отримані дані про знання.
Вихідні токени – це токени, що надходять від відповіді моделі.
Як токени впливають на ліцензування
Комбінація вхідних токенів, вихідних токенів і версії моделі дозволяє розрахувати вартість вашого швидкого запуску. Дізнайтеся більше в розділі « AI Builder Картка тарифів » у PDF-файлі Посібника Microsoft Power Platform з ліцензування, який можна завантажити.
Коли ви створюєте рішення, які містять підказки, вам може бути важливо оцінити середню вартість оперативного запиту. Дві можливості досягнення цієї мети пояснюються в наступних розділах.
Кредити враховуються в конструкторі команд
Коли ви тестуєте запит у AI Hub на порталі Power Automate або Power Apps , ви можете відображати кредити, використані вашим запитом. Тестування безкоштовне, тому це прогнозоване значення.
Кількість токенів з Power Automate потоку
Коли ви викликаєте дію підказки в потоці, ви можете отримати пов’язані вхідні дані та токени за допомогою формул.
Вхідні токени
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
Вихідні токени
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
Як зображення або документи переводяться в токени
Коли ви передаєте зображення запиту, воно конвертується в токени.
Коли ви передаєте PDF-документ у запит, він спочатку перетворюється на зображення з одним зображенням на сторінку, а потім на токени.
Перетворення токенів у зображення повністю застосовує логіку OpenAI Azure.
Ми використовуємо автоматичне налаштування під час передачі зображень в Azure OpenAI. Це означає, що вартість токена зображення залежить від його початкової роздільної здатності.
Зображення з низькою роздільною здатністю
Зображення з роздільною здатністю нижче 512 x 512 пікселів мають фіксований коефіцієнт перетворення 85 токенів на зображення, незалежно від розміру.
Зображення з високою роздільною здатністю
Для зображень з роздільною здатністю вище 512 x 512 пікселів конвертація токена відбувається в два етапи. Кроки описані в наступній таблиці.
Крок | Опис | Процес перетворення |
---|---|---|
1 | Змініть розмір зображення | Розмір зображення змінюється так, щоб він вміщався в квадрат 2048 x 2048 пікселів. Якщо найкоротша сторона більша за 768 пікселів, розмір зображення додатково змінюється таким чином, щоб найкоротша сторона мала довжину 768 пікселів. Співвідношення сторін зберігається під час зміни розміру. |
2 | Конвертація токенів | Змінене зображення розділене на плитки розміром 512 x 512 пікселів. Будь-які часткові плитки округляються до повної плитки. Кількість плиток визначає загальну вартість токена: кожна плитка розміром 512 x 512 пікселів коштує 170 токенів. До загальної суми додаються додаткові 85 базових токенів. |