Поділитися через

Підказкові токени

  • Стаття

Модель підказок не оперує словами або символами як одиницями тексту, а замість цього використовує щось середнє: токени.

  • Токеном може бути один символ, частка слова або ціле слово.
    • Багато поширених слів представлені одним знаком.
    • Менш поширені слова представлені декількома токенами.
  • Коли зображення або документи включені в оперативну інструкцію, вони перетворюються на токени відповідно до правил конвертації.

Токени, спожиті підказкою

Коли ви створюєте команду-запит і запускаєте її, відбувається наступне:

  • Інструкція prompt розбирається на послідовність токенів, які називаються вхідними токенами.
  • Модель генерує відповідь у вигляді послідовності токенів, які називаються вихідними токенами.

Вхідні токени – це сума токенів, що надходять з:

  • Системний метаprompt від Microsoft. Цей системний запит не відображається та має важливе значення для безпеки вашої швидкої реакції. Він являє собою кілька сотень токенів.
  • Оперативна інструкція.
  • Якщо є, то вхідні значення.
  • Якщо такі є, то отримані дані про знання.

Вихідні токени – це токени, що надходять від відповіді моделі.

Як токени впливають на ліцензування

Комбінація вхідних токенів, вихідних токенів і версії моделі дозволяє розрахувати вартість вашого швидкого запуску. Дізнайтеся більше в розділі « AI Builder Картка тарифів » у PDF-файлі Посібника Microsoft Power Platform з ліцензування, який можна завантажити.

Коли ви створюєте рішення, які містять підказки, вам може бути важливо оцінити середню вартість оперативного запиту. Дві можливості досягнення цієї мети пояснюються в наступних розділах.

Кредити враховуються в конструкторі команд

Коли ви тестуєте запит у AI Hub на порталі Power Automate або Power Apps , ви можете відображати кредити, використані вашим запитом. Тестування безкоштовне, тому це прогнозоване значення.

Скріншот кредитів, що відображається в конструкторі команд.

Кількість токенів з Power Automate потоку

Коли ви викликаєте дію підказки в потоці, ви можете отримати пов’язані вхідні дані та токени за допомогою формул.

Вхідні токени

outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']

Вихідні токени

outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']

Скріншот формул токенів у Power Automate.

Як зображення або документи переводяться в токени

Коли ви передаєте зображення запиту, воно конвертується в токени.

Коли ви передаєте PDF-документ у запит, він спочатку перетворюється на зображення з одним зображенням на сторінку, а потім на токени.

Перетворення токенів у зображення повністю застосовує логіку OpenAI Azure.

Ми використовуємо автоматичне налаштування під час передачі зображень в Azure OpenAI. Це означає, що вартість токена зображення залежить від його початкової роздільної здатності.

Зображення з низькою роздільною здатністю

Зображення з роздільною здатністю нижче 512 x 512 пікселів мають фіксований коефіцієнт перетворення 85 токенів на зображення, незалежно від розміру.

Зображення з високою роздільною здатністю

Для зображень з роздільною здатністю вище 512 x 512 пікселів конвертація токена відбувається в два етапи. Кроки описані в наступній таблиці.

Крок Опис Процес перетворення
1 Змініть розмір зображення Розмір зображення змінюється так, щоб він вміщався в квадрат 2048 x 2048 пікселів. Якщо найкоротша сторона більша за 768 пікселів, розмір зображення додатково змінюється таким чином, щоб найкоротша сторона мала довжину 768 пікселів. Співвідношення сторін зберігається під час зміни розміру.
2 Конвертація токенів Змінене зображення розділене на плитки розміром 512 x 512 пікселів. Будь-які часткові плитки округляються до повної плитки. Кількість плиток визначає загальну вартість токена: кожна плитка розміром 512 x 512 пікселів коштує 170 токенів. До загальної суми додаються додаткові 85 базових токенів.