Prompt-tokens
En promptmodell fungerar inte på ord eller tecken som textenheter, utan använder i stället något däremellan: tokens.
- En token kan vara ett enda tecken, en bråkdel av ett ord eller ett helt ord.
- Många vanliga ord representeras av en enda token.
- Mindre vanliga ord representeras av flera tokens.
- När bilder eller dokument ingår i en promptinstruktion översätts de till token enligt konverteringsregler.
Token som förbrukas av en prompt
När du skapar en promptinstruktion och kör den händer följande:
- Promptinstruktionen dekonstrueras till en sekvens med symboler som kallas indatasymboler.
- Modellen genererar ett svar som en sekvens med symboler som kallas utdatasymboler.
Indatasymboler är en summa av de symboler som kommer från:
- Systemmetaprompten från Microsoft. Den här systemprompten är inte synlig och är viktig för säkerheten för ditt svar på prompten. Det representerar några hundra tokens.
- Instruktionen för prompten.
- Om det finns några, indatavärdena.
- I förekommande fall, hämtade kunskapsdata.
Utdatatoken är de token som kommer från modellsvaret.
Hur token påverkar licensiering
Kombinationen av indatatoken, utdatatoken och modellversionen gör att du kan beräkna kostnaden för promptkörningen. Läs mer i avsnittet om AI Builder prislista i den Microsoft Power Platform nedladdningsbara licensieringsguiden PDF-filen.
När du skapar lösningar som innehåller prompter kan det vara viktigt att du utvärderar den genomsnittliga kostnaden för en prompt. De två möjligheterna att uppnå det målet förklaras i följande avsnitt.
Antal krediter i promptverktyget
När du testar en prompt i AI-hubben i Power Automate eller Power Apps-portalen, kan du visa de krediter som förbrukas av din prompt . Testningen är kostnadsfri, så det är ett beräknat värde.
Antal token från ett Power Automate flöde
När du anropar en promptåtgärd i ett flöde kan du hämta associerade indata och token med hjälp av formler.
Token för indata
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
Token för utdata
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
Hur bilder eller dokument översätts till tokens
När du skickar en bild till en prompt konverteras den till tokens.
När du skickar ett PDF-dokument till en prompt konverteras det först till bilder med en bild per sida och sedan till tokens.
Konverteringen från token till bild tillämpar logiken Azure OpenAI fullt ut.
Vi använder den automatiska inställningen när vi skickar bilder till Azure OpenAI. Detta innebär att tokenkostnaden för en bild beror på dess ursprungliga upplösning.
Lågupplöst bild
Bilder med en upplösning som är lägre än 512 x 512 pixlar har en enhetlig konverteringsgrad på 85 token per bild, oavsett storlek.
Högupplösta bilder
För bilder med en upplösning som är högre än 512 x 512 pixlar sker tokenkonverteringen i två steg. Dessa steg beskrivs i följande tabell.
Steg | Description | Konverteringsprocess |
---|---|---|
1 | Ändra storlek på bild | Bildens storlek ändras så att den passar i en kvadrat på 2048 x 2048 pixlar. Om den kortaste sidan är större än 768 pixlar ändras bildens storlek ytterligare så att den kortaste sidan blir 768 pixlar lång. Bildförhållandet bevaras under storleksändringen. |
2 | Konvertering av tokens | Den storleksändrade bilden är uppdelad i rutor på 512 x 512 pixlar. Eventuella partiella paneler avrundas uppåt till en hel panel. Antalet paneler avgör den totala tokenkostnaden: Varje panel på 512 x 512 pixlar kostar 170 tokens. Ytterligare 85 bastokens läggs till det totala antalet. |