Prompttokens
En promptmodel fungerer ikke på ord eller tegn som tekstenheder, men bruger i stedet noget midt imellem: tokens.
- Et token kan være et enkelt tegn, en brøkdel af et ord eller et helt ord.
- Mange almindelige ord er repræsenteret af et enkelt token.
- Mindre almindelige ord repræsenteres af flere tokens.
- Når billeder eller dokumenter inkluderes i en promptinstruktion, oversættes de til tokens, der følger konverteringsregler.
Tokens, der forbruges af en prompt
Når du opretter en promptinstruktion og kører den, sker der følgende:
- Promptinstruktionen dekonstrueres i en sekvens af tokens, der kaldes inputtokens.
- Modellen genererer et svar som en sekvens af tokens, der kaldes outputtokens.
Inputtokens er en sum af de tokens, der kommer fra:
- Systemmetaprompten fra Microsoft. Denne systemprompt er ikke synlig og er vigtig for sikkerheden for dit promptsvar. Det repræsenterer et par hundrede tokens.
- Promptinstruktionen.
- Inputværdierne, hvis der er nogen.
- De hentede videndata, hvis der er nogen.
Outputtokens er de tokens, der kommer fra modelsvaret.
Sådan påvirker tokens licenser
Kombinationen af inputtokens, outputtokens og modelversionen giver dig mulighed for at beregne omkostningerne ved promptkørsel. Få mere at vide i afsnittet AI Builder-priskort i Microsoft Power Platform-licensvejledningen, der kan downloades som PDF-fil.
Når du bygger løsninger, der indeholder prompter, kan det være vigtigt for dig at vurdere den gennemsnitlige omkostning for en prompt. De to muligheder for at nå dette mål forklares i de følgende afsnit.
Kreditter tæller i promptgenerator
Når du tester en prompt i AI Hub i Power Automate-portalen eller Power Apps-portalen, kan du få vist de kreditter, der forbruges af prompten. Test er gratis, så det er en projiceret værdi.
Antal tokens fra et Power Automate-flow
Når du kalder en prompthandling i et flow, kan du hente de tilknyttede input og tokens ved hjælp af formler.
Inputtokens
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
Outputtokens
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
Sådan oversættes billeder eller dokumenter til tokens
Når du sender et billede til en prompt, konverteres det til tokens.
Når du sender et PDF-dokument til en prompt, konverteres det først til billeder med ét billede pr. side og derefter til tokens.
Konverteringen af tokens til billede anvender Azure OpenAI-logikken fuldt ud.
Vi bruger den automatiske indstilling, når vi sender billeder til Azure OpenAI. Dette betyder, at tokenprisen for et billede afhænger af dets oprindelige opløsning.
Billede i lav opløsning
Billeder med en opløsning, der er lavere end 512 x 512 pixel, har en flad konverteringsfrekvens på 85 tokens pr. billede, uanset størrelse.
Billeder i høj opløsning
For billeder med en opløsning, der er højere end 512 x 512 pixel, sker tokenkonverteringen i to trin. Trinnene er beskrevet i følgende tabel.
| Trin | Description | Konverteringsproces |
|---|---|---|
| 0 | Tilpas billedstørrelsen | Billedets størrelse tilpasses, så det passer inden for en firkant på 2048 x 2048 pixel. Hvis den korteste side er større end 768 pixel, ændres billedets størrelse yderligere, så den korteste side er 768 pixel lang. Højde-bredde-forholdet bevares under tilpasning af størrelsen. |
| 2 | Konvertering af tokens | Det ændrede billede er opdelt i fliser med 512 x 512 pixel. Eventuelle delvise fliser rundes op til en fuld flise. Antallet af felter bestemmer de samlede tokenomkostninger: Hver flise på 512 x 512 pixel koster 170 poletter. Yderligere 85 basistokens føjes til det samlede antal. |