Prompttokens
Een promptmodel werkt niet met woorden of tekens als teksteenheden, maar gebruikt iets ertussenin: tokens.
- Een token kan een enkel teken, een deel van een woord of een heel woord zijn.
- Veel voorkomende woorden worden weergegeven door één enkel token.
- Minder vaak voorkomende woorden worden weergegeven door meerdere tokens.
- Wanneer afbeeldingen of documenten in een promptinstructie worden opgenomen, worden deze volgens de conversieregels naar tokens vertaald.
Tokens verbruikt door een prompt
Wanneer u een promptinstructie maakt en uitvoert, gebeurt het volgende:
- De promptinstructie wordt opgedeeld in een reeks tokens, de zogenaamde invoertokens.
- Het model genereert een antwoord als een reeks tokens, de zogenaamde uitvoertokens.
De input-tokens zijn de som van de tokens afkomstig van:
- De systeemmetaprompt van Microsoft. Deze systeemprompt is niet zichtbaar en is essentieel voor de veiligheid van uw promptreactie. Het vertegenwoordigt een paar honderd tokens.
- De promptinstructie.
- Indien van toepassing, de invoerwaarden.
- Indien van toepassing, de opgehaalde kennisgegevens.
De uitvoertokens zijn de tokens die afkomstig zijn van de modelrespons.
Hoe tokens de licentieverlening beïnvloeden
Met de combinatie van invoertokens, uitvoertokens en de modelversie kunt u de kosten van uw prompt run berekenen. Meer informatie vindt u in het gedeelte AI Builder-tariefkaart in het downloadbare PDF-bestand van de Microsoft Power Platform-licentiehandleiding.
Wanneer u oplossingen bouwt die prompts bevatten, kan het belangrijk zijn om de gemiddelde kosten van een prompt te beoordelen. In de volgende paragrafen worden de twee mogelijkheden om dat doel te bereiken, uitgelegd.
Credits zijn inbegrepen in de opbouwfunctie voor prompts
Wanneer u een prompt test in AI Hub binnen de Power Automate- of Power Apps-portal, kunt u de credits weergeven die door uw prompt zijn verbruikt. Het testen is gratis, dus het gaat om een geschatte waarde.
Tokentelling van een Power Automate-stroom
Wanneer u een promptactie in een stroom aanroept, kunt u de bijbehorende invoer en tokens ophalen met behulp van formules.
Invoertokens
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
Uitvoertokens
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
Hoe afbeeldingen of documenten worden vertaald naar tokens
Wanneer u een afbeelding aan een prompt doorgeeft, wordt deze omgezet in tokens.
Wanneer u een PDF-document aan een opdrachtprompt doorgeeft, wordt het eerst omgezet in afbeeldingen (één afbeelding per pagina) en vervolgens in tokens.
Bij de conversie van tokens naar afbeeldingen wordt de Azure OpenAI-logica volledig toegepast.
We gebruiken de instelling auto bij het doorgeven van afbeeldingen aan Azure OpenAI. Dit betekent dat de tokenkosten van een afbeelding afhankelijk zijn van de oorspronkelijke resolutie.
Afbeelding met lage resolutie
Afbeeldingen met een resolutie lager dan 512 x 512 pixels hebben een vaste conversieratio van 85 tokens per afbeelding, ongeacht de grootte.
Afbeeldingen met hoge resolutie
Voor afbeeldingen met een resolutie hoger dan 512 x 512 pixels vindt de tokenconversie in twee stappen plaats. De stappen zijn in de volgende tabel beschreven.
| Stap | Omschrijving | Conversieproces |
|---|---|---|
| 0 | Formaat van de afbeelding wijzigen | De afbeelding wordt aangepast zodat deze in een vierkant van 2048 x 2048 pixels past. Als de kortste zijde langer is dan 768 pixels, wordt de afbeelding verder verkleind, zodat de kortste zijde 768 pixels lang is. De beeldverhouding blijft behouden tijdens het wijzigen van de grootte. |
| 2 | Tokens conversie | De aangepaste afbeelding is verdeeld in tegels van 512 x 512 pixels. Gedeeltelijke tegels worden afgerond naar een hele tegel. Het aantal tegels bepaalt de totale tokenkosten: elke tegel van 512 x 512 pixels kost 170 tokens. Er worden 85 extra basistokens aan het totaal toegevoegd. |