提示標記
提示模型不以單字或字元作為文字單位進行操作,而是使用中間的東西:標記。
- 一個標記可以是一個字元、一個單字的一部分或整個單字。
- 許多常用詞由一個標記表示。
- 較不常見的字詞由多個標記表示。
- 當提示標記中包含影像或文件時,它們會依照轉換規則轉換為標記。
提示所消耗的標記
當您建立提示標記並執行它時,會發生以下情況:
- 提示標記被解構為稱為輸入標記的標記序列。
- 該模型以稱為輸出標記的標記序列的形式產生答案。
輸入標記是來自以下位置的標記的總和:
- 來自 Microsoft 的系統元提示。 此系統提示不可見,對於您快速回應的安全性至關重要。 它代表幾百個標記。
- 提示標記。
- 如果有的話,則為輸入值。
- 如果有的話,則擷取知識資料。
輸出標記是來自模型回應的標記。
標記如何影響授權
輸入標記、輸出標記和模型版本的組合可讓您計算提示執行的成本。 如需進一步了解,請參閱可下載的 Microsoft Power Platform 授權指南 PDF 文件中的 AI Builder 費率卡片區段。
當您建立包含提示的解決方案時,評估提示的平均成本非常重要。 以下章節解釋了實現該目標的兩種可能性。
點數會計入提示產生器中
當您在 Power Automate 或 Power Apps 入口網站中的 AI Hub 中測試提示時,您能夠顯示提示所消耗的信用額度。 測試是免費的,所以這是一個預計值。
Power Automate 流程中的標記計數
當您在流程中呼叫提示操作時,您可以使用公式來取得相關的輸入和標記。
輸入標記
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
輸出標記
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
如何將影像或文件轉換為 token
當您將影像傳遞給提示時,它會轉換為標記。
當您將 PDF 文件傳遞到提示中時,它首先會以每頁一張圖片的格式轉換為影像,然後再轉換為標記。
標記到映像的轉換完全應用程式了 Azure OpenAI 邏輯。
在將映像傳遞到 Azure OpenAI 時,我們使用自動設定。 這代表影像的標記成本取決於其初始解析度。
低解析度影像
解析度低於 512 x 512 像素的影像無論大小,固定轉換率為每幅 85 個標記。
高解析度影像
對於解析度高於 512 x 512 像素的影像,標記轉換分兩步驟進行。 下表介紹了這些步驟。
Step | Description | 轉換過程 |
---|---|---|
7 | 調整影像大小 | 此影像被調整大小以適合 2048 x 2048 像素的正方形。 如果最短邊大於 768 像素,則進一步調整影像大小,使最短邊長度為 768 像素。 調整大小期間縱橫比保持不變。 |
2 | 標記兌換 | 調整大小後的影像被分成 512 x 512 像素的區塊。 任何部分瓷磚都會四捨五入為完整瓷磚。 圖塊的數量決定了總標記成本:每個 512 x 512 像素的圖塊需要 170 個標記。 總數中額外增加了 85 個基本標記。 |