Samenvatting
In deze module hebben we besproken hoe u Azure OpenAI samen met Azure API Management kunt gebruiken. Door deze services te combineren, kunt u de toegang tot uw AI-modellen beheren en beveiligen.
Eerst hebben we het probleem van taakverdeling besproken en hoe u met Azure API Management verkeer kunt beheren en ervoor kunt zorgen dat de belasting gelijkmatig over uw back-ends wordt verdeeld. We hebben ook gekeken naar circuitonderbrekers en hoe ze kunnen helpen verkeer weg te sturen van beschadigde back-ends.
Vervolgens hebben we de snelheidsbeperking op basis van tokens besproken en hoe u deze kunt gebruiken om de toegang tot uw API's te beheren. Een belangrijk leerproces was het vermijden van oververbruik en zogenaamde 'lawaaierige buren' door limieten voor tokenverbruik in te stellen.
Ten slotte hebben we besproken hoe u tokengebruikspatronen kunt bewaken en analyseren met behulp van het metrische beleid voor tokens verzenden van Azure OpenAI. Door uitgebreide metrische gegevens te bieden, kunt u resourcetoewijzing optimaliseren, besluitvorming verbeteren en prestatiebewaking verbeteren.
Volgende stappen
Hier volgen onze aanbevolen volgende stappen:
- APIM + Azure OpenAI-voorbeeld
- Beheerde identiteit in APIM
- Tokenbeleid voor metrische -tokenlimietbeleid
- APIM-back-end
- Documentatie voor Azure API Management
- Documentatie voor Azure OpenAI
- Prijzen voor Azure API Management