Azure OpenAI Hizmeti kotası yönetme

Dağıtım

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Yol parametreleri

Desteklenen sürümler

• 2023-05-01 Swagger belirtimi

İstek gövdesi

Bu, kullanılabilir istek gövdesi parametrelerinin yalnızca bir alt kümesidir. Parametrelerin tam listesi için REST API başvuru belgelerine başvurabilirsiniz.

Örnek istek

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo-test-deployment?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":10},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"}}}'

Daha fazla bilgi için kullanımlar ve dağıtım için REST API başvuru belgelerine bakın.

Kullanım

Belirli bir bölgede, belirli bir abonelikte kota kullanımınızı sorgulamak için

GET https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/locations/{location}/usages?api-version=2023-05-01

Yol parametreleri

Desteklenen sürümler

• 2023-05-01 Swagger belirtimi

Örnek istek

curl -X GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/locations/eastus/usages?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' 

Azure CLI’yi yükleyin. Kota için Azure CLI version 2.51.0gerekir. Azure CLI zaten yerel olarak yüklüyse en son sürüme güncelleştirmek için komutunu çalıştırın az upgrade .

Hangi Azure CLI sürümünü çalıştırdığınızı denetlemek için kullanın az version. Azure Cloud Shell şu anda hala 2.50.0 çalıştırıyor, bu nedenle azure CLI'nin geçici yerel yüklemesinde en son Azure OpenAI özelliklerinden yararlanmak için gereklidir.

Dağıtım

az cognitiveservices account deployment create --model-format
                                               --model-name
                                               --model-version
                                               --name
                                               --resource-group
                                               [--capacity]
                                               [--deployment-name]
                                               [--scale-capacity]
                                               [--scale-settings-scale-type {Manual, Standard}]
                                               [--sku]

YEREL CLI yüklemenizde oturum açmak için komutunu az login çalıştırın:

az login

Aşağıdaki komutta sku kapasitesini 10 olarak ayarlayarak bu dağıtım 10.000 TPM sınırıyla ayarlanır.

az cognitiveservices account deployment create -g test-resource-group -n test-resource-name --deployment-name test-deployment-name --model-name gpt-35-turbo --model-version "0613" --model-format OpenAI --sku-capacity 10 --sku-name "Standard"

Kullanım

Belirli bir bölgede, belirli bir abonelikte kota kullanımınızı sorgulamak için

az cognitiveservices usage list --location

Örnek

az cognitiveservices usage list -l eastus

Bu komut, Azure CLI için şu anda etkin olan abonelik bağlamında çalışır. Etkin aboneliği değiştirmek için kullanınaz-account-set --subscription.

Daha fazla bilgi için Bkz . Azure CLI başvuru belgeleri

Az PowerShell modülünün en son sürümünü yükleyin. Az PowerShell modülü yerel olarak zaten yüklüyse komutunu çalıştırarak Update-Module -Name Az en son sürüme güncelleştirin.

Az PowerShell modülünün hangi sürümünü çalıştırdığınızı denetlemek için kullanın Get-InstalledModule -Name Az. Azure Cloud Shell şu anda en son Azure OpenAI özelliklerinden yararlanabilen bir Azure PowerShell sürümü çalıştırıyor.

Dağıtım

New-AzCognitiveServicesAccountDeployment
   [-ResourceGroupName] <String>
   [-AccountName] <String>
   [-Name] <String>
   [-Properties] <DeploymentProperties>
   [-Sku] <Sku>
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Yerel Azure PowerShell yüklemenizde oturum açmak için Connect-AzAccount komutunu çalıştırın:

Connect-AzAccount

Aşağıdaki komutta Sku Kapasitesi 10 olarak ayarlandığında, bu dağıtım 10K TPM sınırına ayarlanır.

$cognitiveServicesDeploymentParams = @{
    ResourceGroupName = 'test-resource-group'
    AccountName = 'test-resource-name'
    Name = 'test-deployment-name'
    Properties = @{
        Model = @{
            Name = 'gpt-35-turbo'
            Version = '0613'
            Format  = 'OpenAI'
        }
    }
    Sku = @{
        Name = 'Standard'
        Capacity = '10'
    }
}
New-AzCognitiveServicesAccountDeployment @cognitiveServicesDeploymentParams

Kullanım

Belirli bir abonelik için belirli bir bölgedeki kota kullanımınızı sorgulamak için:

Get-AzCognitiveServicesUsage -Location <location>

Örnek

Get-AzCognitiveServicesUsage -Location eastus

Bu komut, Azure PowerShell için şu anda etkin olan abonelik bağlamında çalışır. Etkin aboneliği değiştirmek için kullanınSet-AzContext.

ve hakkında daha fazla bilgi için Azure PowerShell başvuru belgelerine bakın.New-AzCognitiveServicesAccountDeploymentGet-AzCognitiveServicesUsage

//
// This Azure Resource Manager template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
{
    "type": "Microsoft.CognitiveServices/accounts/deployments",
    "apiVersion": "2023-05-01",
    "name": "arm-je-aoai-test-resource/arm-je-std-deployment",    // Update reference to parent Azure OpenAI resource
    "dependsOn": [
        "[resourceId('Microsoft.CognitiveServices/accounts', 'arm-je-aoai-test-resource')]"  // Update reference to parent Azure OpenAI resource
    ],
    "sku": {
        "name": "Standard",      
        "capacity": 10            // The deployment will be created with a 10K TPM limit
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-35-turbo",
            "version": "0613"        // Version 0613 of gpt-35-turbo will be used
        }
    }
}

Daha fazla bilgi için azure resource manager başvuru belgelerinin tamamına bakın.

//
// This Bicep template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
resource arm_je_std_deployment 'Microsoft.CognitiveServices/accounts/deployments@2023-05-01' = {
  parent: arm_je_aoai_resource   // Replace this with a reference to the parent Azure OpenAI resource
  name: 'arm-je-std-deployment'
  sku: {
    name: 'Standard'            
    capacity: 10                 // The deployment will be created with a 10K TPM limit
  }
  properties: {
    model: {
      format: 'OpenAI'
      name: 'gpt-35-turbo'
      version: '0613'           // gpt-35-turbo version 0613 will be used
    }
  }
}

Daha fazla bilgi için tam Bicep başvuru belgelerine bakın.

# This Terraform template shows how to use the new schema introduced in the 2023-05-01 API version to 
# create deployments that set the model version and the TPM limits for standard deployments.
# 
# The new schema is not yet available in the AzureRM provider (target v4.0), so this template uses the AzAPI
# provider, which provides a Terraform-compatible interface to the underlying ARM structures.
# 
# For more details on these providers:
#     AzureRM: https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs
#     AzAPI: https://registry.terraform.io/providers/azure/azapi/latest/docs
#

# 
terraform {
  required_providers {
    azapi   = { source  = "Azure/azapi" }
    azurerm = { source  = "hashicorp/azurerm" }
  }
}

provider "azapi" {
  # Insert auth info here as necessary
}

provider "azurerm" {
    # Insert auth info here as necessary  
    features {
    }
}

# 
# To create a complete example, AzureRM is used to create a new resource group and Azure OpenAI Resource
# 
resource "azurerm_resource_group" "TERRAFORM-AOAI-TEST-GROUP" {
  name     = "TERRAFORM-AOAI-TEST-GROUP"
  location = "canadaeast"
}

resource "azurerm_cognitive_account" "TERRAFORM-AOAI-TEST-ACCOUNT" {
  name                  = "terraform-aoai-test-account"
  location              = "canadaeast"
  resource_group_name   = azurerm_resource_group.TERRAFORM-AOAI-TEST-GROUP.name
  kind                  = "OpenAI"
  sku_name              = "S0"
  custom_subdomain_name = "terraform-test-account-"
  }


# 
# AzAPI is used to create the deployment so that the TPM limit and model versions can be set
#
resource "azapi_resource" "TERRAFORM-AOAI-STD-DEPLOYMENT" {
  type      = "Microsoft.CognitiveServices/accounts/deployments@2023-05-01"
  name      = "TERRAFORM-AOAI-STD-DEPLOYMENT"
  parent_id = azurerm_cognitive_account.TERRAFORM-AOAI-TEST-ACCOUNT.id

  body = jsonencode({
    sku = {                            # The sku object specifies the deployment type and limit in 2023-05-01
        name = "Standard",             
        capacity = 10                  # This deployment will be set with a 10K TPM limit
    },
    properties = {
        model = {
            format = "OpenAI",
            name = "gpt-35-turbo",
            version = "0613"           # Deploy gpt-35-turbo version 0613
        }
    }
  })
}

Daha fazla bilgi için terraform başvuru belgelerinin tamamına bakın.